LBDv3, der Nachfolger von LBD , ist ein Hadoop-Cluster, der eine OpenStack-Infrastruktur von dataLAB BigDATA nutzt. Auf dem Cluster laufen unter anderem Hadoop Dienste wie HDFS, MapReduce, Yarn, SPARK, SparkR.
Onboarding auf den LBD Hadoop Cluster
Benutzer Anleitung
Auf LBDv3 kann man wie folgt zugreifen:
ssh
web (JupyterLAB, RStudio)
Voraussetzungen
1. Ihr Benutzerkonto und Ihre Zugangsdaten
Wenn Sie selbst oder über Ihren Dozenten ein Benutzerkonto beantragt haben, sollten Sie eine E-Mail von root+backoffice@jupyter01.lbd.hpc.tuwien.ac.at mit den Zugangsdaten Ihres neuen Kontos erhalten. Sollten Sie keine Mail erhalten haben, wenden Sie sich bitte an hadoop-support@tuwien.ac.at.
Die Mail enthält:
Den Benutzernamen
Ihr Passwort
Eine Anleitung wie man sich per ssh mit dem Server verbindet
Eine Anleitung wie Sie Ihr Passwort ändern
Die Mail sieht so aus:
2. TUNET-Verbindung
Um sich mit unserem Cluster und unseren Diensten verbinden zu können, müssen Sie sich im TUNet befinden, entweder durch eine Verbindung mit dem Netzwerk an einer TU-Einrichtungen oder über VPN. Eine VPN-Anleitung finden Sie unter folgendem Link: TU VPN
1. Verbindung zum LBDv3 über ssh:
Bitte verbinden Sie sich mit Ihrem Terminal mit dem Server, indem Sie folgenden Befehl eingeben: ssh <your_username>@ssh01.lbd.hpc.tuwien.ac.at
1.Eingabe Passwort
Sie werden dann aufgefordert, das erhaltene Passwort einzugeben.
Beachten Sie, dass Sie im Terminal bei der Eingabe eines Passworts NICHT das geschriebene Passwort sehen können, wenn Sie es eingeben. Dies ist kein Fehler, dies ist nur eine Sicherheitsmaßnahme.
Änderung des Passworts
Nachdem Sie sich angemeldet haben, warden Sie möglicherweise aufgefordert, Ihr Passwort zu ändern. Sollte dies nicht der Fall sein, ändern Sie es bitte trotzdem. Geben Sie hierzu folgenden Befehl ein:
passwd
Verbindung zum LBDv3 Cluster via Web
Mit Ihren Anmeldedaten können Sie sich auch direkt bei unserem webbasierten Jupyterhub und RStudio auf dem Cluster, anmelden.
Geben Sie Ihren Benutzernamen und Ihr Passwort ein und klicken Sie auf „Anmelden“. Bitte beachten Sie, dass bei der allerersten Anmeldung bei Jupyterhub der Start sehr lange dauern wird. Nach dem ersten Start sollte die Anmeldung (und das Spawnen Ihrer Umgebung) schneller sein.Sie haben dann Zugriff auf verschiedene Kernel und Ihr Home-Verzeichnis. Um Beispielprogramme auszuführen, sehen Sie sich den dataLAB-Ordner an.
