OnBoarding                                                                                                                


LBDv3, der Nachfolger von LBD , ist ein Hadoop-Cluster, der eine  OpenStack-Infrastruktur von dataLAB BigDATA nutzt.
Auf dem Cluster laufen unter anderem Hadoop Dienste wie HDFS, MapReduce, Yarn, SPARK, SparkR.                                                                                                  



Onboarding auf den LBD Hadoop Cluster

Benutzer Anleitung



Auf LBDv3 kann man wie folgt zugreifen:

  • ssh
  • web (JupyterLAB, RStudio)


Voraussetzungen

1. Ihr Benutzerkonto und Ihre Zugangsdaten 

Wenn Sie selbst oder über Ihren Dozenten ein Benutzerkonto beantragt haben, sollten Sie eine E-Mail von root+backoffice@jupyter01.lbd.hpc.tuwien.ac.at mit den Zugangsdaten Ihres neuen Kontos erhalten. Sollten Sie keine Mail erhalten haben, wenden Sie sich bitte an hadoop-support@tuwien.ac.at. 

Die Mail enthält:

  1. Den Benutzernamen
  2. Ihr Passwort 
  3. Eine Anleitung wie man sich per ssh mit dem Server verbindet
  4. Eine Anleitung wie Sie Ihr Passwort ändern


Die Mail sieht so aus: 





2. TUNET-Verbindung

Um sich mit unserem Cluster und unseren Diensten verbinden zu können, müssen Sie sich im TUNet befinden, entweder durch eine Verbindung mit dem Netzwerk an einer TU-Einrichtungen oder über VPN. Eine VPN-Anleitung finden Sie unter folgendem Link: TU VPN


 1.  Verbindung zum LBDv3 über ssh:




  Bitte verbinden Sie sich mit Ihrem Terminal mit dem Server, indem Sie folgenden Befehl eingeben:
  ssh <your_username>@ssh01.lbd.hpc.tuwien.ac.at


1.Eingabe Passwort

  • Sie werden dann aufgefordert, das erhaltene Passwort einzugeben.
  • Beachten Sie, dass Sie im Terminal bei der Eingabe eines Passworts NICHT das geschriebene Passwort sehen können, wenn Sie es eingeben. Dies ist kein Fehler, dies ist nur eine Sicherheitsmaßnahme.




  1. Änderung des Passworts
  • Nachdem Sie sich angemeldet haben, warden Sie möglicherweise aufgefordert, Ihr Passwort zu ändern. Sollte dies nicht der Fall sein, ändern Sie es bitte trotzdem. Geben Sie hierzu folgenden Befehl ein:

passwd




Verbindung zum LBDv3 Cluster via Web

Mit Ihren Anmeldedaten können Sie sich auch direkt bei unserem webbasierten Jupyterhub und RStudio auf dem Cluster, anmelden.


Jupyterhub

1. Öffnen Sie die Webseite https://jupyter02.lbd.hpc.tuwien.ac.at/ Jetzt befinden Sie sich auf der Anmeldeseite von JupyterHub  





2. Anmelden

Geben Sie Ihren Benutzernamen und Ihr Passwort ein und klicken Sie auf „Anmelden“. Bitte beachten Sie, dass bei der allerersten Anmeldung bei Jupyterhub der Start sehr lange dauern wird. Nach dem ersten Start sollte die Anmeldung (und das Spawnen Ihrer Umgebung) schneller sein. Sie haben dann Zugriff auf verschiedene Kernel und Ihr Home-Verzeichnis. Um Beispielprogramme auszuführen, sehen Sie sich den dataLAB-Ordner an.






RStudio

1.Webservice

Folgen Sie dem Link https://rstudio.lbd.hpc.tuwien.ac.at/ Dort erscheint folgende Login-Seite: