OnBoarding      auf den LBD Hadoop Cluster                                                                                                         


LBDv3, der Nachfolger von LBD , ist ein Hadoop-Cluster, der eine  OpenStack-Infrastruktur von dataLAB BigDATA nutzt.
Auf dem Cluster laufen unter anderem Hadoop Dienste wie HDFS, MapReduce, Yarn, SPARK, SparkR.                                                                                                  



Benutzer Anleitung



Auf LBDv3 kann man wie folgt zugreifen:

  • ssh
  • web (JupyterLAB, RStudio)


Voraussetzungen

1. Ihr Benutzerkonto und Ihre Zugangsdaten 

Wenn Sie selbst oder über Ihren Dozenten ein Benutzerkonto beantragt haben, sollten Sie eine E-Mail von root+backoffice@jupyter01.lbd.hpc.tuwien.ac.at mit den Zugangsdaten Ihres neuen Kontos erhalten. Sollten Sie keine Mail erhalten haben, wenden Sie sich bitte an hadoop-support@tuwien.ac.at. 

Die Mail enthält:

  1. Den Benutzernamen
  2. Ihr Passwort 
  3. Eine Anleitung wie man sich per ssh mit dem Server verbindet
  4. Eine Anleitung wie Sie Ihr Passwort ändern


Die Mail sieht so aus: 





2. TUNET-Verbindung

Um sich mit unserem Cluster und unseren Diensten verbinden zu können, müssen Sie sich im TUNet befinden, entweder durch eine Verbindung mit dem Netzwerk an einer TU-Einrichtungen oder über VPN. Eine VPN-Anleitung finden Sie unter folgendem Link: TU VPN


 1.  Verbindung zum LBDv3 über ssh:




  Bitte verbinden Sie sich mit Ihrem Terminal mit dem Server, indem Sie folgenden Befehl eingeben:
  ssh <your_username>@ssh01.lbd.hpc.tuwien.ac.at


1.Eingabe Passwort

  • Sie werden dann aufgefordert, das erhaltene Passwort einzugeben.
  • Beachten Sie, dass Sie im Terminal bei der Eingabe eines Passworts NICHT das geschriebene Passwort sehen können, wenn Sie es eingeben. Dies ist kein Fehler, dies ist nur eine Sicherheitsmaßnahme.




  1. Änderung des Passworts
  • Nachdem Sie sich angemeldet haben, warden Sie möglicherweise aufgefordert, Ihr Passwort zu ändern. Sollte dies nicht der Fall sein, ändern Sie es bitte trotzdem. Geben Sie hierzu folgenden Befehl ein:

passwd




Verbindung zum LBDv3 Cluster via Web

Mit Ihren Anmeldedaten können Sie sich auch direkt bei unserem webbasierten Jupyterhub und RStudio auf dem Cluster, anmelden.


Jupyterhub

1. Öffnen Sie die Webseite https://jupyter02.lbd.hpc.tuwien.ac.at/ Jetzt befinden Sie sich auf der Anmeldeseite von JupyterHub  





2. Anmelden

Geben Sie Ihren Benutzernamen und Ihr Passwort ein und klicken Sie auf „Anmelden“. Bitte beachten Sie, dass bei der allerersten Anmeldung bei Jupyterhub der Start sehr lange dauern wird. Nach dem ersten Start sollte die Anmeldung (und das Spawnen Ihrer Umgebung) schneller sein. Sie haben dann Zugriff auf verschiedene Kernel und Ihr Home-Verzeichnis. Um Beispielprogramme auszuführen, sehen Sie sich den dataLAB-Ordner an.






RStudio

1.Webservice

Folgen Sie dem Link https://rstudio.lbd.hpc.tuwien.ac.at/ Dort erscheint folgende Login-Seite: 





2. Anmelden

Geben Sie Ihren Benutzernamen und Ihr Passwort ein und klicken Sie auf Anmelden.

Sie haben dann Zugriff auf RStudio inkl. Ihr Home-Verzeichnis. Um Beispielprogramme

auszuführen, sehen Sie sich den dataLAB-Ordner an.






Anleitung zum kopieren Ihrer Dateien von LBD auf LBDv3


1. Melden Sie sich bei LBD an und geben Sie in der Befehlszeile Folgendes ein:

ssh <myLBDv3username>@ssh01.lbd.hpc.tuwien.ac.at mkdir fromLBD


2. Kopieren Sie Ihr gesamtes Home-Verzeichnis auf LBD nach LBDv3:~/fromLBD/

rsync -v -a ~/ <myLBDv3username>@ssh01.lbd.hpc.tuwien.ac.at:~/fromLBD/









OnBoarding            to the LBD Hadoop Cluster                                                                                                 



LBDv3, the successor of LBD , is the Hadoop cluster running on the dataLAB's OpenStack infrastructure.
It provides Hadoop core services (HDFS, MapReduce, YARN), the Apache Spark computation Engine, SparkR, and other services.



User Guide