LBDv3, der Nachfolger von LBD , ist ein Hadoop-Cluster, der eine  OpenStack-Infrastruktur von dataLAB BigDATA nutzt.
Auf dem Cluster laufen unter anderem Hadoop Dienste wie HDFS, MapReduce, Yarn, SPARK, SparkR.                                                                                                  

Benutzer Anleitung

Auf LBDv3 kann man wie folgt zugreifen:

• ssh
• web (JupyterLAB, RStudio)
  
  

Voraussetzungen

1. Ihr Benutzerkonto und Ihre Zugangsdaten 

Wenn Sie selbst oder über Ihren Dozenten ein Benutzerkonto beantragt haben, sollten Sie eine E-Mail von root+backoffice@jupyter01.lbd.hpc.tuwien.ac.at mit den Zugangsdaten Ihres neuen Kontos erhalten. Sollten Sie keine Mail erhalten haben, wenden Sie sich bitte an hadoop-support@tuwien.ac.at. 

Die Mail enthält:

1. Den Benutzernamen
2. Ihr Passwort 
3. Eine Anleitung wie man sich per ssh mit dem Server verbindet
4. Eine Anleitung wie Sie Ihr Passwort ändern

Die Mail sieht so aus: 

2. TUNET-Verbindung

Um sich mit unserem Cluster und unseren Diensten verbinden zu können, müssen Sie sich im TUNet befinden, entweder durch eine Verbindung mit dem Netzwerk an einer TU-Einrichtungen oder über VPN. Eine VPN-Anleitung finden Sie unter folgendem Link: TU VPN

 1.  Verbindung zum LBDv3 über ssh:

1.Eingabe Passwort

• Sie werden dann aufgefordert, das erhaltene Passwort einzugeben.
• Beachten Sie, dass Sie im Terminal bei der Eingabe eines Passworts NICHT das geschriebene Passwort sehen können, wenn Sie es eingeben. Dies ist kein Fehler, dies ist nur eine Sicherheitsmaßnahme.
  
  

1. Änderung des Passworts

• Nachdem Sie sich angemeldet haben, warden Sie möglicherweise aufgefordert, Ihr Passwort zu ändern. Sollte dies nicht der Fall sein, ändern Sie es bitte trotzdem. Geben Sie hierzu folgenden Befehl ein:
  
  

Verbindung zum LBDv3 Cluster via Web

Mit Ihren Anmeldedaten können Sie sich auch direkt bei unserem webbasierten Jupyterhub und RStudio auf dem Cluster, anmelden.

Jupyterhub

1. Öffnen Sie die Webseite https://jupyter02.lbd.hpc.tuwien.ac.at/ Jetzt befinden Sie sich auf der Anmeldeseite von JupyterHub  

2. Anmelden

Geben Sie Ihren Benutzernamen und Ihr Passwort ein und klicken Sie auf „Anmelden“. Bitte beachten Sie, dass bei der allerersten Anmeldung bei Jupyterhub der Start sehr lange dauern wird. Nach dem ersten Start sollte die Anmeldung (und das Spawnen Ihrer Umgebung) schneller sein. Sie haben dann Zugriff auf verschiedene Kernel und Ihr Home-Verzeichnis. Um Beispielprogramme auszuführen, sehen Sie sich den dataLAB-Ordner an.

RStudio

1.Webservice

Folgen Sie dem Link https://rstudio.lbd.hpc.tuwien.ac.at/ Dort erscheint folgende Login-Seite: 

2. Anmelden

Geben Sie Ihren Benutzernamen und Ihr Passwort ein und klicken Sie auf Anmelden.

Sie haben dann Zugriff auf RStudio inkl. Ihr Home-Verzeichnis. Um Beispielprogramme

auszuführen, sehen Sie sich den dataLAB-Ordner an.

Anleitung zum kopieren Ihrer Dateien von LBD auf LBDv3

1. Melden Sie sich bei LBD an und geben Sie in der Befehlszeile Folgendes ein:

2. Kopieren Sie Ihr gesamtes Home-Verzeichnis auf LBD nach LBDv3:~/fromLBD/

LBDv3, the successor of LBD , is the Hadoop cluster running on the dataLAB's OpenStack infrastructure.
It provides Hadoop core services (HDFS, MapReduce, YARN), the Apache Spark computation Engine, SparkR, and other services.

User Guide

LBDv3 can be accessed via:

• ssh

• web (JupyterLab, RStudio)

Prerequisites

1. Your User Account and Credentials

If you have requested a user account by yourself or through your lecturer, you should receive a mail from root+backoffice@jupyter01.lbd.hpc.tuwien.ac.at containing the credentials of your new account. If you did not receive a mail, please contact hadoop-support@tuwien.ac.at.

The mail contains

1. your username

2. your password

3. how to connect to the server via ssh

4. how to change your password

The mail looks like this:

2. TUNET Connection

To be able to connect to our cluster and services, you have to be in the TUNet, either by connecting to the network at TU facilities or via VPN. For VPN instructions please check the following link: TU VPN

Connecting to LBDv3 via ssh

1. Open Terminal

Please go to your terminal and connect to the server by typing following command.

2. Enter Password

You are then prompted to type in the password that you obtained.

Mind that in the terminal, whenever you are typing a password, you are NOT able to see the written password upon typing it. This is not a bug or an error from your end, this is just a security measure.

3. Change Password

After you are logged in, you might be prompted to change your password. If that is not the case, please change your password anyway. This is done with the following command:

Connecting to LBDv3 via web

Using the same credentials, you can also directly login to our web-based Jupyterhub and RStudio.

Jupyterhub

1. Open Webservice

Please go to the following link for the Jupyterhub service: https://jupyter02.lbd.hpc.tuwien.ac.at/

There you will see this login page:

2. Enter credentials

Type in your username and password and click on "Sign in". Please mind that when you are logging in for the very first time on Jupyterhub, the starting up will take a long time. After the first startup, the login (and spawning of your environment) should be more quick.

You will then have access to different kernels and your home directory. To run example programs, check out the dataLAB folder.

RStudio

1. Open Webservice

Please go to the following link for the RStudio service: https://rstudio.lbd.hpc.tuwien.ac.at/

There you will see this login page:

2. Enter credentials

Type in your username and password and click on "Sign in". 

You will then have access to Rstudio incl. your home directory. To run example programs, check out the dataLAB folder.

How to copy files from LBD to LBDv3

1. login to LBD and on the command line type:   

2. copy your whole home directory on LBD to LBDv3:~/fromLBD/

Anleitung als PDF  herunterladen

Zum Seitenanfang