Der aktuelle LBD Cluster (LBDv4), ist ein Hadoop-Cluster, der eine  OpenStack-Infrastruktur von Campus ITdataLAB nutzt.
Auf dem Cluster laufen unter anderem Hadoop Dienste wie HDFS, MapReduce, Yarn, SPARK.                                                                                           

Benutzer Anleitung

Auf LBDv4 kann man wie folgt zugreifen:

• ssh
• web (JupyterLAB, RStudio)
  
  

Voraussetzungen

1. Ihr Benutzerkonto und Ihre Zugangsdaten 

Wenn Sie selbst oder über Ihren Dozenten ein Benutzerkonto beantragt haben, bekommen Sie eine E-Mail von no-reply@lbd.tuwien.ac.at mit den Zugangsdaten Ihres neuen Kontos. Sollten Sie keine Mail erhalten haben, wenden Sie sich bitte an hadoop-support@tuwien.ac.at. 

Die Mail enthält:

1. Den Benutzernamen
2. Ihr Passwort 
3. Eine Anleitung wie man sich per ssh mit dem Server verbindet
4. Eine Anleitung wie Sie Ihr Passwort ändern

Die Mail sieht z.B. so aus: 

------------------------------------------------------------------------------------------------

Lieber Dummy-Benutzer,

willkommen am LBD-Cluster. Ihr Benutzer- Konto wurde erstellt:

Kontoname: dummyuser

Ursprüngliches Passwort: MzZhYdWEwMRhMzg0

Bitte melden Sie sich sofort per SSH an:

ssh dummyuser@lbd.tuwien.ac.at

um das anfängliche Passwort zu ändern.

Direkt nach dem Login werden Sie ein zweites Mal nach dem Initialpasswort gefragt.

Dies ist Teil des Passwortänderungsmechanismus.

Bitte stellen Sie sicher, dass Sie im TUnet sind, z.B. per Kabel, WLAN oder VPN.

Der Webzugriff ist nach Festlegung Ihres Passworts möglich.

Login-Knoten über das Web:

Jupyter: https://lbdlg01.lbd.hpc.tuwien.ac.at oder https://lbd.tuwien.ac.at

RStudio: https://lbdrs01.lbd.hpc.tuwien.ac.at

Weitere Informationen bei Problemen mit dem Cluster finden Sie unter:

https://colab.tuwien.ac.at/display/DBD/Big+Data+LBD

oder kontaktieren Sie:  hadoop-support@tuwien.ac.at

Wir freuen uns auf die Zusammenarbeit und wünschen Ihnen viel Erfolg.

Big Data – dataLAB-Team

------------------------------------------------------------------------------------------------

2. TUNET-Verbindung

Um sich mit unserem Cluster und unseren Diensten verbinden zu können, müssen Sie sich im TUNet befinden, entweder durch eine Verbindung mit dem Netzwerk an einer TU-Einrichtungen oder über VPN. Eine VPN-Anleitung finden Sie unter folgendem Link: TU VPN

 1.  Verbindung zum LBDv4 über ssh:

1.Eingabe Passwort

• Sie werden dann aufgefordert, das erhaltene Passwort einzugeben.
• Beachten Sie, dass Sie im Terminal bei der Eingabe eines Passworts NICHT das geschriebene Passwort sehen können, wenn Sie es eingeben. Dies ist kein Fehler, dies ist nur eine Sicherheitsmaßnahme.
  
  

1. Änderung des Passworts

• Nachdem Sie sich angemeldet haben, werden Sie beim ersten Login aufgefordert, Ihr Passwort zu ändern.
   Dabei ist zunächst das Initialpasswort noch einmal einzugeben, danach zwei Mal ihr neues Passwort
• Sollten Sie nicht aufgefordert werden, ändern Sie es bitte trotzdem. Geben Sie hierzu folgenden Befehl ein:

• Bitte beachten Sie, dass Sie das neue Passwort 2x eingeben müssen!

Verbindung zum LBDv4 Cluster via Web

Mit Ihren Anmeldedaten können Sie sich auch direkt bei unserem webbasierten Jupyterhub und RStudio auf dem Cluster, anmelden.

Jupyterhub

1. Öffnen Sie die Webseite lbd.tuwien.ac.at Jetzt befinden Sie sich auf der Anmeldeseite von JupyterHub  

2. Anmelden

Geben Sie Ihren Benutzernamen und Ihr Passwort ein und klicken Sie auf „Anmelden“. Bitte beachten Sie, dass bei der allerersten Anmeldung bei Jupyterhub der Start sehr lange dauern wird. Nach dem ersten Start sollte die Anmeldung (und das Spawnen Ihrer Umgebung) schneller sein. Sie haben dann Zugriff auf verschiedene Kernel und Ihr Home-Verzeichnis. Um Beispielprogramme auszuführen, sehen Sie sich den dataLAB-Ordner an.

RStudio

1.Webservice

Folgen Sie dem Link https://lbdrs01.lbd.hpc.tuwien.ac.at Dort erscheint folgende Login-Seite: 

2. Anmelden

Stellen Sie sicher, dass Sie Ihr Passwort geändert haben und geben Sie Ihren Benutzernamen und Ihr Passwort ein und klicken Sie auf Anmelden.

Sie haben dann Zugriff auf RStudio inkl. Ihr Home-Verzeichnis. Um Beispielprogramme

auszuführen, sehen Sie sich den dataLAB-Ordner an.

LBDv4, the successor of LBD (LBDv3) , is the Hadoop cluster running on the dataLAB's OpenStack infrastructure.
It provides Hadoop core services (HDFS, MapReduce, YARN), the Apache Spark computation Engine, SparkR, and other services.

User Guide

LBDv4 can be accessed via:

• ssh

• web (JupyterLab, RStudio)

Prerequisites

1. Your User Account and Credentials

If you have requested a user account by yourself or through your lecturer, you should receive a mail from root+backoffice@jupyter01.lbd.hpc.tuwien.ac.at containing the credentials of your new account. If you did not receive a mail, please contact hadoop-support@tuwien.ac.at.

The mail contains

1. your username

2. your password

3. how to connect to the server via ssh

4. how to change your password

The mail looks like this:

------------------------------------------------------------------------------------------------

Dear Dummy User,

welcome to the LBD cluster. Your account has been created:

Account name: dummyuser
Initial Password: MzZhYdWEwMRhMzg0

Please log in immediately via ssh:
ssh dummyuser@lbd.tuwien.ac.at
to change the initial password.

You will be asked a second time for the initial password immediately after login.
This is part of the password change mechanism.

Please make sure you are in the TUnet, e.g. via cable, WLAN or VPN.

Web access is allowed after setting your password.
Login nodes via web:
Jupyter: https://lbdlg01.lbd.hpc.tuwien.ac.at or https://lbd.tuwien.ac.at
RStudio: https://lbdrs01.lbd.hpc.tuwien.ac.at

For any issue with the cluster, please take a look at
https://colab.tuwien.ac.at/display/DBD/Big+Data+LBD
or contact
hadoop-support@tuwien.ac.at

We look forward to working with you and wish you much success.

Big Data - dataLAB Team 

------------------------------------------------------------------------------------------------

2. TUNET Connection

To be able to connect to our cluster and services, you have to be in the TUNet, either by connecting to the network at TU facilities or via VPN. For VPN instructions please check the following link: TU VPN

Connecting to LBDv4 via ssh

1. Open Terminal

Please go to your terminal and connect to the server by typing following command.

2. Enter Password

You are then prompted to type in the password that you obtained.

Mind that in the terminal, whenever you are typing a password, you are NOT able to see the written password upon typing it. This is not a bug or an error from your end, this is just a security measure.

3. Change Password

After you are logged in, you might be prompted to change your password. If that is not the case, please change your password anyway. This is done with the following command:

• Please note that you have to enter the new password twice!
  
  

Connecting to LBDv4 via web

Using the same credentials, you can also directly login to our web-based Jupyterhub and RStudio.

Jupyterhub

1. Open Webservice

Please go to the following link for the Jupyterhub service: lbd.tuwien.ac.at

There you will see this login page:

2. Enter credentials

Type in your username and password and click on "Sign in". Please mind that when you are logging in for the very first time on Jupyterhub, the starting up will take some time. After the first startup, the login (and spawning of your environment) should be more quick.

You will then have access to different kernels and your home directory. To run example programs, check out the dataLAB folder.

RStudio

1. Open Webservice

Please go to the following link for the RStudio service: https://lbdrs01.lbd.hpc.tuwien.ac.at

There you will see this login page:

2. Enter credentials

Make sure that you changed your password. Then type in your username and password and click on "Sign in". 

You will then have access to Rstudio incl. your home directory. To run example programs, check out the dataLAB folder.

Anleitung als PDF herunterladen    PDF   

Zum Seitenanfang