Anchor
top top

Anchor
de de

LBDv3, der Nachfolger von LBD Der aktuelle LBD Cluster (LBDv4), ist ein Hadoop-Cluster, der eine  OpenStack-Infrastruktur von dataLAB BigDATA Campus ITdataLAB nutzt.
Auf dem Cluster laufen unter anderem Hadoop Dienste wie HDFS, MapReduce, Yarn, SPARK, SparkR.                                                                                                  

Benutzer Anleitung

Auf LBDv3 LBDv4 kann man wie folgt zugreifen:

• ssh
• web (JupyterLAB, RStudio)
  
  

Voraussetzungen

1. Ihr Benutzerkonto und Ihre Zugangsdaten 

Wenn Sie selbst oder über Ihren Dozenten ein Benutzerkonto beantragt haben, sollten bekommen Sie eine E-Mail von root+backoffice@jupyter01.lbd.hpc.no-reply@lbd.tuwien.ac.at mit den Zugangsdaten Ihres neuen Kontos erhalten. Sollten Sie keine Mail erhalten haben, wenden Sie sich bitte an an hadoop-support@tuwien.ac.at. 

Die Mail enthält:

1. Den Benutzernamen
2. Ihr Passwort 
3. Eine Anleitung wie man sich per ssh mit dem Server verbindet
4. Eine Anleitung wie Sie Ihr Passwort ändern

Die Mail sieht z.B. so aus: 

------------------------------------------------------------------------------------------------

Lieber Dummy-Benutzer,

willkommen am LBD-Cluster. Ihr Benutzer- Konto wurde erstellt:

Kontoname: dummyuser

Ursprüngliches Passwort: MzZhYdWEwMRhMzg0

Bitte melden Sie sich sofort per SSH an:

ssh dummyuser@lbd.tuwien.ac.at

um das anfängliche Passwort zu ändern.

Direkt nach dem Login werden Sie ein zweites Mal nach dem Initialpasswort gefragt.

Dies ist Teil des Passwortänderungsmechanismus.

Bitte stellen Sie sicher, dass Sie im TUnet sind, z.B. per Kabel, WLAN oder VPN.

Der Webzugriff ist nach Festlegung Ihres Passworts möglich.

Login-Knoten über das Web:

Jupyter: https://lbdlg01.lbd.hpc.tuwien.ac.at oder https://lbd.tuwien.ac.at

RStudio: https://lbdrs01.lbd.hpc.tuwien.ac.at

Weitere Informationen bei Problemen mit dem Cluster finden Sie unter:

https://colab.tuwien.ac.at/display/DBD/Big+Data+LBD

oder kontaktieren Sie:  Image Removedhadoop-support@tuwien.ac.at

Wir freuen uns auf die Zusammenarbeit und wünschen Ihnen viel Erfolg.

Big Data – dataLAB-Team

------------------------------------------------------------------------------------------------

2. TUNET-Verbindung

Um sich mit unserem Cluster und unseren Diensten verbinden zu können, müssen Sie sich im TUNet befinden, entweder durch eine Verbindung mit dem Netzwerk an einer TU-Einrichtungen oder über VPN. Eine VPN-Anleitung finden Sie unter folgendem Link: TU VPN

 1.  Verbindung zum LBDv3 LBDv4 über ssh:

1.Eingabe Passwort

• Sie werden dann aufgefordert, das erhaltene Passwort einzugeben.
• Beachten Sie, dass Sie im Terminal bei der Eingabe eines Passworts NICHT das geschriebene Passwort sehen können, wenn Sie es eingeben. Dies ist kein Fehler, dies ist nur eine Sicherheitsmaßnahme.
  
  

1. Änderung des Passworts

• Nachdem Sie sich angemeldet haben, warden werden Sie möglicherweise beim ersten Login aufgefordert, Ihr Passwort zu ändern.
   Dabei ist zunächst das Initialpasswort noch einmal einzugeben, danach zwei Mal ihr neues Passwort
• Sollten Sie nicht aufgefordert werden Sollte dies nicht der Fall sein, ändern Sie es bitte trotzdem. Geben Sie hierzu folgenden Befehl ein:

Image Removed

Image Added

• Bitte beachten Sie, dass Sie das neue Passwort 2x eingeben müssen!

Verbindung zum LBDv3 LBDv4 Cluster via Web

Mit Ihren Anmeldedaten können Sie sich auch direkt bei unserem webbasierten Jupyterhub und RStudio auf dem Cluster, anmelden.

Jupyterhub

1. Öffnen Sie die Webseite https://jupyter02.lbd.hpc.tuwien.ac.at/ Jetzt befinden Sie sich auf der Anmeldeseite von JupyterHub  

Image RemovedImage Added

2. Anmelden

Geben Sie Ihren Benutzernamen und Ihr Passwort ein und klicken Sie auf „Anmelden“. Bitte beachten Sie, dass bei der allerersten Anmeldung bei Jupyterhub der Start sehr lange dauern wird. Nach dem ersten Start sollte die Anmeldung (und das Spawnen Ihrer Umgebung) schneller sein. Sie haben dann Zugriff auf verschiedene Kernel und Ihr Home-Verzeichnis. Um Beispielprogramme auszuführen, sehen Sie sich den dataLAB-Ordner an.

RStudio

1.Webservice

Folgen Sie dem Link https://rstudiolbdrs01.lbd.hpc.tuwien.ac.at/ Dort erscheint folgende Login-Seite: 

Image RemovedImage Added

2. Anmelden

Geben Stellen Sie sicher, dass Sie Ihr Passwort geändert haben und geben Sie Ihren Benutzernamen und Ihr Passwort ein und klicken Sie auf Anmelden.

Sie haben dann Zugriff auf RStudio inkl. Ihr Home-Verzeichnis. Um Beispielprogramme

auszuführen, sehen Sie sich den dataLAB-Ordner an.

Image Removed

Anleitung zum kopieren Ihrer Dateien von LBD auf LBDv3

2. Kopieren Sie Ihr gesamtes Home-Verzeichnis auf LBD nach LBDv3:~/fromLBD/

Image Added

LBDv3LBDv4, the successor of LBD (LBDv3) , is the Hadoop cluster running on the dataLAB's OpenStack infrastructure.
It provides Hadoop core services (HDFS, MapReduce, YARN), the Apache Spark computation Engine, SparkR, and other services.

User Guide

LBDv3 LBDv4 can be accessed via:

• ssh

• web (JupyterLab, RStudio)

Prerequisites

1. Your User Account and Credentials

If you have requested a user account by yourself or through your lecturer, you should receive a mail from root+backoffice@jupyter01.lbd.hpc.tuwien.ac.at containing the credentials of your new account. If you did not receive a mail, please contact hadoop-support@tuwien.ac.at.

The mail contains

1. your username

2. your password

3. how to connect to the server via ssh

4. how to change your password

The mail looks like this:

------------------------------------------------------------------------------------------------

Dear Dummy User,

welcome to the LBD cluster. Your account has been created:

Account name: dummyuser
Initial Password: MzZhYdWEwMRhMzg0

Please log in immediately via ssh:
ssh dummyuser@lbd.tuwien.ac.at
to change the initial password.

You will be asked a second time for the initial password immediately after login.
This is part of the password change mechanism.

Please make sure you are in the TUnet, e.g. via cable, WLAN or VPN.

Web access is allowed after setting your password.
Login nodes via web:
Jupyter: https://lbdlg01.lbd.hpc.tuwien.ac.at or https://lbd.tuwien.ac.at
RStudio: https://lbdrs01.lbd.hpc.tuwien.ac.at

For any issue with the cluster, please take a look at
https://colab.tuwien.ac.at/display/DBD/Big+Data+LBD
or contact
hadoop-support@tuwien.ac.at

We look forward to working with you and wish you much success.

Big Data - dataLAB Team 

------------------------------------------------------------------------------------------------Image Removed

2. TUNET Connection

To be able to connect to our cluster and services, you have to be in the TUNet, either by connecting to the network at TU facilities or via VPN. For VPN instructions please check the following link: TU VPN

Connecting to LBDv3 LBDv4 via ssh

1. Open Terminal

Please go to your terminal and connect to the server by typing following command.

2. Enter Password

You are then prompted to type in the password that you obtained.

Mind that in the terminal, whenever you are typing a password, you are NOT able to see the written password upon typing it. This is not a bug or an error from your end, this is just a security measure.

Image RemovedImage Added

3. Change Password

After you are logged in, you might be prompted to change your password. If that is not the case, please change your password anyway. This is done with the following command:

Image Removed

Image Added

• Please note that you have to enter the new password twice!
  
  

Connecting to LBDv3 LBDv4 via web

Using the same credentials, you can also directly login to our web-based Jupyterhub and RStudio.

Jupyterhub

1. Open Webservice

Please go to the following link for the Jupyterhub service: https://jupyter02.lbd.hpc.tuwien.ac.at/

There you will see this login page:

Image RemovedImage Added

2. Enter credentials

Type in your username and password and click on "Sign in". Please mind that when you are logging in for the very first time on Jupyterhub, the starting up will take a long some time. After the first startup, the login (and spawning of your environment) should be more quick.

You will then have access to different kernels and your home directory. To run example programs, check out the dataLAB folder.

RStudio

1. Open Webservice

Please go to the following link for the RStudio service: https://rstudiolbdrs01.lbd.hpc.tuwien.ac.at/

There you will see this login page:

Image RemovedImage Added

2. Enter credentials

Type Make sure that you changed your password. Then type in your username and password and click on "Sign in". 

You will then have access to Rstudio incl. your home directory. To run example programs, check out the dataLAB folder.

Image Removed

Image Added

Anleitung als PDF herunterladen    PDF   

How to copy files from LBD to LBDv3

1. login to LBD and on the command line type:   

2. copy your whole home directory on LBD to LBDv3:~/fromLBD/

Anleitung als PDF herunterladen    PDF   

Zum Seitenanfang