Willkommen!
dataLAB Big Data LBD-Cluster für Lehre und Wissenschaft
Die Fachgruppe für High Performance Computing/dataLAB von Campus.IT bietet den Hadoop Cluster LBD an.
Der Cluster ist über mehrere Loginknoten erreichbar, um über SSH, Jupyter oder RStudio auf den Hadoop-Cluster zuzugreifen. Benutzerjobs werden über zwei redundante Hadoop Managementknoten für HDFS und Yarn auf viele Workerknoten verteilt und automatisch parallel ausgeführt. Die Knotenzahl ist skalierbar, in der aktuellen Konfiguration hat der LBD Cluster 20 Worker-Knoten, die jeweils mit 62,5 GB RAM, 16 vCPUs und 100 GB lokalem Speicher ausgestattet sind. Alle Knoten haben Zugriff auf ein gemeinsames paralleles HDFS-Dateisystem.
Die Hardware besteht aus etwa 40 Servern, die jeweils mit zwei Intel Xeon E5-2650v4 bzw. Intel Xeon E5-2680v4 Prozessoren und 256GB Hauptspeicher ausgestattet sind. Darauf läuft OpenStack, die Knoten des LBD sind Instanzen im OpenStack-Cluster.
Der Vorgänger-Cluster LBD war seit Dezember 2017 in Betrieb und wurde 2023 vom LBDv3-Cluster, der eine OpenStack Infrastruktur nutzt, abgelöst. Seit Jänner 2025 ist nun der LBDv4 Cluster in Betrieb. Unter LBDv4 Architektur bzw. Services finden Sie weitere Details zur Systemarchitektur bzw. zu den verfügbaren Services.
LBDv4 steht für Lehre, Forschung und Seminare bereit. Hier finden Sie die Liste der aktuellen und vergangenen LBD-Kurse und -Projekte.
Ziel des Big Data Cluster ist es, den Forschenden und Lehrenden der TU-Wien ein stabiles Arbeitsumfeld zu bieten. Unser engagiertes Team steht Ihnen zur Seite, um Sie bei all Ihren Big-Data-Vorhaben zu unterstützen und zu begleiten und so eine reibungslose und erfolgreiche Umsetzung zu gewährleisten. Wir sind erreichbar unter: hadoop-support@tuwien.ac.at.
Weitere Services der dataLAB-Gruppe finden sie hier
Welcome!
dataLAB Big Data LBD-Cluster for teaching and research
The specialist group for High Performance Computing/dataLAB from Campus.IT offers the Hadoop cluster LBD
The cluster is accessible via multiple login nodes to access the Hadoop cluster via SSH, Jupyter or RStudio. User jobs are distributed across many worker nodes via two redundant Hadoop management nodes for HDFS and Yarn and automatically executed in parallel. The number of nodes is scalable; in the current configuration, the LBD cluster has 20 worker nodes, each equipped with 62.5 GB RAM, 16 vCPUs and 100 GB local storage. All nodes have access to a common parallel HDFS file system.
The hardware consists of about 40 server, each equipped with two Intel Xeon E5-2650v4 or Xeon E5-2680v4 CPUs and 256GB RAM. On top of the hardware runs OpenStack, the nodes of LBD are instances of the OpenStack cluster.
The predecessor cluster LBD had been in operation since December 2017 and was replaced in 2023 by the LBDv3 cluster, which uses an OpenStack infrastructure. The LBDv4 cluster has been in operation since January 2025.
In LBDv4 Architektur resp. Services you can find more details on the system's architecture and respectively the available services.
LBDv4 is now available for teaching, research and seminars. Here you can find the list of present and past LBD courses and projects.
The aim of the Big Data Cluster is to offer researchers and teachers at the TU-Wien a stable working environment. Our dedicated team is here to assist and guide you in all your Big Data initiatives, ensuring a smooth and successful implementation. We can be reached at: hadoop-support@tuwien.ac.at.
Further services of the dataLAB-Group can be found here