Willkommen!
Anchor top top
| top | |
| top |
Willkommen!
dataLAB Big Data LBD-Cluster für Lehre und Wissenschaft
Die Fachgruppe für High Performance Computing/dataLAB vonTU Campus.itIT bietet einen den Hadoop Cluster Namens LBD bestehend aus 12 HDFS Knoten, 2 Xeon E5-2650v4 CPUs mit jeweils 12 (virtuellen) Knoten. Das Storage verwendet 10Gb EthernetLBD an.
Der Cluster ist über mehrere Loginknoten erreichbar, um über SSH, Jupyter oder RStudio auf den Hadoop-Cluster zuzugreifen.Benutzerjobs werden über zwei redundante Hadoop Managementknoten für HDFS und Yarn auf viele Workerknoten verteilt und automatisch parallel ausgeführt.Die Knotenzahl ist skalierbar, in der aktuellen Konfiguration hat der LBD Cluster 20 Worker-Knoten, die jeweils mit 62,5 GB RAM, 16 vCPUs und 100 GB lokalem Speicher ausgestattet sind. Alle Knoten haben Zugriff auf ein gemeinsames paralleles HDFS-Dateisystem.
Die Hardware besteht aus etwa 40 Servern, die jeweils mit zwei Intel Xeon E5-2650v4 bzw. Intel Xeon E5-2680v4 Prozessoren und 256GB Hauptspeicher ausgestattet sind. Darauf läuft OpenStack, die Knoten des LBD sind Instanzen im OpenStack-Cluster.
Der Vorgänger-Cluster LBD war seit Dezember 2017 in Betrieb und wurde 2023 vom LBDv3-Cluster, der eine OpenStack Infrastruktur nutzt, abgelöst. In LBDv3 . Seit Jänner 2025 ist nun der LBDv4 Cluster in Betrieb. Unter LBDv4 Architektur bzw. LBDv3 Services finden Sie weitere Details zur Systemarchitektur bzw. zu den verfügbaren Services.
LBDv3 LBDv4 steht nun für Lehre, Forschung und Seminare bereit. Hier finden Sie die Liste der aktuellen und vergangenen LBD-Kurse und -Projekte.
Ziel des Little Big Data Cluster ist es, den Forschenden und Lehrenden der TU-Wien ein stabiles Arbeitsumfeld zu bieten. Unser Team ist daengagiertes Team steht Ihnen zur Seite, um Sie auf Ihrer bei all Ihren Big-Data-Reise Vorhaben zu unterstützen und alle Ihre Fragen zu beantwortenzu begleiten und so eine reibungslose und erfolgreiche Umsetzung zu gewährleisten. Wir sind erreichbar unter:hadoop-support@tuwien.ac.at.
Weitere Services der dataLAB-Gruppe finden sie hier
Welcome!
dataLAB Big Data LBD-Cluster for teaching and research
The specialist group for High Performance Computing/dataLAB fromTUfrom Campus.itIT offers a the Hadoop cluster called LBD, consisting of 12 HDFS nodes, 2 Xeon E5-2650v4 CPUs with 12 (virtual) nodes each. The storage uses 10Gb Ethernet.LBD
The cluster is accessible via multiple login nodes to access the Hadoop cluster via SSH, Jupyter or RStudio. User jobs are distributed across many worker nodes via two redundant Hadoop management nodes for HDFS and Yarn and automatically executed in parallel. The number of nodes is scalable; in the current configuration, the LBD cluster has 20 worker nodes, each equipped with 62.5 GB RAM, 16 vCPUs and 100 GB local storage. All nodes have access to a common parallel HDFS file system.
The hardware consists of about 40 server, each equipped with two Intel Xeon E5-2650v4 or Xeon E5-2680v4 CPUs and 256GB RAM. On top of the hardware runs OpenStack, the nodes of LBD are instances of the OpenStack cluster.
The predecessor cluster LBD had been in operation since December 2017 and was replaced in 2023 by the LBDv3 cluster, which uses an OpenStack infrastructure. The LBDv4 cluster has been in operation since January 2025.
In LBDv3 LBDv4 Architektur resp. LBDv3 Services you can find more details on the system's architecture and respectively the available services.
LBDv3 LBDv4 is now available for teaching, research and seminars. Here you can find the list of present and past LBD courses and projects.
The aim of the Little Big Data Cluster is to offer researchers and teachers at the TU-Wien a stable working environment. Our dedicated team is there here to support assist and guide you in all your Big Data journey and answer all your questionsinitiatives, ensuring a smooth and successful implementation. We can be reached at: hadoop-support@tuwien.ac.at.
Further services of the dataLAB-Group can be found here
Zum SeitenanfangAnchor