Big Data processing platform on the TU.it dataLAB OpenStack private cloud




Hardware Infrastruktur


Die Hardware-Infrastruktur des LBD Cluster besteht aus etwa 47 Servern, die jeweils mit zwei Intel Xeon E5-2650v4 bzw. Intel Xeon E5-2680v4 Prozessoren und 256GB RAM ausgestattet sind. Diese Server verfügen über vier Festplatten mit einer Kapazität von jeweils 4TB, was eine Gesamtspeicherkapazität von 16TB pro Knoten ergibt. Zusätzlich steht ausreichend Ceph-Speicher zur Verfügung, der als vernetztes Dateisystem eingebunden werden kann.

Diese robuste Infrastruktur dient als Grundlage für OpenStack-virtuelle Maschinen, die mit Rocky Linux 8 Images betrieben werden, wobei unterschiedliche Speicherkonfigurationen vorhanden sind, um spezifischen Arbeitslastanforderungen gerecht zu  werden.




Zusammenfassung:


  • Bare-Metal-Server:
    • Anzahl:            47
    • Prozessor:       Intel Xeon E5-2650v4 bzw. Intel Xeon E5-2680v4 (jeder Server verfügt über zwei dieser Prozessoren)
    • RAM:              265GB pro Server


  • Virtualisierungsplattform:
    • OpenStack


  • Betriebssystem für virtuelle Maschinen:
    • Rocky Linux 8


  • Konfiguration der virtuellen Maschinen:
    • Variable Speicherkonfiguration die auf eine flexible Ressourcenzuweisung hinweisen.


  • Speicher für Bare-Metal-Server:
    • Jeder Bare-Metal-Server ist mit 4 Festplatten ausgestattet.
    • Festplattenkapazität: 4TB pro Festplatte
    • Gesamtspeicher pro Knoten: 16TB (4 Festplatten x 4TB pro Festplatte).


  • Ceph-Speicher:
    • Extern zum OpenStack-Cluster
    • Wird als vernetztes Dateisystem eingebunden für eine gut skalierbare, verteilte Speicherlösung.



Hinweis: Die Infrastruktur kann erweitert werden, wenn zusätzliche Ressourcen benötigt werden.




Verfügbare Software


  • JupyterLAB
  • Hadoop File System (HDFS)
  • YARN
  • MapReduce
  • Spark
  • RStudio




Hardware Infrastructure


The LBD Cluster hardware infrastructure comprises 20 bare-metal-maschines, each equipped with two Intel Xeon E5-2650v4 processors and 256GB of RAM. These servers feature four hard disks, each with a capacity of 4TB, providing a total storage of 16TB per node. Additionally, there is 100TB of Ceph Storage available, with can be mounted as a networked file system.

This robust infrastructure servers as the foundation for OpenStack virtual machines running Rocky Linux 8.8 images, with varying memory configurations to meet specific workload requirements.




In summary:


  • Bare-Metal-Server:
    • Quantity:         20
    • Processor:       Intel Xeon E5-2650v4 (each server has two of these processors)
    • RAM:              265GB per server


  • Virtualization Platform:
    • OpenStack


  • Operating System for Virtual Machines:
    • Rocky Linux 8.8


  • Virtual Machine Configuration:
    • Varying memory configuration, indicating flexibility in resource allocation.


  • Bare-Metal-Server Storage:
    • Each bare metal server is equipped with four hard disks.
    • Hard Disk Capacity: 4TB per disk
    • Total Storage per Node: 16TB (4 disks x 4TB per each).


  • Ceph-Storage:
    • Exteral to the bare-metal-servers
    • Capacity: 100TB
    • Can be mounted as a networked file system, indicating a distributed and scalable storage solution.



Note: The infrastructure can be scaled up if additional resources are needed.




Available Software


  • JupyterLAB
  • Hadoop File System (HDFS)
  • YARN
  • MapReduce
  • Spark
  • Kafka
  • RStudio
  • Globus
  • Postgres






Zum Seitenanfang


  • No labels