Hybrid Dataflow BeeGFS Appliance

IO-Transformation vor Persistenz — maximale Effizienz für moderne HPC- & AI-Workloads

Kernprinzip

Daten werden strukturiert, bevor sie gespeichert werden.

Die Hybrid Dataflow BeeGFS Appliance erweitert klassische BeeGFS-Architekturen um eine Maverick-basierte Dataflow-Schicht. Diese Ebene stabilisiert I/O-Streams, reduziert Small-I/O-Overhead, verbessert NVMe-Auslastung und hält den BeeGFS-Core unverändert.

WorkloadsHPC Checkpoints, AI Logs, IoT Streams, Hot Data Analytics.
Dataflow LayerAggregation, Reordering, Buffering, Flow Control und optionale Compression.
BeeGFS LayerMetadata, Management, Client Access und Storage Targets bleiben standardisiert.
Storage FabricNVMe Targets über InfiniBand NDR/HDR oder 400GbE Ethernet.

Vereinfachte Architektur in 5 Schritten

1
Input

Workload auswählen

HPC Simulation, AI Training, IoT/Edge Streams oder Data Analytics als Startprofil definieren.

2
Hybrid Nodes

Dataflow-Knoten konfigurieren

Hybrid Nodes mit AMD EPYC, NVMe Buffer, Maverick Accelerator und 2× 400GbE / IB auswählen.

3
BeeGFS

BeeGFS Services zuordnen

Metadata, Management, Client Access und Storage Targets auf Standard-BeeGFS-Ebene definieren.

4
NVMe

Storage Layer planen

NVMe Targets ohne RAID/LVM für maximale Parallelität und direkte BeeGFS-Zuordnung auslegen.

5
Fabric

High-Performance Fabric wählen

InfiniBand NDR/HDR oder 400GbE Ethernet als non-blocking Spine-Leaf Architektur definieren.

Diese Schritte sollen konfigurierbar werden

Die Konzeptseite verlinkt auf einen Konfigurator, in dem Workload-Profil, Hybrid Node, BeeGFS Services, NVMe Layout und Fabric Schritt für Schritt ausgewählt werden können.

Konfigurator öffnen

Designprinzipien

  • Keine Änderung am BeeGFS-Core
  • Fail-Open Architektur
  • Lineare Skalierung
  • Offene Standards & Interoperabilität

Performance-Ziele

  • 20–60 GB/s Write pro Hybrid Node
  • Millionen IOPS, small-I/O optimiert
  • Niedrige Latenz und geringer Jitter
  • Hohe Effizienz bei Mixed Workloads

Validierung

  • FIO Bandwidth / IOPS
  • MDTest Metadata Scaling
  • IOR für HPC Workloads
  • Mixed-I/O Pattern Tests

Einsatzgebiete

  • Tier-0 HPC Systeme
  • AI Training Cluster
  • IoT / Streaming Pipelines
  • Wissenschaft & Simulation