Was ist High-Performance-Computing (HPC)?

Bei High-Performance-Computing, kurz HPC, geht es um die Fähigkeit, mit hoher Geschwindigkeit Daten zu verarbeiten und komplexe Berechnungen durchzuführen. Ein Notebook oder Desktop-PC mit einem 3-GHz-Prozessor kann etwa 3 Milliarden Berechnungen pro Sekunde durchführen. Auch wenn das viel mehr ist, als jeder Mensch erreichen kann, stellt eine HPC-Lösung, die pro Sekunde Billiarden von Berechnungen schafft, im Vergleich dazu alles in den Schatten. 

Die bekannteste Art einer HPC-Lösung ist der Supercomputer. Ein Supercomputer enthält Tausende von Compute-Nodes, die zur Erledigung einer oder mehrerer Aufgaben zusammenarbeiten. Dies nennt man auch Parallelverarbeitung. Es ist vergleichbar mit Tausenden von PCs, die miteinander vernetzt sind und ihre Rechenleistung kombinieren, um so Aufgaben schneller abzuschließen.

Durch Daten werden bahnbrechende wissenschaftliche Entdeckungen gemacht, branchenverändernde Innovationen hervorgebracht und die Lebensqualität von Milliarden Menschen weltweit verbessert. HPC ist die Grundlage für wissenschaftliche, industrielle und gesellschaftliche Fortschritte.

Technologien wie das Internet of Things (IoT), künstliche Intelligenz (KI) und 3D-Bildgebung entwickeln sich immer weiter. Dadurch wächst auch die Größe und Menge der Daten, mit denen Unternehmen arbeiten müssen, exponentiell an. Für viele Zwecke, wie das Streaming eines Live-Sportereignisses, die Verfolgung eines sich entwickelnden Sturms, das Testen neuer Produkte oder die Analyse von Börsentrends, ist es entscheidend, dass die Daten in Echtzeit verarbeitet werden können.

Auch um Mitbewerbern einen Schritt voraus zu sein, benötigen Unternehmen eine blitzschnelle, höchst zuverlässige IT-Infrastruktur, die in der Lage ist, riesige Datenmengen zu verarbeiten, zu speichern und zu analysieren.

HPC-Lösungen bestehen aus drei Hauptkomponenten:

• Compute
• Netzwerk
• Storage

Für den Aufbau einer High-Performance-Computing-Architektur werden Compute-Server zu einem Cluster vernetzt. Auf diesen Servern im Cluster werden Softwareprogramme und Algorithmen parallel ausgeführt. Zur Erfassung der Ergebnisse ist das Cluster mit dem Datenspeicher vernetzt. All diese Komponenten arbeiten nahtlos zusammen, um gemeinsam eine Vielzahl von Aufgaben auszuführen.

Damit maximale Performance erreicht wird, muss jede einzelne Komponente mit den anderen Komponenten Schritt halten können. Beispielsweise muss die Storage-Komponente in der Lage sein, Daten mit derselben Geschwindigkeit, wie sie verarbeitet werden, in die Compute-Server einzuspeisen und von ihnen zu erfassen. Genauso müssen die Netzwerkkomponenten den Hochgeschwindigkeitstransport von Daten zwischen Compute-Servern und Datenspeicher unterstützen können. Wenn eine Komponente nicht mit den restlichen mithalten kann, leidet die Performance der gesamten HPC-Infrastruktur.

Ein HPC-Cluster besteht aus Hunderten oder Tausenden von Compute-Servern, die miteinander vernetzt sind. Jeder Server wird als Node bezeichnet. Die Nodes in den einzelnen Clustern arbeiten parallel zueinander. Auf diese Weise steigern sie die Verarbeitungsgeschwindigkeit und ermöglichen das High-Performance-Computing.

HPC-Lösungen werden On-Premises, im Edge-Bereich oder in der Cloud eingesetzt und in unterschiedlichen Branchen für unterschiedliche Zwecke genutzt. Hier einige Beispiele:

• Forschungslabore: Mit HPC werden Wissenschaftler bei der Suche nach erneuerbaren Energiequellen unterstützt oder auch dabei, die Entwicklung unseres Universums zu verstehen, Stürme vorherzusagen/zu verfolgen und neue Materialien zu entwickeln.
• Medien- und Unterhaltungsbranche: HPC wird eingesetzt, um Spielfilme zu bearbeiten, umwerfende Spezialeffekte zu erzeugen und Live-Events auf der ganzen Welt zu streamen.
• HPC Oil and Gas Use CaseÖl und Gas: Mit HPC wird genauer bestimmt, wo neue Bohrungen durchgeführt werden sollten und wie sich die Produktion in vorhandenen Bohrlöchern steigern lässt.
• Künstliche Intelligenz und Machine Learning: HPC wird dazu genutzt, um Kreditkartenbetrug zu erkennen, technische Unterstützung zur Selbsthilfe zu bieten, selbstfahrende Fahrzeuge zu trainieren und die Methoden zur Krebsvorsorge zu verbessern.
• Finanzdienstleistungen: Mit HPC werden Echtzeit-Börsentrends verfolgt und der Handel automatisiert.
• HPC kommt außerdem zum Einsatz, wenn es darum geht, neue Produkte zu entwerfen, Testszenarien zu simulieren und sicherzustellen, dass Teile auf Lager gehalten werden, damit Produktionslinien nicht ins Stocken geraten.
• HPC findet auch im medizinischen Bereich Anwendung, um Therapien für Krankheiten wie Diabetes und Krebs zu entwickeln und eine schnellere und genauere Patientendiagnose zu ermöglichen.

Im Rahmen der HPC-Lösung von NetApp steht eine komplette Reihe hochperformanter und hochdichter E-Series Storage-Systeme zur Verfügung. Eine modulare Architektur mit branchenführendem Preis-Leistungs-Verhältnis bietet eine echte Pay-as-you-Wachstumslösung zur Unterstützung von Storage-Anforderungen für Datensätze mit mehreren Petabyte. Das System ist in führende HPC-Filesysteme integriert, darunter Lustre, IBM Spectrum Scale, BeeGFS und andere, um die Anforderungen der weltweit größten Computing-Infrastrukturen hinsichtlich Performance und Zuverlässigkeit zu erfüllen.

E-Series Systeme bieten die Performance, Zuverlässigkeit, Skalierbarkeit, Einfachheit und niedrige TCO, die zur Unterstützung extremer Workloads und damit einhergehender Herausforderungen benötigt werden:

• Performance: Liefert beim Lesen bis zu 1 Million zufällige IOPS und beim Schreiben eine kontinuierliche Bandbreite von 13 GB/s (maximale Burst-Bandbreite) pro skalierbarem Baustein. Die NetApp HPC-Lösung ist sowohl für Flash- als auch für Festplattenlaufwerke optimiert und umfasst eine integrierte Technologie, die Workloads überwacht und Konfigurationen automatisch anpasst, um die Performance zu maximieren.
• Zuverlässigkeit: Ein fehlertolerantes Design ermöglicht eine Verfügbarkeit von über 99,9999 % – mehr als 1 Million implementierte Systeme belegen dies. Integrierte Funktionen für Datenzuverlässigkeit sorgen dafür, dass alle Daten korrekt sind, ohne Verluste, Beschädigungen oder fehlende Bits.
• Mühelose Implementierung und einfaches Management: Ein modulares Design, sofortige Replizierung von Storage-Blöcken (per „Ausschneiden und Einfügen“), proaktives Monitoring und Automatisierungsskripts sorgen für einfaches, schnelles und flexibles Management.
• Skalierbarkeit: Ein granularer, modularer Ansatz, der Wachstum erlaubt und nahtlose Skalierbarkeit von Terabyte auf Petabyte ermöglicht, indem Kapazität in beliebigen Inkrementen hinzugefügt wird – jeweils ein oder mehrere Laufwerke gleichzeitig.
• Niedrigere Gesamtbetriebskosten (TCO): Die für Preis/Performance optimierten Bausteine mit branchenweit bester Dichte ermöglichen niedrige Kosten für Strom, Kühlung und Support sowie eine viermal niedrigere Ausfallrate als herkömmliche HDD- und SSD-Geräte.