Transportable KI-Anwendungen sind breit gefächert, unterliegen jedoch einzigartigen Einschränkungen in Bezug
auf Umwelteinflüsse, Größe, Gewicht und Leistung. Fahrzeugbasierte Systeme sind häufig auf eine
Gleichstromversorgung mit begrenztem Stromnetz angewiesen und sind zudem straßenbedingten Vibrationsprofilen
und Witterungsbedingungen ausgesetzt, die bei HPC-Architekturen in Rechenzentren nicht berücksichtigt werden
müssen. Für diese Bereiche müssen eingebettete oder transport-optimierte Systeme verwendet werden, die den
Anforderungen der Anwendung und Umgebung entsprechen.
Traditionell sind diese optimierten Systeme in ihrem Datendurchsatz begrenzt, da sie weniger anspruchsvolle
und daher weniger leistungsfähige HPC-Subkomponenten nutzen. Immer mehr KI-Anwendungen, wie zum Beispiel
autonome Fahrzeuge, erfordern die Erfassung großer Datensätze und eine schnelle Inferenz, ohne dass die
Leistung darunter leidet. Das Rückgrat der KI-Architekturen, die Grafikprozessoren (GPUs), haben das
Mooresche Gesetz für traditionelle CPUs überholt und übernehmen den Großteil der Berechnungen. Die
Busgeschwindigkeiten haben sich mit PCIe Gen 4.0 verdoppelt. Es wird erwartet, dass sie sich mit der
Verfügbarkeit von PCIe Gen 5.0 noch einmal verdoppeln werden, wodurch PCIe-basierte Endgeräte wie
NVMe-Speicher einen deutlichen Leistungsschub erhalten.
High-Performance-Computing
ohne Flaschenhals
Fortschritte im Bereich RDMA (Remote Direct Memory Access) ermöglichen GPUs die direkte Kommunikation mit
Speicher- und Netzwerkschnittstellen, wodurch der typische HPC-Engpass des CPU-Verbindungsbusses umgangen
wird.
Um das Optimum aus jeder Teilkomponente herauszuholen, muss der Systemarchitekt den besten Weg finden, die
neuesten PCIe-Teilkomponentengeräte auf derselben PCIe-Fabric unterzubringen. Die einfachste
Möglichkeit,
PCIe-Subkomponenten auf demselben PCIe-Bus zu kombinieren, besteht darin, sie in derselben Host-Node-Box
unterzubringen. Dabei werden verfügbare PCIe-Add-in-Kartensteckplätze des Host-Servers verwendet. Zu den
Nachteilen dieser Strategie gehören der Formfaktor sowie die Begrenzung der verfügbaren PCIe-Lanes.
PCIe-Erweiterungssysteme
am Host-Knoten
Bei vielen transportablen KI-Anwendungen ist ein Server in voller Größe aus Platzgründen nicht umsetzbar, da
genügend Steckplätze für Add-in-Karten vorhanden sein müssen.
Um die Durchsatzschwelle des Workflows zu
erreichen, muss dabei eine Vielzahl von NVMe-, GPU-, NIC- und FPGA-Geräten unterstützt werden. In diesen
Szenarien sollte der Systemarchitekt PCIe-Erweiterungssysteme in Betracht ziehen.
Diese Systeme werden
entweder
direkt per Kabel oder über einen PCIe-Switch an einen kleineren, optimierten Host-Knoten angeschlossen und
bieten skalierbare und optimierte Erweiterungscluster.
Konfiguriert als JBOX (GPU, SSD, FPGA, NIC),
können diese
Bausteine hinzugefügt werden, um den Engpass zu überwinden, wo auch immer er liegen mag.
