KI-Beschleuniger-Karten für das AIoT Edge Computing
An der Edge ist der Einsatz von GPU-basierten Systemen für KI-Computing wegen der physischen Größe des
Inferenzsystems, des hohen Stromverbrauchs und des ungünstigen Preis-Leistungs-Verhältnisses meist nicht
sinnvoll. Mit der Mustang KI-Beschleunigerkarten-Serie von ICP Deutschland ergeben sich neue Lösungen für das
Edge Computing im Bereich des Artificial Intelligence of Things (AIoT).
Das Thema Künstliche Intelligenz ist in aller Munde. In der Industrie spielen KI-gestützte Anwendungen eine
zunehmende Rolle. In der Produktion wird optische Erkennung in Fertigungsprozessen verwendet, um beispielsweise
Produktionsfehler zu erkennen. Industrie-PC-Systeme, oder sogenannte Inferenzsysteme kommen zum Einsatz, um
anhand von Bildern Entscheidungen über den Zustand von Produktionserzeugnissen zu treffen. Diese Inferenzsysteme
verwenden vortrainierte Datensätze, sogenannte Trainingsmodelle, die in Hochleistungsrechnern erstellt worden
sind.
Vision / Industrie PC
Kommen bei diesen Trainingsservern meist mehrere Grafikkarten Karten zum Einsatz, um das Modell möglichst
schnell zu klassifizieren, ist der Einsatz von Grafikkarten an Edge aus unterschiedlichen Gründen nicht sinnvoll
oder möglich. Unter anderem spielen Anforderungen wie die physische Größe des Inferenzsystems, der
Stromverbrauch und das Preis- Leistungsverhältnis eine Rolle. Diese Anforderungen lassen sich mit GPU-basierten
Systemen nicht erfüllen.
Mit der Mustang KI-Beschleunigerkarten-Serie bieten sich neue Möglichkeiten für das Edge Computing
beziehungsweise das Artificial Intelligence of Things (AIoT). Es stehen zwei unterschiedliche Mustang-Serien zur
Auswahl, um flexibel und skalierbar KI-Anwendungen an der Edge zu realisieren.
VPU-Beschleunigerkarten
Die VPU-basierte Mustang-Serie verwendet Intel® MovidiusTM MyriadTM X MA2485 Visual Processing Units. Diese
VPUs
sind durch die Kombination ihres neuralen Netzwerks mit 16 SHAVE-Kernen und ihrer Neural Compute Engine speziell
für KI-Anwendungen im Vision-Bereich ausgelegt.
Neben einer Vielzahl von implementierten Hardwarefunktionen für die Bildverarbeitung, enthält jede VPU eine neue
Stereo-Depth-Block-Funktion, die in der Lage ist, zwei Streams mit einer Auflösung von 720P bei 180 Hz zu
verarbeiten. Native FP16-Berechnungen oder 8-Bit-Festkommaberechnungen aber auch die abstimmbare ISP-Pipeline
und die hardwarebasierte Codierung lassen auch anspruchsvolle Bild- oder Videoverarbeitung mit einer Auflösung
von bis zu 4K zu. Jeder einzelnen VPU lässt sich dabei eine andere DL-Topologie zuweisen. Grund hierfür ist die
Multi-Channel-Fähigkeit der VPUs, die eine simultane Ausführung von Berechnungen ermöglicht. So lassen sich
unterschiedliche Anwendungen wie Objekterkennung oder Bild- und Videoklassifikation gleichzeitig ausführen.