Inferenzierungs-Chip verspricht KI für günstige Edge-Anwendungen

| Redakteur: Sebastian Gerstl

Bilderkennung mit einem Neuronalen Netzwerk: Der InferX X1 verspricht günstige KI-Inferenz gerade in kleinen Edge-Systemen, die mit nur einer Kamera oder wenigen Sensoren auskommen müssen.
Bilderkennung mit einem Neuronalen Netzwerk: Der InferX X1 verspricht günstige KI-Inferenz gerade in kleinen Edge-Systemen, die mit nur einer Kamera oder wenigen Sensoren auskommen müssen. (Bild: Clipdealer)

Flex Logix, vorrangig Anbieter von Embedded FPGAs und IP-Blöcken, präsentiert erstmals einen eigenen Chip: Der InferX X1 ist ein Co-Prozessor, der sich gezielt an KI-Inferenz in Low-End-Edge-Anwendungen richtet, die nicht die Rohleistung von High-End-Rechenzentrum-Chips benötigen

Der Flex Logix InferX X1-Chip soll sich nach Angaben der Herstellers besonders gut für Gateways und Low-End-Edge-Server eignen, um in KI-Anwendungen vor Ort mehr Durchsatz für die KI-Inferenzierung nutzen zu können, ohne auf die strom- und leistungshungrigen Anforderungen einer Rechenzentrums-Anwendung angewiesen zu sein.

Der Chip bietet demnach eine Leistung bei kleinen Losgrößen, die der von Inferenzchips im Rechenzentrum nahe kommt und einen hohen Durchsatz in Edge-Anwendungen mit nur einem einzigen DRAM bietet. Laut Flex Logix soll dies sowohl den Anspruch an die Leistungsstärke des Systems – und damit den Ressourcen- und Energiebedarf – als auch die Kosten niedrig halten. Dabei habe man insbesondere von der Erfahrung profitiert, die man bei der Entwicklung seiner patentierten eFPGA-Interconnects gewonnen habe.

Flex Logix ist vorwiegend im Markt Markt mit maßgeschneiderten embedded-FPGA-Lösungen (eFPGA) tätig. Im Herbst 2018 präsentierte das Unternehmen mit seiner „neuronalen Netzmaschine“ nnMAX, einem lizenzierbaren IP-Block für FPGAs und SoCs, erstmals eine Lösung für KI-Inferenz. Das Unternehmen behauptet, dass die Engine mehr als 100 Billionen Operationen pro Sekunde (TOPS) neuronaler Referenzkapazität in einer modularen, skalierbaren Architektur liefern kann, die einen Bruchteil der DRAM-Bandbreite konkurrierender Technologien erfordert.

Große Leistung bei knappen Ressourcen

Laut Geoff Tate, CEO von Flex Logix, bietet der InferX X1, wenn man von der niedrigen DRAM-Bandbreite ausgeht, den vierfachen Durchsatz pro Watt und den dreifachen Durchsatz pro Dollar als der Tesla T4 SoC von Nvidia. Dieser GPU-basierte Ansatz gilt derzeit als der „Goldstandard“ für KI-Anwendungen in High-End-Rechenzentrumsservern. Außerdem übertreffe der InferX laut Tate bestehende Edge Inference Chips wie Intels Myriad X und Nvidias Jetson Nano bei der Inferenzierung von Benchmarks wie YoloV2, YoloV3 und GoogleNet im erheblichen Maße.

Tate führte weiter aus, dass der Markt für KI in Edge-Servern durch den Mangel an Chips mit der notwendigen Leistung zu einem angemessenen Baustein-Preis eingeschränkt ist. Der Leistungsvorteil des InferX X1 Chips sei daher besonders stark auf die niedrigen Losgrößen ausgelegt, die in Edge-Anwendungen benötigt werden, in denen es typischerweise nur eine Kamera oder einen Sensor gibt.

InferX unterstützt Integer 8, 16 und bfloat 16 Numerik mit der Möglichkeit, sie über verschiedene Ebenen (Layers) hinweg zu mischen, was eine einfache Portierung von Modellen mit optimiertem Durchsatz bei maximaler Präzision ermöglicht. Darüber hinaus unterstützt InferX die Winograd-Transformation für den ganzzahligen 8-Modus für gängige Faltungsoperationen (convolution operations). Der Durchsatz für diese Funktionen, die vor allem in CNNs zum Einsatz kommen, sollen dadurch um das 2,25fache beschleunigt werden. Gleichzeitig minimiert der Chip die für diese Operationen notwendige Bandbreite, indem er On-Chip-, On-the-Fly-Konvertierung von Gewichten in den Winograd-Modus durchführt. Um einen Genauigkeitsverlust zu vermeiden, werden Winograd-Berechnungen mit 12 Bit Genauigkeit durchgeführt.

Verfügbar ab dem dritten Quartal 2019

Die nnMAX-IP-Blöcke für neuronale Inferenz befinden sich derzeit noch in der Entwicklung, sollen aber ab dem dritten Quartal 2019 für die Integration in SoCs zur Verfügung stehen. Ebenfalls im dritten Quartal soll das Tape-Out des InferX X1 erfolgen, Chip-Muster und Entwicklungsboards sollen kurz darauf ebenfalls zur Verfügung stehen. Ein konkreter Preis für die beiden Lösungen ist noch nicht bekannt. Laut Geoff Tate soll der InferX X1 aber nur „einen Bruchteil“ der Kosten eines Nvidia Tesla T4 betragen. Laut verschiedenen Marktberichten liegt dessen Preis derzeit bei ca. 3000 US-$.

Jetson Nano: Künstliche Intelligenz für die Massen

Jetson Nano: Künstliche Intelligenz für die Massen

22.03.19 - 472 GFLOPS für 99 US-Dollar: Nvidias neue CUDA-X-Computing-Plattform Jetson Nano soll die Einstiegshürden für KI-Projekte drastisch nach unten verschieben. Das Produkt spricht das Millionenheer an Makern und Technologiefans an – aber auch professionelle Embedded Designer etwa in Start-Ups. lesen

Herausforderungen für DSPs bei Bildverarbeitungs- und KI-Anwendungen

Herausforderungen für DSPs bei Bildverarbeitungs- und KI-Anwendungen

12.04.19 - Der Einsatz von Künstlicher Intelligenz verspricht gerade für Anwendungen in der Bildverarbeitung enorme Verbesserungen. Er stellt aber auch neue Ansprüche an die eingesetzte Hardware. lesen

Welche Hardware eignet sich besser zur KI-Beschleunigung?

Welche Hardware eignet sich besser zur KI-Beschleunigung?

04.06.18 - Moderne Hardwarebeschleuniger haben den praktikablen Einsatz von Künstlicher Intelligenz in IT und Industrie in greifbare Nähe gerückt. Doch welche Technologie eignet sich hierfür besser: GPUs, DSPs, programmierbare FPGAs oder eigene, dedizierte Prozessoren? ELEKTRONIKPRAXIS hat Hardwarehersteller und Embedded-Experten zu diesem Thema befragt. lesen

Kommentar zu diesem Artikel abgeben

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45867679 / KI/Machine Learning)