Graph Streaming Processors: Haben CPUs, GPUs, FPGAs und ASICs bald ausgedient?

| Autor: Michael Eckstein

Der „Graph Streaming Processor“ kommt mit kleinen Pufferspeichern aus, da Daten sofort bei Verfügbarkeit weiterverarbeitet werden – sagt Blaize.
Der „Graph Streaming Processor“ kommt mit kleinen Pufferspeichern aus, da Daten sofort bei Verfügbarkeit weiterverarbeitet werden – sagt Blaize. (Bild: Blaize)

Bis zu 100 Mal effizientere KI-Systeme, kurze Latenzzeiten und geringen Stromverbrauch verspricht Newcomer Blaize. Grundlage dafür ist ein neuartiger Graph-Streaming-Prozessor samt darauf abgestimmter Software. Tatsächlich lässt der Ansatz aufhorchen.

KI-Anwendungsentwickler können sich freuen: Demnächst können sie ihre Applikationen deutlich schneller erstellen, für unterschiedliche Einsatzzwecke optimieren und mit automatisierten Datenstreaming-Methoden schnell und stromsparend ausführen. Das zumindest verspricht Blaize, ein Startup aus dem kalifornischen El Dorado Hills und Erfinder der „Graph Streaming Processor“-Architektur, kurz GSP. Mit dem Ort El Dorado assoziieren viele Menschen Westernfilme, Revolverhelden – und möglicherweise auch Schnellschüsse. Doch außer einem heißen Ritt durch Marketingphrasen steckt hinter Blaize offenbar mehr – darauf lässt nicht zuletzt die Liste namhafter Finanziers und zahlreicher Pilotprojekte in wichtigen Wachstumsmärkten schließen (siehe unten).

Blaize geht auf das Startup ThinCI, gesprochen „Think-Eye“, zurück. Dieses hatten unter anderem ehemalige Intel-Mitarbeiter 2012 gegründet. „Wir haben Blaize mit der Vision gestartet, zukünftige KI-Processing-Workloads besser berechnen zu können“, sagt Dinakar Munagala, Mitbegründer und CEO von Blaize. „Dafür haben wir die Software- und Prozessorarchitektur grundlegend neu gedacht“. Potenzielle Kunden aus vielen Märkten würde nach neuen Computerlösungen suchen, die „die Grenzen von Leistung, Komplexität und Kosten von Legacy Computing überwinden“ – besonders im Hinblick auf die Entwicklung KI-gestützter Produkte. Die nach Angaben des Unternehmens „erste echte native Silizium-Hardware-Architektur für Graphen-bezogene Berechnungen“ soll im Zusammenspiel mit der dedizierten Software-Plattform „Blaize Picasso“ Neuronale Netzwerke (NN) beschleunigen und KI-Anwendungen mit bislang unerreichter Effizienz ausführen.

Graph-Streaming-Prozessoren: Alte Idee, neu gedacht

Die Idee hinter GSP: Alle Programme lassen sich als Graphen darstellen, also als eine meist verzweigte Abfolge von Knoten und Beziehungen. Diese Erkenntnis ist zunächst nichts Neues: Schon Von Neumann, der Vater der heute geläufigsten Prozessorarchitekturen, beschrieb sie vor 70 Jahren. Doch Blaize nimmt für sich in Anspruch, die erste voll programmierbare Prozessorarchitektur entwickelt zu haben, die von Grund auf und konsequent durchgängig für die Abarbeitung von Graphen ausgelegt ist.

„Die Blaize GSP-Architektur und unsere Picasso-Software-Entwicklungsplattform kombinieren dynamische Datenflussmethoden und Graphen-basierte Computing-Modelle mit vollständig programmierbaren, proprietären SOCs“, sagt Rajesh Anantharaman, Product Manager von Blaize im Gespräch mit ELEKTRONIKPRAXIS. Dies komme der Beschleunigung von NN zugute: „Alle Neuronalen Netzwerke sind Graphen. Die Optimierungen für die Workloads lassen sich daher während der gesamten Laufzeit nutzen.“ Da sich auch andere (Teil-)Programme als Graphen beschreiben lassen, sei es möglich, die jeweilige Gesamtanwendung von Ende zu Ende zu beschleunigen. So sei eine bis zu 100-mal schnellere Abarbeitung erreichbar.

Enges Zusammenspiel von Hardware und Software

Nach eigenen Angaben hat Blaize die nächste, vierte Stufe der Parallelisierung realisiert: Nach der Parallelisierung auf Instruktionsebene (CPUs und MCUs), auf Datenebene (DSPs, Vektorsysteme) und Threads (GPUs, Multi-Thread-Prozessoren) sei die nächstfeinere Granularisierung nun die Parallelisierung auf Aufgabenebene (Tasks). Die nötigen Funktionen seien in die Hardware der GSPs integriert.

Die Picasso-Software-Plattform liegt als Abstraktionsschicht darüber und übernimmt die Programmierung. Sie stellt ein KI-Toolkit, ein Graphen-Framework und ein vollständiges Entwicklungskit bereit. ML-Frameworks und C/C++-Applikationen lassen sich über passende Schnittstellen einbinden. Spezielle, weit über bisherige Mikroarchitekturen hinausgehende Kenntnisse oder Low-Level-Programmierung seien nicht nötig, um die Funktionen der Prozessoren nutzen zu können. Leistungsfähige Machine-Learning-/KI-Applikationen würden sich so für einen wesentlich größeren Nutzerkreis erschließen, ist Anantharaman überzeugt.

Eine Architektur für KI-Anwendungen vom Edge bis zum Core

Nach Angaben von Blaize ist die Architektur des eigenen Graph Streaming Processors (GSP) als erste in der Lage, unterschiedlich rechenintensive Workloads gleichzeitig auf einem System zu berechnen – etwa mehrere NN. Die vollständig programmierbare Lösung soll ein hohes Maß an Flexibilität für moderne KI-Modelle, Workflows und Anwendungen bereitstellen. Ein geringer Stromverbrauch würde zudem auch KI-Anwendungen im Netzwerkzugangsbereich, dem Edge, beflügeln. Insgesamt sei es so möglich, mit ein und derselben Architektur Anwendungen von intelligenten Sensoren über PoE-Switches, On-Premise-PCs, Servern, Netzwerkroutern, bis hin zu Core-Rechnern in Datenzentren und zurück bis hin zu smarten Aktuatoren zu realisieren. Dadurch sei es möglich, mit einer Plattform zielgerichtet ganz unterschiedliche Anforderungen in Punkto Latenzzeiten zu adressieren.

Bisherige technische und ökonomische Hürden, die einer raschen Verbreitung von KI-Applikationen im Weg stehen, könnten mithilfe von GSP-gestützten Systemen überwunden werden, versprechen die Blaize-Verantwortlichen. So soll die optimierte Architektur eine 10- bis 100-fache Verbesserung der Systemeffizienz, kürzere Latenzzeiten bei gleichzeitig geringerem Stromverbrauch ermöglichen. Darüber würden die Prozessoren sehr kompakt ausfallen. Durch bessere Wafer-Flächennutzung ließe sich zusätzlich Geld sparen.

KI-Wachstumsmärkte Automotive, Smart Vision und Enterprise Computing im Visier

Für seine Startphase fokussiert sich Blaize erst einmal auf die KI-Wachstumsmärkte Automotive, Smart Vision und Enterprise Computing. Marktbeobachter sind sich weitgehend einig, dass sich KI-Funktionalität hier zu einem unverzichtbaren Asset entwickelt. Mit seiner nach eigenen Worten „bahnbrechenden Computerarchitektur“ adressiert das junge Unternehmen Blaize die vielfältigen und oft komplexen, umfangreichen Workloads in eben diesen KI-Anwendungen. „Wir wollen stromhungrige und aufwendig zu entwickelnde GPU- und FPGA-basierte Lösungen ersetzen“, sagt Anantharaman.

Dass die Ankündigung kein bloßes Dampfgeplauder ist, davon zeugen seit 2018 laufende Pilotprojekte bei Unternehmen aus Branchen wie der Automobilindustrie, Bildverarbeitung oder auch Enterprise Computing. Man arbeite mit mehr als 100 aktiven Kunden zusammen, sagt Anantharaman: „Derzeit laufen 15 Pilotprojekte und 30 Evaluationen. Wir gehen davon aus, dass wir bis 2020 mehrere Design-Wins für die Serienfertigung haben werden.“

Namhafte Finanziers und viele Pilotprojekte

Zudem gehören industrielle Schwergewichte wie Daimler, Magna, Denso, Tematek oder auch Samsung zu den Finanziers der 2012 gegründeten Startups. Schuyler Cullen, Vice President AI & Robotics des Samsung Strategy and Innovation Centers, sieht das Geld gut angelegt: „Ich beobachte Blaize seit einigen Jahren und habe schon früh erkannt, dass ihre Graphen-basierte Architektur besonders gut für eine Vielzahl von KI- und Robotik-Applikationen geeignet ist.“

Blaize sieht sich für rasches Wachstum gut gerüstet. „Wir haben frühzeitig mit dem Aufbau eines weltweiten Teams und der nötigen Infrastrukturen begonnen“, erklärt Richard Terrill, Vice President Strategic Business Development von Blaize. Aktuell zähle die Belegschaft rund 325 Mitarbeiter, „und wir wachsen schnell“. Derzeit arbeitet Blaize mit Automobil-OEMs und Tier-1-Lieferanten daran, 2020 wie in seiner Fünf-Jahres-Roadmap geplant in die Serienfertigung einzusteigen.

Mehr zu der Funktionsweise der Graphen-Prozessoren können Sie in einem ausführlichen Hintergrundbericht in Kürze hier auf ELEKTRONIKPRAXIS lesen.

GrAI One Chip: KI-Prozessor made in Paris adressiert zeitkritische ultralow-power Edge-Anwendungen

GrAI One Chip: KI-Prozessor made in Paris adressiert zeitkritische ultralow-power Edge-Anwendungen

08.11.19 - Das Pariser Startup für neuromorphes Computing GrAI Matter Labs (GML) hat einen KI-Prozessor für intelligentes Edge-Computing vorgestellt, der sich durch eine Latenzzeit im Mikrosekunden-Bereich und sehr geringe Stromaufnahme auszeichnen soll. Das Sampling soll noch in diesem Quartal beginnen. lesen

„Der dedizierte KI-Prozessor ist tot!“: Erweiterbare KI-Architektur für das Smart Edge

„Der dedizierte KI-Prozessor ist tot!“: Erweiterbare KI-Architektur für das Smart Edge

22.10.19 - Seine neue KI-Prozessorarchitektur NeuPro-S hat Ceva für Inferenzaufgaben wie Imaging und Vision am Edge optimiert. Der Clou: Über die integrierte „CDNN-Invite“-Programmierschnittstelle können Entwickler ihre eigenen anwendungsspezifischen Neuronalen Netzwerke einbinden. lesen

Was ist Edge Computing?

Was ist Edge Computing?

28.10.19 - Beim Edge Computing handelt es sich um die dezentrale Datenverarbeitung, die am Rand des Netzwerkes stattfindet. Dementsprechend werden die Daten beim Edge Computing direkt an der Netzwerkperipherie, also dort, wo sie auch generiert werden, verarbeitet. lesen

Kommentar zu diesem Artikel abgeben

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 46228621 / KI/Machine Learning)