„Der dedizierte KI-Prozessor ist tot!“: Erweiterbare KI-Architektur für das Smart Edge

Redakteur: Michael Eckstein

Seine neue KI-Prozessorarchitektur NeuPro-S hat Ceva für Inferenzaufgaben wie Imaging und Vision am Edge optimiert. Der Clou: Über die integrierte „CDNN-Invite“-Programmierschnittstelle können Entwickler ihre eigenen anwendungsspezifischen Neuronalen Netzwerke einbinden.

Anbieter zum Thema

ERweiterbar: Die NeuPro-S KI-Prozessorarchitektur soll unterschiedlichste Vision- und Imaging-Anwendungen unterstützen können.
ERweiterbar: Die NeuPro-S KI-Prozessorarchitektur soll unterschiedlichste Vision- und Imaging-Anwendungen unterstützen können.
(Bild: gemeinfrei / Pixabay )

„Der dedizierte KI-Prozessor ist tot!“, provoziert Richard Kingston, Vice President of Market Intelligence, Investor and Public Relations des Wireless-Connectivity- und Smart-Sensing-Anbieters Ceva. Um gleich nachzuschieben: „KI-Berechnungen werden Teil der Workload jedes Smart Devices – genau wie Software.“ Tatsächlich scheint sich nach dem letzten, rund zweijährigen KI-Hype die Idee der Entscheidungsfindung per maschineller Intelligenz jetzt ernsthaft in Produkten zu manifestieren, die auf breiter Front beispielsweise am Edge zum Einsatz kommen. Nach Berechnungen unterschiedlicher Marktbeobachter und Ceva-internen Einschätzungen werden beispielsweise bis 2022 über 1,5 Mrd. Kameras für Computer-Vision-Anwendungen ausgeliefert – ein großer Teil davon mit KI-Funktionen.

Als eigene Antwort auf diesen Bedarf hat Ceva nun NeuPro-S vorgestellt, eine nach eigenen Worten stromsparende KI-Prozessorarchitektur für Inferenz-, Bildgebungs- und Computer-Visions-Workloads auf Endgeräten. Deren Besonderheit: NeuPro-S arbeitet zwar mit einem eigenständigen KI-Prozessor, unterstützt aber auch heterogenes Co-Processing mit kundenspezifischen KI-Engines. Dafür hat Ceva die Programmierschnittstelle (API) „CDNN-Invite“ implementiert. Anwender können darüber ihre eigenen Neural-Network-(NN-)Module „nahtlos in das Ceva Deep Neural Network Framework einbinden“, sagt Ilan Yona, Vice President und General Manager der Vision Business Unit von Ceva.

Bildergalerie
Bildergalerie mit 5 Bildern

Präzision oder Schnelligkeit: Der KI-Prozessor entscheidet in Echtzeit

Das CDNN optimiere Netzwerke und Schichten übergreifend mit Blick auf die eingesetzten digitalen Signalprozessoren (DSP), NeuPro-S-Cores und die kundenspezifischen NN-Prozessoren. Nutzer hätten dadurch die Möglichkeit, spezifische Anwendungsanforderungen abzudecken und sich von ihren Wettbewerbern zu differenzieren. Zudem sei es so mögich, NeuPro-S für ein breites Spektrum von Applikationen anzupassen, zum Beispiel IoT, Smartphones, Überwachung, Automotive, Robotik, Medizin und Industrie.

Der KI-Prozessor von Ceva setzt sich aus der NeuPro-S-Engine und dem Vision-DSP Ceva-XM6 zusammen. XM6 ist ein voll programmierbarer Vektor-DSP für ergänzende NN-Funktionen. Er unterstützt das parallele Verarbeiten von Computer-Vision- und Imaging-Daten sowie Workloads, die aus den kundenspezifischen Erweiterungen resultieren. Der KI-Prozessor kann gemischt mit 8- oder 16-Bit-Genauigkeit rechnen. Dies soll Echtzeitentscheidungen zwischen Präzision und Rechenleistung ermöglichen. Mehrstufige Speichersubsysteme unterstützen zudem eine Skalierung über mehrere Prozessorkerne. Spezielle Hardware-DMA-Controller würden mit minimalem System-Overhead arbeiten und die Parallelverarbeitugn der Daten beschleunigen.

Drei Modelle, skalierbar bis 100 TOPS

Derzeit umfasst die NeuPro-S-Familie die Modelle NPS1000, NPS2000 und NPS4000 – vorkonfigurierte Prozessoren mit 1024, 2048 und 4096 8x8-Bit-MAC-Einheiten. Der NPS4000 erreicht pro Kern eine CNN-Leistung von bis zu 12,5 Tera Operations Per Second (TOPS) bei einem Takt von 1,5 GHz. In Multi-Core-Designs ist der Prozessor laut Ceva auf bis zu 100 TOPS skalierbar.

Mit seiner neuen Architektur zielt Ceva primär auf Bildverarbeitungsanwendungen, die Künstliche Intelligenz (KI) für Inferenzberechnungen am Edge nutzen – beispielsweise Assistenzsysteme in Autos, Smartphones, Überwachung, Fotografie und vermehrt eingesetzte Applikationen wie Headsets für Augmented Reality/Virtual Reality, Robotik und weitere industrielle Anwendungen. Ceva hat NeuPro-S Edge-Geräte optimiert, die Objekte in Videos und Bildern segmentieren, erkennen und klassifizieren. Nach eigenen Angaben unterstützt die NeuPro-S-Architektur mehrstufige Speichersubsysteme, die helfen sollen, unnötige Datentransfers mit extern angebundenem SRAM zu vermeiden und so Berechnungen zu beschleunigen.

Gewichtete Kompression und heterogene Skalierbarkeit

Für NeuPro-S nutzt der Hersteller nach eigenen Angaben seine Erfahrung mit mehrschichtigen neuronalen Netzwerken (Deep Neural Networks, DNN), die es beispielsweise mit Computer-Vision-Anwendungen gemacht hat und die etwa in Consumer-, Überwachungs- und ADAS-Produkten zum Einsatz kommen. Wichtige Komponenten der Lösung sind gewichtete Kompressionsverfahren und eine „heterogene Skalierbarkeit“. Darunter versteht Ceva die Möglichkeit, verschiedene Kombinationen von XM6 Vision-DSPs, NeuPro-S-Cores und kundenspezifischen KI-Engines in einer einheitlichen Architektur zu ermöglichen. Laut Hersteller erreicht NeuPro-S damit im Durchschnitt 50 % mehr Rechenleistung bei gleichzeitig 40 % geringerer Speicherbusauslastung und 30 % geringerem Stromverbrauch als der Ceva-KI-Prozessor der ersten Generation.

Yona ist überzeugt, durch die CDNN-Invite-API die Hürden für den Einsatz neuronaler Netzwerke gesenkt zu haben: „Anwender profitieren von der breiten Unterstützung und Benutzerfreundlichkeit unserer CDNN-Compiler-Technologie.“

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung.

Aufklappen für Details zu Ihrer Einwilligung

(ID:46195462)