Suchen

Halbleitertrend 5: Rasanter Aufstieg der Edge-KI-Chip-Industrie

Autor / Redakteur: Sri Samavedam* / Michael Eckstein

Wenn Anwendungen schnelle Entscheidungen erfordern, müssen diese direkt am Edge getroffen werden, nicht im Hinterzimmer der Cloud. Mit welchen Techniken sich die Verschiebung von KI von der Cloud zum Edge beschleunigen lässt, untersucht Teil 5 unserer Serie zu Halbleiter-Technologietrends.

Firma zum Thema

In einer zunehmend vernetzten Welt müssen immer mehr Entscheidungen in der Nähe der Endpunkte getroffen werden – das erfordert mehr KI am Edge.
In einer zunehmend vernetzten Welt müssen immer mehr Entscheidungen in der Nähe der Endpunkte getroffen werden – das erfordert mehr KI am Edge.
(Bild: stock.adobe.com)

Mit einem erwarteten Wachstum von über 100% in den nächsten fünf Jahren ist der Markt für Edge-KI-Produkte einer der größten Trends in der Chipindustrie. Das Edge beschreibt einen Bereich, an dem analog erfasste Signale in digitale Daten gewandelt, vorverarbeitet und aggregiert werden – also vom Sensor bis zum Übergabepunkt (Edge-Gateway) in Richtung Cloud. Die genaue Ausprägung der Edge unterscheidet sich je nach Anwendungsfall stark.

Im Gegensatz zur Cloud-basierten KI sind dabei Inferenzfunktionen – also das Berechnen von Schlussfolgerungen mithilfe bereits trainierter Neuronaler Netzwerke (NN) auf Basis vor Ort generierter Daten – lokal in die Endpunkte des Internet der Dinge (Internet of Things, IoT) eingebettet. Sie überwachen beispielsweise den Zustand von Maschinen oder die Umgebung vor einem fahrenden Fahrzeug. Eher auf Konsumenten zielen Applikationen wie Smartphones und intelligente Lautsprecher.

Edge-KI verbessert Datenschutz und Informationssicherheit

Die IoT-Geräte kommunizieren meist drahtlos mit einem Edge-Server in der Nähe. Dieser Server entscheidet, welche Daten direkt verarbeitet werden und welche an den Cloud-Server gesendet werden. Letzteres sind in der Regel Daten, die für weniger zeitkritische, aber möglicherweise energieintensivere Aufgaben wie das Trainieren von NN benötigt werden.

Im Vergleich zur Cloud-basierten KI lassen sich Anforderungen an den Datenschutz und die Informationssicherheit viel leichter erfüllen, wenn sensitive Informationen das Edge nicht verlassen, sie also nicht erst in die Cloud fließen und von dort schließlich eine Entscheidung zurückgesendet wird. Ganz nebenbei kann Edge-KI die Arbeitslast von Cloud-Servern erheblich reduzieren.

Schlussfolgern ohne Umweg für kürzere Latenzen

Inferenzberechnungen am Edge ermöglichen zudem sehr geringe Latenzen, da der Umweg über die Cloud ausbleibt. Systeme können also sehr schnell auf veränderte Umgebungsbedingungen reagieren. Stellen Sie sich ein autonomes Auto vor, das Entscheidungen auf der Grundlage von KI treffen soll. Es kann nicht darauf warten, bis auf Basis von übermittelten Daten berechnete Entscheidungen aus der Cloud eintreffen.

Da am Edge meist nur ein kleines Energiebudget verfügbar ist – beispielsweise bei batteriebetrieben IoT-Endpunkten – müssen die Inferenzberechnungen sehr energieeffizient erfolgen. Ähnliches gilt auch für Edge-Gateways.

10.000 statt 10 TOPS/W: Energieeffizienz muss besser werden

Heute kommerziell erhältliche Edge-AI-Chips, die etwa in Edge-Servern eingesetzt werden, erreichen Effizienzwerte in der Größenordnung von 1 bis 100 Tera Operationen pro Sekunde pro Watt (TOPS/W). Oft kommen dafür schnelle GPUs (Graphic Processing Units) oder ASICs (Application Specific Integrated Circuits) zum Einsatz.

Doch für wirklich effiziente IoT-KI-Implementierungen werden wesentlich höhere Effizienzwerte benötigt. Das Ziel von Imec ist es, für Schlussfolgerungen Werte in der Größenordnung von 10.000 Tops/W zu erreichen.

Versuche mit analogen Compute-in-Memory-Architekturen

Die Imec-Forscher und -Entwickler verfolgen dafür auch alternative Ansätze wie analoge Compute-in-Memory-Architekturen anstelle klassischer Von-Neumann-Rechnerarchitekturen. Dieser Ansatz bricht mit dem traditionellen Computing-Paradigma, bei dem zentrale Recheneinheiten (CPUs) oder GPUs die zu berechnenden digitalen Daten zunächst aus dem Speicher laden müssen.

Edge-KI: (Echt-)Zeitkritische Applikationen können nicht auf KI-Schlussfolgerungen aus der Cloud warten. Daher erfolgen immer mehr Inferenzberechnungen auf dem Edge-Server (Gateway) oder direkt am Sensor.
Edge-KI: (Echt-)Zeitkritische Applikationen können nicht auf KI-Schlussfolgerungen aus der Cloud warten. Daher erfolgen immer mehr Inferenzberechnungen auf dem Edge-Server (Gateway) oder direkt am Sensor.
(Bild: Imec)

Beim analogen Compute-in-Memory erfolgt die Berechnung direkt innerhalb eines Speicher-Frameworks. Das Hin- und Herbewegen von Daten entfällt größtenteils, was sich deutlich auf die Stromaufnahme der Schaltung auswirkt.

Das Imec hat bereits eine SRAM-basierte „Analog in Memory Computing“-(AiMC-)Architektur realisiert, die den besonders stromsparenden 22FDX-CMOS-Prozess der Dresdner Globalfoundries-Fab nutzt. Der darauf basierende „Analog Inference Accelerator“ (AnIA) schafft derzeit 2900 TOPS/W. Durch den Einsatz anderer nichtflüchtiger Speicher wie SOT-MRAM, FeFET und IGZO-basierten Speichern will das Imec 10.000 TOPS/W erreichen. Damit ließen sich auch sehr umfangreiche NN direkt am Edge berechnen.

Event-Tipp: Edge AI, Embedded KI und Industrial Edge conference

Edge AI bezeichnet eine Technologie, bei der die Datenintelligenz von der Cloud zurück an die Edge gebracht wird, also in das Embedded System oder Gateway. Fortgeschrittene KI und Analytics zählen zu den 5 Megatrends bis 2029. Die virtuelle i-edge conference vom 17. bis 18. November im Internet ist Deutschlands einzigartige Entwicklerkonferenz und Networking-Plattform, die sich fachlich tiefgreifend und herstellerunabhängig mit den Themen Edge AI, Embedded KI und Industrial Edge befasst. Sichern Sie sich jetzt den Wissensvorsprung für eine neue Ära und melden Sie sich zur ersten i-edge conference an.

Zum Programm der i-edge

* Sri Samavedam ist Senior Vice President of CMOS-Technologies am Imec

(ID:46950392)