„Kunden können uns trauen, weil unsere KI-Hardware schon in Endgeräten ist“

| Redakteur: Sebastian Gerstl

Wichtige Anforderungen für Geräte, die am Netzwerkrand (Edge) arbeiten: Für Lattice konzentrieren sich zu viele Unternehmen bei ihren KI-Lösungen aufs Rechenzentrum. Low-End-FPGAs sollen dagegen KI-Inferenz in Endgeräten für den Massenmarkt realisieren. Dazu müssen sie anderen Anforderungne gerecht werden.
Wichtige Anforderungen für Geräte, die am Netzwerkrand (Edge) arbeiten: Für Lattice konzentrieren sich zu viele Unternehmen bei ihren KI-Lösungen aufs Rechenzentrum. Low-End-FPGAs sollen dagegen KI-Inferenz in Endgeräten für den Massenmarkt realisieren. Dazu müssen sie anderen Anforderungne gerecht werden. (Bild: Lattice Semiconductor)

Wenn KI-Algorithmen in Mobilgeräten auf den Massenmarkt eingesetzt werden sollen, steht auf diesen Anwendungen kein eigenes leistungsstarkes Rechenzentrum für KI-Algorithmen zur Verfügung. Was dann? Ein Gespräch mit Deepak Boppana von Lattice Semiconductor zum Thema KI-Hardware am Netzwerkrand.

Von Inferenz wird dann gesprochen, wenn ein trainiertes Neuronales Netzwerk auf einem Endgerät tatsächlich auch zum Einsatz kommt: Die KI muss in der Lage sein, das im Training Gelernte auch in der Praxis sinnvoll anzuwenden - oder eben auf Basis der im Training gewonnenen Erkenntnisse logische Schlussfolgerungen zielen, wenn sie mit neuen Situationen konfrontiert wird.

Künstliche Intelligenz umfasst aber nicht nur Autonomes Fahren oder ein "Computerhirn" im Rechenzentrum. Sprachassistenten oder Gesichts- und Objekterkennung sind nur einige Beispiele von Anwendungen, die sich ebenfalls auf ein neuronales Netzwerk stützen, die aber auf mobilen Geräten wie Smartphones oder Kameras zum Einsatz kommen. Auch autonome Flugdrohnen müssen in der Lage sein, selbsttätig Hindernissen auszuweichen oder Flugrouten spontan anzupassen. Dafür dürfen Sie aber weder auf eine verlässliche permanente Internetverbindung zu einem Rechenzentrum, noch auf einen äußerst stromhungrige Hochleistungs-Chip angewiesen sein.

Es ist diese Art von Anwendungen, auf die sich Low-End-FPGA-Anbieter Lattice mit seiner Plattform SensAI stützt. Deepak Boppana, Senior Director, Product und Segment Marketing bei Lattice Semiconductor, spricht im Interview über die Unterschiede, auf die es bei KI-Inferenz in Edge-Geräten ankommt - und argumentiert, warum der Ruf des Stromfressers FPGA gerade in diesem Zusammenhang unbegründet ist.

ELEKTRONIKPRAXIS: In welchen Bereichen werden Deep Learning (und KI im Allgemeinen) in der nahen Zukunft besonders wichtig werden und Anwendung finden? Und in welcher Art?

Deepak Boppana, Senior Director, Product und Segment Marketing bei Lattice Semiconductor: Der Massenmarkt hat einen ungedeckten Bedarf an flexiblen, extrem stromsparenden und kostengünstigen KI-Lösungen im Edge-Bereich - wir sprechen hier nicht über das Rechenzentrum, sondern über den Einsatz an Endgeräten für den Verbraucher. Die Art der Anwendungen, auf die sich Lattice konzentriert, sind eben jene Geräte, die am IoT-Edge liegen; die IoT-Geräte, die tatsächlich IoT-Daten erzeugen.

Wir sehen ein breites Spektrum von Anwendungen, vom mobilen Zubehör über Smart Home Products - Smart Speakers, Smart Lighting usw. - bis hin zu intelligenten Städten, intelligenten Fabriken, Robotern und Drohnen.

Ein weiterer Schwerpunkt liegt auf intelligenten Überwachungskameras. Machine Vision wird immer intelligenter. So sind viele dieser Geräte am Rande, wo man lokale Entscheidungen treffen muss und keine Zeit hat, wieder in die Cloud zu gehen.

Wir versuchen wirklich, den breiten Markt, den Massenmarkt, anzusprechen. Wir wollen es Entwicklern einfach machen, KI in ihre Designs zu integrieren. Zu diesem Zweck hat Intel kürzlich die SensAI-Plattform gestartet.

Wo setzt diese Technologie an, und in welcher Weise liefert sie die nötige Hardwarebeschleunigung?

Die Bausteine anderer Hersteller richten sich in Wirklichkeit eher auf Cloudanwendungen oder Rechenzentren. Lattice hingegen hat sich schon immer auf Edge-Geräte konzentriert – unser Fokus liegt auf Low-End-FPGAs, die wirklich für geringen Stromverbrauch, niedrige Kosten und geringe Größe optimiert sind.

Und unsere Produkte werden bereits in diesen Edge-Geräten eingesetzt - von autonomen Robotern bis hin zu Drohnen, intelligenten Lautsprechern und Überwachungskameras. Diese Bausteine sitzen bereits direkt neben den Sensoren in diesen Geräten und kümmern sich dort um Aufgaben wie Sensorüberbrückung und Datenerfassung. Dies versetzt uns eine starke Position: da wir bereits bestehende Kundenbeziehungen haben und bereits in diesen Geräten sitzen, ist die Integration von KI in diese Endgeräte für uns eine natürliche Erweiterung.

Ein Beispiel: Würde etwa die schiere Menge an Videodaten, die von diesen Edge-Geräten erzeugt wird, erst für die KI-Verarbeitung in die Cloud oder in ein Rechenzentrum geschickt werden, dann würde die verfügbare Bandbreite des Netzwerks enorm beanspruchen. Wichtig ist daher, dass zunächst bestimmte logische Analysen im Gerät durchgeführt werden und nur Daten an die Cloud oder das Rechenzentrum gesendet werden, die einer weiteren Verarbeitung bedürfen.

sensAI adressiert den ungedeckten Bedarf an flexiblen, kostengünstigen und extrem energieeffizienten KI-Siliziumlösungen, die sich für den schnellen Einsatz in einer Vielzahl von aufkommenden IoT-Anwendungen im Massenmarkt eignen. Wir bieten einen vollständigen Technologie-Stack für maschinelles Lernen, der flexible, extrem energieeffiziente FPGA-Hardware- und Softwarelösungen kombiniert und so die Integration von Sensordatenverarbeitung und -analyse in Netzwerkrand-(Edge-)Geräten beschleunigt.

Die Plattform setzt hardwaretechnisch auf Low-End-FPGAs wie iCE40-UltraPlus oder ECP5. Welche Vorteile bietet eine solche Hardwarelösung gegenüber GPU- oder DSP-basierten Ansätzen?

Letztendlich läuft es auf eine Kombination aus Flexibilität und Programmierbarkeit hinaus. Die Stärken unserer FPGAs liegen hier insbesondere in vier Bereichen: Energieeffizienz, Chipgröße, Quantisierung (engl. ‚Quantization‘) und – in Kombination daraus – Kosten.

Unsere KI-Lösungen verbrauchen im Bereich von 1mW bis 1W - das ist im Vergleich zu anderen programmierbaren Lösungen wirklich wenig Strom. Wenn wir von kleinen Abmessungen sprechen, sprechen wir von Gehäusegrößen von 5 ½ mm² bis ca. 100 mm², die für Anwendungen auf engstem Raum benötigt werden.

Auch beim maschinellen Lernen gibt es die Frage der Quantisierung, insbesondere die Größe der Bitrate, mit der Ihr KI-Modell läuft. Je mehr Bits Sie haben - wie z.B. 16 Bits - desto besser ist die Genauigkeit Ihrer endgültigen Lösung. Aber Sie werden auch mehr Macht bekommen. In Anwendungen, in denen Sie nicht wirklich eine hohe Genauigkeit benötigen, können Sie eine geringere Quantisierung verwenden - wie z.B. 8-Bit oder bis hinunter zu 1-Bit, was dem Kunden viel mehr Flexibilität in Bezug auf seine Designspezifikation ermöglicht. GPUs und CPUs beispielsweise bieten in der Regel nur 16 Bit, unabhängig davon, ob Sie so viel Genauigkeit benötigen oder nicht - was in der Regel viel mehr Strom verbraucht. So ist unsere Lösung für Kunden, die eine KI auf ihrem Edge-Gerät wünschen, besser geeignet.

Die DSP-Lösungen sind in der Regel IP-Cores, die Sie zu einem SoC oder einem ASIC kombinieren. Diese Designs sind in der Regel teuer. Wenn ein Kunde Flexibilität und Anpassungsfähigkeit wünscht, können Sie mit FPGAs Ihre Lösungen weiterentwickeln, ohne auf eine kundenspezifische Lösung wie einen ASIC zurückgreifen zu müssen.

Es ist nicht einfach, eine handelsübliche Chip-Lösung einzubauen, die sich nahtlos in ein bestehendes Design integrieren lässt. FPGAs können die Technologie besser in diese bestehenden Designs integrieren. Was wir also anbieten können, sind die Vorteile eines ASICs, kombiniert mit der Flexibilität eines FPGAs. Menschen können ihre Mikrocontroller- oder Mikroprozessor-basierte Lösung beibehalten und durch Hinzufügen eines Lattice SensAI FPGAs einfach eine KI-Ebene integrieren.

Derzeit gibt es auch einige Start-Ups, die von sich behaupten, eine Menge KI-Expertise zu haben, und entsprechende Hardware anbieten.: Ein wichtiges Merkmal, dass diese nicht besitzen, ist eine belegte Erfolgs- und Erfahrungsgeschichte – speziell, wenn es um die Lieferung funktionierender Lösungen an Kunden geht. Das ist etwas, bei dem sich Lattice bereits bewährt hat: Unsere Bausteine sitzen bereits in den Edge-Geräten.

Welche Hardware eignet sich besser zur KI-Beschleunigung?

Welche Hardware eignet sich besser zur KI-Beschleunigung?

04.06.18 - Moderne Hardwarebeschleuniger haben den praktikablen Einsatz von Künstlicher Intelligenz in IT und Industrie in greifbare Nähe gerückt. Doch welche Technologie eignet sich hierfür besser: GPUs, DSPs, programmierbare FPGAs oder eigene, dedizierte Prozessoren? ELEKTRONIKPRAXIS hat Hardwarehersteller und Embedded-Experten zu diesem Thema befragt. lesen

„Um KI-Herausforderungen zu meistern reicht das Hinzufügen eines Bausteins nicht aus“

„Um KI-Herausforderungen zu meistern reicht das Hinzufügen eines Bausteins nicht aus“

05.06.18 - Lange war NVIDIA „nur“ in Hersteller von Grafikkarten, nun ist das Unternehmen einer der zehn weltgrößten Halbleiterhersteller. Grund ist unter anderem die hohe Nachfrage nach GPUs für Training und Anwendung künstlicher Intelligenz. Worauf kommt es hier an, und wo liegt die Zukunft für KI-Anwendungen? Ein Interview mit Axel Köhler, NVIDIA Deep Learning Solution Architect. lesen

Bildverarbeitung- und KI-Leistung auf DSPs hochskalieren

Bildverarbeitung- und KI-Leistung auf DSPs hochskalieren

06.06.18 - Mobile Anwendungen, Virtual- und Augmented-Realtiy-Headsets, intelligente Überwachungskameras, selbstfahrende Fahrzeuge: Der Bedarf an Anwendungen, die On-The-Fly KI und hochauflösendes Bildmaterial verarbeiten, steigt massiv an. Welche Anforderungen gilt es hier zu erfüllen? lesen

3. FPGA-Kongress: Bereit für die programmierbare Systemwelt

3. FPGA-Kongress: Bereit für die programmierbare Systemwelt

08.05.18 - Aktuelle Embedded-Trends, tiefgreifende Praxis-Trainings und neue Entwicklungen auf dem FPGA- und SoC-Markt: Vom 12. bis 14. Juni findet in München der FPGA-Kongress statt. lesen

Kommentar zu diesem Artikel abgeben

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 45330372 / FPGA)