„AR-Brillen könnten in zehn bis 15 Jahren Smartphones ersetzen.“

| Autor / Redakteur: Soeren Steudel* / Dr. Anna-Lena Gutberlet

Imec entwickelt Eye-Tracking-Lösungen zur Verbesserung der AR- und VR-Erlebnisse.
Imec entwickelt Eye-Tracking-Lösungen zur Verbesserung der AR- und VR-Erlebnisse. (Bild: imec)

Augmented-Reality-Brillen sind für Infotainment-Anwendungen „the next big thing“. Doch sie werden nur dann von User-Seite akzeptiert, wenn sie unaufdringlich und perfekt funktionieren. Gegenwärtige Entwicklungen wollen genau das erreichen – ein Blick auf die Infotainment-Trends und -Entwicklungen der nächsten Jahre.

Es ist das Jahr 2035: Drei Entwickler, die in einem Kunstprojekt zusammenarbeiten, treffen sich in der Galerie, wo sie bald ihre neueste Kreation enthüllen wollen. Sie alle tragen modische Augmented-Reality-Brillen. Damit können sie das neueste Modell ihres Kunstobjekts der realen Galerie-Umgebung überlagern. Sie können das virtuelle Objekt sogar berühren, es beliebig manipulieren und es mit ihren Händen formen. Alle drei können außerdem – in Echtzeit – das Ergebnis ihrer Manipulationen in ihrer eigenen Perspektive evaluieren. Als sie sich schließlich über die endgültige Form und Farbe ihres Objekts einig sind, senden sie ihre Kreation an einen 3D-Drucker, um einen ersten Prototyp ihres Werks zu erstellen.

Steigerung der menschlichen Erfahrungswelt

Das oben geschilderte Szenario stützt sich auf die großen Trends, die wir beim Infotainment sehen, und wie diese zu neuen Technologien werden (Bild 1). Infotainment lässt sich beschreiben als die Art und Weise, wie wir mit der Elektronik auf einer persönlichen Ebene interagieren. Das gilt für zahlreiche Felder, wie Industrie, Gesundheitswesen, Unterhaltung, Erziehung, Kommunikation, etc.

Immersive Technologien haben Marktreife erreicht

Kostenfreie Studie zum AR/VR-Reifegrad in Deutschland

Immersive Technologien haben Marktreife erreicht

Science-Fiction, Spielerei, Live-Experimentallabor – so waren Augmented Reality (AR) und Virtual Reality (VR) noch vor wenigen Jahren verschrien. Wo die Technologien heute stehen, zeigt eine aktuelle Studie, die Sie kostenfrei beziehen können. weiter...

Heute sind die vorherrschenden Erscheinungsbilder der Infotainment-Systeme im digitalen Kino, im vernetzten TV, in Audio-Home-Systemen wie Alexa, auf PCs, in Gaming-Konsolen und Smartphones zu finden. In dieser Reihenfolge stehen sie für einen deutlich erkennbaren Trend zu immer größerer Mobilität – damit aber auch zur wachsenden Begrenzung ihres Energiebedarfs. Alle diese Konzepte haben eines gemeinsam: Sie verbinden menschliche Wesen miteinander. Und diese verfügen nur über eine begrenzte Zahl von Sinneswahrnehmungen – wie Seh- und Hörvermögen und in gewissem Maß auch Tastempfinden.

In Zukunft wird sich die Zahl der involvierten menschlichen Sinneswahrnehmungen zweifellos erhöhen. Zukünftige Infotainment-Systeme werden uns erlauben, die virtuellen Welten so wahrzunehmen, als wären sie die reale Welt. Eine unaufdringliche Elektronik wird es uns ermöglichen, intuitiv mit virtuellen Objekten zu interagieren – und dabei nach und nach alle unsere Sinne zu nutzen, einschließlich Geruchs- und Geschmackssinn, Propriozeption (der Sinn, durch den wir die Bewegung und Position unseres Körpers wahrnehmen) und Gleichgewichtssinn.

Alles das treibt die Entwicklung der nächsten Generation von Infotainment-Plattformen. Als einen ersten Schritt sehen wir bereits das Entstehen der Virtuellen Realität (VR), die uns mit rundum geschlossenen Kopfhörern in eine vollständig simulierte Welt versetzen. Noch ist die virtuelle Realität allerdings beschränkt auf Nischenaktivitäten wie Gaming.

Überlagerung virtueller Objekte

Das „next big thing“ werden AR-Brillen sein, mit denen wir unsere Wahrnehmung der realen Welt verbessern können. AR-Brillen überlagern der realen Welt kontextuelle Informationen und/oder virtuelle Objekte. Das System wird auf unauffällige Weise mit dem Menschen kommunizieren, indem es die Sinne wie Sehen, Hören, Tasten, Riechen und Schmecken nutzt. Somit schaffen die AR-Brillen enorme Einsatzmöglichkeiten auf vielen Gebieten, etwa in der Industrie (als Hilfe beim Produkt-Design), in der Kunst, in der Unterhaltung und im Gesundheitswesen (als Assistenz in der Chirurgie) und in der Art, wie wir miteinander kommunizieren und kollaborieren.

Wir können davon ausgehen, dass diese Vision in den nächsten zehn bis 15 Jahren Wirklichkeit wird. Erste AR-Brillen sind bereits im Einsatz. In den nächsten Jahren wird sich ihre Leistung Schritt für Schritt in Richtung echter AR-Produkte verbessern. Sie haben das Potenzial, zu einer neuen Plattform zu werden, die mit dem Mobiltelefon konkurrieren kann – und dieses eines Tages sogar ersetzt. Doch die User akzeptieren die neue Technologie nur, wenn alle Herausforderungen technischer Art gelöst sind, und die Produkte perfekt funktionieren. Und wenn die AR-Brillen sich von den unförmigen Datenbrillen, wie in den heutigen vorläufigen Applikationen, in leichte und stilvolle Ausführungen verwandelt haben.

Von Sensoren und Aktuatoren zu selbst lernenden Systemen

Bild 1: Die Trends beim Infotainment – aus der Sicht von imec.
Bild 1: Die Trends beim Infotainment – aus der Sicht von imec. (Bild: imec)

Um alle menschlichen Sinne anzusprechen, brauchen wir dringend Innovationen bei Low-Power-Sensoren und -Aktuatoren. Lösungen für Sinneswahrnehmungen wie Sehen und Hören zu finden, scheint relativ einfach zu sein: Ein Aktor für das Sehen ist ein Display, ein Sensor eine Kamera. Für das Hören können wir Lautsprecher und Mikrofone einsetzen. So verkleinern wir bei imec beispielsweise unsere Micro-OLED-Plattform, um Displays mit sehr hohen Auflösungen zu ermöglichen.

Wir arbeiten außerdem an Eye-Tracking-Technologien die eine verbesserte AR-Erfahrung ermöglicht (Bild 2). Und wir arbeiten an haptischen Feedback-Lösungen, um Touch und Push-Backs in 3D zu ermöglichen. Die Entwicklung von Aktuatoren für Sinnesempfindungen wie Geschmack, Geruch, Propriozeption und den Gleichgewichtssinn ist allerdings immer noch eine große Herausforderung. Eine künftige Option ist die Verwendung von gerichtetem Ultraschall, um Nerven in unserem Gehirn oder Rückenmark zu stimulieren oder, um diese Sinne über spezifische Implantate zu triggern.

Wir brauchen Innovationen sowohl bei der Hard- als auch bei der Software. Die Fähigkeit von AR-Systemen zur Darstellung von dreidimensionalen, visuell überlagerten Informationen erfordert Lösungen für die Bilderkennung und Datenextraktion mit geringem Stromverbrauch und möglichst geringer Latenz. Mit derartigen Lösungen wären die AR-Brillen beispielsweise in der Lage, schnell zu visualisieren, wo sich eine Bäckerei in der Straße befindet, in der Sie gerade gehen, und welche Brotsorten dieser Laden im Angebot hat.

Alles das erfordert Rechenleistungen und Datenraten, die weit über dem liegen, was heute machbar ist. Um ein Beispiel zu geben: Eine hochauflösende 3D-Videobildüberlagerung kann Datenraten von etwa 1 - 10 TB/s erfordern. Wir brauchen dazu außerdem die Sensor-Fusion- und Machine Learning-Tools, sowohl in den Brillen wie in der Cloud. Um die Informationsflut für den Nutzer zu minimieren, brauchen wir selbstlernende Systeme, die wissen, welche Informationen für den Nutzer relevant sind und welche nicht.

Bild 2: Imec entwickelt Eye-Tracking-Lösungen zur Verbesserung der AR- und VR-Erlebnisse.
Bild 2: Imec entwickelt Eye-Tracking-Lösungen zur Verbesserung der AR- und VR-Erlebnisse. (Bild: imec)

Und auf allen Ebenen der Technologieentwicklung wird ein drastischer Steigerung der Energieeffizienz erforderlich sein, um eine Autonomie durch lange Batterielaufzeit zu garantieren. Nicht zuletzt werden die Anwender diese neue Technologie nur dann akzeptieren, wenn die AR-Brillen leicht, modisch, unaufdringlich und komfortabel sind und wenn sie dem Auge ein natürliches Bild liefern.

Jenseits von AR-Brillen…

Blickt man weiter in die Zukunft voraus, sagen wir 15 bis 20 Jahre, werden wir uns allmählich in Richtung mobile holografische Projektion bewegen. Mit Holoprojektion wird jeder im Raum virtuelle 3D-Objekte visuell erleben können – ohne dabei eine Datenbrille zu tragen. Diese holografischen Projektoren könnten auch mit gerichteter Tonprojektion ergänzt werden, um Höreindrücke zu vermitteln, und mit haptischem Feedback für Tastempfindungen.

Und auf lange Sicht, nach 2035, könnten direkte Gehirn-Computer-Schnittstellen die nächste Welle der sensorischen Innovationen sein. Die menschlichen Sinne werden dabei direkt, durch die Stimulierung bestimmte Gehirnbereiche, angesprochen. In einer ersten Phase wäre es denkbar, nicht-invasive Technologien wie EKG oder Ultraschall-Stimulierungen einzusetzen. In einer darauf folgenden Phase könnte man sich Gehirn-Implantate vorstellen. Bestimmte Gruppen arbeiten bereits intensiv an der Realisierung dieser Vision, etwa das Unternehmen Neuralink von Elon Musk. Ohne jeden Zweifel werden die direkten Gehirn-Computer-Verbindungen unendliche Möglichkeiten und nützliche Applikationen schaffen, beispielsweise im medizinischen oder pädagogischen Bereich. Doch sei es dahingestellt, ob die Menschen eine solche Technologie in ihrem täglichen Leben begrüßen würden...

Wie trägt imec zu dieser Zukunft bei?

Imec trägt mit der Entwicklung einer breiten Palette von Technologiebausteinen aktiv zu dieser Zukunftsvision bei.

Auf der Seite der Aktuatoren entwickelt imec halb-transparente AM(O)LED-Displays, sowie haptische Feedback-Lösungen für Tastempfindungen. Auf der Sensor-Seite werden derzeit mehrere verschiedene Lösungen erarbeitet, darunter Radar, Lidar, Sonar, Bildgeber, EKG-Systeme und chemische Sensoren. im Jahr 2018 gelang imec ein Durchbruch in der Radartechnologie und entwickelte Lösungen für High-Speed Snapscan, sowie die hyperspektrale Bildverarbeitung im kurzwelligen Infrarot.

Imec arbeitet außerdem an Algorithmen und Software für Sensor-Fusion, 3D-Szenenmapping, Objekterkennung und maschinelles Lernen. 2018 meldete imec einen Durchbruch in der Eye-Tracking Technologe, die hoch qualitative AR/VR-Erlebnisse ermöglicht.

Imec und das Holst Centre haben außerdem den Prototyp eines EKG Headsets angekündigt, das Emotionen und kognitive Prozesse im Gehirn messen kann. Daneben trägt imec auch mit Aktivitäten in der breitbandigen Kommunikation, der Entwicklung neuromorphischer ICs und beim Energie-Management zum Technologie-Fortschritt bei. Informationen über Displays, Bildsensoren und Sensor-Fusion, drahtlose Kommunikation, Radarsysteme und Data Science finden Sie auf imecs Website.

Originalveröffentlichung im imec Magazine Januar 2019 unter dem Titel: “AR glasses have the potential to replace the smartphone within 10-15 years from now.”

Smart Glasses: Mit Light-Drive soll jede Brille smart werden

Smart Glasses: Mit Light-Drive soll jede Brille smart werden

12.12.19 - Das Light-Drive-System von Bosch Sensortec verwandelt eine Brille in Smart Glasses. Es wiegt weniger als zehn Gramm und funktioniert auch bei direktem Sonnenlicht. lesen

* Soeren Steudel ist ein führendes Mitglied des technischen Stabes bei imec und Leiter der Display-Forschungsaktivitäten.

Kommentar zu diesem Artikel abgeben

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 46312674 / HMI)