AR-Entwicklung

Optimierung von Augmented-Reality-Lösungen mit SoCs

Seite: 3/3

Firma zum Thema

Bildbearbeitung und Sensor Fusion

Bei der Implementierung der Bildbearbeitungs-Pipeline und der Algorithmen zur Sensor-Fusion kann man die High-Level Synthese-Tools Vivado HLS und SDSoC einsetzen. Sie bieten einen breiten Bereich von Spezialbibliotheken einschließlich OpenCV-Unterstützung. Um die Zeit zur Marktreife des geplanten AR-Systems zu verkürzen, sind außerdem IP-Produkte einer Reihe von Drittanbietern verfügbar, die für AR- und Embedded Vision Systeme entwickelt wurden – und zwar speziell für die Technologie von Xilinx.

Bildergalerie

Unter den Anbietern dieser IP-Blöcke ist auch Xylon mit den LogiBRICKS IP-Kernen, die sich schnell in die Vivado Design-Umgebung integrieren lassen und eine Drag-and-Drop Funktion zum schnellen Setup umfassen. Ein weiterer Anbieter ist Omnitek mit einer Reihe von IP-Blöcken, die auf die Schlüsselaspekte von AR zielen, wie Real-Time Warp und 3D-Verarbeitung. Die AR-Entwickler müssen auch die besonders anspruchsvollen Aspekte von AR-Systemen beachten. Das heißt, sie müssen die Schnittstellen für Kameras und Sensoren bereitstellen, die der Anwenderumgebung entsprechen, und die von der jeweiligen Applikation und dem Einsatzfall geforderten Algorithmen ausführen.

Die AR-Systeme müssen aber auch in der Lage sein, die Augenbewegungen des Nutzers zu verfolgen, um dessen Blickrichtung zu erkennen. Dies wird im Allgemeinen von zusätzlichen Kameras übernommen, die auf das Gesicht des Nutzers gerichtet sind und einen Eye-Tracking Algorithmus ausführen. Wenn man diesen Algorithmus implementiert, kann das AR-System die Blickrichtung des Nutzers erfassen und an das AR-Display liefern. Auf diese Weise werden die Anforderungen an die Bandbreite und Verarbeitung effizient umgesetzt.

Allerdings können die Detektion und das Tracking selbst sehr rechenintensiv sein. Die meisten AR-Systeme sind portabel ausgelegt und nicht durch Kabel behindert, in vielen Fällen bereits als Wearables, etwa im Fall der Datenbrillen. Das bringt jedoch eine spezielle Herausforderung, nämlich die Implementierung der Bildverarbeitung in einem möglichst sparsamen System. Beide der genannten Xilinx-Bausteinfamilien, Zynq SoC und Zynq UltraScale+ MPSoC, bieten dazu die beste Performance pro Watt, und sie reduzieren die Leistungsaufnahme im Betrieb weiter durch die Implementierung in mehreren skalierbaren Optionen.

So können die Prozessoren in den sparsamen Standby-Modus versetzt werden und von einer oder mehreren Signalquellen aufgeweckt werden. Oder die programmierbare Logik des Bausteins wird abgeschaltet. Beide Optionen sind möglich, wenn das AR-System detektiert, dass es im Moment nicht gebraucht wird. Das verlängert die Laufzeit der Batterie. Im Betrieb des AR-Systems können auch die Teile des Prozessors, die momentan nicht gebraucht werden, vom Takt getrennt werden, um die Leistungsaufnahme zu reduzieren.

In der programmierbaren Logik kann man mit einfachen Designregeln, etwa durch effizienten Einsatz von Hard-Macros, sorgfältiger Auslegung der Steuersignale und der Möglichkeit des intelligenten Clock Gating für Bausteinbereiche, die momentan nicht gebraucht werden, eine äußerst effiziente Power-Lösung erzielen. Manche AR-Applikationen, etwa die Erfassung und Übermittlung von vertraulichen Patienten-Informationen, oder die Verteilung von industriellen Fertigungsdaten, verlangen eine hohe Sicherheitsstufe, sowohl im Hinblick auf die Bereiche Information Assurance (IA) und Threat Protection (TP). Dies ist besonders wichtig, weil die AR-Systeme sehr mobile Geräte sind, und leicht verloren gehen oder verlegt werden können.

Die Informationssicherheit (IA) erfordert, dass die im System gespeicherte Information vertrauenswürdig ist. Entsprechendes gilt für die vom System empfangene und weitergeleitete Information. Für den umfassenden Einsatz im Artificial Intelligence Bereich ist die Nutzung der sicheren Boot-Fähigkeiten des Zynq erforderlich, was die Verschlüsselung und Verifizierung per AES Decryption, sowie die HMAC- und RSA-Verifizierung ermöglicht. Sobald der eingesetzte Baustein korrekt konfiguriert ist und läuft, kann der Entwickler die ARM Trust Zone und Hypervisoren einsetzen, um das Prinzip der Orthogonal World mit gegenseitigem Ausschluss des Zugriffs zu implementieren.

Bei der Abwehr von Bedrohungen kann man den in das System eingebauten XADC nutzen, und die Versorgungsspannungen und -ströme, sowie die Temperaturen überwachen, um alle Versuche einer Manipulation des AR-Systems zu detektieren. Sollten derartige Ereignisse eintreten, hat der Zynq-Baustein mehrere Optionen zur Abwehr, vom Loggen des Versuchs bis zum Löschen von sicheren Daten und der Unterbrechung der Konnektivität zur Support-Infratruktur.

AR-Systeme werden in vielen Bereichen immer häufiger eingesetzt, vom kommerziellen bis zum industriellen und militärischen Sektor. Sie stellen entsprechende Herausforderungen im Hinblick auf High Performance, Systemsicherheit und Effizienz im Leistungsverbrauch – die sich oft gegenseitig ausschließen. Diese Herausforderungen lassen sich aber durch den Einsatz eines Zynq SoC oder Zynq UltraScale+ MPSoC als zentrales Element des Prozessorsystems optimal lösen.

* Adam Taylor ist selbständiger Embedded Systems Consultant und Autor der MicroZed Chronicles zur Benutzung der Zynq-Reihe von Xilinx.

(ID:44709424)