Ein Bildgeber und Distanzsensor für Automotive und Industrie

Autor / Redakteur: Oliver Wasenmüller, Prof. Dr. Didier Stricker * / Gerd Kucera

Nicht größer als ein Cent-Stück wird sie werden – die adaptive Kameramatrix des DAKARA-Projekts, die zusätzlich zum Bild auch präzise Tiefeninformationen in Echtzeit liefert.

Firmen zum Thema

Bild 1: Die Kameramatrix besteht aus sechzehn quadratisch angeordneten Einzelkameras, die zusammen nicht nur als Bildgeber, sondern auch als Entfernungsmesser fungieren.
Bild 1: Die Kameramatrix besteht aus sechzehn quadratisch angeordneten Einzelkameras, die zusammen nicht nur als Bildgeber, sondern auch als Entfernungsmesser fungieren.
(Bild: Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI))

Die hier vorgestellte Kameramatrix liefert präzise Tiefenbilder für das automatisierte Fahren und manuelle Montageprozesse in Industrieanwendungen. Der neuartige Image-Sensor für vielfältige Anwendungsmöglichkeiten wird im Projekt DAKARA („Design und Anwendung einer ultrakompakten, energieeffizienten und konfigurierbaren Kameramatrix zur räumlichen Analyse“) entwickelt. Gefördert durch das Bundesministerium für Bildung und Forschung (BMBF) arbeiten in diesem Projekt fünf Partner aus Industrie und Forschung zusammen.

Dreidimensionale Geometrien für Automotive und Industrie

In Produkten wie Smartphones oder Tablets, in industriellen Anwendungen oder in Fahrzeugen sind Farbkameras bereits im Einsatz und erfassen ein zweidimensionales (2D) Abbild der Szene. Während diese Bilder für das menschliche Auge ansprechend aussehen, ist es jedoch für die meisten Bildverarbeitungsalgorithmen sehr schwer, aus einem Farbbild auf die dreidimensionale (3D) Geometrie der Szene zurückzuschließen.

Bildergalerie
Bildergalerie mit 5 Bildern

Diese 3D-Information ist allerdings essentiell für verschiedenste professionelle Anwendungen. Im Automobilbereich ist es extrem wichtig die 3D-Geometrie der Umgebung zu kennen, um mit Hilfe von Assistenzsystemen beispielsweise rückwärts einzuparken. Anhand der 3D-Geometrie kann geklärt werden, ob eventuell Objekte den Fahrweg versperren und wie weit diese noch entfernt sind. Mit 2D-Bildern lassen sich zwar ebenfalls Objekte erkennen, die robuste Schätzung des Abstands ist aber nahezu unmöglich.

In Industrieanwendungen werden ähnliche Anforderungen gestellt. Beispielsweise lassen sich anhand der 3D-Geometrie Bauteile zuverlässig erkennen sowie deren Lage exakt bestimmen. Außerdem sind Füllstände von Behältern oder Gesten von Werkern wesentlich robuster erkennbar.

Seitens der Anwendung besteht also ein großer Bedarf an 3D-Bildinformationen, da die reine 2D-Information oft nicht ausreicht. Daher wird im BMBF-geförderten Projekt DAKARA neben den Farbbildern auch ein sogenanntes Tiefenbild berechnet.

Ein Tiefenbild speichert im Vergleich zu einem Farbbild in jedem Pixel nicht den Farbwert, sondern die Tiefe, also den Abstand der Kamera zu dem erfassten Objekt. Eine der Innovationen des DAKARA-Projekts liegt darin, dass dieses Tiefenbild aus sechzehn quadratisch angeordneten Einzelkameras (einer Kameramatrix) berechnet wird. Alle Einzelkameras werden auf einem einzigen Wafer mit etwa 1 mm Dicke angeordnet und mit Linsen versehen. Dadurch sind außergewöhnlich kompakte Bauformen in der Größenordnung einer Cent-Münze möglich.

Die Kameramatrix wird als Global Shutter ausgelegt, sodass sie in späteren Anwendungen auch schnelle Bewegungen zuverlässig erfassen kann. Möglich wird dies durch die innovative Kameratechnologie der ams Sensors Germany.

Der Aufbau als Kameramatrix erfasst die Szene aus sechzehn leicht versetzten Perspektiven und ermöglicht so die 3D-Geometrie (ein Tiefenbild) aus diesen mittels des Lichtfeldprinzips zu berechnen. Zur Berechnung des Tiefenbildes sind korrespondierende Pixel in allen Einzelkameras zu bestimmen, was durch die besondere Anordnung als Kameramatrix vereinfacht wird.

Dazu müssen alle Kameras untereinander kalibriert und ihre relative Position und Rotation sowie ihre projektiven Eigenschaften bestimmt werden. Mittels dieser Kalibrierung lässt sich die zweidimensionale Korrespondenzen-Suche auf eine eindimensionale Suche entlang der sogenannten Epipolarlinie reduzieren.

Zusammengehörige Epipolarlinien aus den einzelnen Bildern der Kameramatrix lassen sich zu einem Epipolarbild-Stapel zusammenfassen. Korrespondierende Punkte liegen auf den leicht schrägen vertikalen Linien. Je schräger die Linie, desto näher liegen die Punkte an der Kamera.

Zusatznutzen durch Tiefenbildberechnung

Die Algorithmen für die Tiefenbildberechnungen der DAKARA-Kameramatrix entwickelt der Forschungsbereich Augmented Vision (AV) am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) in Kaiserslautern. Da solche Berechnungen sehr rechenintensiv sind, ist eine enge Integration der Kameramatrix mit einem eingebetteten Prozessor erforderlich, um Echtzeitanwendungen zu ermöglichen.

Auf diese Weise sind die Tiefenbildberechnungen Ressourcen-schonend und in Echtzeit in der elektronischen Funktionsebene des Kamerasystems möglich. Weiterhin können auf dem eingebetteten Chip verschiedene Applikationen zur Weiterverarbeitung der generierten Bilddaten in einem Anwendungsszenario ablaufen.

Mögliche Applikationen profitieren maßgeblich davon, dass ihnen neben der Farbinformation auch die Tiefeninformation ohne weitere anwendungsseitige Berechnungen zur Verfügung stehen. Durch die ultrakompakte Bauweise ist es möglich, die neue Kamera in sehr kleine oder filigrane Bauteile zu integrieren und dort als berührungslosen Sensor zu nutzen.

Der Aufbau der Kameramatrix ist rekonfigurierbar, sodass in Abhängigkeit der Anwendung auch ein spezielleres Layout, beispielsweise eine L-Form, möglich wird. Auch die Tiefenbildberechnung ist rekonfigurierbar und somit in der Lage, auf bestimmte Anforderungen an die Tiefeninformation einzugehen.

Eine der Innovationen des DAKARA-Projekts stellt das ultrakompakte, energieeffiziente und rekonfigurierbare Gesamtsystem dar, das sowohl Farb- als auch Tiefenbilder bereitstellt. Vergleichbare Systeme, die sich auch im Produktiveinsatz wiederfinden, sind in der Regel aktive Systeme, die Licht aussenden und so die Tiefe berechnen.

Laserscanner emittieren beispielsweise einen Laserstrahl und bestimmen die Entfernung eines bestimmten Punktes aus dem Zeitversatz bis die Reflexion des Strahls wieder beim Gerät eintrifft. In statischen Umgebungen können mit Hilfe von bewegten Spiegeln 3D-Punktwolken erstellt werden. Allerdings sind diese Geräte verhältnismäßig teuer und tendenziell unflexibel zu handhaben.

Aktive Tiefenkameras sind ebenfalls in der Lage, in Echtzeit 3D-Informationen in Form von Tiefenbilden zu erfassen. Dazu messen sie entweder ebenfalls Zeitversätze in Lichtimpulsen (Time-of-Flight) oder senden ein Punktemuster aus. Diese Kameras sind zwar ähnlich flexible wie die DAKARA-Kameramatrix, haben jedoch einen erheblich höheren Energieverbrauch und sind durch Sonneneinstrahlung stark beeinflussbar.

Als passive Tiefenkamera kann auch eine Stereokamera gesehen werden. Sie besteht aus zwei fest nebeneinander angeordneten Farbkameras. Ein Algorithmus bestimmt dann korrespondierende Pixel der beiden Kameras, woraus sich ein Tiefenbild berechnen lässt. Im Vergleich zur DAKARA-Kameramatrix ist dieses Verfahren allerdings wesentlich fehleranfälliger, da sämtliche Redundanzen fehlen. Insbesondere an Objektkanten, aber auch im gesamten Tiefenbild, sind wesentliche Qualitätsunterschiede sichtbar.

DAKARA bietet erstmals eine passive Kamera, die mit einer ultrakompakten Bauform, hohen Bildraten, rekonfigurierbaren Eigenschaften und geringem Energieverbrauch überzeugt, dabei das Forschungsstadium verlässt und in den Produktiveinsatz bei namhaften Anwendern aus unterschiedlichen Domänen geht.

Weites Anwendungsfeld für die DAKARA-Kamera

Die möglichen Anwendungsdomänen sind dabei sehr vielfältig. Diese reichen von der Automobilindustrie über die produzierende Industrie bis hin zu Endkundenprodukten. Die 3D-Tiefenbilder enthalten immer wertvolle Zusatzinformationen zu den Farbbildern, die die Anwendung vieler Algorithmen überhaupt erst ermöglichen oder sie zu einer Robustheit bringen, die einen professionellen Einsatz zulassen. Innerhalb des Projekts werden exemplarisch zwei verschiedene Anwendungsszenarien realisiert. Diese umfassen eine intelligente Rückfahrkamera im Automobilbereich und die Werkerassistenz bei der manuellen Produktion.

Die geplante intelligente Rückfahrkamera des Partners ADASENS Automotive ist verglichen mit aktuell eingesetzten Systemen, die aus Ultraschallsensoren und einer Mono-Farbkamera bestehen, in der Lage, das rückwärtige Fahrzeugumfeld räumlich, metrisch und semantisch zu interpretieren. Dadurch können bei automatisierten Parkvorgängen auch feinere Strukturen wie Bordsteinkanten oder Pfosten erkannt und berücksichtigt werden. Außerdem ist das System in der Lage, Menschen semantisch zu erkennen und im Notfall Warnsignale auszulösen oder längs- und querdynamisch Eingriffe vorzunehmen. Die DAKARA-Kameramatrix liefert hier einen wesentlichen Beitrag zur Steigerung der Sicherheit beim automatisierten oder teilautomatisierten Fahren.

Zur Werker-Assistenz wird ein manueller Montageprozess bei den Partnern Bosch Rexroth AG und DFKI mit seinem Living Lab SmartFactory KL e.V. abgebildet. Ziel ist es, den Werker bei seinen Aufgaben zu unterstützen und abzusichern. Dazu wird die neue Kameramatrix über dem Handarbeitsplatz befestigt und sowohl Objekte als auch Hände durch die Algorithmen des Projektpartners CanControls räumlich und zeitlich erfasst.

Eine besondere Herausforderung dabei ist, dass Objekte wie Werkzeuge oder Werkstücke, die in der Hand gehalten werden, nur sehr schwer von diesen trennbar sind. Möglich wird diese Trennung durch die zusätzliche Bereitstellung von Tiefeninformationen durch die DAKARA-Kamera. So werden in dem Szenario eine Greifweg-Analyse, eine Entnahme- und Füllstandskontrolle, die Interaktion mit einem Dialogsystem sowie die Werkzeug-Positionserfassung, realisiert. Die Kamera soll eine Vielzahl an Sensoren, die momentan in verschiedenen manuellen Produktionsanlagen des Partners Bosch Rexroth eingesetzt werden, ersetzen und so ein neues Qualitäts- und Kostenniveau erreichen.

Der Zeitplan der nächsten drei Jahre sieht vor, die neue Kameramatrix zu entwerfen, zu entwickeln und in den erwähnten Szenarien ausgiebig zu testen; ein Prototyp ist zum Spätsommer 2018 geplant. Gefördert wird DAKARA durch das Bundesministerium für Bildung und Forschung (BMBF) im Rahmen des Programms „Photonik Forschung Deutschland – Digitale Optik”. Das Projektvolumen beträgt 3,8 Mio. €; fast die Hälfte finanzieren die beteiligten Industriepartner. Mehr zu DAKARA und Kontakt zum Projektleiter Oliver Wasenmüller gibt es unter https://av.dfki.de/projects/dakara.

* M.Sc. Oliver Wasenmüller ist Projekt Manager Augmented Vision am DFKI, Kaiserslautern. Prof. Dr. Didier Stricker ist wissenschaftlicher Direktor Augmented Vision am DFKI, Kaiserslautern.

(ID:44849169)