Robotertechnik Intuitive Roboterprogrammierung mit mobilen Endgeräten

Autor / Redakteur: Jens Lambrecht und Jörg Krüger / David Franz

Durch die Nutzung natürlicher Kommunikation wie Sprache und Gesten wird die Roboterprogrammierung interaktiv. Roboterprogramme lassen sich nicht nur durch Vormachen im dreidimensionalen Raum einfach und schnell definieren, auch die Simulation wird mobil.

Firmen zum Thema

Bild 1: Mobile Visualisierung und Simulation des Roboterprogramms in realer Umgebung.
Bild 1: Mobile Visualisierung und Simulation des Roboterprogramms in realer Umgebung.
(Bild: IWF)

Neben Kosten- und Zeitdruck stellen auch der demografische Wandel und der Fachkräftemangel zunehmende Herausforderungen an die Planung, Programmierung und Instandhaltung von Produktionssystemen in vielen westlichen Industrienationen. Intelligente Assistenzsysteme versprechen als Antwort eine nachhaltige und effiziente Gestaltung von manuellen Arbeitsabläufen.

Bildergalerie
Bildergalerie mit 6 Bildern

Manuelle Online-Programmierung ist ein kritischer Prozess

In der industriellen Robotik ist die manuelle Online-Programmierung ein kritischer Prozess, der sich nicht selten als Flaschenhals erweist. Aufgrund der zeitintensiven und komplexen Programmierprozesse haben vor allem kleine und mittlere Unternehmen (KMU) immer noch Vorbehalte gegenüber Investitionen in Industrieroboter. Bestätigt wird dies auch durch eine kürzlich veröffentlichte Studie im Auftrag der Europäischen Kommission [1].

Sie identifiziert gleichzeitig die Mensch-Roboter-Interaktion als Schlüsseltechnologie mit hohem Potenzial auf Anwendung und fordert die Roboterprogrammierung für jedermann. Für die Forschung und Entwicklung gilt es demgemäß, neue Programmiertechniken, die eine optimierte Kommunikation mit dem technischen System bereitstellen, zu entwickeln.

Natürliche Kommunikation ist einfach, schnell und flexibel

Die Nutzung natürlicher Kommunikationskanäle ermöglicht bei anwendungsgerechter Gestaltung eine effiziente und ergonomische Art der Mensch-Maschine-Interaktion (MMI). Vorbild ist die natürliche Mensch-Mensch-Kommunikation, die zum größten Teil über Sprache (auditiv) und Gesten (visuell) stattfindet.

Ziel der Nutzung von natürlichen Kommunikationskanälen ist außer der Erhöhung der Akzeptanz des technischen Systems auch eine allgemeine Verkürzung von Anlernzeiten und Bedienzyklen. Typisch für natürliche MMI ist Multimodalität, das heißt die Nutzung mehrerer Kommunikationskanäle gleichzeitig oder nacheinander.

Multimodale Steuerungssysteme verwenden typischerweise Finger-, Hand- oder Berührungsgesten sowie Sprache. Auch Visualisierungen kommen als eine weitere Form der Interaktion zwischen Mensch und Maschine zum Einsatz: Außer klassischen Displaytechniken lassen sich Methoden der Augmented Reality zur visuellen Darstellung von Informationen in einem Kamerabild nutzen (Bild 1).

Ziel des Projekts „Räumliche Industrieroboterprogrammierung“ am Fachgebiet Industrielle Automatisierungstechnik der TU Berlin ist die Entwicklung von intuitiven Methoden der MMI zum Unterstützen der manuellen Online-Programmierung von Industrierobotern.

Handheld-Geräte bilden das zentrale Programmiergerät

Dabei entstand ein leistungsstarkes Programmiersystem, das verschiedene Programmierebenen sowie verschiedene Schritte der Programmerstellung (Definition, Evaluation, Manipulation) adressiert (Bild 2). Im Projekt wird neben Gesten zur Definition und Manipulation von Programmen auch Augmented Reality zur mobilen Evaluation des Roboterprogramms eingesetzt.

Handheld-Geräte wie Smartphones oder Tablet-PC bilden das zentrale Programmiergerät. Bild 3 veranschaulicht das grundlegende Interaktionsprinzip mit gestenbasierter Interaktion zur Definition des Roboterprogramms und einer Unterstützung durch die Augmented Reality auf einem Tablet-PC. Diese Form der interaktiven 3D-Roboterprogrammierung wird im Weiteren als räumliche Industrieroboterprogrammierung bezeichnet [2].

Ein modularer Aufbau des Programmiersystems sichert die flexible Skalierbarkeit. Verschiedene Anwendungsfelder lassen sich somit durch zugeschnittene Lösungen erschließen. Durch die Betrachtung von Low-Cost-Sensorik und durch die Nutzung von vereinheitlichten Schnittstellen wird eine allgemeine KMU-Tauglichkeit sowie die breite Einsetzbarkeit gewährleistet.

3D-Daten der Handposition werden drahtlos in die App übertragen

Die Anwendung von Motion-Tracking ermöglicht die einfache Definition des Programms im Raum über natürliche Bewegungen, beispielsweise durch Zeigen mit der Hand. Im Gegensatz zu Standardprogrammierverfahren wie Teach-in ermöglicht dies die Definition einer Vielzahl von Posen, Trajektorien oder ganzen Aufgaben in kürzester Zeit. Das zeitintensive Bewegen des realen Roboters entfällt.

Die 3D-Daten der Handposition werden drahtlos in die App auf dem Mobilgerät übertragen, dort ausgewertet und zur Programmerstellung weiterverarbeitet. Verschiedene Ansätze der markerlosen Definition von Industrieroboterprogrammen durch Gesten wurden von den Autoren bereits in [3] vorgestellt.

Ergänzend zur Definition einzelner Posen und Bahnen kann der Anwender auf einer höheren Programmierebene ein Programm anhand der Demonstration von ganzen Aufgaben definieren. Dabei werden automatisiert Arbeitsschritte des Menschen aus den Motion-Tracking-Daten erkannt und anschließend in ein Roboterprogramm umgesetzt.

Diese aufgabenorientierte Programmierung erfordert kein spezifisches Fachwissen und ist deshalb für den Anwender besonders einfach durchzuführen. Für die markerlose Gestenerkennung werden sowohl externe 3D-Kamerasysteme als auch das 2D-Kamerabild des Handheld-Geräts genutzt. Die Erkennung von Fingergesten durch spezielle Bildverarbeitungsalgorithmen findet dabei direkt auf dem Mobilgerät statt.

Modellierung virtueller Robotermodelle ermöglicht Simulation des Roboterprogramms

Die App auf dem Mobilgerät dient nicht nur zur Programmverwaltung, sondern unterstützt den Programmierer auch bei der Programmevaluation mithilfe der Augmented Reality. Dabei wird das Kamerabild des Handhelds um virtuelle Objekte ergänzt, welche das Roboterprogramm repräsentieren. So lässt sich das Roboterprogramm, das normalerweise nur in textueller Form vorliegt, in realer Umgebung visualisieren. Das Programm ist somit auch für den fachfremden Anwender sofort verständlich.

Die Modellierung virtueller Robotermodelle ermöglicht, wie auch in CAD-gestützten Offline-Programmiersystemen, eine Simulation des Roboterprogramms zum Ermitteln von Taktzeiten und einer Erreichbarkeitskontrolle.

Bild 4 zeigt die gestenbasierte Definition von Posen, die anschließende Simulation des Programms sowie das Ausführen des Programms auf der Robotersteuerung. Die Simulation des Roboterprogramms in realer Umgebung erfolgt anhand eines virtuellen Roboters, der im Kamerabild über den realen Roboter gelegt wird.

Das Roboterprogramm zum Anfassen und Anpassen

Bezüglich der Interaktion wird der Nutzer bereits während der Durchführung von Gesten anhand der Augmented Reality durch ein visuelles Feedback unterstützt. Aktuelle Informationen zum Roboterprogramm werden simultan zur Interaktion des Nutzers in das Kamerabild des Tablet-PC eingeblendet.

Eine Fingergestenerkennung ermöglicht eine neue Form der Interaktion. Der Anwender wird in die Lage versetzt, die virtuellen Objekte der Augmented Reality zu greifen und mit ihnen räumlich zu interagieren. Das bedeutet: freies Verschieben und Verdrehen in 3D. Bei den Objekten kann es sich sowohl um einzelne Posen, Bahnabschnitte als auch aufgabenorientierte Objekte handeln.

Während der Interaktion wird dem Nutzer wiederum in der Augmented Reality aktuelles Feedback zur Interaktion bereitgestellt. Anschließend an die gestenbasierte Manipulation wird das Programm automatisch angepasst. Bild 5 zeigt eine Interaktion mit virtuellen und realen Werkstücken zur Definition einer Pick-and-place-Aufgabe.

Aktuell ist eine Umsetzung des aufgabenorientierten Programmiermodells für das robotergestützte Bahnschweißen geplant. Bild 6 zeigt eine Prinzipskizze des Programmierens durch Vormachen der Bahnbewegung. Eventuelle Ungenauigkeiten des Motion-Tracking-Systems bei der gestenbasierten Bahndefinition sollen mit Sensorik zur Nahtfindung und -verfolgung ausgeglichen werden.

Automatische Kalibrierung sorgt für schnelle Einsatzbereitschaft

Auf Basis der kameragestützten Sensorik des Motion-Trackings werden automatische Kalibriermethoden für das Motion-Tracking sowie für die Augmented Reality entwickelt. Diese garantieren eine rasche erstmalige Einsatzbereitschaft des Programmiersystems schon innerhalb weniger Minuten.

Hauptkomponente des räumlichen Programmiersystems ist eine App, die auf herkömmlichen Smartphones und Tablet-PC einsetzbar ist. Über eine vereinheitlichte Schnittstelle lassen sich die Roboterprogramme von der App auf die Steuerungen beliebiger Roboterhersteller übertragen [4]. In naher Zukunft werden weitere drahtlose Schnittstellen zum Programmaustausch mit klassischen Simulationstools der digitalen Fabrik bereitgestellt.

Erstveröffentlichung auf www.blechnet.com - Redakteur Rüdiger Kroh

Literatur

[1] Forge, S. und C. Blackman: A helping hand for Europe: the competitive outlook for the EU robotics industry. Marktstudie des Institute for Prospective Technological Studies, European Commission's Joint Research Centre, Luxemburg 2010.

[2] Lambrecht, J. und J. Krüger: Spatial programming for industrial robots based on gestures and augmented reality. International conference on intelligent robots and systems, 2012.

[3] Lambrecht, J.; Kleinsorge, M. und J. Krüger: Markerless gesture-based motion control and programming of industrial robots. In: IEEE, 16th Conference on emerging technologies factory automation, 2011.

[4] Lambrecht, J.; Chemnitz, M.und J. Krüger: Control layer for multi-vendor industrial robot interaction providing integration of supervisory process control and multifunctional control units. In: 2011 IEEE-Conference on technologies for practical robot applications, 2011.

* Dipl.-Ing. Jens Lambrecht ist wissenschaftlicher Mitarbeiter am Fachgebiet Industrielle Automatisierungstechnik des Instituts für Werkzeugmaschinen und Fabrikbetrieb (IWF) an der Technischen Universität Berlin. Prof. Dr.-Ing. Jörg Krüger leitet das Fachgebiet und das Geschäftsfeld Automatisierungstechnik des Fraunhofer-Instituts für Produktionsanlagen und Konstruktionstechnik (IPK) in Berlin.

(ID:42287391)