Suchen

Deep Learning: Armband erfasst Handbewegungen

| Redakteur: Dipl.-Ing. (FH) Hendrik Härter

Wissenschaftler haben mit Deep-Learning-Algorithmen und Minitatur-Wärmebildkameras ein Armband entwickelt, um Handbewegungen zu erfassen und dreidimensional abzubilden. Selbst Krankheiten sollen sich erkennen lassen.

Firmen zum Thema

Miniatur-Wärmebildkameras und ein Deep-Learning-Algorithmus tracken die Handbewegung.
Miniatur-Wärmebildkameras und ein Deep-Learning-Algorithmus tracken die Handbewegung.
(Bild: University of Wisconsin–Madison)

Mit AuraRing lassen sich Bewegungen digital erfassen und somit in einen Computer übertragen. Jetzt haben Forscher von Cornell und der University of Wisconsin–Madison ein Armband mit dem Namen „FingerTrak“ entwickelt. Das elektronische Gerät erfasst die unterschiedlichen Positionen der menschlichen Hand und übersetzt sie in dreidimensionale Koordinaten. Dabei helfen drei oder auch vier Miniatur-Wärmebildkameras mit niedriger Auflösung, um die Konturen der Hand zu erfassen.

Für das Team war es eine wichtige Erkenntnis, wie sich präzise eine Hand über die Bewegung erkennen lässt. „Es ist das erste System, um eine Handbewegung anhand der Konturen zu erkennen und über die Wärmebildkameras rekonstruiert wird“, berichtet Cheng Zhang, Assistenzprofessor für Informationswissenschaft und Direktor des neuen SciFi-Labors von Cornell. Ein wesentlicher Bestandteil neben der Hardware ist die Software. „Unser Team hatte einen Algorithmus für computergestütztes Sehen mithilfe des Deep Learning entwickelt. Damit ist es möglich, eine 3D-Hand aus mehreren Wärmebildern zu rekonstruieren“, sagte Yin Li, Assistenzprofessorin für Biostatistik und medizinische Informatik an der UW School of Medicine and Public Health.

Video: Software erkennt Handbewegungen

Algorithmus setzt 3D-Bild zusammen

Herkömmliche am Handgelenk getragene Kameras sind oftmals zu sperrig und damit zu aufdringlich. Einige können nur wenige diskrete Handbewegungen rekonstruieren. Ein wesentlicher Vorteil von FingerTrak ist, dass es leicht ist und die Kombination aus Wärmebildtechnik und maschinellem Lernen benutzt. Damit lässt sich virtuell eine Handbewegung rekonstruieren. Die verwendeten Wärmebildkameras sind nicht größer als eine Erbse. Der Deep-Learning-Algorithmus fügt die einzelnen Bilder zusammen und rekonstruiert eine virtuelle Hand in 3D. Somit lässt sich die gesamte Bewegung der Hand erfassen, auch wenn man ein Objekt in der Hand hält.

„Über die Art wie wir unsere Hände und Finger bewegen, lassen sich Rückschlüsse über unsere Gesundheit ziehen“, sagte Li. „Mit dem FingerTrak können wir besser verstehen, wie ältere Menschen ihre Hände im Alltag benutzen und damit frühzeitig Anzeichen von Krankheiten wie Parkinson und Alzheimer zu erkennen.

Quelle:Cornell and the University of Wisconsin–Madison

(ID:46800527)