Mensch-Maschine-Interaktion

Kinect hilft, Gebärdensprache zu verstehen

18.07.13 | Redakteur: Franz Graser

Die junge Dame bedeutet mit ihren Gesten: „Möchten Sie ein kaltes oder heißes Getränk?“ Das mit Kinect ausgestattete System kann die Frage entschlüsseln.
Die junge Dame bedeutet mit ihren Gesten: „Möchten Sie ein kaltes oder heißes Getränk?“ Das mit Kinect ausgestattete System kann die Frage entschlüsseln. (Quelle: Microsoft Research Asia)

Microsofts asiatisches Forschungslabor benutzt das für Videospiele entwickelte Eingabegerät Kinect dazu, die Gebärdensprache von Hör- und Sprachbehinderten zu verstehen. Die Ergebnisse sind erstaunlich vielversprechend.

Eigentlich wurde das Eingabegerät Kinect ja entwickelt, um Videospiele interaktiver gestalten zu können – etwa, um Spielern das Gefühl zu geben, sie stünden wirklich auf dem Center Court von Wimbledon oder sie würden einen echten Kampf mit Laserschwertern ausfechten.

Doch ein Forscherteam der chinesischen Akademie der Wissenschaften, der Union University in Beijing und von Microsoft Research Asia arbeitet an einem Projekt, das es ermöglichen soll, die Gebärdensprache von Hör- und Sprechbehinderten zu verstehen.

Professor Xilin Chen von der chinesischen Akademie der Wissenschaften umschreibt das Ziel des Projektes: „Es geht darum zu demonstrieren, dass es möglich ist, die Gebärdensprache mit weithin verfügbaren und preiswerten 2-D- und 3-D-Sensoren zu erkennen.“

Im Rahmen des Projekts wurden zwei Funktionsmodi entwickelt. Der sogenannte „Translation Mode“ beschränkt sich darauf, Gebärdensprache in geschriebenen Text oder gesprochene Sprache zu übersetzen. Momentan wird die amerikanische Gebärdensprache unterstützt; es spricht jedoch nichts dagegen, dass auch andere Sprachversionen erkannt werden können.

Der zweite Modus, der „Communication Mode“ erlaubt die bidirektionale Kommunikation zwischen einer hör- oder sprechbehinderten Person und einer nichtbehinderten Person. Dafür wird ein animierter Avatar eingesetzt. Die nichtbehinderte Person gibt einen Satz über eine Tastatur ein, den der Avatar in Gebärdensprache umsetzt. Die behinderte Person kann daraufhin in Gebärdensprache antworten, die das mit Kinect ausgestattete System wiederum erkennt. So kommt ein Dialog zwischen Behinderten und Nichtbehinderten zustande.

Die Ergebnisse des Projekts, das diese Woche im Rahmen des Faculty Summit von Microsoft Research am Konzernhauptquartier in Redmond vorgestellt wurde, sind erstaunlich vielversprechend. „Ein einzigartiges Merkmal dieses Projekts ist, dass sich Softwareingenieure sowie Taube und Hörbehinderte daran beteiligt haben“, sagt Ming Zhou, Principal Researcher bei Microsoft Research in Beijing. „Lehrer und Studenten der Beijing Union University haben dabei mitgemacht, und das führte dazu, dass wir unsere Algorithmen an Daten aus der realen Welt testen konnten.“

Kommentar zu diesem Artikel abgeben
Interessantes Projekt! Bin gespannt wie wie das ganze umgesetzt wird. Bekannterweise entstand die...  lesen
posted am 22.07.2013 um 11:27 von Unregistriert

Naja, das dient bestimmt dazu, stumme Menschen besser überwachen zu können  lesen
posted am 20.07.2013 um 13:40 von Unregistriert


Mitdiskutieren

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 42226444 / Embedded Software Engineering)

Embedded Software Engineering Report abonnieren

4 mal jährlich: Die kostenlose Pflichtlektüre für Embedded­-Software- und Systems-Entwickler, von Analyse bis Wartung und Betrieb

* Ich bin mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung und AGB einverstanden.
Spamschutz:
Bitte geben Sie das Ergebnis der Rechenaufgabe (Addition) ein.