Entwicklung einer adaptiven HMI-Schnittstelle zur Erkennung von Gesten auf Basis hochpräziser Echtzeitlokalisierung

BearbeiterIn:Dennis Salzner
Titel:Entwicklung einer adaptiven HMI-Schnittstelle zur Erkennung von Gesten auf Basis hochpräziser Echtzeitlokalisierung
Typ:bachelor thesis
Betreuer:Mutschler, C.; Otto, S.; Philippsen, M.
Status:abgeschlossen am 2. Dezember 2013
Vorausetzungen:

Programmierkenntnisse in C/C++, maschinelles Lernen

Thema:

Inhalt
Die Gruppe „Sensorfusion und Ereignisverarbeitung" am Fraunhofer Institut für Integrierte Schaltungen (IIS) in Nürnberg arbeitet an der Generierung und Verarbeitung von Positionsdatenströmen in Echtzeit. Zur schnellen und effizienten Verarbeitung dieser Daten wurde in Kooperation mit dem Lehrstuhl für Programmiersystem ein verteiltes System entwickelt, um Ereignisse und Abläufe zur Laufzeit detektieren zu können.
Das Lokalisierungssystem verfügt über kleine Sender, die von Personen getragen werden können. Dadurch können Messungen von Absolutpositionen, Beschleunigungen und Geschwindigkeiten (beispielsweise die der Hand) präzise aufgelöst werden. Diese Möglichkeiten zeigen in Verbindung mit kürzlich entwickelten Videobrillen (z.B. Oculus Rift oder Google Glass) verschiedenste Anwendungen der virtuellen Realität (VR) auf. Durch genaue Lokalisierungs- und Orientierungssensorik ist es möglich, eine vollständig virtuelle Umgebung in die Betrachtung des Benutzers zu integrieren. Für diese zahlreichen Applikationen gibt es bisher jedoch nur unzureichende Möglichkeiten der physischen Interaktion. Da Objekte physikalisch nicht vorhanden sind, und in mobilen Szenarien auf Eingabegeräte wie Tastaturen etc. verzichten werden muss, ist es bislang schwierig durch natürliche Bewegungsabläufe mit der virtuellen Realität zu interagieren. Bereits entwickelte Lösungen, wie beispielsweise die der Xbox-Kinect, funktionieren zwar prinzipiell, sind aber auf Grund ihrer eingeschränkten optischen Erfassungsmöglichkeiten in ihren Funktionen und Flexibilität jedoch stark beeinträchtigt.
Ziel der Arbeit ist es, eine flexible und adaptive Gestensteuerung zu entwickeln, die aus einem Strom von Positionsdaten erkennen kann, welche Geste eine Person, die mit einem Sender ausgestattet ist, ausführt. Dabei soll die Gestensteuerung durch ein Trainingsverfahren jederzeit um neue Gesten erweitert werden können. Wird eine Geste zur Laufzeit erkannt, sollen Aktionen in der virtuellen Realität ohne merkliche Latenz ausgeführt werden. Des weiteren soll es prinzipiell möglich sein, in möglichst kurzer Zeit Gesten zu kalibrieren bzw. neue Gesten zu erlernen. Die entwickelten Algorithmen sollen daher durch Parallelisierung bzw. Verteilung möglichst skalierbar und effizient arbeiten.
Ein tragbares Empfangsgerät, beispielsweise ein Mobiltelefon mit dem Android-Betriebssystem, welches die Person bei sich trägt, soll die versendeten Aktionen empfangen und den Benutzer über die erkannte Geste informieren können.

Meilensteine

  • Einarbeitung in das bestehende Lokalisierungssystem sowie die weiteren Softwarekomponenten am Fraunhofer Institut
  • Recherche und Auswahl eines geeigneten Verfahrens zum Erlernen und -Erkennen von Gesten aus einer Sequenz von Positionsdaten
  • Implementierung des Verfahrens
  • Evaluation der Ergebnisse
  • Ausarbeitung
watermark seal