Gesture Controller mit Microsoft Kinect für EIZO OR Monitor

Ein Showcase für die MEDICA

Die EIZO GmbH, speziell deren Fachabteilung Operating Rooms, erwägte für deren Messe Showcase auf der MEDICA 2015 in Düsseldorf eine kontaktlose Gestensteuerung für ihr CuratOR Surgical Panel (eine individuell konfigurierbare Wandkonsole für den klinischen Einsatz) zu demonstrieren.

Hands on oder eher "HandsUp" für CONZE

Es sollte eine fehlertolerante Gesten- und Sprachsteuerung zur Umschaltung verschiedener Layouts entwickelt werden. Diese Layouts ergeben sich aus unterschiedlichen Bildquellen, die mittels Large Monitor Manager (LMM) zu einem Gesamtbild zusammengerechnet werden. Die Aktivierung der Steuerung erfolgt dabei über einen geeigneten Motion-Sensor mittels „HandsUp“ Geste oder via Spracheingabe.  Die lineare Umschaltung zwischen den Layouts erfolgt per Wischgeste oder Sprachbefehl.

Analytisches Vorgehen mit praktischem Resultat

Zu Beginn galt es, verschiedene Sensoren und Technologien zu evaluieren und für den klinischen Anwendungsfall zu bewerten. Hierzu wurden u.a. folgenden Sensoren betrachtet: Microsoft Kinect, Leap Motion, und Thalmiclabs MYO. Mit der von CONZE entwickelten Software für Windows 8, wurde die geforderte Gesten- und Sprachsteuerung auf Basis einer C#-Entwicklung in Verbindung mit einem intuitiven User Interface (WPF-GUI) realisiert. Die Wischgesten mussten vor Codierung in Position und Abfolge definiert sowie der genaue Startpunkt und Route festgelegt werden. Zur Definition wurden die Skelettmodelle des Microsoft Kinect Sensors genutzt und die Wege der einzelnen Gelenke als Basis für die Wischgeste berechnet. Dank genauer Unterscheidung der Modelle können bis zu 4 Personen gleichzeitig erfasst werden. Die Aktivierung der Sprachsteuerung startet mit „Hey CuratOR“. Die Layoutumschaltung kann der User per „back / next“ Befehl anstoßen. Die Befehle wurden aufgrund leichterer Verständlichkeit auf Englisch programmiert. Die Kommunikation zwischen der Gesture Controller Software und dem anzeigenden LMM erfolgt über eine konfigurierte HTTP – Schnittstelle. Diese ermöglicht es, die Gestensteuerung und die Darstellung der Bildquellen an voneinander unabhängigen Orten stattfinden zu lassen.