Muskelgebundene Computerschnittstelle

Es ist eine gute Zeit, mit Computern zu kommunizieren. Wir sind nicht länger durch Maus und Tastatur eingeschränkt – Touchscreens und gestenbasierte Controller werden immer häufiger. Ein Startup namens Emotiv Systems verkauft sogar eine Mütze, die die Gehirnaktivität anzeigt und es der Trägerin ermöglicht, ein Computerspiel mit ihren Gedanken zu steuern.

Luftgitarre: Software interpretiert Signale von Elektromyographie-Sensoren, die an einem Unterarm befestigt sind, und ermöglicht dem Benutzer, Computerspiele wie Guitar Hero und Rock Band zu steuern.

Jetzt haben Forscher von Microsoft, der University of Washington in Seattle und der University of Toronto in Kanada eine andere Möglichkeit gefunden, mit Computern zu interagieren: eine muskelgesteuerte Schnittstelle, die eine freihändige, gestische Interaktion ermöglicht.



Ein Elektrodenband wird am Unterarm einer Person befestigt und liest die elektrische Aktivität von verschiedenen Armmuskeln ab. Diese Signale werden dann mit bestimmten Handgesten korreliert, wie dem Zusammenfassen von Finger und Daumen oder dem Festhalten eines Gegenstands als normal. Die Forscher stellen sich vor, mit der Technologie Songs in einem MP3-Player während des Laufens zu wechseln oder ein Spiel wie Guitar Hero ohne den üblichen Plastik-Controller zu spielen.

Die muskelbasierte Computerinteraktion ist nicht neu. Tatsächlich werden die Muskeln in der Nähe einer amputierten oder fehlenden Gliedmaße manchmal verwendet, um mechanische Prothesen zu kontrollieren. Aber während Forscher bereits die Muskel-Computer-Interaktion für nicht behinderte Benutzer untersucht haben, war der Ansatz nur begrenzt praktikabel. Es ist schwierig, Gesten zuverlässig aus Muskelbewegungen abzuleiten, daher waren solche Schnittstellen oft darauf beschränkt, einen begrenzten Bereich von Gesten oder Bewegungen zu erfassen.

Multimedia

  • Sehen Sie sich die Muscle-Computer-Schnittstelle an, die mit Microsoft Surface gekoppelt ist.

Das neue Muskelsensorprojekt zielt auf gesunde Verbraucher ab, die reichhaltigere Eingabemodalitäten wünschen, sagt Desney-Bräune , ein Forscher bei Microsoft. Daher mussten er und seine Kollegen ein System entwickeln, das kostengünstig und unauffällig ist und eine Vielzahl von Gesten zuverlässig erkennt.

Die neueste Benutzeroberfläche der Gruppe, präsentiert auf der Benutzeroberflächensoftware und -technologie Konferenz Anfang dieses Monats in Victoria, British Columbia, verwendet sechs Elektromyographie-Sensoren (EMG) und zwei Erdungselektroden, die ringförmig um den oberen rechten Unterarm einer Person angeordnet sind, um Fingerbewegungen zu erfassen, und zwei Sensoren am oberen linken Unterarm, um Handdrücke zu erkennen. Obwohl diese Sensoren verkabelt und einzeln platziert sind, ist ihre Ausrichtung nicht genau – das heißt, bestimmte Muskeln werden nicht angesprochen. Dies bedeutet, dass die Ergebnisse für ein dünnes EMG-Armband, das eine ungeübte Person ohne Hilfe anziehen könnte, ähnlich sein sollten, sagt Tan. Die Forschung baut auf früheren Arbeiten auf, bei denen ein teureres EMG-System zum Erfassen von Fingergesten verwendet wurde, wenn eine Hand auf eine ebene Fläche gelegt wird.

Die Sensoren können die Muskelaktivität nicht sofort genau interpretieren. Software muss trainiert werden, um die elektrischen Signale mit verschiedenen Gesten zu verknüpfen. Die Forscher verwendeten Standardalgorithmen für maschinelles Lernen, die ihre Genauigkeit im Laufe der Zeit verbessern (der Ansatz ähnelt dem, den Tan für seine Gehirn-Computer-Schnittstellen verwendet).

Wir haben viel Zeit damit verbracht, herauszufinden, wie wir den Benutzer dazu bringen können, das Gerät angemessen zu kalibrieren, sagt Tan. Die Software lernt, EMG-Signale, die durch Gesten des Benutzers erzeugt werden, gezielt und kontrolliert zu erkennen.

Die Algorithmen konzentrieren sich auf drei spezifische Merkmale aus den EMG-Daten: das Ausmaß der Muskelaktivität, die Geschwindigkeit der Muskelaktivität und die wellenförmigen Aktivitätsmuster, die über mehrere Sensoren gleichzeitig auftreten. Diese drei Funktionen bieten laut Tan eine ziemlich genaue Möglichkeit, bestimmte Arten von Gesten zu identifizieren. Nach dem Training konnte die Software viele Gesten der Teilnehmer in mehr als 85 Prozent der Fälle und einige Gesten mehr als 90 Prozent der Zeit genau bestimmen.

Gerade in der Anfangsphase des Trainings müssen die Gesten der Teilnehmer sorgfältig geführt werden, um sicherzustellen, dass die Algorithmen des maschinellen Lernens richtig trainiert werden. Aber Tan sagt, dass sich die Testpersonen selbst mit einer kleinen Menge an Feedback ziemlich natürlich anpassen und Haltungen und Gesten ändern würden, um eine drastisch verbesserte Leistung zu erzielen. Er sagt, dass es zu einem wichtigen Teil des Schulungsprozesses wurde, Benutzer die entsprechende Reaktion des Systems auszulösen.

Die meisten modernen Computerschnittstellen erfordern die volle Aufmerksamkeit des Benutzers, sagt Pattie Maes , Professor für Medienkunst und -wissenschaften am MIT. Wir brauchen dringend neuartige Schnittstellen, wie sie das Microsoft-Team entwickelt hat, um eine nahtlosere Integration digitaler Informationen und Anwendungen in unseren hektischen Alltag zu ermöglichen.

Tan und Kollegen arbeiten jetzt an einem Prototypen, der ein drahtloses Band verwendet, das sich leicht auf den Arm schieben lässt, sowie ein sehr schnelles Trainingssystem. Die Forscher testen auch, wie gut das System funktioniert, wenn Menschen es tragen und laufen.

Letztendlich, sagt Tan, werde die Ganzkörperkontrolle zu grundlegend neuen Möglichkeiten der Computernutzung führen. Wir wissen, dass es etwas damit zu tun hat, dass Gesten mobil, immer verfügbar und natürlich sind, aber wir arbeiten noch am genauen Paradigma, sagt er.

verbergen