Eye-Tracking

Mobiler Eyetracker mit Steuerrechner

Mobile Systeme, sogenannte Head-mounted Eye Tracker bestehen im Wesentlichen aus drei Komponenten: a) einer Infrarot-Lichtquelle zur Realisierung der Cornea-Reflex-Methode, b) einer oder mehreren Kameras, die die Reflexionsmuster auf der Hornhaut aufnehmen, und c) einer Blickfeldkamera, die den Bereich festhält, auf den der Proband schaut. Die Komponenten wurden früher in eine spezielle Vorrichtung eingebaut, die auf dem Kopf des Probanden montiert wurde. Heute sind die Komponenten so klein, dass sie in ein Brillengestell integriert werden können. Das Gewicht einer solchen Brille liegt häufig unter 50 g. Auch der zugehörige Steuerrechner – früher noch im Format eines Notebooks – lässt sich heute in einem Gerät von der Größe eines Handys unterbringen. Während bei externen Geräten lediglich der Blick auf einen Bildschirm aufgezeichnet werden kann, eignen sich mobile Eyetracker somit auch für Feldstudien außerhalb des Laborkontextes. Der Hauptgrund liegt darin, dass die Blickrichtung durch die Befestigung des Infrarotsenders und der Kameras unmittelbar an der Brille unabhängig von überlagernden Kopfbewegungen erfasst werden kann. Der Nachteil mobiler Eyetracker liegt in der bisher nicht parametrisierbaren Aufzeichnung der Daten. So wird lediglich der Blick des Probanden in einem Video seiner Blickfeldkamera eingeblendet. Für eine statistische Auswertung müssen diese Videos zurzeit noch mit hohem Aufwand manuell durchgesehen werden. Es ist davon auszugehen, dass dieses Problem in Zukunft mit Methoden der automatisierten Videoanalyse gelöst werden kann.

Anwendungen mobiler Eyetracker sind beispielsweise die Marktforschung (wohin schaut ein Proband beim Gang durch einen Supermarkt) oder die Usability-Forschung (wie lange schaut ein Proband beim Autofahren auf die Straße, wie lange auf das Navigationsgerät). Auswertungen und Analysen erfolgen im Wesentlichen individuell und anwenderzentriert. Die Methode erlaubt so online oder auch offline, eine Verfolgung des Blickpfades und der Verweildauer des Blicks (Fixation) auf bestimmte Objekte während einer freien Bewegung des Probanden. Generalisierungen über mehrere Probanden und Aufmerksamkeitsanalysen auf bestimmte Objekte lassen sich technisch über 3D/6D Positionserfassungssysteme (sogenannte Head Tracker) realisieren.

Das System „EL II“ besteht aus zwei mit entsprechender Software ausgestatteten Computern, einem „Programmrechner“ und einem damit verbundenen „Stimulusrechner“ inklusive Monitoren sowie aus einem Headset. An diesem befinden sich zwei an seitlichen Halterungen befestigte Kameras zur Aufzeichnung der Augenbewegungen. Eine weitere, oben befindliche Kamera ist auf vier – an einem der beiden Rechner montierten – Infrarotmarker abgestimmt. Damit ist es möglich, jede Art von Fixation auf Bilder oder Handlungen aufzuzeichnen. Das System arbeitet bereits nach der Methode der cornealen Reflexionen. Auch Störfaktoren wie der Muskeltremor können damit ausgeschlossen werden.

Montage des Headsets

Dem Probanden wird das Kopfband mit den Kameras aufgesetzt. Danach wird die oben befindliche Kamera in Position gebracht. Dafür wird sie möglichst genau auf mittlere Höhe und mittlere Breite des einen der beiden Monitore, nämlich des sogenannten Stimulusmonitors, eingestellt. An diesem Monitor sind auch die referentiellen Infrarotmarker für die Einstellung der Kamera montiert. Für die korrekte Justierung wird einfach entweder der Monitor selbst verschoben oder der Sessel des Probanden in der Höhe verstellt.

Die beiden auf den seitlichen Haltearmen befindlichen Augenkameras werden so geschwenkt, dass sie nicht störend im Blickfeld des Probanden liegen. Sie sollten sich ungefähr auf der Höhe der Nasenspitze befinden und können bereits in die ungefähre Position für die spätere Aufnahme gebracht werden. Die Kameras können mit dem Schwenkarm selbst sowie mittels Klemmen und Feststellschrauben dreidimensional verstellt werden.

Feineinstellung

Mit Hilfe einer mitgelieferten Software kann die Feineinstellung – Ausrichtung der Kamera und Schärfeneinstellung – vorgenommen werden. Letztere funktioniert über die im System integrierte automatische Schwellenwerteinstellung für die corneale Reflexion und die Pupillenerhellung.

Bei der Kalibrierung werden dem Probanden am Stimulusbildschirm in einer Autosequenz zufällige Punkte angeboten, die sich quer über den Bildschirm bewegen. Der Proband erhält die Anweisung, die Punkte mit beiden Augen zu verfolgen. Nach erfolgreicher Kalibrierung folgt die Validierung. Dies läuft wie das Kalibrieren ab, wobei aber die maximale Abweichung der Blickbewegungen in Grad gemessen wird. Dabei muss der Experimentleiter entscheiden, ob die Einstellung verwendbar ist oder ob nachjustiert werden soll. Eine einmal akzeptierte Einstellung lässt sich während des Experiments immer wieder nachjustieren, da zwischen den einzelnen Stimuli jeweils eine neutrale Bildschirmmaske mit Fixationspunkt erscheint. Das System selbst schlägt das besser eingestellte Auge vor.

Systemkonfiguration

Programmrechner und Stimulusrechner sind mittels eines Netzwerkkabels miteinander verbunden. Der Programmrechner steht darüber hinaus mit den Augenkameras und den Infrarotmarkern in Verbindung. Auf dem Stimulusrechner laufen eine Software zur Darbietung der Stimuli und die Programmiersprache Visual C++ für die Programmierung der Experimente. Der Monitor, auf dem die Stimuli präsentiert werden, sollte eine Größe von 17 Zoll aufweisen, da diese gerade für die Durchführung von Leseexperimenten am geeignetsten erscheint. Mit Hilfe eines Joysticks kann der Proband den jeweils nächsten Stimulus anfordern.

Programm- und Stimulusrechner sollten in einer bestimmten räumlichen Position aufgestellt werden, um Spiegelungen und unerwünschte Lichtreize während der Aufnahme zu verhindern. Zudem sollte sich der Programmrechner mit dem Kontrollmonitor außerhalb des Blickfeldes des Probanden befinden, um eine Ablenkung von den dargebotenen Stimuli zu vermeiden.

Eye Tracking Device auf der ISS

Dieser Eyetracker wurde ursprünglich vom Deutschen Zentrum für Luft- und Raumfahrt (DLR) für den Einsatz auf der Internationalen Raumstation ISS entwickelt. Anfang 2004 wurde er als Teil des europäisch-russischen Raumfahrtprogramms auf die ISS befördert. Das Gerät wurde von Andrew H. Clarke vom Vestibular-Labor der Charité in Berlin in Zusammenarbeit mit den Unternehmen Chronos Vision und Mtronix in Berlin entwickelt und für die Anwendung im Weltraum von der Firma Kayser-Threde in München integriert.

Bei ersten Experimenten, ausgeführt von Clarkes Team in Kooperation mit dem Moskauer Institut für Biomedizinische Probleme (IBMP), wurde das ETD für die Messung der Listingschen Ebene – einem Koordinatensystem zur Bestimmung der Augenbewegungen relativ zum Kopf – genutzt. Das wissenschaftliche Ziel bestand darin, zu bestimmen, wie die Listingsche Ebene sich unter verschiedenen Gravitationsbedingungen verändert. Insbesondere wurde der Einfluss langfristiger Mikrogravitation an Bord der ISS und nach der anschließenden Rückkehr in die Erdgravitation untersucht.

Die Ergebnisse tragen zum Verständnis der neuralen Plastizität in Vestibular- und Oculomotor-Systemen bei.

Diese Experimente begannen im Frühling 2004 und wurden bis Ende 2008 von einer Reihe von Kosmonauten und Astronauten fortgeführt, die jeweils sechs Monate auf der ISS verbrachten.

Operationen

Die Untersuchung der Orientierung der Listingschen Ebene während einer langfristigen Raumfahrtmission ist von speziellem Interesse, weil die Listingsche Ebene auf der Erde scheinbar durch das vestibuläre System beeinflusst wird. Dies lässt sich durch Messung der Kopfposition relativ zur Gravitation feststellen. Das Experiment untersucht die Anpassung des Vestibularsystems des Astronauten während des Aufenthalts in der Schwerelosigkeit und nach der Rückkehr zur Erde. Das Experiment soll darüber hinaus klären, in welchem Maße sich die Orientierung der Listingschen Ebene in Abhängigkeit von der Adaption des vestibulären Systems an veränderte Gravitationsverhältnisse, insbesondere an die Schwerelosigkeit, verändert. Eine weitere Frage ist, ob der menschliche Körper während eines langen Raumfluges die fehlenden Inputs des Vestibularsystems durch andere Mechanismen kompensiert.[9]

Missionen

Das ETD kam für diese Studie zwischen 2004 und 2008 zum Einsatz. Während der sechsmonatigen Experimente wurden die Versuche im Drei-Wochen-Rhythmus wiederholt, wodurch die Adaption der Mikrogravitation evaluiert werden konnte. Ergänzend wurden in den ersten Wochen nach der Rückkehr zur Erde äquivalente Messungen bei jedem Kosmonauten oder Astronauten durchgeführt. Inzwischen ist das ETD-System ein universelles Instrument auf der ISS. Zurzeit wird es von einer Gruppe russischer Wissenschaftler des Instituts für Biomedizinische Probleme verwendet, die die Koordination der Augen- und Kopfbewegungen in der Mikrogravitation untersuchen.

Technologie

Die digitalen Kameras sind mit leistungsstarken CMOS-Bildsensoren ausgerüstet und werden via bidirektionalen, digitalen Hochgeschwindigkeitsverbindungen (400Mb/s) mit dem zugehörigen Prozessorboard des Host-PC verbunden. Auf diesem PCI-Prozessor-Bord befindet sich die Front-End-Steuerungsarchitektur, welche aus dem digitalen Signalprozessor (DSP) und programmierbaren integrierten Schaltkreisen (FPGA) besteht. Diese Komponenten sind so programmiert, dass sie die pixelorientierte Onlineakquisition und das Messen der 2D-Pupillenkoordinaten ermöglichen.[10]

Für die Aufgabe der Blickbewegungsregistrierung wird eine substanzielle Datenreduktion von den Sensoren und der Front-End-Steuerungsarchitektur ausgeführt. So werden nur vorselektierte Daten vom Bildsensor zum Host-PCs, auf dem die finalen Algorithmen und die Datenspeicherung ausgeführt werden, übertragen. Diese Entwicklung beseitigt die Flaschenhalsprobleme herkömmlicher Frame-by-Frame-Bildverarbeitung und ermöglicht eine wesentliche Steigerung der Bildwiederholungsraten.

Die Steuerungsarchitektur ist in einem PC integriert und ermöglicht die Visualisierung der Augen und der entsprechenden Signale bzw. Daten. Ein wichtiges Entwicklungsmerkmal ist die digitale Speicherung aller Bildsequenzen der Kameras als digitale Dateien auf austauschbaren Festplatten. Auf diese Weise kann die Festplatte mit den gespeicherten Augendaten, nach Abschluss der ISS-Mission zur Erde zurückgesendet werden. Dies gewährleistet eine umfangreiche und zuverlässige Bilddatenanalyse im Forschungslabor und minimiert die Zeit, die für das Experiment auf der ISS benötigt wird.

ETD auf der Erde

Parallel zu der im Weltraum eingesetzten Ausführung des ETD wurde von Chronos Vision auch eine kommerziell anwendbare Version entwickelt, die in vielen europäischen, nordamerikanischen und asiatischen Laboren für die neurophysiologische Forschung eingesetzt wird.

Remote Eyetracker (in den Bildschirm integriert) der Firma Tobii

In einer Studie von Hunziker über Augenbewegungen beim Problemlösen (1970) wurde eine 8-mm-Filmkamera verwendet, um die Probanden durch ein Glas hindurch zu filmen. Die visuelle Denkaufgabe war auf dem Glas aufgezeichnet.[11]

Externe Systeme, sogenannte Remote Eye Tracker ermöglichen die Durchführung berührungsloser Messungen. Hierbei entfallen mechanische Bauteile wie Übertragungskabel oder Kinnstützen. Der Proband kann sich nach erfolgreicher Kalibrierung in einem gewissen Bewegungsradius frei bewegen. Ein bedeutender Aspekt liegt hierbei in der Kompensation der Kopfbewegungen. Eine Person kann einen Ort fixieren und dabei Kopfbewegungen durchführen, ohne den Fixationsort zu verlieren.

Zur Registrierung von Blickbewegungen auf einem Computerbildschirm können die Komponenten des Gerätes entweder direkt in einen Bildschirm eingebaut oder unter beziehungsweise neben diesem angebracht werden. Die Augenkamera erkennt automatisch das Auge und „verfolgt“ dieses. Es besteht kein Kontakt zwischen Proband und Gerät. Dem gegenüberstehen Eyetracker in „Tower“-Bauweise, wobei der Kopf des Probanden im Gerät fixiert wird. Letztere Bauart ist in der Regel teurer in der Anschaffung und für den Probanden eher unbequem, liefert in der Regel dafür exaktere Ergebnisse in höherer Bildfrequenz.

Unterschiedliche Techniken werden dabei eingesetzt:

• Pan-Tilt-Systeme:

Mechanisch bewegliche Komponenten führen die Kamera mit Kameraoptik den Kopfbewegungen des Probanden nach. Aktuelle Systeme erreichen dabei Messraten von bis zu 120 Hz.

• Tilting-Mirror-Systeme:

Während Kamera und Optik raumfest bleiben erlauben servogetriebene Spiegel ein Nachverfolgen des Auges bei Kopfbewegungen.

• Fixed-Camera-Systeme:

Diese Systeme verzichten auf jegliche mechanisch bewegliche Komponenten und erzielen den Bewegungsfreiraum mittels Bildverarbeitungsmethoden.

Diese Varianten haben gegenüber der mobilen Bauart den Vorteil, dass sie Daten aufzeichnen, die eindeutig parametrisierbar sind und so einer statistischen Auswertung zugeführt werden können (es lässt sich also in exakten Werten angeben, zu welchem beliebigen Zeitpunkt die Person in welchen Bereich des Bildschirms geschaut hat). Während Remote-Eyetracker vorwiegend in der Markt- und Medienforschung zum Einsatz kommen (z. B. Nutzung von Webseiten, Blickbewegung beim Betrachten von Filmen), finden die Tower-Eyetracker in den Neurowissenschaften Verwendung (z. B. Forschung zu Mikrosakkaden).

Vor dem Aufkommen von komplexen Aufzeichnungsgeräten wurden einfache Filmaufzeichnungen eingesetzt, die durch Auswertung der Einzelbilder die Analyse der Augenbewegungen in bestimmten Fällen ermöglichten. Sie konnten dort eingesetzt werden, wo es genügte, die Blickpunkte oben, unten, rechts, links und Mitte zu erfassen. Zudem hatten diese den Vorteil, dass auch die Handbewegungen und der Gesichtsausdruck gesehen werden konnten.

Heutzutage werden auch vielfach Webcams für kosteneffektives Eye-Tracking eingesetzt. Einer der ersten kommerziellen Anbieter in diesem Bereich war die Firma GazeHawk, die 2013 von Facebook aufgekauft wurde.[12] Seitdem gab es weitere Aufkäufe von Webcam-Eyetracking-Anbietern, beispielsweise Sticky,[13] die 2017 von Tobii aufgekauft wurden.[14] Webcam-Eyetracker bietet die Möglichkeit, Daten zur Wahrnehmung innerhalb großer Stichproben zu relativ geringen Kosten zu erheben: Die Datenerhebung kann virtuell erfolgen, d. h. die Testteilnehmenden müssen nicht in ein Teststudio kommen. Da die Messung über die Webcam des Studienteilnehmenden erfolgt, fallen kaum Kosten für Geräte und Hardware an. Im Vergleich zu Infrarot-Eyetrackern liefern Webcam-Eyetracking-Studien weniger genaue Daten. Sie werden daher vor allem dann eingesetzt, wenn Varianten verglichen werden sollen, die sich konzeptionell deutlich unterscheiden.

Moderne Verfahren wie das AttentionTracking ermöglichen eine Blickaufzeichnung mit Hilfe der Computermaus oder einem vergleichbaren Zeigegerät. Die Blickpunkte fallen in Form von Mausklicks an.

Übersicht der Systemkomponenten[15]

Benutzerinterface des ETD

Die technische Ausführung eines Eyetrackers ist je nach Modell etwas unterschiedlich. Dennoch finden sich grundsätzliche Gemeinsamkeiten: jeder Eyetracker besitzt eine Augenkamera, eine Blickfeldkamera und eine Infrarot-Lichtquelle.

Der Einsatz von Eye-Tracking-Analysen im Bereich der Software-Ergonomie ist weit verbreitet. Im Rahmen von Usability-Tests wird die Wahrnehmung von Versuchspersonen während der Ausführung von Aufgaben mit einer Software oder auf einer Webseite analysiert. Damit können Probleme etwa bei der Informationssuche oder der Interaktion identifiziert und die Softwareprodukte optimiert werden.[19][20]

Die Laserbehandlung bei Fehlsichtigkeiten verdankt ihren Erfolg u. a. dem Einsatz von Eye Trackern, welche sicherstellen, dass der Laser die Hornhaut an der geplanten Stelle behandelt und Augenbewegungen überwacht werden. Gegebenenfalls wird der Laser nachgeführt – oder aber abgeschaltet, bis das Auge wieder die richtige Position hat. Andere Systeme werden in den Bereichen Neurologie, Gleichgewichtsforschung, Okulomotorik und Augenfehlstellungen eingesetzt. Auch in der Psychiatrie gewinnen Eye-Tracker immer mehr an Bedeutung: Mit ihnen verbindet sich die Hoffnung, dadurch künftig zuverlässigere und frühere Diagnosen zu ermöglichen (z. B. bei Autismus oder ADHS).[21]

Eye Tracker werden als Vergleichssysteme bei funktioneller Bildgebung in Kernspintomographen (fMRI), bei Studien mit Magnetoenzephalographie-Geräten (MEG), oder Elektroenzephalografie (EEG)-Systemen eingesetzt.

• Bildwahrnehmung
• Bewegungswahrnehmung
• Analyse von Lernfortschritten (Trainingsanalyse)

• Packungsdesign
• Point-Of-Sale (POS)
• Werbung (Print, Online Analysen etc.)

• Selektions- und Rezeptionsverhalten von Usern auf Webseiten[22] und bei der Online-Informationssuche[23]

• Aktivitätserkennung, wie Lesen oder Suchen[24][25][26]
• Benutzerauthentifizierung über Windows Hello[27]
• Anwendungen und Spiele für die Virtuelle Realität und Erweiterte Realität[28][29][30]; so sind in den neuesten Generationen von VR (z. B. HTC Vive Pro Eye[31]) und AR/MR Headsets (z. B. Microsoft Hololens 2[32]) erstmals Eyetracker direkt integriert.

• Computersteuerungen für körperlich beeinträchtigte Menschen durch eine Augenmaus. Meist repräsentiert dabei der Cursorpunkt den Blickpunkt. Eine Interaktion wird im Allgemeinen durch eine Fixation für eine bestimmte Zeit (dwell time) auf ein Objekt ausgelöst. Seit Windows 10 ist eine Augensteuerung für Benutzer mit Behinderungen integriert, um einerseits den Mauszeiger zu steuern, auf der anderen Seite aber auch die integrierte Bildschirmtastatur zu bedienen bzw. durch eine Text-zu-Sprache-Funktion mit anderen Menschen zu kommunizieren[33].
• Zur Adaption von autostereoskopischen Displays an den Betrachterstandpunkt. Der Bildschirminhalt und/oder der vor dem Bildschirm befindliche Strahlteiler wird so verändert, dass die jeweils passende Stereoteilbild beim linken, bzw. rechten Auge ankommt.
• Interaktion in Computerspielen. Mehr als 100 Spiele (u. a. Tom Clancy’s The Division, Far Cry) unterstützen bereits Eyetracking Funktionen, wie z. B. blickgesteuertes Zielen, verschieben des Sichtfeldes je nach Blickpunkt oder ein scharfes Rendering der Darstellung im Bereich des Blickpunktes, während der restliche Bildschirm leicht unscharf bleibt (Foveated Rendering)[34].