Eye-Tracking

Kosmonaut auf der ISS mit einem mobilen Eyetracker

Augenkontrolliertes Spiel (Tobii Technology)

Mit Eye-Tracking (selten auch: Blickerfassung oder Okulographie) bezeichnet man das Aufzeichnen der hauptsächlich aus Fixationen (Punkte, die man genau betrachtet), Sakkaden (schnellen Augenbewegungen) und Regressionen bestehenden Blickbewegungen einer Person.

Als Eyetracker werden Geräte und Systeme bezeichnet, die die Aufzeichnung vornehmen und eine Analyse der Blickbewegungen ermöglichen.

Das Eye-Tracking wird als wissenschaftliche Methode in den Neurowissenschaften, der Wahrnehmungs-, Kognitions- und Werbepsychologie, der kognitiven bzw. klinischen Linguistik, im Produktdesign und der Leseforschung eingesetzt. Es wird auch bei der Untersuchung von Tieren, insbesondere im Zusammenhang mit der Erforschung ihrer kognitiven Fähigkeiten eingesetzt.

Geschichte

Ergebnis eines Eye-Trackings nach der Betrachtung eines Gemäldes bei verschiedenen Fragestellungen

Bereits im 19. Jahrhundert wurden Augenbewegungen durch direkte Beobachtung erfasst. Einer der Ersten war der Franzose Émile Javal, der die Augenbewegungen beim Lesen beschrieb.

Mit der Erfindung der Filmkamera wurde es möglich, die direkte Beobachtung aufzuzeichnen und nachträglich zu analysieren. Dies erfolgte bereits 1905 durch Judd, McAllister und Steel.

Als eigentlicher Pionier der Blickregistrierung mit hoher Genauigkeit gilt der Russe A.L.Yarbus, der insbesondere den Einfluss der Aufgabenstellung auf die Blickbewegungen beim Betrachten von Bildern nachwies .

In den 1970er-Jahren wurden dann neue Verfahren entwickelt.

• Retinal-Nachbilder, durch eine Folge starker Lichtreize werden so genannte Nachbilder auf der Retina erzeugt, durch deren Position man auf die Augenbewegung schließen kann.
• Elektrookulogramme messen die elektrische Spannung zwischen Netzhaut (negativer Pol) und der Hornhaut (positiver Pol).
• Kontaktlinsenmethode, die verspiegelt sind und deren Reflexion von einer Kamera aufgezeichnet wird.
• search coil, bei der ebenfalls Kontaktlinsen eingesetzt werden, welche mit Spulen versehen sind und einem magnetischen Feld ausgesetzt werden. Aus der induzierten Spannung kann dann die Augenbewegung errechnet werden.
• Cornea Reflex Methode, welche die Reflexion einer oder mehrerer Lichtquellen (Infrarot oder spezielle Laser) auf der Hornhaut und die Pupillenposition zueinander nutzt. Das Augenbild wird mit einer geeigneten Kamera aufgenommen. Das Verfahren wird auch als „video based eye tracking“ bezeichnet.

Je nach Anwendungsgebiet, experimentellen Anforderungen und Systemeigenschaften unterscheidet man bei videobasierten Blickbewegungsmeßsystemen heute im Wesentlichen zwischen 4 Kategorien.

Aufzeichnungsgeräte

Grundsätzlich lassen sich Eyetracker in zwei verschiedene Bauweisen unterteilen: mobile Eyetracker, die fest auf dem Kopf des Probanden angebracht werden und solche, die extern installiert sind. Letztere kann man wiederum in zwei Kategorien unterteilen: Remote-Geräte sowie solche, die mit einer Fixierung des Kopfes des Probanden verbunden sind.

Mobile Systeme

Mobiler Eyetracker mit Steuerrechner

Mobile Systeme, sogenannte Head-mounted Eye Tracker erlauben in erster Linie Mobilität.

Hierbei wird der Eyetracker, bestehend aus einer Augenkamera und einer Blickfeldkamera, mittels einer speziellen Vorrichtung auf dem Kopf des Probanden montiert. Diese kann je nach Hersteller aus verschiedenen Fixiergurten oder einem Helm bestehen. Der Vorteil dieser Bauweise liegt im mobilen Einsatz, wenn als Steuerrechner ein Notebook Verwendung findet, kann dieses (beispielsweise im Rucksack) vom Probanden transportiert werden. Während bei externen Geräten lediglich der Blick auf einen Bildschirm aufgezeichnet werden kann, eignen sich mobile Eyetracker somit auch für Feldstudien außerhalb des Laborkontextes. Der Nachteil dieser Lösung ist die nicht-parametrisierbare Aufzeichnung der Daten. So wird lediglich der Blick des Probanden in einem Video seiner Blickfeldkamera eingeblendet. Für eine statistische Auswertung müssen mit hohem Aufwand diese Videos manuell durchgesehen werden. Anwendungen sind beispielsweise die Marktforschung (wohin schaut ein Proband beim Gang durch ein Supermarktregal) oder Usability (wie lange schaut ein Proband beim Autofahren auf die Straße, wie lange auf das Navigationsgerät).

Auswertungen und Analysen erfolgen im Wesentlichen individuell und anwenderzentriert. Eine ebenfalls am Kopfsystem befestige Szenenkamera zeichnet ein Video auf, das in der Regel dem Sichtfeld des Probanden entspricht. In diesem Video wird die Blickposition des Probanden eingespielt und erlaubt so online, aber auch in der Analyse offline, eine Verfolgung des Blickpfades während einer freien Betätigung des Probanden. Generalisierung über mehrere Probanden und Aufmerksamkeitsanalyse auf bestimmte Objekte lässt sich technisch über 3D/6D Positionserfassungssysteme (sogenannte Head Tracker) realisieren.

Externe Systeme

Remote Eyetracker (in den Bildschirm integriert) der Firma Tobii

In einer Studie von Hunziker über Augenbewegungen beim Problemlösen (1970) wurde eine 8-mm-Filmkamera verwendet, um die Probanden durch ein Glas hindurch zu filmen. Die visuelle Denkaufgabe war auf dem Glas aufgezeichnet.

Externe Systeme, sogenannte Remote Eye Tracker ermöglichen die Durchführung berührungsloser Messungen. Hierbei entfallen mechanische Bauteile wie Übertragungskabel oder Kinnstützen. Der Proband kann sich nach erfolgreicher Kalibrierung in einem gewissen Bewegungsradius frei bewegen. Ein bedeutender Aspekt liegt hierbei in der Kompensation der Kopfbewegungen. Eine Person kann einen Ort fixieren und dabei Kopfbewegungen durchführen, ohne den Fixationsort zu verlieren.

Zur Registrierung von Blickbewegungen auf einem Computerbildschirm können die Komponenten des Gerätes entweder direkt in einen Bildschirm eingebaut oder unter beziehungsweise neben diesem angebracht werden. Die Augenkamera erkennt automatisch das Auge und „verfolgt“ dieses. Es besteht kein Kontakt zwischen Proband und Gerät. Dem gegenüber stehen Eyetracker in „Tower“-Bauweise, wobei der Kopf des Probanden im Gerät fixiert wird. Letztere Bauart ist in der Regel teurer in der Anschaffung und für den Probanden eher unbequem, liefert in der Regel dafür exaktere Ergebnisse in höherer Bildfrequenz.

Unterschiedliche Techniken werden dabei eingesetzt:

• Pan-Tilt-Systeme:

Mechanisch bewegliche Komponenten führen die Kamera mit Kameraoptik den Kopfbewegungen des Probanden nach. Aktuelle Systeme erreichen dabei Messraten von bis zu 120Hz.

• Tilting-Mirror-Systeme:

Während Kamera und Optik raumfest bleiben erlauben servogetriebene Spiegel ein Nachverfolgen des Auges bei Kopfbewegungen.

• Fixed-Camera-Systeme:

Diese Systeme verzichten auf jegliche mechanisch bewegliche Komponenten und erzielen den Bewegungsfreiraum mittels Bildverarbeitungsmethoden.

Diese Varianten haben gegenüber der mobilen Bauart den Vorteil, dass sie Daten aufzeichnen, die eindeutig parametrisierbar sind und so einer statistischen Auswertung zugeführt werden können (es lässt sich also in exakten Werten angeben, zu welchem beliebigen Zeitpunkt die Person in welchen Bereich des Bildschirms geschaut hat). Während Remote-Eyetracker vorwiegend in der Markt- und Medienforschung zum Einsatz kommen (z.B. Nutzung von Webseiten, Blickbewegung beim Betrachten von Filmen), finden die Tower-Eyetracker in den Neurowissenschaften Verwendung (z.B. Forschung zu Mikrosakkaden).

Sonderformen

Einfache Direktaufzeichnungen

Vor dem Aufkommen von komplexen Aufzeichnungsgeräten wurden einfache Filmaufzeichnungen eingesetzt, die durch Auswertung der Einzelbilder die Analyse der Augenbewegungen in bestimmten Fällen ermöglichten. Sie konnten dort eingesetzt werden, wo es genügte, die Blickpunkte oben, unten, rechts, links und Mitte zu erfassen. Zudem hatten diese den Vorteil, dass auch die Handbewegungen und der Gesichtsausdruck gesehen werden konnten.

Aufzeichnung mit der Computermaus

Moderne Verfahren wie das AttentionTracking ermöglichen eine Blickaufzeichnung mit Hilfe der Computermaus oder einem vergleichbaren Zeigegerät. Die Blickpunkte fallen in Form von Mausklicks an.

Beispiel Modell "EL II"

Übersicht der Systemkomponenten

Benutzerinterface des ETD

Die technische Ausführung eines Eyetrackers ist je nach Modell etwas unterschiedlich. Dennoch finden sich grundsätzliche Gemeinsamkeiten: jeder Eyetracker besitzt eine Augenkamera, eine Blickfeldkamera und eine Infrarot-Lichtquelle.

Komponenten

Das System "EL II" besteht aus zwei mit entsprechender Software ausgestatteten Computern, einem "Programmrechner" und einem damit verbundenen "Stimulusrechner" inklusive Monitoren sowie aus einem Headset. An diesem befinden sich zwei an seitlichen Halterungen befestigte Kameras zur Aufzeichnung der Augenbewegungen. Eine weitere, oben befindliche Kamera ist auf vier - an einem der beiden Rechner montierten - Infrarotmarker abgestimmt. Damit ist es möglich, jede Art von Fixation auf Bilder oder Handlungen aufzuzeichnen. Das hat u.a. den Zweck, dass auch bei Kopfbewegungen des Probanden keinerlei artefaktische Blickabweichungen berechnet werden. Dieses System bietet außerdem die Möglichkeit, neben den Bewegungen der Pupille auch die Cornealen Reflexionen zu erfassen. Auch Störfaktoren wie der Muskeltremor können so ausgeschlossen werden.

Montage des Headsets

Dem Probanden wird das Kopfband mit den Kameras aufgesetzt. Danach wird die oben befindliche Kamera in Position gebracht. Dafür wird sie möglichst genau auf mittlere Höhe und mittlere Breite des einen der beiden Monitore, nämlich des sogenannten Stimulusmonitors, eingestellt. An diesem Monitor sind auch die referentiellen Infrarotmarker für die Einstellung der Kamera montiert. Für die korrekte Justierung wird einfach entweder der Monitor selbst verschoben oder der Sessel des Probanden in der Höhe verstellt.

Die beiden auf den seitlichen Haltearmen befindlichen Augenkameras werden so geschwenkt, dass sie nicht störend im Blickfeld des Probanden liegen. Sie sollten sich ungefähr auf der Höhe der Nasenspitze befinden und können bereits in die ungefähre Position für die spätere Aufnahme gebracht werden. Die Kameras können mit dem Schwenkarm selbst sowie mittels Klemmen und Feststellschrauben dreidimensional verstellt werden.

Feineinstellung

Mit Hilfe einer mitgelieferten Software kann die Feineinstellung - Ausrichtung der Kamera und Schärfeneinstellung - vorgenommen werden. Letztere funktioniert über die im System integrierte automatische Schwellenwerteinstellung für die corneale Reflexion und die Pupillenerhellung.

Bei der Kalibrierung werden dem Probanden am Stimulusbildschirm in einer Autosequenz zufällige Punkte angeboten, die sich quer über den Bildschirm bewegen. Der Proband erhält die Anweisung, die Punkte mit beiden Augen zu verfolgen. Nach erfolgreicher Kalibrierung folgt die Validierung. Dies läuft wie das Kalibrieren ab, wobei aber die maximale Abweichung der Blickbewegungen in Grad gemessen wird. Dabei muss der Experimentleiter entscheiden, ob die Einstellung verwendbar ist oder ob nachjustiert werden soll. Eine einmal akzeptierte Einstellung lässt sich während des Experiments immer wieder nachjustieren, da zwischen den einzelnen Stimuli jeweils eine neutrale Bildschirmmaske mit Fixationspunkt erscheint. Das System selbst schlägt das besser eingestellte Auge vor.

Systemkonfiguration

Programmrechner und Stimulusrechner sind mittels eines Netzwerkkabels miteinander verbunden. Der Programmrechner steht darüber hinaus mit den Augenkameras und den Infrarotmarkern in Verbindung. Auf dem Stimulusrechner laufen eine Software zur Darbietung der Stimuli und die Programmiersprache Visual C++ für die Programmierung der Experimente. Der Monitor, auf dem die Stimuli präsentiert werden, sollte eine Größe von 17 Zoll aufweisen, da diese gerade für die Durchführung von Leseexperimenten am geeignetsten erscheint. Mit Hilfe eines Joysticks kann der Proband den jeweils nächsten Stimulus anfordern.

Programm- und Stimulusrechner sollten in einer bestimmten räumlichen Position aufgestellt werden, um Spiegelungen und unerwünschte Lichtreize während der Aufnahme zu verhindern. Zudem sollte sich der Programmrechner mit dem Kontrollmonitor außerhalb des Blickfeldes des Probanden befinden, um eine Ablenkung von den dargebotenen Stimuli zu vermeiden.

Das ETD auf der ISS

Eye Tracking Device auf der ISS

Der Eye Tracker wurde ursprünglich vom Deutschen Zentrum für Luft- und Raumfahrt (DLR) für den Einsatz auf der Internationalen Raumstation ISS entwickelt. Anfang 2004 wurde er als Teil des europäisch-russischen Raumfahrtprogramms auf die ISS befördert. Das Gerät wurde von Prof. Dr. Andrew H. Clarke vom Vestibular-Labor der Charité in Berlin in Zusammenarbeit mit den Unternehmen Chronos Vision und Mtronix in Berlin entwickelt und für die Anwendung im Weltraum von der Firma Kayser-Threde integriert.

Bei ersten Experimenten, ausgeführt von Clarkes Team in Kooperation mit dem Moskauer Institut für Biomedizinische Probleme (IBMP), wurde das ETD für die Messung der Listingschen Ebene - einem Koordinatensystem zur Bestimmung der Augenbewegungen relativ zum Kopf - genutzt. Das wissenschaftliche Ziel bestand darin, zu bestimmen, wie die Listingsche Ebene sich unter verschiedenen Gravitationsbedingungen verändert. Insbesondere wurde der Einfluss langfristiger Mikrogravitation an Bord der ISS und nach der anschließenden Rückkehr in die Erdgravitation untersucht.

Die Ergebnisse tragen zum Verständnis der neuralen Plastizität in Vestibular- und Oculomotor-Systemen bei.

Diese Experimente begannen im Frühling 2004 und wurden bis Ende 2008 von einer Reihe von Kosmonauten und Astronauten fortgeführt, die jeweils sechs Monate auf der ISS verbrachten.

Operationen

Die Untersuchung der Orientierung der Listingschen Ebene während einer langfristigen Raumfahrtmission ist von speziellem Interesse, weil die Listingsche Ebene auf der Erde scheinbar durch das vestibuläre System beeinflusst wird. Dies lässt sich durch Messung der Kopfposition relativ zur Gravitation feststellen. Das Experiment untersucht die Anpassung des Vestibularsystems des Astronauten während des Aufenthalts in der Schwerelosigkeit und nach der Rückkehr zur Erde. Das Experiment soll darüber hinaus klären, in welchem Maße sich die Orientierung der Listingschen Ebene in Abhängigkeit von der Adaption des vestibulären Systems an veränderte Gravitationsverhältnisse, insbesondere an die Schwerelosigkeit, verändert. Eine weitere Frage ist, ob der menschliche Körper während eines langen Raumfluges die fehlenden Inputs des Vestibularsystems durch andere Mechanismen kompensiert.

Missionen

Das ETD kam für diese Studie zwischen 2004 und 2008 zum Einsatz. Während der sechsmonatigen Experimente wurden die Versuche im Drei-Wochen-Rhythmus wiederholt, wodurch die Adaption der Mikrogravitation evaluiert werden konnte. Ergänzend wurden in den ersten Wochen nach der Rückkehr zur Erde äquivalente Messungen bei jedem Kosmonauten oder Astronauten durchgeführt. Inzwischen ist das ETD-System ein universelles Instrument auf der ISS. Zurzeit wird es von einer Gruppe russischer Wissenschaftler des Instituts für Biomedizinische Probleme verwendet, die die Koordination der Augen- und Kopfbewegungen in der Mikrogravitation untersuchen.

Technologie

Die digitalen Kameras sind mit leistungsstarken CMOS-Bildsensoren ausgerüstet und werden via bidirektionalen, digitalen Hochgeschwindigkeitsverbindungen (400Mb/s) mit dem zugehörigen Prozessorboard des Host-PC verbunden. Auf diesem PCI-Prozessor-Bord befindet sich die Front-End-Steuerungsarchitektur, welche aus dem digitalen Signalprozessor (DSP) und programmierbaren integrierten Schaltkreisen (FPGA) besteht. Diese Komponenten sind so programmiert, dass sie die pixelorientierte Onlineakquisition und das Messen der 2D-Pupillenkoordinaten ermöglichen.

Für die Aufgabe der Blickbewegungsregistrierung wird eine substanzielle Datenreduktion von den Sensoren und der Front-End-Steuerungsarchitektur ausgeführt. So werden nur vorselektierte Daten vom Bildsensor zum Host-PCs, auf dem die finalen Algorithmen und die Datenspeicherung ausgeführt werden, übertragen. Diese Entwicklung beseitigt die Flaschenhalsprobleme herkömmlicher Frame-by-Frame-Bildverarbeitung und ermöglicht eine wesentliche Steigerung der Bildwiederholungsraten.

Die Steuerungsarchitektur ist in einem PC integriert und ermöglicht die Visualisierung der Augen und der entsprechenden Signale bzw. Daten. Ein wichtiges Entwicklungsmerkmal ist die digitale Speicherung aller Bildsequenzen der Kameras als digitale Dateien auf austauschbaren Festplatten. Auf diese Weise kann die Festplatte mit den gespeicherten Augendaten, nach Abschluss der ISS-Mission zur Erde zurückgesendet werden. Dies gewährleistet eine umfangreiche und zuverlässige Bilddatenanalyse im Forschungslabor und minimiert die Zeit, die für das Experiment auf der ISS benötigt wird.

ETD auf der Erde

Parallel zu der im Weltraum eingesetzten Ausführung des ETD wurde von Chronos Vision auch eine kommerziell anwendbare Version entwickelt, die in vielen europäischen, nordamerikanischen und asiatischen Laboren für die neurophysiologische Forschung eingesetzt wird.

Anwendungsgebiete

Unterschiede der Augenbewegungen (Fixationen) zwischen einem geübten und einem ungeübten Autofahrer

Medizin

Die Laserbehandlung bei Fehlsichtigkeiten verdankt Ihren Erfolg u.a. dem Einsatz von Eye Trackern, welche sicherstellen, dass der Laser die Hornhaut an der geplanten Stelle behandelt und Augenbewegungen überwacht werden. Gegebenenfalls wird der Laser nachgeführt - oder aber abgeschaltet bis das Auge wieder die richtige Position hat. Andere Systeme werden in den Bereichen Neurologie, Gleichgewichtsforschung, Okulomotorik und Augenfehlstellungen eingesetzt.

Neurowissenschaften

Eye Tracker werden als Vergleichssysteme bei funktioneller Bildgebung in Kernspintomographen (fMRI), bei Studien mit Magnetoenzephalographie-Geräten (MEG), oder Elektroenzephalografie (EEG)-Systemen eingesetzt.

Psychologie

• Bildwahrnehmung

• Bewegungswahrnehmung

• Analyse von Lernfortschritten (Trainingsanalyse)

Marktforschung

• Packungsdesign
• Point-Of-Sale (POS)
• Werbung (Print, Online Analysen, etc.)

Informatik

• Aktivitätserkennung

Mensch-Maschine-Interaktion

• Computersteuerungen für körperlich beeinträchtigte Menschen durch eine Augenmaus. Meist repräsentiert dabei der Cursorpunkt den Blickpunkt. Eine Interaktion wird im Allgemeinen durch eine Fixation auf ein Objekt ausgelöst.

Literatur

• Alan Dix, Janet Finlay, Gregory Abowd, RussellBeale: Mensch, Maschine, Methodik. Prentice Hall, New York NY u. a. 1995, ISBN 3-930436-10-8.
• Andrew Duchowski: Eye Tracking Methodology. Theory and Practice. 2nd Edition. Springer, London 2007, ISBN 978-1-84628-608-7.
• Thomas Kaltenbacher: Übungen zum Eyetracking. Fachbereich Linguistik, Universität Salzburg (Kursunterlagen).
• Frank Lausch: Splitscreen als spezielle Werbeform im TV. Eine explorative Studie zur Rezeption von TV Inhalten mit Hilfe von Eyetracking. AV Akademikerverlag Saarbrücken 2012, ISBN 978-3-639-39093-3 (Zugleich: Ilmenau, Technische Universität, Masterarbeit, 2011).

Weblinks

• Artikel über das Eyetracking auf e-teaching.org