Optischer Fluss

Bewegungsvektoren, die eine schnelle Kamerafahrt auf ein Ziel unten-mittig im Bild verursacht hat. Hier stammen die Vektoren aus der Bewegungsschätzung, die in MPEG-Daten gespeichert sind und sind somit kein regelmäßiges Vektorfeld für jedes Pixel im Bild.

Der optische Fluss einer Bildsequenz ist das Vektorfeld der in die Bildebene projizierten Geschwindigkeit von sichtbaren Punkten des Objektraumes im Bezugssystem der Abbildungsoptik.

Der optische Fluss ist eine wichtige Repräsentation von Bewegungsinformation in frühen Stufen der Bildverarbeitung. Sie unterstützt, wie die Segmentierung nach Farben und Texturen, die Zuordnung von Punkten zu Objekten. Anwendungsbeispiele sind die optische Computermaus, die Bildstabilisierung von Kameras, die Motion Compensation in der Video-Kompression und die Sichtnavigation von Robotern und Tieren.

Als optischer Fluss wird auch das (angestrebte) Ergebnis eines Rechenverfahrens oder gar das eingesetzte Verfahren bezeichnet. Wichtige Methoden sind differentielle Verfahren, die in der Regel bildpunktweise arbeiten, und blockweise arbeitenden Verfahren.

Methodik und Anwendungen

Der lokale optische Fluss wird aus Mustern im Bild in einer mehr oder weniger großen Umgebung eines betrachteten Bildpunktes geschätzt. Aus dem lokalen Gradienten kann nur die zum Gradienten parallele Komponente des Flussvektors bestimmt werden. Dieses grundsätzliche Problem bezeichnet man als Aperturproblem.

Ob der interessierende Vektor genau bestimmt werden kann, hängt also davon ab, ob innerhalb des betrachteten Gebietes G Grauwert-Gradienten in unterschiedliche Richtungen vorliegen. Außerdem ist es notwendig, eine Modellvorstellung davon zu haben, welchen prinzipiellen Verlauf der optische Fluss innerhalb des betrachteten Gebietes haben kann; im einfachsten Fall wird angenommen, dass der optische Fluss innerhalb kleiner Gebiete als konstant betrachtet werden kann. Kompliziertere Verläufe des Flussfeldes (z. B. affine Modelle) sind möglich und werden in leistungsfähigen Verfahren eingesetzt. Ein Interest-Operator liefert jene Punkte, deren Flussvektor besonders sicher bestimmt werden kann. In einigen Ansätzen wird nur an diesen ausgewählten Punkten der Fluss berechnet (feature point tracking).

Blockweise arbeitende Verfahren sind der photogrammetrische Blockausgleich und die Blockkorrelation (minimierte Summe der absoluten Differenzen, normalisierte Kreuzkorrelation). Eine Sonderform der blockweisen Bewegungsschätzung ist die auf der Fourier-Transformation aufbauende Phasenkorrelation (Inversion des normalisierten Kreuzleistungsdichtespektrums).

Differenzieller optischer Fluss

Die Berechnung des optischen Flusses mithilfe von differenziellen Methoden geht auf das 1981 am MIT entwickelte Verfahren von Berthold Horn und Brian Schunck zurück.

Man nimmt an, dass die Helligkeit $E$ an entsprechenden Stellen der Einzelbilder in der Bildsequenz konstant ist. Dann folgt aus der Ableitung

${\frac {dE}{dt}}={\frac {\partial E}{\partial t}}+{\frac {\partial E}{\partial x}}{\frac {dx}{dt}}+{\frac {\partial E}{\partial y}}{\frac {dy}{dt}}$

als notwendige Bedingung die Bestimmungsgleichung für die Geschwindigkeiten:

${\frac {\partial E}{\partial t}}+{\frac {\partial E}{\partial x}}{\frac {dx}{dt}}+{\frac {\partial E}{\partial y}}{\frac {dy}{dt}}=0.$

(Vergleiche Kontinuitätsgleichung)

Die Lösung dieser Gleichung ist im Sinne von Jacques Hadamard ein schlecht gestelltes Problem. Daher wird von der Lösung zusätzlich Glattheit gefordert.

Es gibt mehrere Methoden den optischen Fluss zu bestimmen, darunter:

• Lucas-Kanade-Methode
• Horn-Schunck-Methode

Einige bekannte Algorithmen zur Berechnung des optischen Flusses sind in der C-Bibliothek OpenCV implementiert.

Anwendung bei Insekten und beim Menschen

Bienen und andere Insekten mit Facettenaugen nutzen den optischen Fluss, um

geradeaus zu fliegen

Die Drehrate wird so geregelt, dass Attraktor und Repeller des optischen Flusses einander diametral gegenüberliegen.

Hindernissen auszuweichen

Die Flugrichtung wird in eine Richtung mit geringem optischen Fluss geändert.

und Abstände zu schätzen

Je größer bei gegebener Fluggeschwindigkeit das Maximum des optischen Flusses, desto geringer der Abstand. Fliegen können so an der Zimmerdecke landen, indem sie sich rechtzeitig in die Rückenlage drehen.

Ähnlich hilft uns der optische Fluss im Fußgänger- und Straßenverkehr: Wir nehmen die Bewegung der anderen Verkehrsteilnehmer aus den Augenwinkeln wahr und berücksichtigen sie unbewusst bei der eigenen Fortbewegung. Objekte mit divergentem Fluss kommen näher.

Weblinks

• centeye.com: What is "Optical Flow"? (Memento vom 17. April 2010 im Internet Archive) (engl.)
• Optical Flow (engl.)