Erweiterte Realität

Augmented-Reality-App Wikitude auf einem Smartphone

Unter erweiterter Realität (auch englisch augmented reality [ɔːɡˈmɛntɪd ɹiˈælɪti], kurz AR [eɪˈɑː]) versteht man die computergestützte Erweiterung der Realitätswahrnehmung. Diese Information kann alle menschlichen Sinnesmodalitäten ansprechen. Häufig wird jedoch unter erweiterter Realität nur die visuelle Darstellung von Informationen verstanden, also die Ergänzung von Bildern oder Videos mit computergenerierten Zusatzinformationen oder virtuellen Objekten mittels Einblendung/Überlagerung. Bei Fußball-Übertragungen ist erweiterte Realität beispielsweise das Einblenden von Entfernungen bei Freistößen mithilfe eines Kreises oder einer Linie.

Definition und Abgrenzung

Realitäts-Virtualitäts-Kontinuum nach Milgram

Im Realitäts-Virtualitäts-Kontinuum (nach Paul Milgram et al., 1994) sind die erweiterte Realität (augmented reality, AR) und erweiterte Virtualität (augmented virtuality) Teil der sogenannten gemischten Realität (mixed reality). Während der Begriff Augmented Virtuality kaum von der Fachwelt benutzt wird, werden Augmented Reality und Mixed Reality, selten auch Enhanced Reality, meist synonym verwendet. Im Gegensatz zur virtuellen Realität, bei welcher der Benutzer komplett in eine virtuelle Welt eintaucht, steht bei der erweiterten Realität die Darstellung zusätzlicher Informationen im Vordergrund. Für die visuelle Modalität führt dies zu wesentlich härteren Anforderungen an die Positionsbestimmung (Tracking) und Kalibrierung.

Unter einem AR-System (kurz ARS) versteht man das System der technischen Bestandteile, die nötig sind, um eine Augmented-Reality-Anwendung aufzubauen: Kamera, Trackinggeräte, Unterstützungssoftware usw.

Die Literatur verwendet meist die Definition der erweiterten Realität von Azuma:

• Die virtuelle Realität und die Realität sind miteinander kombiniert (teilweise überlagert).
• Interaktivität in Echtzeit.
• Reale und virtuelle Objekte stehen 3-dimensional zueinander in Bezug.

Diese Definition hat zwei Nachteile:

• sie stützt sich allein auf technische Merkmale,
• sie beschränkt sich auf nur einen Teilaspekt von AR.

Andere Arbeiten definieren AR als eine Ausweitung der Sinneswahrnehmung des Menschen durch Sensoren von Umgebungseigenschaften, die der Mensch selbst nicht wahrnehmen kann: Radar, Infrarot, Distanzbilder usw.

Anwendungen

Erweiterte Realität könnte in praktisch allen Bereichen des Alltags zum Einsatz kommen. Monteure könnten sich den nächsten Arbeitsschritt direkt in ihr Sichtfeld einblenden lassen; Soldaten oder Katastrophenhelfer könnten sich Ziele und Gefahrenzonen im Gelände anzeigen lassen und Designer könnten mit tatsächlich und virtuell anwesenden Kollegen am selben dreidimensionalen Modell arbeiten. Mit fortschreitender Technologie lassen sich futuristische Anwendungsszenarien erschließen: Elektronische Geräte, die nur virtuell existieren, aber auf echte Berührungen reagieren, künstliche Sinneserweiterungen wie den „Röntgenblick“ und Computerspiele in freiem Gelände.

Automatische Texterkennung, -übersetzung und -projektion in der App Word Lens

Ein Beispiel für eine AR-Anwendung sind die in Echtzeit eingeblendeten virtuellen Marken bei Sportübertragungen: Verschiedene Entfernungen der Konkurrenten beim Skispringen, Weitwurf usw. (Man beachte, dass dieses Beispiel oft keine Augmented-Reality-Anwendung nach der obigen Definition ist, da manchmal das interaktive Element fehlt.)

Google arbeitete an einem (2015 eingestellten) Produkt, das unter dem Namen Google Glass 2012 vorgestellt worden war. Es handelte sich um eine Brille mit Mikrodisplay und Kamera, die auch über Spracheingabe bedient werden sollte. Zu den Funktionen des Geräts gehörte etwa, dass der Träger der Brille Informationen seiner Umgebung ins Internet überträgt und seinerseits entsprechende Hinweise, beispielsweise in Form von Navigationshinweisen, aus dem Internet erhält. Weiterhin sollten auch die bekannten Möglichkeiten von Smartphones und Videokonferenzen zur Verfügung stehen.

Hilfestellung bei komplexen Aufgaben, v. a. in Konstruktion, Wartung und Medizin

Durch Anzeigen von Zusatzinformationen kann eine Hilfestellung bei komplexen Aufgaben geschehen. Zum Beispiel werden für einen Mechaniker die Teile eines Gerätes „beschriftet“, und er bekommt Arbeitsanweisungen. In der Medizin kann erweiterte Realität genutzt werden, um die Darstellung nicht sichtbarer Elemente zu ermöglichen. Zum Beispiel kann dies intraoperativ geschehen, als „Röntgenblick“ für den Operateur, basierend auf vorheriger Tomographie oder aktuellen Bilddaten von Ultraschallgeräten oder offenen Kernspintomografen.

Industrielle Anwendungen

Navigationshinweis auf dem Smartphone

Mit Augmented Reality können digitale Planungsdaten effizient mit vorhandenen realen Geometrien abgeglichen werden. Die Technik ermöglicht ferner den breiten Einsatz von digitalen Absicherungsmethoden bei der Kombination von digitalen Daten mit realen Prototypen bzw. Konstruktionen.

Navigation

Photogrammetrische Nachbildung eines Denkmals

Erweiterte Realität kann grundsätzlich die Navigation im Gebäude (bei der Wartung von Industrieanlagen), im Freien (für Militär oder Katastrophenmanagement), im Auto (Projektion von Navigationshinweisen an die Windschutzscheibe, so dass beispielsweise Abbiegehinweise auf der Fahrbahn erscheinen) oder im Flugzeug (Head-Up-Displays in Kampfflugzeugen sind eine der frühesten AR-Anwendungen überhaupt) genutzt werden.

Digitalkameras

Live-View bei einer fotografischen Aufnahme mit Markierung der erkannten und scharf eingestellten Gesichter

Bei Digitalkameras mit Live-View-Suchern und -Bildschirmen kann zusätzlich zum Motiv errechnete Information eingeblendet werden, wie zum Beispiel für erkannte Gesichter, für scharf gestellte Kanten oder für fehlerhaft belichtete Bildbereiche. Zur Ausrichtung von Bild- oder Motivkanten können Gitterlinien oder elektronische Wasserwaagen eingeblendet werden.

Kunst

10.000 Moving Cities, Marc Lee, Augmented Reality Multiplayer Game, Kunst Installation

AR in der bildenden Kunst ermöglicht es Objekten oder Orten, künstlerische multidimensionale Erfahrungen und Interpretationen der Realität auszulösen.

Das nicht fertiggestellte Denkmal des Künstlers Benno Elkan wurde virtuell rekonstruiert und im Museum für Kunst und Kulturgeschichte Dortmund ausgestellt. Mit einer Smartphone-App kann das virtuelle Denkmal von allen Seiten betrachtet werden.

Militär und Katastrophenmanagement

Systeme ARC4(USA)

Im Bereich Militär und Katastrophenmanagement können tragbare Systeme verwendet werden, die etwa Freund und Feind oder Brandherde anzeigen.

Hydrologie, Ökologie, Geologie

Systeme können für die Prospektion, für die Darstellung und die interaktive Analyse von Karten und Geländemerkmalen genutzt werden, um beispielsweise Bodenschätze auszubeuten.

Architektur

Erweiterte Realität eignet sich ebenfalls für die Visualisierung von Architektur. So können zerstörte historische Gebäude oder auch zukünftige Architekturprojekte dargestellt werden.

Simulation

Auch für Flug- und Fahrsimulatoren kann erweiterte Realität eingesetzt werden.

Zusammenarbeit verteilter Teams

Die Zusammenarbeit örtlich verteilter Teams kann erleichtert werden. Zum Beispiel durch Video-Konferenzen mit realen und virtuellen Teilnehmern (siehe hierzu auch: Telepresence). Aber auch die gemeinsame Arbeit an simulierten 3D-Modellen wird so unterstützt.

Unterhaltung

AR Tower Defense Spiel

Eine Erweiterung in Museen und Ausstellungen durch Virtuelle Objekte ermöglicht Besuchern Zugang zu mehr Informationen. Ebenfalls nutzbar ist die erweiterte Realität in der Unterhaltungsindustrie, wie beispielsweise bei Spielen (ARQuake, EyePet (für PS3)). Ein populäres Beispiel ist das Spiel Ingress, das von Niantic und Google entwickelt wurde und 2012 erschien.

Mit der EW-Anwendung Pokémon Go erreichten die Entwickler Niantic und Nintendo im Sommer 2016 ein breites Publikum.

Werbung

Zunehmend setzen Unternehmen in ihrer Werbung auf AR-Komponenten, um dem Kunden einen Mehrwert zu bieten. So veröffentlichte beispielsweise die Möbelhauskette IKEA 2013 einen Katalog, in dem ausgewählte Möbelstücke per Smartphone-App eingescannt und virtuell an einen beliebigen Platz in der Wohnung projiziert werden konnten.

Lernen

Erweiterte Realität verfügt auch im Lernbereich über ein großes Potenzial. Es besteht die Möglichkeit, insbesondere durch mobile Applikationen, digitale Layer auf reale Welten zu projizieren und nahtlos in die Realität zu integrieren. Besonders Applikationen mit Animationen erlauben ein interaktives Erschließen laufender Prozesse. Somit werden vor allem abstrakte Konzepte, welche in traditionellen Lernformen teilweise nur einseitig betrachtet werden können, greifbarer. Des Weiteren ermöglichen es AR-Applikationen, die Umgebung eigenständig zu erkunden, was in einer Steigerung der Lernmotivation resultieren kann.

Ein Beispiel für AR-Lernen durch selbständiges Erkunden ist die App „Timetraveler Berlin Wall“, welche historische Ereignisse in die Umgebung der heutigen Welt integriert. Kritiker befürchten, dass bei einem unreflektierten Einsatz von AR-Anwendungen lineare Wahrnehmungsmodi eingeübt werden, die eine ‚natürliche‘, dynamische Wahrnehmung und Interaktion mit der Welt unterbinden.

Zukünftige Anwendungen

Als zukünftige Anwendungen werden einige Beispiele hier aufgeführt. Zum einen kann eine Erweiterung von PC-Betriebssystemoberflächen in die reale Umwelt geschehen. Programmfenster und Icons werden dann als virtuelle Geräte im realen Raum dargestellt und durch Blicke oder Zeigen mit dem Finger bedient. Dies kann generell zum Ersatz herkömmlicher Bildschirme (Ersatz von Handy- und Navigatorbildschirmen und Einblendung der Informationen direkt in die Umwelt, beispielsweise von Leitlinien direkt auf die Fahrbahn, sowie Erweiterungen, wie beispielsweise „Röntgenblick“ zur Darstellung verdeckter Ziele), Gerätebedienfelder, oder zu völlig neuen Gerätetypen führen. Außerdem kann erweiterte Realität für multimediale Anwendungen, wie pseudo-holografische virtuelle Bildschirme, virtuelle „Holodecks“, virtuelles Surround-Kino genutzt werden. Aber auch zur Verschönerung der alltäglichen Umwelt, wie durch die Darstellung virtueller Pflanzen, Tapeten, Ausblicke, Kunstwerke, Dekorationen, Beleuchtung usw., wären Anwendungen denkbar. Bei allgemeiner Verbreitung von AR-Systemen könnte man auch virtuelle Schaufenster, Plakate oder Verkehrsschilder nutzen.

Möglich wäre zudem ein Zusammenwachsen von Virtual und Augmented Reality, sodass der User auf einem Endgerät zwischen den Formen wechseln kann.

Probleme

Technik

Ein Problem ist die technische Belastung bei erweiterter Realität, besonders die Nachführung der Bilder bei Bewegungen. Auch die Sensoren werden durch die Bewegung beeinträchtigt. So gibt es Rauschen, Drift und Abschattung des Trackingsystems (beispielsweise bei GPS, INS). Eine Kombination von beispielsweise GPS mit Trägheits- und optischer Navigation ist daher bei fortgeschrittenen Systemen üblich.

Ein weiteres Problem stellt die Energieversorgung dar. Die momentan verfügbaren Akkus reichen noch nicht aus, um mobile Augmented-Reality-Systeme längere Zeit zu versorgen. Auch die Verfügbarkeit von Daten, Authoring und hohe Komplexität von Daten können zu Problemen führen. Um die Einbettung der virtuellen Szene in die reale Szene möglichst überzeugend zu leisten, sind Daten notwendig, die die Umgebung auch in ihrer Geometrie beschreiben. Darauf aufbauend können dann virtuelle Schnitte durch reale Objekte gezeichnet und die Verdeckung der virtuellen Objekte durch die realen Objekte berechnet werden. Diese Geometriedaten sind jedoch nicht immer verfügbar oder aktuell. Die vollständige Integration virtueller Objekte in reale Szenen erfordert das Ausblenden von Hintergrundteilen, damit die Objekte nicht durchsichtig erscheinen. Systeme, die die direkte Sicht vollständig durch Kamerabilder ersetzen (EyeTap) haben dieses Problem nicht, sind aber für viele Anwendungen ungeeignet.

Soziale Aspekte

Da neben Gebäuden, Denkmälern und anderen statischen Objekten mit immer besserer Hardware und Software auch Personen durch Gesichts-, Sprach- oder Kleidungserkennungssoftware in Anwendungen für erweiterte Realität eingebunden werden könnten, ist mit weitreichenden Auswirkungen auf die Gesellschaft zu rechnen.

Siehe auch

• optisches Tracking
• Photogrammetrie
• Mobile Storytelling
• Point of Interest
• Wikitude
• Silhouetten-Schnittverfahren
• Google Street View, Google Maps for Mobile: für Mobiltelefone, PDAs oder Smartphones
• Kartendienste, wie Wikimapia, Google Earth, OpenStreetMap, Bing Maps

Literatur

• Schart; Dirk; Tschanz; Nathaly: Praxishandbuch Augmented Reality für Marketing, Medien und PR. UVK Verlag, 2015, ISBN 978-3-86764-602-4
• Dörner; Broll; Grimm; Jung (Hrsg.): Virtual und Augmented Reality (VR / AR): Grundlagen und Methoden der Virtuellen und Augmentierten Realität. Springer Vieweg, 2014.
• Rolf R. Hainich: The End of Hardware – A Novel Approach to Augmented Reality.. Boksurge Publishing. 2. Auflage, 2006. 3. erw. Auflage, Mai 2009.
• Michael Haller, Mark Billinghurst, Bruce Thomas: Emerging Technologies of Augmented Reality: Interfaces and Design. Idea Group Publishing, November 2006.
• Gudrun Klinker: Augmented Reality – Raus aus der Kiste, rein in die Wirklichkeit. In: Markus Kaiser (Hrsg.): Ringvorlesung Games. Retro-Gaming, Gamification, Augmented Reality, München 2014, ISBN 978-3-9815512-1-1
• Oliver Bimber, Ramesh Raskar: Spatial Augmented Reality: Merging Real and Virtual Worlds. A K Peters, Juli 2005.
• W. Barfield, T. Caudell (Hrsg.): Fundamentals of Wearable Computers and Augmented Reality. Lawrence Erlbaum, Mahwah, NJ 2001.

Wichtige Publikationen:

• R. Azuma: A Survey of Augmented Reality. In: Presence: Teleoperators and Virtual Environments. 6, Nr. 4, 1997, S. 355–385 (PDF-Datei; 479 kB).
• R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, B. MacIntyre: Recent advances in augmented reality. In: IEEE Computer Graphics and Applications. 21, Nr. 6, 2001, S. 34–47 (PDF-Datei; 2,2 MB).
• T.P. Caudell, D.W. Mizell: Augmented reality: an application of heads-up display technology to manual manufacturing processes. In: Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences, 1992. vol.2, 1992, S. 659–669, doi:10.1109/HICSS.1992.183317. 
• Pierre Wellner, Wendy Mackay, Rich Gold: Back to the real world. In: Communications of the ACM. Band 36, Nr. 7, Juli 1993, S. 24–26, doi:10.1145/159544.159555. 
• Paul Milgram, Haruo Takemura, Akira Utsumi, Fumio Kishino: Augmented reality: a class of displays on the reality-virtuality continuum. In: Proceedings of SPIE 2351, Telemanipulator and Telepresence Technologies. 21. Dezember 1995, S. 282–292, doi:10.1117/12.197321 (utoronto.ca [PDF; 45 kB]). 

Weblinks

Commons: Erweiterte Realität – Sammlung von Bildern, Videos und Audiodateien

Wiktionary: augmented – Bedeutungserklärungen, Wortherkunft, Synonyme, Übersetzungen

• ISMAR 2007 Symposium (englisch)
• Minimalinvasive Laparoskopie mit Augmented Reality (mit OsiriX), Teikyo University Chiba Medical Center
• Internetvideostream in der 3sat Mediathek (Beitrag) zu Beispielen für die Anwendung der Erweiterten Realität im Bereich virtuell integrierte 3D-Objekte
• Augmented Reality in Suchmaschinen – Sendung in SWR2 Wissen
• Augmented Reality: Ich sehe was, was du nicht siehst. In: Elektrischer Reporter. 19. März 2010.
• Alexander Stirn: Augmented Reality. Wegweiser durch die neue Wirklichkeit. In: spiegel.de 7. November 2009.
• Augmented Reality: Erweiterte Realität fürs Handy – Sendung in SWR2 Wissen (MP3; 25,8 MB)
• Eine Vision wird Realität – Die Röntgenbrille im OP – Sendung c't magazin
• Trend-Ausblick: Augmented Reality im eCommerce – eCommerce Lounge
• Augmented Reality in kurzem Video erklärt
• Industrielle Anwendung