Geleitwort
Das von mir vertretene Fachgebiet „Rechnerintegrierte Produktion“ am Heinz
Nixdorf Institut befasst sich mit der Nutzung der Informationstechnik in In-
dustrieunternehmen. Die vergangenen Jahre haben gezeigt, dass der gezielte
Einsatz von Informationstechnik die Effizienz der Leistungserstellungsprozesse
im Industrieunternehmen nachhaltig steigert. Zur Erhaltung der Wettbewerbs-
fähigkeit sind Industrieunternehmen gezwungen, die Nutzenpotenziale neuer
Technologien frühzeitig zu erkennen und rechtzeitig auszuschöpfen.
Augmented Reality (AR) ist eine solche Technologie, die ein hohes Nutzenpo-
tential aufweist und an der Schwelle zur breiten Anwendung steht. AR reichert
das, was der Benutzer von der Realität wahrnimmt, mit computergenerierten
Informationen an. Im Prinzip eröffnen sich erfolgversprechende Anwendungen
über den gesamten Produktlebenszyklus von der Produktentwicklung über die
Fertigung / Montage, dem Betrieb bis zur Demontage.
Vor diesem Hintergrund zeigt Herr Fründ einen Weg auf, wie Augmented Rea-
lity und damit verbunden markerloses Tracking und mobile Kommunikation
zur Produktpräsentation genutzt werden. Er entwickelte eine Client / Server-
Architektur, die diese Technologien zusammenführt und eine rationelle Reali-
sierung von AR-Anwendungen ermöglicht.
Die Arbeit von Herrn Fründ ist ein wichtiger Beitrag zur effizienten Entwick-
lung von leistungsfähigen AR-Anwendungen. Sie trägt damit wesentlich dazu
bei, die vorhandenen Nutzenpotenziale von AR auszuschöpfen.
Paderborn, im Dezember 2007 Prof. Dr.-Ing. Jürgen Gausemeier
Eine Architekturkonzeption für eine skalierbare
mobile Augmented Reality Anwendung für die
Produktpräsentation
zur Erlangung des akademischen Grades eines
DOKTORS DER INGENIEURWISSENSCHAFTEN (Dr.-Ing.)
von der Fakultät für Maschinenbau
der Universität Paderborn
genehmigte
DISSERTATION
von
Dipl.-Inform. Jürgen Fründ
aus Geseke
Tag des Kolloquiums: 21. Dezember 2006
Referent: Prof. Dr.-Ing. Jürgen Gausemeier
Korreferent: Prof. Dr.-Ing. Rainer Koch
Vorwort
Die vorliegende Dissertation entstand während meiner Tätigkeit als wissen-
schaftlicher Angestellter im Fachgebiet Rechnerintegrierte Produktion am
Heinz Nixdorf Institut der Universität Paderborn.
Sehr herzlich danke ich Herrn Prof. Dr.-Ing. J. Gausemeier, für die stetige Un-
terstützung und Förderung meiner Arbeit während meiner Zeit als Wissen-
schaftlicher Angestellter, für die kritische Auseinandersetzung mit meiner wis-
senschaftlichen Arbeit, für die gewährte große wissenschaftliche Freiheit und
die Vielzahl von Anregungen und Diskussionen.
Weiterhin danke ich Herrn Prof. Dr.-Ing. R. Koch für die Übernahme des Ko-
refferates und die kritische Durchsicht dieser Dissertation.
Meinen besonderen Dank gilt meinen Kollegen aus dem Team Augmen-
ted/Virtual Reality: Dipl.-Ing. M. Grafe, Dipl.-Inform. J. Bauch, Dr.-Ing. J.
Berssenbrügge, Dipl.-Wirt. Ing. U. Brüseke, Dr.-Ing. C. Matysczok, Dipl.-Ing.
K. Mette, Dipl.-Wirt. Ing. S. Parisi, Dr.-Ing. R. Radkowsky, Dipl.-Ing. M.
Schoo, Dr.-Ing. Q. Shen, Dr.-Ing. R. Wortmann.
Ich danke auch allen Studentischen Hilfskräften sowie allen Studien- und Dip-
lomarbeitern, die durch ihr Mitwirken an dem Gelingen der Arbeit beteiligt wa-
ren. Weiterhin möchte ich mich bei allen Beteiligten des Projektes AR-PDA
bedanken für die hervorragende und erfolgreiche Zusammenarbeit. Ein großer
Dank gilt auch den guten Geistern im Sekretariat A. Dutschke und S. Illigen.
Diesmal vergesse ich nicht S. Pollmann, bei dem ich mich bedanke weil er
auch spontan Zeit hatte, meine Arbeit Korrektur zu lesen.
Ein besonderes Dankeschön gilt meiner Mutter, die mich in den vergangenen
Jahren vielfältig unterstützt hat. Die Dissertation widme ich meinem Vater, der
die Fertigstellung leider nicht mehr erleben konnte.
Ganz besonderer Dank gilt Bianca, die viel Geduld und Kraft während meiner
Dissertation aufgebracht hat und mich so motivierte.
Paderborn, im Dezember 2007 Jürgen Fründ
Eine Architekturkonzeption für eine skalierbare mobile
Augmented Reality Anwendung
Inhaltsverzeichnis Seite
1 Einleitung .........................................................................................1
1.1 Problematik ................................................................................1
1.2 Zielsetzung.................................................................................2
1.3 Vorgehensweise.........................................................................2
2 Grundlagen und Anforderungen an eine Systemarchitektur für
Augmented Reality Anwendungen.................................................5
2.1 Augmented Reality.....................................................................5
2.1.1 Definition ........................................................................5
2.2 Positionsbestimmungssysteme..................................................9
2.2.1 Time Frequency Measurement......................................10
2.2.1.1 GPS...............................................................10
2.2.1.2 Ultraschall .....................................................11
2.2.2 Optisches Tracking........................................................12
2.2.2.1 Markerbasierte Verfahren..............................13
2.2.2.2 Natural Feature Tracking...............................16
2.2.3 Weitere Verfahren.........................................................18
2.2.3.1 Inertiale Verfahren.........................................18
2.2.3.2 Laser.............................................................18
2.2.3.3 Magnetisches Verfahren ...............................19
2.2.3.4 Hybride Ansätze............................................19
2.3 Mobile Endgeräte.....................................................................20
2.3.1 Tablet PC ......................................................................20
2.3.2 PDA ......................................................................21
2.3.3 Smartphones.................................................................22
2.4 Drahtlose Kommunikation........................................................23
2.4.1 Global System for Mobile Communication (GSM).........23
2.4.2 Universal Mobile Telecommunications System (UMTS)25
2.4.3 Wireless Local Area Network (WLAN)...........................26
2.5 AR-Anwendungen im Produktlebenszyklus..............................27
Seite ii Inhaltsverzeichnis
2.5.1 Entwicklung/ Konstruktion.............................................27
2.5.2 Fertigungsplanung ........................................................29
2.5.3 Fertigung ......................................................................31
2.5.4 Vertrieb ......................................................................33
2.5.5 Betrieb ......................................................................35
2.5.6 Rücknahme...................................................................37
2.6 Anforderungen an ein System für ein mobiles skalierbares AR-
System zur Präsentation von technischen Produkten..............38
3 Analyse bestehender Systeme für mobile AR Anwendungen...41
3.1 ARVIKA....................................................................................41
3.2 AR ToolKit................................................................................45
3.3 Studierstube mit ARToolKitPlus für PDA..................................47
3.4 Cellphone Tracking..................................................................50
3.5 Distributed Wearable Augmented Reality Framework
(DWARF) .................................................................................52
3.6 Tinmith.....................................................................................54
3.7 Ubiquitous Mobile Augmented Reality (UMAR) .......................58
3.8 wearIT@work...........................................................................60
3.9 Handlungsbedarf und Zielsetzung der Arbeit...........................64
4 Konzeption und Systementwurf...................................................67
4.1 Systemarchitektur ....................................................................67
4.1.1 Client ......................................................................70
4.1.2 Kommunikation .............................................................71
4.1.2.1 Videoübertragung..........................................72
4.1.2.2 Interaktionen .................................................72
4.1.3 AR-Server .....................................................................73
4.1.3.1 Das Managementsystem ..............................76
4.1.3.2 Objektdarstellung..........................................79
4.1.3.3 Tracking........................................................80
4.1.3.4 Datenhaltung.................................................82
4.2 Autorensystem.........................................................................84
4.3 Integration in den Produktlebenszyklus....................................87
4.3.1 Ermittlung der Trackingdaten........................................87
4.3.2 Anwendungsentwicklung...............................................88
4.3.3 Integration in die bestehende IT-Umgebung.................89
4.4 Bewertung hinsichtlich der Erfüllung der Anforderungen ........91
5 Prototypische Realisierung ..........................................................93
Inhaltsverzeichnis Seite iii
5.1 Implementierung.......................................................................94
5.2 Anwendungsszenario...............................................................95
6 Zusammenfassung und Ausblick.................................................99
7 Abkürzungsverzeichnis...............................................................101
8 Abbildungsverzeichnis................................................................103
9 Literaturverzeichnis.....................................................................107
Einleitung Seite 1
1 Einleitung
Informationen und Kommunikationstechnik durchdringen alle Lebensbereiche.
In der Arbeitswelt und im privaten Umfeld sind heute mobile Kommunikati-
onsgeräte wie Mobiltelefone, Organizer, PDAs und Laptops weit verbreitet.
Der Zugriff der Geräte auf das Internet ist mittlerweile durch die Kommunika-
tionstechnologie überall möglich. Technologien wie UMTS unterstützen den
breitbandigen Zugriff auf Informationen. In Hotels, Flughäfen und öffentlichen
Einrichtungen nimmt die Zahl der Hotspots zu, über die mobile Kommunikati-
onsgeräte per wireless LAN (WLAN) eine Verbindung zum Internet aufbauen
können. Die Kommunikationsinfrastruktur bietet heute einen allgegenwärtigen
Zugriff auf Informationen, unabhängig von Ort und Zeit [TP03], [Rot02].
Der Einsatz der Informationstechnik prägt heute auch die Leistungserstellungs-
prozesse in der Industrie. Virtuelle Prototypen sind feste Bestandteile der Pro-
duktentwicklungsprozesse Virtuelle Prototypen sind die rechnerinterne Reprä-
sentation eines realen Prototyps, der im Entwicklungsprozess analysiert und
konkretisiert wird. Ist der Entwicklungsprozess abgeschlossen, so wird der vir-
tuelle Prototyp zum virtuellen Produkt, das in die Serienfertigung übernommen
werden kann. Durch den Einsatz von virtuellen Prototypen liegen alle Produkt-
informationen elektronisch vor [GEK01].
Die Technologie Augmented Reality (AR) ist eine Mensch-Maschine-
Schnittstelle, die computergenerierte Informationen kontextsensitiv in das
Sichtfeld des Benutzers einblendet und somit den Informationsgehalt der realen
Welt erweitert [BK+01]. Der Einsatz dieser Technologie mit der Kombination
der virtuellen Prototypen und der mobilen Kommunikationstechnologien eröff-
net neue Perspektiven im Produktlebenszyklus von der Entwicklung über die
Produktion, dem Marketing und Vertrieb bis zur Wartung und dem Recycling.
1.1 Problematik
Das Management der Produktinformationen benötigt eine kommunikations-
und informationstechnische Unterstützung. Die Variantenvielfalt steigt
[HBF03]. Die Produkte werden immer komplexer. Besonders in der Produkti-
on und Wartung von Produkten ist die Verfügbarkeit der aktuellen Produktin-
formationen eine Herausforderung. Die wirksame Unterstützung des Benutzers
hängt dabei sehr stark von der Art der Bereitstellung dieser Informationen ab
[VK02]. Die Daten sind heute in Handbüchern, Bedienungsanweisungen oder
elektronischen Produktdatenmanagementsystemen (PDM) vorhanden. Zum
Zugriff auf diese Daten durchsucht der Mitarbeiter im Service oder der Produk-
tion die Handbücher oder Bedienungsanweisungen oder er benutzt einen Lap-
Seite 2 Kapitel 1
top oder PC-Arbeitsplatz, um die Informationen über den elektronischen Weg
zu erhalten. Es kommt einerseits zum Medienbruch, da die elektronischen Da-
ten in Form von Handbüchern ausgedruckt werden und somit einen bestimmten
Informationsstand zu einer bestimmten Zeit darstellen, der aber längst überholt
sein kann. Auf der anderen Seite unterbricht der Mitarbeiter seinen Arbeitspro-
zess, um seine ganze Aufmerksamkeit auf die Informationsermittlung zu kon-
zentrieren [RNB02]. Der traditionelle Desktop-PC schränkt den Zugriff auf die
Informationen durch seinen stationären Charakter ein. Zur Informationsermitt-
lung geht der Anwender zum Informationsplatz, verlässt er den Platz, so stoppt
der Informationsfluss abrupt.
1.2 Zielsetzung
Ziel der Arbeit ist die Entwicklung eines Architekturkonzeptes, das es ermög-
licht, die Technologie Augmented Reality auf verschiedenen mobilen Endgerä-
ten einzusetzen. Der Nutzer wird in allen Phasen des Produktlebenszyklus mit
der Technology Augmented Reality unterstützt, um Produktinformationen am
Produkt zu visualisieren. Die Produktinformationen werden aus einer Daten-
bank abgerufen und in das Sichtfeld des Benutzers eingeblendet. Der Arbeits-
prozess wird nicht mehr unterbrochen, weil der Benutzer ein Informationssys-
tem aufsuchen muss. Der Einsatz von elektronischen Produktinformationen
gewährleistet die Aktualität der Informationen. Die Auswahl der Informationen
wird durch das Erkennen des Benutzerkontextes unterstützt. Die Basis hierzu
bildet das Verfolgen und Erkennen von Objekten, dazu werden verschiedene
Trackingverfahren in der Architektur berücksichtigt.
1.3 Vorgehensweise
Die Arbeit stellt in Kapitel 2 die Grundlagen der Technologie Augmented Rea-
lity vor. Es werden die Nutzenpotenziale dieser Technologie anhand von An-
wendungsszenarien aufgezeigt. Aus Anwendungsszenarien werden die Anfor-
derungen an eine Systemarchitektur abgeleitet. Anhand der Anforderungen
werden bestehende Systemarchitekturen analysiert und ein Handlungsbedarf
für die Entwicklung eines neuen Architekturkonzeptes für skalierbare mobile
Augmented Reality Anwendungen abgeleitet.
In Kapitel 4 wird das Architekturkonzept für skalierbare mobile Augmented
Reality Anwendungen vorgestellt. Die Basis bildet ein Managementsystem, das
den Ablauf der gesamten Anwendung steuert. Das System greift auf die ver-
schiedenen Komponenten der Architektur zu. Eine Renderingeinheit rendert
die computergenerierten Informationen und mischt sie mit einem Videobild der
Realität. Eine Datenbank liefert die darzustellenden Informationen und spei-
Einleitung Seite 3
chert die benötigten Trackinginformationen zur Objekt- und Positionserken-
nung.
Kapitel 5 beschreibt die prototypische Implementierung des Architekturkon-
zeptes für skalierbare mobile Augmented Reality Anwendungen am Beispiel
des Projektes AR-PDA. In einem Verkaufsszenario werden verschiedene
Hausgeräte identifiziert sowie ihre Lage und Position berechnet. Der Benutzer
kann auf einem mobilen Endgerät um die Hausgeräte eine Küche konfigurieren
und Produktinformationen zu den Geräten abrufen.
Den Abschluss der Arbeit bildet Kapitel 6 mit einer Zusammenfassung der Ar-
beit und einen Ausblick in zukünftige Entwicklungen im Bereich der mobilen
Augmented Reality Anwendungen.
2 Grundlagen und Anforderungen an eine Systemar-
chitektur für Augmented Reality Anwendungen
2.1 Augmented Reality
Die Technologie Augmented Reality ist eine Mensch-Maschine-Schnittstelle,
die aus der Technologie Virtual Reality entstanden ist. Die wörtliche Überset-
zung bedeutet „erweiterte Realität“. Die Sicht auf die Realität wird mit compu-
tergenerierten Informationen angereichert oder erweitert. Die Technologie
Augmented Reality wird nach MILGRIM in dem Mixed Reality-Kontinuum ein-
geordnet (siehe Bild 2-1) [MTU+94]. Das Mixed Reality Kontinuum spannt
sich von der Realität zur Virtuellen Realität auf. Der Anteil der computergene-
rierten Inhalte nimmt in dem Kontinuum von links nach rechts zu bis zur Vir-
tuellen Realität, die zu 100% aus computergenerierten Informationen besteht.
Während der Benutzer in die Virtuelle Realität eintaucht, überlagert die Tech-
nologie Augmented Reality die Realität mit zusätzlichen Informationen.
Bild 2-1: Mixed Reality Kontinuum [MTU+94]
2.1.1 Definition
In der Literatur gibt es eine Vielzahl von Definitionen zu Augmented Reality
[FMS93], [MTU+94], [SFS+96] und [Sza99] in denen die Kombination von
realer und virtueller Welt und der Einsatz von Head Mounted Displays
(HMD)1 im Vordergrund steht. Wichtige Aspekte wie z.B. Interaktion und
1 Head Mounted Display (HMD): Ein Helm oder eine Brille mit integrierten Bildschirmen für
jedes Auge.
Seite 6 Kapitel 2
Echtzeit werden nicht berücksichtigt. Eine ausführliche und technologieunab-
hängige Definition gibt AZUMA in [Azu97]. Er beschränkt AR nicht nur auf
den Sehsinn, sondern bezieht alle Wahrnehmungssinne ein, wie z.B. hören, tas-
ten oder riechen [ABB+01]. AZUMA definiert Augmented Reality über die fol-
genden drei Merkmale:
• Kombination von realer und virtueller Welt
• Interaktion in Echtzeit
• Registrierung in drei Dimensionen
Kombination von realer und virtueller Welt
Die Grundidee von Augmented Reality ist die Erweiterung der Welt des Be-
nutzers mit zusätzlichen Informationen. Die Erweiterung der Welt geschieht
durch das Kombinieren der Realität mit virtuellen Informationen. Die Informa-
tionen können Texte, Videos, Sprache, Klänge, Zeichen, 2D- oder 3D-
Graphiken sein, die in die Umgebung des Benutzers eingeblendet werden und
so eine Kombination aus virtueller und realer Welt bilden. In Bild 2-2 werden
Handlungsanweisungen als Symbole in die VR-Brille mit der Realität ver-
mischt [Azu97].
Bild 2-2: Virtuelle Informationen werden in das Sichtfeld des Monteurs einge-
blendet [Gau02]
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 7
Interaktion in Echtzeit
Der Benutzer soll mit den virtuellen Objekten der erweiterten Realität genauso
agieren können wie mit den realen Objekten in seiner Umgebung. Die virtuel-
len Objekte müssen in Echtzeit auf Aktionen des Benutzers reagieren, um den
Eindruck der direkten Manipulation zu erreichen. Eine stetige sensorische Ü-
berwachung des Benutzers (Tracking) erfasst das Verhalten des Benutzers und
ermöglicht das Erkennen von Benutzeraktionen, auf die das System reagiert
[Azu97].
Registrierung in drei Dimensionen
Die virtuellen Informationen werden kontextsensitiv und damit sachbezogen
eingeblendet. Die virtuellen Informationen und die reale Welt werden exakt zur
Deckung gebracht, um die Informationen korrekt einzublenden. Mit Tracking-
systemen wird die Position des Benutzers ermittelt, so dass die virtuellen Ob-
jekte auf die realen projiziert werden [Azu97].
MATYSCZOK fast diese drei Punkte in der folgenden Definition zusammen:
„Augmented Reality (AR) ist die Gesamtheit aller Elemente
aller Technologien zur echtzeitfähigen, kontextsensitiven An-
reicherung der Realität durch multimodale, computergene-
rierte Informationen, die einen räumlichen Bezug haben und
mit denen der Benutzer interagieren kann, mit dem Ziel, den
Informationsgehalt der realen Welt zu erweitern.“
[Mat05, S. 7]
Analog zur Differenzierung zwischen Virtual Reality und Virtual Environment
in [Ebb97] führt MATYSCZOK den Begriff des Augmented Environment ein:
„Ein Augmented Environment (AE) ist eine in Echtzeit durch
computergenerierte Informationen, die einen räumlichen Be-
zug haben, kontextsensitiv angereicherte Realität, die durch
den Benutzer multimodal wahrnehmbar und manipulierbar
ist.“ [Mat05, S. 7]
Die Hard- und Software zum Erstellen und Erzeugen einer Augmented Envi-
ronment werden nach [Mat05] als Augmented Reality System definiert:
„Ein AR-System umfasst alle hard- und softwaretechnischen
Komponenten zur Generierung und zum Betrieb eines Aug-
mented Environments. Dieses beinhaltet ein rechnerinternes
Datenmodell, ein leistungsfähiges IT-System, ein Positions-
bestimmungssystem, Geräte zur Benutzerinteraktion sowie
ein ergonomisches Sichtgerät.“ [Mat05, S. 8]
Seite 8 Kapitel 2
Nach MATYSCZOK umfasst ein Augmented Reality System die hard- und soft-
waretechnischen Komponenten zum Erzeugen eines Augmented Environment.
Das System besteht aus einem leistungsfähigen IT-System, einem Positionsbe-
stimmungssystem (Trackingsystem), einem ergonomischen Sichtgerät, einem
rechnerinternen Datenmodell sowie Geräte zur Benutzerinteraktion.
MATYSCZOK gibt in [Mat05] einen geschichtlichen Überblick über die Techno-
logie Augmented Reality und erläutert die Bestandteile eines Augmented Rea-
lity Systems.
Diese Arbeit legt den Schwerpunkt auf die mobilen Endgeräte, daher werden
Videohandys, PDAs und Tablet PCs als Sichtgeräte und Geräte zur Benutzerin-
teraktion betrachtet und später vorgestellt.
Die Basis eines AR Systems bildet ein leistungsfähiges IT-System. Das IT-
System liefert die Informationen, die in die Realität eingeblendet werden. Die
Informationen können Texte, 2D- oder 3D-Daten sein. Zur Verarbeitung der
Daten benötigt das IT-System ein leistungsstarkes 3D-Subsystem, das in der
Lage ist komplexe 3D-Modelle darzustellen. Abhängig von den eingesetzten
Sichtgeräten erfolgt das Einblenden der Informationen in die Realität:
Bei Video See-Through Systemen nimmt eine Kamera die Umgebung auf. In
das Livevideo werden die Zusatzinformationen eingefügt und an einem Moni-
tor vor den Augen des Betrachters ausgegeben (siehe Bild 2-3).
Bild 2-3: Prinzip des Video See-Through Systems [Mat05]
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 9
Optical See-Through Systeme bestehen aus einem halbtransparenten Display,
das nur die virtuellen Objekte vor die Augen des Betrachters projiziert, wäh-
rend die Realität durch die halbtransparente Fläche im Hintergrund abge-
schwächt wahrgenommen wird (siehe Bild 2-4).
Bild 2-4: Prinzip des Optical See-Through Systems [Mat05]
Für die präzise Überlagerung der virtuellen Objekte mit der Realität werden
Positionsbestimmungssysteme eingesetzt, die im folgenden Kapitel beschrie-
ben werden.
2.2 Positionsbestimmungssysteme
Das AR-System gewinnt Informationen über die reale Umwelt durch eine Tra-
cking-Schnittstelle. Dabei handelt es sich um eine unidirektionale Verbindung
zur Messung sensorischer Daten. Diese hat zum Ziel, die Position und Orien-
tierung des Nutzers sowie aller relevanten Objekte in der Umgebung zu
bestimmen. Die gewonnenen Daten helfen bei der Erstellung einer Repräsenta-
tion der realen Welt, die als Welt-Modell in Datenbanken abgelegt wird
[ABB+01, S. 34-47], [KW04, S. 5-22], [Azu97, S. 355-385].
Seite 10 Kapitel 2
AR-Systeme stellen eine Reihe von Anforderungen an das Tracking-
Subsystem:
Eine hohe Zuverlässigkeit und Genauigkeit sind die Grundlage für die Regist-
rierung virtueller und realer Objekte. Die Registrierung profitiert ebenso von
einer geringen Latenz und hohen Aktualisierungsraten der Sensoren, weil sie
dann schneller auf Veränderungen in der Umgebung reagieren kann. Zur Erfas-
sung der Position und Orientierung des Benutzers sind typischerweise sechs
Freiheitsgrade (engl. Degrees of Freedom) notwendig, aber diese Anforderung
kann nicht jeder Tracking-Sensor erfüllen. Der Einsatz von Tracking-
Komponenten in mobilen AR-Systemen setzt ein geringes Gewicht und kom-
pakte Formfaktoren voraus, um den Benutzer nicht in seiner Bewegungsfreiheit
einzuschränken. Außerdem sollten die verwendeten Sensoren weitgehend resis-
tent gegenüber Umwelteinflüssen und sparsam im Energieverbrauch sein
[ABB+01, S. 34-47], [RDB01, S. 67-112].
Die Anforderungen können zur Zeit nur teilweise und in kontrollierten Räumen
erfüllt werden. Gerade die weiträumige Abtastung von unbekannten Umge-
bungen bereitet Probleme. Ursache für diese Einschränkung sind die Schwä-
chen der Tracking-Sensoren in Form eines begrenzten Wirkungsbereichs, feh-
lender Robustheit und der Empfindlichkeit gegenüber Störquellen [Azu97, S.
355-385], [ABB+01, S. 34-47], [ALJ+99, S. 787-793], [KW04, S. 5-22],
[RDB01, S. 67-112].
In AR-Systemen können unterschiedliche Tracking-Technologien eingesetz
werden. Der folgende Abschnitt beschreibt die Funktionsweise und Eigen-
schaften der einzelnen Tracking-Verfahren [RDB01, S. 67-112], [KW04, S. 5-
22].
2.2.1 Time Frequency Measurement
Vertreter des auf der Berechnung der Signallaufzeit (Time of Flight) basieren-
den Verfahrens sind das Global Positioning System (GPS) und Ultraschall. Bei
diesen Verfahren wird die Signallaufzeit gemessen und über Triangulierung die
Position des zu trackenden Objektes berechnet.
2.2.1.1 GPS
GPS wird seit Jahren zur Positionsbestimmung und Navigation im Freiland für
militärische und zivile Zwecke genutzt. Es besteht aus einem Netz von 24 Sa-
telliten, die die Erde in einer Höhe von ca. 20 000 m. umkreisen. Die GPS-
Empfänger erhalten von mindestens vier Satelliten ein Signal, das deren Positi-
on und einen Zeitstempel enthält. Anhand dieser Werte berechnet der GPS-
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 11
Empfänger seine eigene Position. Das Verfahren benötigt eine freie Sicht zwi-
schen dem Empfänger und den Satelliten, und kann daher nicht in Gebäuden
eingesetzt werden. Die verfügbare Genauigkeit hängt vom GPS-System ab.
Standard GPS liefert eine Genauigkeit von 10-20 Metern, Differential GPS (D-
GPS) kann eine Genauigkeit von zehn bis einem Meter erreichen und Kinema-
tik GPS (K-GPS) sogar unter einem Meter [Rot02].
Durch die Miniaturisierung können GPS-Systeme in Mobiltelefone integriert
werden. Das Unternehmen Siemens präsentiert ein Mobiltelefon mit einem As-
sisted-GPS (A-GPS) [Sie05-ol]. Das Mobiltelefon lässt den eigenen Standort
durch die Netzinfrastruktur berechnen und zeigt diesen mit Hilfe von Karten-
material an.
2.2.1.2 Ultraschall
Zur Positionsbestimmung werden auch akustische Verfahren eingesetzt. Meh-
rere Lautsprecher geben Ultraschallsignale ab. Die Positionen der Lautsprecher
im Raum sind bekannt. An dem zu trackenden Objekt befinden sich Mikrofo-
ne, die die Ultraschallsignale aufnehmen. Über Triangulierung und die ver-
schiedenen Signallaufzeiten kann die Position der Mikrofone und damit die Po-
sition des gesuchten Objektes berechnet werden. Bild 2-5 zeigt ein hybrides
Trackingsystem, dass u. a. Ultraschall zur Positionsbestimmung nutzt. Die Me-
tallleisten sind je nach Länge mit zwei bis drei Ultraschallsendern ausgestattet,
die ihre Signale in einem Winkelbereich von 60 Grad abstrahlen. Die Leisten
werden z. B. an Wänden oder Decken montiert, um den relevanten Arbeitsbe-
reich abzudecken. Die Position der Leisten wird präzise ausgemessen und im
Intersenseprozessor gespeichert. Der Intersenseprozessor berechnet die Positi-
on des Ultraschallempfängers im Arbeitsbereich und sendet sie über USB oder
WLAN zu einem PC, der die Daten für eine Anwendung nutzt.
Seite 12 Kapitel 2
Bild 2-5: Intersense IS900 arbeitet mit Ultraschall
2.2.2 Optisches Tracking
Beim optischen Tracking werden Video- oder Infrarotkameras zum Abtasten
der Umgebung eingesetzt. Mit Hilfe von Bildverarbeitungsalgorithmen werden
Bildmerkmale erkannt, aus denen die Position und die Orientierung des ge-
suchten Objekts abgeleitet werden. Die optischen Verfahren können jeweils in
die zwei folgenden Arten eingeteilt werden:
Inside-Out: Die Kamera befindet sich an dem zu trackenden Objekt und erfasst
Markierungen an festen und bekannten Positionen im Raum, über die die Posi-
tion der Kamera berechnet wird.
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 13
Outside-In: Eine oder mehrere Kameras befinden sich an festen bekannten Po-
sitionen im Raum und verfolgen frei bewegliche Objekte. Aus den bekannten
Kamerapositionen und dem Blickwinkel relativ zum Objekt kann die Position
und Orientierung des Objektes berechnet werden.
Neben der Unterteilung in Inside-Out und Outside-In werden die Verfahren
auch in markerbasierte und markerlose Verfahren eingeteilt.
2.2.2.1 Markerbasierte Verfahren
Das optische Tracking wird in den meisten Augmented Reality-Anwendungen
verwendet. Die bekannteste Art ist das markerbasierte Tracking auf Basis des
ARToolKits [BKK+99], [BKP+00], [BWF96], [BWF97], [KB99]. Die Soft-
ware wurde von Billinghurst und Kato entwickelt und zur Nutzung im Internet
zur freien Verfügung gestellt. Dies führte zu einer weiten Verbreitung inner-
halb von Forschung und Lehre. Mit einer Webcam und ausgedruckten Markern
kann so eine simple Augmented Reality Anwendung in kurzer Zeit entwickelt
werden.
Das Funktionsprinzip wird in Bild 2-6 dargestellt. Das AR-Toolkit analysiert
jedes einzelne Kamerabild. Das Bild wird in ein binäres Schwarzweißbild um-
gewandelt. Die Software sucht in dem Bild nach den Rahmen der Marker. Die
Abmessungen der verwendeten Marker sind der Software durch eine Initialisie-
rungsdatei bekannt. Wurde ein Rahmen entdeckt, so berechnet die Software die
Position und Orientierung des Markers relativ zur Kameraposition und spei-
chert sie in einer Transformationsmatrix. Das Symbol innerhalb des Markers
wird mit gespeicherten Mustern verglichen. Wird das Symbol erkannt, so wird
das dem Marker zugeordnete 3D-Objekt mit der entsprechenden Transformati-
onsmatrix ausgerichtet. Anschließend wird das 3D-Objekt in das Video geren-
dert.
Seite 14 Kapitel 2
Bild 2-6: Funktionsprinzip des markerbasierten Trackings [HIT06-ol]
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 15
Auf dem gleichen Prinzip basieren weitere markerbasierte Verfahren wie z.B.
AR Tag [Fia05a], [Fia05b] sowie die im Projekt ARVIKA verwendeten HOM-
, IGD- oder SCR Marker [ZFN02]. Die Verfahren unterscheiden sich in der
Form der Marker, wie Bild 2-7 zeigt. Beim AR-Toolkit können die Symbole
der Marker frei gewählt werden, da jedes Symbol vor der Verwendung der
Software gelernt wird. Beim AR-TAG und bei ARVIKA bildet das innere des
Markers eine N x N Matrix aus gleichgroßen Quadraten. Die Quadrate sind
schwarz oder weiß und werden als Binärcode interpretiert und ergeben so für
jeden Marker einen Zahlenwert. In den Anwendungen wird der Marker über
seinen Zahlenwert identifiziert
Bild 2-7: Verschiedene Marker [Fia05b]
Im Rahmen des Projektes ARVIKA entwickelte die Firma A.R.T GmbH ein
auf Infrarotkameras basierendes Tracking-Verfahren A.R.T- Track [Fri04]. Ein
Marker besteht aus mindestens 4 infrarotlichtreflektierenden Kugeln (Bild 2-8
rechts). Die Infrarotkameras (Bild 2-8 links) strahlen Infrarotlicht über integ-
rierte LEDs ab und nehmen ein Infrarotbild auf, in dem die Marker durch ihre
reflektierende Eigenschaft deutlich zu erkennen sind. Die in den Kameras in-
tegrierten Recheneinheiten führen innerhalb von Millisekunden die Bildverar-
beitung durch und berechnen die 2D-Koordinaten der Marker. Die Ergebnisda-
ten senden sie an einen zentralen PC, der daraus die Position und Orientierung
der Marker im Raum berechnet.
Seite 16 Kapitel 2
Bild 2-8: ARTtrack1: Optisches Infrarot-Tracking [ART06-ol]
Der Nachteil der markerbasierten Verfahren ist das Ausstatten der zu tracken-
den Umgebung oder des zu trackenden Objektes mit den Markern.
2.2.2.2 Natural Feature Tracking
Im Gegensatz zu den markerbasierten Verfahren arbeiten diese Trackingver-
fahren ohne künstliche Markierungen, die in die Umgebung eingebracht wer-
den. Die Verfahren nutzen Mustererkennungsalgorithmen, um vorher angelern-
te Muster im Bild zu erkennen und daraus die Position und Orientierung des
gesuchten Objekts zu berechnen [KTB+02]. Der Trackingalgorithmus von
[LF05] in Bild 2-9 erkennt die Muster des Buchdeckels und kann anhand der
Verzerrung berechnen wo sich das Buch im Raum befindet. Das Verfahren ar-
beitet auch mit komplizierten 3D-Mustern, wie Bild 2-10 zeigt.
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 17
Bild 2-9: Der Buchdeckel wird als Muster erkannt [LLF05]
Bild 2-10: Das Tracking wird auf 3D-Objekte angewendet [LLF05]
Viele Verfahren [BBB03], [BBB+03], [WVS05], [SB02], [GRS+02] extrahie-
ren Kanten aus den Videodaten wie Bild 2-11 zeigt. Aus den Kanten werden
mögliche Hypothesen über die Position des gesuchten Objektes aufgestellt. Ein
vorher bekanntes 3D-Modell des gesuchten Objektes wird an die mögliche Po-
sition platziert. Die gefundenen Kanten werden mit den Kanten der 2D-
Projektion des Modells verglichen, bis eine Hypothese gefunden wird, bei der
die Kanten zu einem hohen Grad übereinstimmen. Der Vorteil der Methoden
liegt darin, dass die gesuchten Objekte nicht präpariert werden. Vorraussetzung
für beide Verfahren ist, dass die Muster und die 3D-Modelle der gesuchten Ob-
jekte vorliegen.
Seite 18 Kapitel 2
Bild 2-11: Kanten Tracking [WVS05]
2.2.3 Weitere Verfahren
2.2.3.1 Inertiale Verfahren
Die inertialen Trackingverfahren beruhen auf der Auswertung der Veränderung
von Orientierungs- und Beschleunigungswerten nach dem Funktionsprinzip
des Kreiselkompasses (Gyroscope). Die aktuelle Position wird kontinuierlich
relativ zum Ausgangspunkt der Messung berechnet. Problematisch ist daher die
Situation, wenn kein definierter Startpunkt vorhanden ist. Der Kreiselkompass
driftet mit der Zeit und liefert dann falsche oder ungenaue Werte. Abhilfe leis-
tet nur die regelmäßige Nachjustierung der Einheit mit Hilfe eines unabhängi-
gen Referenzwertes. Dieser stammt oft von einem weiteren unabhängigen Sen-
sor und aus diesem Grund finden inertiale Verfahren nur in Verbindung mit
anderen Sensoren in hybriden Tracking-Systemen Verwendung [ABB+01, S.
34-47], [KW04, S. 5-22].
2.2.3.2 Laser
Laserbasierte Verfahren setzen Laserscanner zur Erfassung von Objekten ein.
Diese senden in einem festgelegten Bereich Laserstrahlen aus und berechnen
anhand der Signallaufzeiten der reflektierten Strahlen die Position und Orien-
tierung eines Objekts. Das Bild 2-12 zeigt den Laserscanner mit dem sternför-
migen Reflector.
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 19
Bild 2-12: Lasertracker Laserbird [Asc06-ol]
2.2.3.3 Magnetisches Verfahren
Elektromagnetische Verfahren messen die Veränderungen eines Magnetfeldes.
Darauf basierende Systeme besitzen den Vorteil einer hohen Abarbeitungsge-
schwindigkeit und Robustheit. Elektromagnetische Verfahren können nicht in
der Nähe von metallischen Gegenstände oder anderer elektromagnetischer
Quellen betrieben werden, da diese die Messung stören und die Genauigkeit
und Verlässlichkeit der Ergebnisse einschränken. [ABB+01, S. 34-47], [KW04,
S. 5-22]
2.2.3.4 Hybride Ansätze
AR-Systeme nehmen ihre Umwelt mit Hilfe unterschiedlicher Sensoren wahr.
Aufgrund der Sensor Eigenschaften besitzen diese jeweils Stärken und Schwä-
chen in der Anwendung. Neuere Ansätze favorisieren hybride Tracking-
Verfahren, um mindestens zwei Arten von Sensoren zu kombinieren und
Schwächen des einen durch Stärken des anderen auszugleichen. Das Ziel dieser
Bemühungen ist die Erhöhung der Genauigkeit und Robustheit des Tracking-
Systems. Die Kombination aus optischen und inertialen Techniken eignet sich
Seite 20 Kapitel 2
gut, weil sich die robusten aber weniger genauen inertialen Verfahren mit den
weniger robusten aber dafür präzisen optischen Verfahren gut ergänzen [Y-
NA99a, S. 260-267], [YN01, S. 71-78]. [ABB+01, S. 34-47]
2.3 Mobile Endgeräte
Die ständige Miniaturisierung führt zu immer leistungsstärkeren mobilen End-
geräten. Die Geräte werden hier in drei Klassen eingeteilt, die sich durch ihre
Größe, Leistungsfähigkeit und ihre Akkulaufzeit unterscheiden. Die beiden
Merkmale verhalten sich antiproportional. Tablet PC verfügen über die größte
Rechenleistung, während ihre Akkulaufzeit sehr gering ist. Im Gegensatz dazu
besitzen Fotohandys eine sehr geringe Rechenleistung, haben dafür aber eine
höhere Akkulaufzeit auf Grund ihres geringen Stromverbrauchs. Mittlerweile
wachsen die verschiedenen Geräte zusammen, so enthalten z.B. Mobiltelefone
die Funktionalitäten von PDAs.
2.3.1 Tablet PC
Ein Tablet PC ist ein Computer, der in der Bauweise einem Tablett (engl.
tablet) ähnelt, wie Bild 2-13 zeigt. Der Bildschirm ist etwa so groß wie eine
DIN-A4 Seite und bildet die Oberfläche des Gerätes. Die Eingabe erfolgt bei
vielen Geräten mit einem Stift direkt auf dem Bildschirm. Die Bewegungen des
Stiftes werden über einen induktiven Digitizer erfasst, so dass der Benutzer den
Bildschirm berühren kann, ohne die Erfassung zu beeinflussen. Die Geräte nut-
zen speziell angepasste Betriebssysteme, wie z.B. Windows XP Tablet PC Edi-
tion, die die Interaktion mit Stiften unterstützen und eine Schrifterkennung ent-
halten. Ein Tablet PC bietet die Leistungsfähigkeit eines Notebooks mit
Stiftinteraktion für den echten mobilen Einsatz. Ein Benutzer kann einen
Tablet PC im Stehen oder im Gehen nutzen im Gegensatz zum Notebook, das
zum Arbeiten eine Ablagefläche benötigt. Für die Verarbeitung von 3D-Daten
sind Tablet PCs mit 3D-Grafikbeschleunigern erhältlich. Die Geräte besitzen
die gängigen Standartschnittstellen für LAN, WLAN, USB, PCMCIA und Fi-
reWire. Dadurch können verschiedene Peripheriegeräte wie Kameras oder auch
Trackinggeräte angeschlossen werden. Die Akkulaufzeit liegt zwischen 2 bis 6
Stunden je nach Gerät und Tätigkeit.
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 21
Bild 2-13: Stiftbedienung bei einem Tablet PC [Wac06-ol]
2.3.2 PDA
Ein Persönlicher digitaler Assistent (PDA) ist ein mobiler Kleincomputer (sie-
he Bild 2-14), der in erster Linie als elektronischer Kalender oder Adressdaten-
bank dient. Durch ihre kompakte Bauweise können sie wie herkömmliche Ta-
schenkalender in Jacken- oder Hosentaschen mitgeführt werden und können
somit ein ständiger Begleiter des Benutzers sein. In den meisten Fällen besitzen
die Geräte einen berührungsempfindlichen Bildschirm und können so per Stift
bedient werden. Zusätzliche Bedienelemente wie z. B. Knöpfe, Schieber oder
Drehräder ermöglichen einen schnellen direkten Zugriff auf ausgewählte Funk-
tionen des Gerätes. Mit steigender Leistungsfähigkeit der PDAs erhalten die
Geräte weitere Funktionen. So werden Officeanwendungen wie Microsoft Ex-
cel, Word oder Powerpoint unterstützt. Die Geräte lassen sich über Infrarot o-
der Bluetooth mit anderen Geräten wie z.B. Mobiltelefonen oder PCs verbin-
den, um Daten zu synchronisieren. Aktuelle Geräte besitzen integrierte Module
für WLAN über die sie die Verbindung zum Internet aufnehmen können.
Seite 22 Kapitel 2
Bild 2-14: PDA Toshiba e740 und iPAQ hx2795 Pocket PC von hp
[Tos06-ol], [HP06-ol]
2.3.3 Smartphones
Diese Geräte sind in erster Linie Mobiltelefone, die PDA-Funktionen bieten.
Die Geräte besitzen ein integriertes Mobilfunkmodul und nutzen zur Kommu-
nikation die gängigen Mobilfunkstandards wie GSM, GPRS oder UMTS.
Teilweise sind die Geräte mit einer Kamera ausgestattet. Sie besitzen leistungs-
stärkere Prozessoren als Mobiltelefone. Ihre Betriebssysteme wie z.B. Symbian
OS oder Windows Mobile können C++ oder Java Programme ausführen. Dies
ermöglicht das Entwickeln von Anwendungen für diese Geräte. Im Gegensatz
zu Mobiltelefonen sind die Smartphones in der Lage mehrere Anwendungen
gleichzeitig auszuführen. Der Nachteil gegenüber den PDAs waren bisher klei-
nere Displays, wie Bild 2-15 zeigt. Mittlerweile erreichen die Smartphones die
Displaygröße der PDAs. Aktuelle Marktzahlen zeigen auf, dass die Verkaufs-
zahlen der Smartphones zunehmen, während die Anzahl der verkauften PDAs
abnimmt [Can07]. Mit ihrer steigenden Funktionalität verdrängen die
Smartphones die PDAs vom Markt.
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 23
Bild 2-15: Smartphone XDA [O06-ol]
2.4 Drahtlose Kommunikation
Im folgenden Kapitel werden die aktuellen Standards zur drahtlosen Kommu-
nikation vorgestellt. Es werden die verfügbaren und in der Praxis eingesetzten
Technologien betrachtet. In Deutschland wurde der Mobilfunk 1958 mit dem
A-Netz eingeführt. Es war ein analoges Netz, die Vermittlung der Gespräche
wurde noch per Hand durchgeführt und das Netz hatte 10 000 Nutzer zu sei-
nem Höhepunkt 1970. Es folgte 1972 das analoge B-Netz, das die Selbstwahl
unterstütze und bis 1986 ungefähr 27000 Nutzer erreichte. Erst 1979 ermög-
lichte das analoge C-Netz das automatische Weiterleiten eines Gesprächs von
einem Sendebereich in den nächsten. Das C-Netz erreichte fast 800 000 Nut-
zer. Die drei analogen Netze bilden die erste Mobilfunkgeneration[Rot02].
Mit Einzug der Digitaltechnik entstand die zweite Mobilfunkgeneration. Sie
basiert auf dem Internationalen Standard Global System for Mobile Communi-
cation (GSM) und wird heute laut Bitkom von über 82 Mio. Menschen in
Deutschland genutzt [BIT07].
2.4.1 Global System for Mobile Communication (GSM)
GSM wurde als europäischer Mobilfunkstandard von der Groupe Special Mo-
bile der europäischen Normungsgruppe European Telecommunication Stan-
dards Institute (ETSI) entwickelt. Das Netz wurde so ausgelegt, dass Millionen
von Kunden versorgt werden und mehrere Mobilfunkanbieter dieselbe Fläche
abdecken können. Dies ermöglichen die Raum-, Frequenz- und Zeitmultiplex-
Seite 24 Kapitel 2
verfahren. Die Funknetze sind durch das Aufteilen in Zellen raummultiplex.
Jede Zelle besitzt eine Basisstation, die einen bestimmten räumlichen Bereich
abdeckt. Die Zellen können die gleichen Frequenzen nutzen, wenn sie räumlich
so weit auseinander liegen, dass sie sich nicht stören. Frequenzmultiplex ist das
Verwenden verschiedener Frequenzen innerhalb einer Zelle, damit können
mehrere Mobilfunkanbieter mehrere Funkkanäle gleichzeitig in einer Zelle an-
bieten. Durch Zeitmultiplex können mehrere Endgeräte die gleiche Frequenz in
einer Zelle nutzen. Ein Frequenzkanal wird in 8 nummerierte Zeitschlitze ein-
geteilt, sie sich zyklisch wiederholen. Bei der Kommunikation zwischen einer
Basisstation und dem Endgerät werden die Zeitschlitze mit der gleichen Num-
mer zur Datenübertragung verwendet.
GSM ermöglicht durch das Handover den Wechsel von einer Funkzelle in die
nächste ohne Verbindungsabbruch. Durch das Roaming kann der Benutzer
weltweit andere Netze nutzen, ohne dass er mit den Netzbetreibern einen direk-
ten Vertrag abgeschlossen hat.
GSM-Netze bieten zusätzliche Dienste wie das Übertragen von Textnachrich-
ten, so genannten SMS (engl. Short Message Service) oder den Zugriff auf In-
ternetseiten für mobile Endgeräte über das Wireless Application Protocol
(WAP). GSM bietet eine Übertragungsrate von 9600 Bit/s, dies reicht für die
heutigen Anforderungen an den Zugang zum Internet nicht mehr aus. Daher
wurden Erweiterungsstandards entwickelt, mit denen höhere Datenraten er-
reicht werden. Diese Standards werden als 2+ Mobilfunkgeneration bezeichnet,
die sich am Übergang zur dritten Mobilfunkgeneration befindet [Rot02].
High Speed Circuit Switched Devices (HSCSD)
HSCSD bildet eine Erweiterung zu GSM und nutzt die bestehende Infrastruk-
tur. Eine bessere Kodierung erhöht die Datenrate auf 14 400 Bit/s. Die Bünde-
lung mehrerer Kanäle vervielfacht die Übertragungsrate. Theoretisch können
bis zu 8 Kanäle zu 115,2 kBit/s gebündelt werden. In der Praxis werden höchs-
tens 4 Kanäle zu 57,6 kBit/s zusammengeschlossen, damit nicht zu viele Res-
sourcen freigegeben werden. HSCSD ist ein leitungsbasiertes Verfahren, d. h.
der Benutzer zahlt für die Verbindung, auch wenn keine Daten übertragen wer-
den. Da dies ein großer Nachteil zu den paketorientierten Verfahren ist, verliert
die Technologie an Bedeutung. Das Verfahren benötigt neue Endgeräte, aber
verursacht nur geringe Änderungen an der GSM-Infrastruktur [Rot02].
General Packet Radio Service (GPRS)
GPRS ist ein paketorientiertes Verfahren. Die Daten werden in kleine Pakete
zerlegt, versendet und beim Empfänger wieder zusammengefügt. Das paketori-
entierte Verfahren ermöglicht eine bessere Ausnutzung der Infrastruktur bei
schwankendem Kommunikationsbedarf. In der Theorie können acht Übertra-
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 25
gungskanäle mit je 21,4 kBit/s zu einer Übertragungsrate von 171 kBit/s ge-
bündelt werden. In der Praxis werden pro Kanal 13,4 kBit/s erreicht und die
Netzbetreiber bieten vier Kanäle für das Empfangen (Downlink) und zwei Ka-
näle für das Senden (Uplink) der Daten an. Die aktuellen Mobiltelefone nutzen
GSM zur Sprachübermittlung und GPRS zur Datenübertragung oder dem Zu-
gang zum Internet. Die GPRS Geräte sind ständig im Netz und nutzen die Inf-
rastruktur nur beim Austausch der Datenpakete, somit zahlt der Kunde nur das
übertragene Datenvolumen und nicht die Verbindungszeit. Neben neuen End-
geräten verursachte die Technologie große Änderungen an der GSM-
Infrastruktur. GPRS ist seit 2001 flächendeckend in Deutschland verfügbar
[Rot02].
Enhanced Data Rates for GSM Evolutions (EDGE)
EDGE erhöht die Übertragungsrate durch das Modulationsverfahren 8 Phase
Shift Keying (8 PKS). Damit können 3 Bit statt 1 Bit pro Takt übertragen wer-
den. Mit Korrekturverfahren werden theoretisch 59,2kBit/s pro Kanal erreicht
und damit 473,6 kBit/s bei 8 Kanälen. In der Praxis wird eine Übertagungsrate
von ca. 170 kBit/s erreicht. EDGE kann mit HSCSD oder GPRS zu ECSD und
EGPRS kombiniert werden. Die Technologie verlangt erhebliche Änderungen
an dem Netzwerk und den Endgeräten. Die flächendeckende Verfügbarkeit soll
2007 erreicht werden [BIT07].
2.4.2 Universal Mobile Telecommunications System (UMTS)
UMTS ist der Standard der dritten Mobilfunkgeneration, der 2000 von der In-
ternational Telecommunication Union (ITU) verabschiedet wurde [ITU-ol].
Firmen und Interessensgruppen bildeten die Projektgruppe „3rd Generation
Partnerschip Projekt“ (3GPP) und arbeiteten die Vorschläge für den Standard
aus [GPP-ol].
Der Standard erreicht durch die Kombination des Codemultiplexverfahrens
(CDMA) mit dem Zeit (TDD)- oder Frequenzmultiplexverfahren (FDD) die
theoretische Datenübertragungsrate von 2 MBit/s. In der Praxis wird diese Rate
nicht erreicht, da sie sich auf die Benutzer einer Funkzelle aufteilt. UMTS stellt
dem Benutzer mehrere Kanäle zur Verfügung, damit ist er in der Lage gleich-
zeitig zu telefonieren und Daten zu empfangen. Durch die hohe Übertragungs-
rate ist ein komfortabler Zugriff auf das Internet möglich. Multimediaanwen-
dungen wie Videokonferenzen, Videoübertragungen oder Internetradio werden
auf mobilen Endgeräten nutzbar.
Seite 26 Kapitel 2
2.4.3 Wireless Local Area Network (WLAN)
Wireless LAN (WLAN) ist der Standard IEEE 802.11 für drahtlose lokale
Netzwerke, der 1977 spezifiziert wurde. Zu Beginn erreichte WLAN eine Da-
tenrate von 2 MBit/s (802.11), heute sind 54 MBit/s in der weit verbreiteten
Erweiterung 802.11g möglich. In der Entwicklung befindet sich eine Erweite-
rung mit einer zehnfachen Übertragungsrate (802.11n).
WLAN kann in den zwei Modi Ad-Hoc und Infrastruktur betrieben werden
(siehe Bild 2-16). Im Ad-hoc-Modus verbinden sich die Rechner direkt mitein-
ander. Im Infrastruktur-Modus verbinden sich die Rechner mit einer Basisstati-
on (engl. Access Point) und bilden so ein Netzwerk. Die Basisstation kann über
eine drahtgebundene Verbindung den Zugang zu einem stationären Netzwerk
ermöglichen.
Client A
Client B
Client C
Client A
Client B
Client C
Access Point
Bild 2-16: WLAN Betriebsarten: Ad-hoc-Modus (links) Infrastruktur-Modus
(rechts)
Innerhalb eines Gebäudes liegt die Reichweite einer Basisstation bei ca. 30 m,
auch wenn sich zwischen den Geräten Decken oder Wände befinden. Auf einer
freien Fläche kann die Reichweite 100 m betragen, mit stärkeren Antennen
können bis zu 400 m erreicht werden. Zum Abdecken eines größeren Bereichs
werden mehrere Basisstationen eingerichtet. Wie im Mobilfunkbereich wird im
WLAN das Roaming verwendet, um den Wechsel von einer Basisstation zu ei-
ner anderen zu ermöglichen. Erkennt der mobile Rechner, dass die Sendestärke
einer Basisstation abnimmt, sucht er nach einer neuen Basisstation. Wird eine
Station mit stärkerer Sendeleistung gefunden, so meldet sich der Rechner an
der neuen Station an und bei der alten Station ab. Die neue Station gibt im
Netzwerk den Zellenwechsel bekannt. Das Roaming funktioniert nur, wenn
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 27
sich die Basisstationen verständigen, dies setzt eine Vernetzung der Stationen
voraus und ist für sehr große Flächen oder Städte nicht praktikabel.
WLAN hat eine große Verbreitung gefunden. Orte mit sehr hohen Besucher-
zahlen, so genannte Hotspots, werden heute mit WLAN-Basisstationen ausge-
stattet, um den Menschen möglichst überall einen Zugang zum Internet zu bie-
ten. Flughäfen, Bahnhöfe und Hotels bieten WLAN als Service an.
2.5 AR-Anwendungen im Produktlebenszyklus
Der Produktlebenszyklus umfasst die gesamte Lebensdauer eines Produktes
vom ersten Entwurf über die Fertigung, den Betrieb bis zur Entsorgung. In den
verschiedenen Phasen des Produktlebenszyklus fallen viele Daten und Doku-
mente an. Mit Hilfe der Technologie Augmented Reality können die Daten di-
rekt an dem Produkt visualisiert werden. Für die einzelnen Phasen werden im
Folgenden bestehende AR-Anwendungen vorgestellt.
2.5.1 Entwicklung/ Konstruktion
Neuentwicklungen sind oft Änderungen und Weiterentwicklungen von beste-
henden Produkten. In diesem Fall kann die Technologie eingesetzt werden, um
Änderungen, die erst im Computer existieren, an den bestehenden Produkten
zu visualisieren. In Bild 2-17 c) wird eine neue Fahrzeugfront auf das beste-
hende Fahrzeugmodell visualisiert. Die Entwickler verschaffen sich eine Vor-
stellung über das neu entwickelte Fahrzeug. Verschiedene Designvarianten
können ausprobiert werden ohne jedes Mal einen neuen Prototypen zu bauen
[GFM+05].
Toleranzen der realen Bauteile können dazu führen, dass die realen Bauteile
nicht in ihren vorgesehnen Bauraum passen und somit zu Problemen bei der
Montage führen. Die Abweichungen zwischen dem realen Modell und den
CAD-Daten können mit Hilfe von AR aufgespürt werden, in dem das reale
Fahrzeug mit den CAD-Daten überlagert wird, wie in Bild 2-17 b) dargestellt.
Die Abweichungen zwischen dem virtuellen und dem realen Modell werden
sichtbar und ihre Ursachen können behoben werden.
Seite 28 Kapitel 2
a) Einblendung einer virtuellen Konsole in
einem realen Fahrzeug
b) Überlagerung von CAD-Daten auf ein
reales Fahrzeug
c) Einblendung einer virtuellen Front auf
ein reales Fahrzeugmodell
d) AR-Baukasten für die Fahrzeugentwick-
lung
Bild 2-17: AR-basiertes Prototyping in der Automobilvorentwicklung
Die ergonomische Gestaltung eines Produktes ist u.a. verantwortlich für die
Akzeptanz des Produktes. Ergonomieuntersuchungen sind Kosten- und Zeitin-
tensiv, da für die zu untersuchenden Designvarianten Prototypen oder Mock-
ups gebaut werden. Die Technologie AR kann helfen, hier Kosten und Zeit ein-
zusparen, indem virtuelle Varianten von Innenräumen oder Bedienelementen
zum Testen verwendet werden.
In Bild 2-18 werden Bedienelemente und Anzeigen, z. B. der künstliche Hori-
zont, als virtuelle Elemente an der Position des Cockpitboards in das Sichtfeld
des Piloten über einen HMD eingeblendet. Der Pilot bewertet das Cockpitde-
sign oder kann die Anzeigen selber neu arrangieren und so direkt Einfluss auf
den Entwurf nehmen. Das frühe Einbinden der Nutzer in den Entwurfsprozess
erhöht die spätere Akzeptanz des Designs [Fri04].
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 29
Bild 2-18: Entwurf des Cockpit Layouts mit AR [Fri04]
2.5.2 Fertigungsplanung
Die Fertigungsplanung wird mit computerbasierten Planungssystemen unter-
stützt. Aufgrund der Komplexität der Systeme werden sie von Experten be-
dient. Mit Hilfe der Technologie AR erhalten diese Planungssysteme eine in-
tuitive Benutzungsschnittstelle: Aus einem Katalog wählt der Planer die
virtuellen Maschinen aus und positioniert sie in eine virtuelle Fabrik (siehe
Bild 2-19). Der Planer trägt einen HMD, der die virtuelle Fabrik auf einen rea-
len Tisch projiziert. Mehrere Planer können sich um den Tisch gruppieren und
das Anlagenlayout besprechen und verändern. Die intuitive Benutzungsschnitt-
stelle ermöglicht neben den Experten auch allen anderen an dem Planungspro-
zess beteiligten Personen den Umgang mit der Planungssoftware. Das Einbin-
den des gesamten Planungsteams führt zur Sicherung der Planungsqualität und
zur Reduzierung der Planungszeit.
Seite 30 Kapitel 2
Bild 2-19: Planung neuer Anlagen mit Augmented Reality
Neue Produktionsanlagen werden oft für bestehende Fabrikhallen geplant, in
denen weitere Anlagen vorhanden sind. Das System AR-Plan aus dem ARVI-
KA-Projekt unterstützt den Planungsprozess [Fri04]. Das System visualisiert
3D-Modelle der geplanten Produktionsanlage in eine reale Halle (siehe Bild
2-20). Kollisionen und Unstimmigkeiten werden so erkannt. Der Planer kann
vor Ort mit dem System Positionänderungen an den virtuellen Modellen vor-
nehmen, um Fehler in der Planung zu beheben. Ein markerbasiertes optisches
Trackingverfahren dient zur Positionsermittlung. Die Technologie AR bietet
den Vorteil, dass die bestehende Halle und die vorhandenen Anlagen nicht mo-
delliert werden müssen, wodurch Zeit und Kosten bei der Planung gespart wer-
den.
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 31
Bild 2-20: AR-gestützte Planung in einer realen Halle [DSA+03]
2.5.3 Fertigung
Innerhalb der Fertigung können komplexe Montageprozesse mit Augmented
Reality direkt am Produkt visualisiert werden. David Mizell führte eines der
ersten industriellen AR-Projekte durch. Mit Hilfe eines AR-Systems wird die
Montage von Flugzeugkabelbäumen bei der Firma Boing unterstützt (siehe
Bild 2-21). Das System zeigt über einen HMD die einzelnen Arbeitsschritte an
und das Suchen in der Papierdokumentation entfällt. Mit einem One Click In-
terface ruft der Arbeiter die Anleitung für den nächsten Arbeitsschritt auf
[Miz01]. Das Anklicken des Interfaces verzögerte den Arbeitsablauf und führte
somit nicht zu einer Zeitersparnis.
Seite 32 Kapitel 2
Bild 2-21: Kabelbaummontage mit AR-Unterstützung [CM92]
Bild 2-22 zeigt ein weiteres Beispiel für die Montageunterstützung durch AR.
Die Reihenfolge der zu montierenden Klemmleisten wird als Animationen an-
gezeigt. Nach der Montage wird die komplette Klemmleiste als halbtransparen-
tes Objekt über die reale Klemmleiste eingeblendet. Der Werker vergleicht die
reale und die virtuelle Klemmleiste, um mögliche Fehler aufzudecken.
Bild 2-22: Montage von Klemmleisten in einem Schaltkasten
Im Projekt ARVIKA wurde ein System entwickelt, das das Bolzenschweißen
unterstützt. Die Karosserie und die Bolzenschweißpistole werden mit dem
ARTtrack-System getrackt. An der Bolzenschweißpistole befindet sich ein
Display, der die Position des nächsten Schweißpunktes anzeigt (siehe Bild
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 33
2-23). Ein dreidimensionaler Pfeil führt den Werker zum Schweißpunkt. Ein
Fadenkreuz hilft bei der Feinpositionierung [Fri04].
Bild 2-23: Bolzenschweißpistole mit AR-Display [Fri04]
Neben der Montage kann die Technologie Augmented Reality in vielen Berei-
chen der Fertigung eingesetzt werden z. B. zur Unterstützung der Bedienung
und Wartung von Maschinen.
2.5.4 Vertrieb
AR-Systeme können auf der Seite des Verkäufers und des Kunden eingesetzt
werden. Auf der einen Seite erhält der Verkäufer alle Produktinformationen,
die für ihn relevant sein können. Das System übernimmt einen Teil der Ver-
kaufsschulung. Wichtige Informationen werden dem Verkäufer auf Wunsch
präsentiert. Während eines Verkaufgesprächs unterstützt das System den Ver-
käufer mit Informationen und Multimediadaten, um dem Kunden das Produkt
besser zu erklären. Elektronische Produktkonfiguratoren haben sich schon am
Markt etabliert [KS02]. Mit der Technologie AR werden deren Möglichkeiten
zum Nutzen des Kunden erheblich erweitert. Der Kunde kann die konfigurier-
ten Produkte direkt in seine Umgebung einblenden, um zu sehen, wie das Pla-
Seite 34 Kapitel 2
nungsergebnis zu Hause wirkt. Dies ist besonders bei aufwendigen Planungen
wie bei der Konfiguration von Küchen hilfreich. Durch den Einsatz von Onli-
neverbindungen zu Produktdatenbanken sichern Vertreiber und Hersteller, dass
alle Verkäufer die aktuellen Informationen erhalten [FME+04].
Auf der anderen Seite fehlt dem Kunden oft die Vorstellung, wie das Produkt
zu Hause wirkt. Bild 2-24 zeigt die Software KPS Click&design, mit der virtu-
elle Möbel in ein Digitalfoto eingeblendet werden. Der Kunde legt einen DIN-
A4 großen AR-Marker in die Umgebung und macht ein Foto. Das Foto mit
dem AR-Marker wird in die Software geladen. Virtuelle Möbel können in die
Szene eingefügt und nach belieben positioniert werden [SHD06].
Bild 2-24: virtuelle Gartenmöbel werden mit Schatten perspektivisch korrekt
in ein Foto eingeblendet [SHD06-ol]
Im Gegensatz zum Click&design blendet der Möbelkonfigurator des Heinz
Nixdorf Instituts verschiedene Polstermöbel live in die reale Umgebung ein.
Die Polstermöbel sind Systemmöbel und können beliebig konfiguriert werden.
Der Anwender wählt die Bauart des Möbels, die Accessoires, die Materialien
der Bezüge und Füße aus. Bild 2-25 zeigt die anschließende Visualisierung des
Möbels im Wohnzimmer des Anwenders. Die Anwendung benötigt ein Note-
book mit 3D-Graphikkarte und eine USB-Kamera.
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 35
Bild 2-25: Live Möbelkonfigurator zeigt virtuelle Polstermöbel im realen
Raum
2.5.5 Betrieb
Während der Nutzung eines Produktes kann die AR-Technologie als Bedie-
nungsanweisung eingesetzt werden. Multimediadaten erklären direkt an dem
Produkt die Bedienung. Der Nutzer kann selbstständig das Gerät in Betrieb
nehmen und Fehlfunktionen durch Anleitung beheben. In Bild 2-26 wird die
Inbetriebnahme eines Elektroherdes mit Unterstützung der Technologie AR
vorgenommen [FME+04].
Seite 36 Kapitel 2
Bild 2-26: Bedienungserklärung mittels Augmented Reality
Anlagen und Maschinen müssen während des Betriebes regelmäßig inspiziert
werden, um Sicherheit und den weiteren störungsfreien Betrieb zu gewährleis-
ten. So wird im ARVIKA-Projekt die Technologie AR genutzt um umfassende
Anlagen-Informationen für die Inspektion vor Ort in einem Kraftwerk zur Ver-
fügung zu stellen [Fri04].
Im Projekt Wininspect der Universität Bremen unterstützt ein wearable Com-
puter die Inspektion von Kränen. Der Computer zeigt dem Inspekteur über ein
HMD die Inspektionsschritte an. Der Arbeiter interagiert durch einen Hand-
schuh mit der Anwendung (siehe Bild 2-27). Der Handschuh enthält Kontakt-,
Neigungs- und Radio Frequenz Identifikations (RFID)-Sensoren. Durch Hand-
bewegungen navigiert der Nutzer durch Menues und über Tasten in den Fin-
gerspitzen kann er die Menuepunkte auswählen. Die zu inspizierenden Kom-
ponenten sind mit RFID-Tags markiert. Die RFID-Sensoren identifizieren bei
räumlicher Annäherung die Komponenten und das System bietet die entspre-
chenden Inspektionsanweisungen an.
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 37
Der tragbare Computer besitzt nicht genügend Graphikleistung, daher wurde
bisher darauf verzichtet, die Computergraphik positions- und lagerichtig in die
reale Umgebung einzublenden [HRB+02].
Bild 2-27: Wearable Computing Lösung für die Kraninspektion [HRB+02]
2.5.6 Rücknahme
Aus ökologischen Gründen werden Unternehmen von der Politik aufgefordert
ihre Produkte zur Entsorgung zurückzunehmen. In der Automobilindustrie
wird dies heute gesetzlich vorgeschrieben und in den kommenden Jahren wird
dies immer mehr Branchen treffen. Ziel der Vorgaben ist das Einsparen von
Ressourcen wie Rohstoffe und Energie.
Die Technologie AR unterstützt die Rücknahme der Produkte. Sie hilft dem
Werker bei der Demontage. Über das Informationssystem wird angezeigt, wel-
che Teile verschrottet oder wieder verwendet werden. Demontageanweisungen
helfen die Produkte möglichst schonend zu demontieren, um funktionsfähige
Bauteile unversehrt der Wiederverwendung zu zuführen. Im Teilbereich D3:
„Simulationswerkzeuge zur demontagegerechten Produktgestaltung“ des SFB
218 „Demontagefabriken“ der Technischen Universität Berlin wurde eine AR-
Anwendung zur Unterstützung bei der Demontage von Hausgeräten entwickelt.
Die Anwendung gibt Demontageanweisungen und visualisiert das zu demon-
tierende Bauteil als 3D-Modell direkt an dem Produkt [Sfb218-ol].
Seite 38 Kapitel 2
2.6 Anforderungen an ein System für ein mobiles skalier-
bares AR-System zur Präsentation von technischen
Produkten
Eine Systemarchitektur für mobile skalierbare AR-Systeme muss zur vollstän-
digen Funktionalität die folgenden Anforderungen erfüllen: Unterstützung der
Technologie Augmented Reality, die Unterstützung mobiler Endgeräte, ver-
schiedene Trackingverfahren, ein markerloses optisches Trackingverfahren, ei-
ne online Datenbankanbindung und ein Autorensystem zur Generierung von
Inhalten für die Anwendung. Nachfolgend werden die sechs Kernanforderun-
gen an die Systemarchitektur vorgestellt:
A1 Augmented Reality
Die Technologie Augmented Reality ermöglicht die Präsentation von Informa-
tionen direkt an einem Produkt. Die Technologie soll helfen, das Produkt zu
erkennen und die entsprechenden Informationen für das erkannte Produkt be-
reit zustellen. Im vorherigen Kapitel wurde aufgezeigt, dass die Technologie
den gesamten Produktlebenszyklus sinnvoll unterstützt. Damit die Technologie
AR zur Präsentation der Produktinformationen genutzt werden, muß die Archi-
tektur die drei Basisdefinitionen von Augmented Reality erfüllen: Mischen der
Realität mit computergenerierten Informationen, Registrierung im dreidimen-
sionalen Raum und Interaktion in Echtzeit.
A2 Mobile Endgeräte
Das Informationssystem soll dem Benutzer immer und überall bei seinen all-
täglichen Aufgaben zur Verfügung stehen. Augmented Reality Anwendungen
werden nicht am Schreibtisch eingesetzt, sondern immer im Bezug auf ein rea-
les Objekt, in diesem Fall ist es das reale Produkt. Die Informationen zu den
Produkten sollen überall da abgerufen werden, wo sich die Produkte befinden.
Fertige Produkte befinden sich in Lagern, in Ausstellungsräumen oder beim
Kunden. An all diesen Orten können keine AR-Systeme vorausgesetzt werden.
Daher muss das AR System mobil sein, um die Produktinformationen auch an
den realen Objekten überall da anzuzeigen, wo sie sich befinden können. Im
vorhergehenden Kapitel wurde gezeigt, dass mobile Endgeräte in ihren Res-
sourcen beschränkt sind, um AR-Anwendungen auszuführen. Daher ist es er-
forderlich, dass rechenintensive Prozesse von zusätzlichen Systemen über-
nommen werden können. Damit die Mobilität der mobilen Endgeräte
Grundlagen und Anforderungen an eine Systemarchitektur für AR-Anwendungen Seite 39
gewährleistet bleibt benötigen sie eine Möglichkeit zur drahtlosen Datenüber-
tragung um mit dem unterstützenden System zu kommunizieren.
A3 Unterstützung verschiedener Trackingverfahren
Der Einsatz der Technologie Augmented Reality erfordert ein Tracking des
Benutzers oder der relevanten Objekte, um die computergenerierten Informati-
onen kontextabhängig in das Sichtfeld des Benutzers einzublenden. Unter-
schiedliche Anwender, Umgebungen und Produkte stellen unterschiedliche An-
forderungen an das Erkennen und Verfolgen von Objekten. Ein
Trackingsystem kann nicht alle Anforderungen erfüllen, in dunklen Umgebun-
gen versagen z. B. optische Trackingverfahren oder in Umgebungen mit vielen
metallischen Gegenständen versagen elektromagnetische Verfahren. Um einen
breiten Einsatz des Systems zu ermöglichen, ist es erforderlich das verschiede-
ne Trackingverfahren von dem System verwendet werden können.
A4 Markerloses videobasiertes Tracking
Die meisten Systeme nutzen einen markerbasierten Trackingansatz. In den Be-
reich Design, Vertrieb oder beim Kunden spielt das ästhetische Erscheinungs-
bild eines Produktes eine große Rolle. Durch den Einsatz von Markern wird
dieses extrem gestört. Um eine hohe Akzeptanz vor allen in diesen Bereichen
zu erreichen ist der Einsatz eines markerlosen Tracking-Verfahrens notwendig.
A5 Online Datenbankanbindung
Produktinformationen liegen heute elektronisch vor und werden durch Pro-
duktdatenmanagementsysteme oder andere Datenbanken verwaltet. Die Archi-
tektur benötigt eine Schnittstelle zu den Datenbanksystemen, um so auf die
Produktdaten zugreifen zu können. Die Kopplung der Produktdatenbank mit
dem AR-System sichert eine konsistente Datenhaltung der Produktinformatio-
nen.
A6 Autorensystem
Die effiziente Produktion von Inhalten für eine Augmented Reality Anwen-
dung ist ausschlaggebend für einen produktiven und erfolgreichen Einsatz der
Technologie in der Praxis. Technische Redakteure, Werbeagenturen und Mar-
keting Mitarbeiter erstellen elektronische und papierbasierte Werbeunterlagen
oder Betriebsanleitungen. Sie generieren Inhalte, die in einem Produktinforma-
Seite 40 Kapitel 2
tionssystem angezeigt werden, darum sollte diese Personen in die Lage versetzt
werden Inhalte für eine AR-Anwendung zu erstellen und sie in die Anwendung
zu integrieren ohne dass sie Programmierexperten sind. Dies kann durch den
Einsatz eines Autorensystems erreicht werden, dass die Programmiertätigkeit
durch eine intuitive Benutzungsschnittstelle zur Anwendungsentwicklung er-
setzt.
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 41
3 Analyse bestehender Systeme für mobile AR An-
wendungen
In den folgenden Unterkapiteln werden AR-Systeme für mobile Endgeräte
vorgestellt. Während ARVIKA und wearIT@work sehr große Forschungspro-
jekte mit starker industrieller Beteiligung sind wurden die anderen Systeme an
einzelnen Universitäten entwickelt. Die Systeme werden jeweils nach den An-
forderungen des vorherigen Kapitels beurteilt.
3.1 ARVIKA
ARVIKA war das größte Forschungsprojekt im Bereich Augmented Reality in
Europa und den USA. An dem Projekt waren 18 deutsche Industrieunterneh-
men und fünf Forschungsinstitute beteiligt. Ziel des Projektes war die Entwick-
lung einer AR-Basisarchitektur für mobile und stationäre Augmented Reality
Anwendungen für Entwicklung, Produktion und Service in der Automobil- und
Flugzeugindustrie, sowie für den Anlagen- und Werkzeugmaschinenbau.
Beispielanwendungen für die Fabrikplanung, Flugzeugentwicklung und für das
Bolzenschweißen wurden schon in dem vorangegangenen Kapitel vorgestellt.
Bild 3-1: ARVIKA Architektur [Fri04]
Die Architektur in Bild 3-1 basiert auf Komponenten, die eine Entwicklung der
Anwendungen nach dem Baukastenprinzip ermöglicht. Die Architektur unter-
stützt High-End-Graphiksysteme für den Laboreinsatz und mobile webbasierte
Low End-Systeme, die von Werkern in Produktions- und Serviceumgebungen
getragen werden.
Seite 42 Kapitel 3
Die Basis des Systems ist der ArBrowser. Er blendet die computergenerierten
Informationen in das Sichtfeld der Benutzer ein. In der High-End-Lösung ist
der ArBrowser eine eigenständige Anwendung, während er in der Low-End-
Lösung als eine ActiveX-Komponente1 in dem Microsoft Internetexplorer aus-
geführt wird. Ein markerbasiertes und ein markerloses videobasiertes Tra-
ckingverfahren ist im ArBrowser integriert. Weitere Hardware wie Tracking-
systeme und Interaktionsgeräte können über die Geräteintegrationsschnittstelle
(engl. Device Integration Interface) IDEAL an den ArBrowser angebunden
werden. Ein Videoserver liefert einen Videostrom aus verschiedenen Kameras
und videobasierten Trackingsystemen an die Anwendung.
Für die Umsetzung einer Anwendung bietet ARVIKA Basisdienste an. Bild
3-2 zeigt, dass über einen Webserver auf die folgenden Basisdienste zugegrif-
fen wird:
Der Contextmanager ermittelt den Kontext, in dem sich der Anwender befin-
det. Dabei berücksichtigt die Komponente das Profil des Benutzers, die aktuel-
le Tätigkeit sowie die verwendete Hard- und Software.
Ein InfoServer unterstützt den Informationszugriff über drahtlose und mobile
Netze durch Dienste wie Cashing2, Prefetching3 und URL-Redirection4.
Die Workflow Engine führt den Benutzer durch die Anwendung. Sie liefert für
jeden Arbeitschritt des Benutzers die entsprechenden Dokumente oder AR-
Inhalte. Der Ablauf wird im Vorfeld mit dem Workflow-Editor erstellt und als
XML-Datei gespeichert.
Die NetCollaboration bindet Remoteexperten in die Anbindung ein. Ein Exper-
te, der nicht vor Ort ist, beobachtet über ein Video die Tätigkeiten eines An-
wenders. Der Experte kann Annotationen in das Sichtfeld des Anwenders ein-
blenden, um ihn bei der Tätigkeit zu unterstützen.
Ein User Interface Configurator liefert für unterschiedliche Plattformen und
Geräte die entsprechende Benutzungsschnittstelle.
1 ActiveX-Komponenten: Software-Komponenten die als selbständige Programme in Websei-
ten agieren können. Wird nur vom Microsoft Explorer unterstützt.
2 Cashing: Daten werden im Zwischenspeicher für einen wiederholten Zugriff aufbewahrt, um
Ladezeiten zu vermeiden.
3 Prefetching: Daten werden im Voraus in den Zwischenspeicher geladen, da eine hohe statisti-
sche Wahrscheinlichkeit besteht, dass auf sie zugegriffen wird.
4 URL Redirection: Falls Dokumente auf dem mobilen Endgerät nicht vorhanden sind, werden
sie über das Netzwerk von einem Dokumentenserver abgerufen.
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 43
Bild 3-2: Komponenten und Basisdienste der ARVIKA Architektur [Fri04]
Seite 44 Kapitel 3
Der InfoBroker liefert die kontextabhängigen Informationen an den Anwender.
Über eine Datenschnittstelle bindet er weiter Legacy-Systeme an, um Informa-
tionen aus anderen IT-Systemen des Unternehmens bereitzustellen.
Der Anwender kann mit dem Annotationssystem Multimedianotizen, wie Bil-
der, Videos oder Texte zu einem Kontext speichern.
Mit der Architektur wurden eine Vielzahl von AR-Anwendungen für die Ent-
wicklung, Produktion und Service erstellt. Die Anwendungen wurden in Zu-
sammenarbeit mit den Industriepartnern wie Audi, BMW, DaimlerChrysler,
EADS, Ford und Volkswagen umgesetzt und evaluiert [BMR04], [DSA+03],
[Fri04], [FW03].
Bewertung hinsichtlich der Erfüllung der Anforderungen
Die ARVIKA-Architektur deckt einen großen Bereich von Endgeräten ab und
unterstützt sehr viele Trackingsysteme. Die Anwendungen zeigen das Potential
der Technologie AR in den Bereichen Entwicklung, Produktion und Service.
Die Anwendungen werden bisher noch in den Forschungsbereichen der Unter-
nehmen eingesetzt und gehören noch nicht zum täglichen Werkzeug in Indust-
rieunternehmen. Ein Grund sind immer noch die Beschränkungen der Hard-
ware:
– Kurze Akkulaufzeiten bei mobilen Endgeräten
– Fehlen von ergonomischen HMDs
– Fehlende Autorenwerkzeuge für Laien
– Schlechte Trackingqualität
Diese Punkte stellen die Herausforderungen für das ARVIKA-
Nachfolgeprojekt, dessen Ergebnisse zu diesem Zeitpunkt nicht öffentlich vor-
liegen.
Das markerlose Videotracking arbeitet mit Referenzbildern, deren Transforma-
tion im Videobild berechnet wird. Das Verfahren unterstützt die Registrierung
in 2D und reicht nur für Laborszenarien aus [Fri04].
Der Client des ArBrowsers ist eine ActiveX-Komponente, die den Internet-
browser zur Ausführung auf mobilen Endgeräten benötigt. Diese Anforderun-
gen schließt eine Klasse mobiler Endgeräte aus, die nicht den Internetbrowser
unterstützen. Weiterhin lehnen viele Unternehmen ActiveX-Komponenten aus
Sicherheitsgründen ab.
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 45
Der AR-Editor dient als Autorensystem und bietet die Verknüpfung der Marker
mit den 3D-Objekten. Eine GUI wird mit dem Editor nicht erstellt.
3.2 AR ToolKit
Das AR ToolKit wurde 1999 am Human Interface Technology Laboratory
(HITlab) der University of Washington entwickelt. Das AR ToolKit ist in ers-
ter Linie eine Bibliothek zur Bilderkennung. Eine AR ToolKit-Anwendung be-
steht aus einer Schleife mit dem folgenden Ablauf: Die Software analysiert den
Videostrom einer Kamera, identifiziert die AR-Marker, berechnet die Position
und liefert die Daten zur Weiterverarbeitung an einen Renderer zur Darstellung
von 3D-Objekten. Das Verhalten wird in die Schleife zwischen der Positions-
berechnung und der Darstellung der 3D-Objekte eingefügt. Die Funktion wur-
de in Kapitel 2.2.2.1 genauer erläutert und in Bild 2-6 visualisiert. Das AR
ToolKit ist eine weit verbreitete Software und das günstigste Trackingsystem:
Es benötigt eine Kamera und auf Papier gedruckte Marker wie in Bild 3-3 zu-
sehen.
Das AR ToolKit unterstützt die Betriebssysteme Windows, Mac OS IRIX und
Linux. Die Anwendungen werden in der Programmiersprache C erstellt. Die
Zuordnung von Marker und 3D-Modell erfolgt in einer Textdatei, in der Positi-
on, Orientierung, Skalierung und Beleuchtung eines 3D-Modells angegeben
werden [BKK+99], [BKP+00], [BWF96], [BWF97], [KB99].
Seite 46 Kapitel 3
Bild 3-3: AR ToolKit blendet 3D Modell auf einen AR-Marker ein [Hit06]
Bewertung hinsichtlich der Erfüllung der Anforderungen
Das AR ToolKit ist zu rechenintensiv für mobile Endgeräte. Von einigen For-
schungseinrichtungen wurde aus diesem Grund eine Modifizierung des Codes
vorgenommen. Die meisten mobilen Endgeräte unterstützen keine Fließkom-
maberechnungen mit ihrer Hardware, daher wurde die Fließkommaberechnun-
gen durch Festkommaberechnungen ersetzt [WS03], [HO03].
Das AR ToolKit unterstützt nur das markerbasierte Tracking. Ansätze existie-
ren für ein markerloses Tracking, das 2D-Texturen mit Bildelementen ver-
gleicht und nur für 2D-Objekte geeignet ist. Das Lernen der Muster dauert
mehrere Stunden [KTG03].
Das AR ToolKit ist nur eine Bibliothek zum Tracken von AR-Markern und hat
daher keine Onlineanbindungen zu Datenbanken und Informationssystemen.
Einige Autorenwerkzeuge wurden für das ARToolkit entwickelt. Die Werk-
zeuge ermöglichten nur die Verknüpfung von Markern mit den 3D-Modellen.
Die 3D-Modelle können transformiert, rotiert und positioniert werden. Weitere
UI-Elemente und das Verhalten müssen von Experten programmiert werden.
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 47
3.3 Studierstube mit ARToolKitPlus für PDA
Studierstube begann 1996 als Forschungsprojekt der Technischen Universität
Wien und wird seit 2004 von der Technischen Universität Graz fortgeführt
[Stu06-ol]. Studierstube ist eine Sammlung von C++-Klassen die über die Gra-
phik API1 Open Inventor2 gelegt sind. Studierstube ist szenengraphbasiert und
unterstützt die Kooperation von mehreren Nutzern durch einen Shared-
Scenegraph.
Das Tracking und die Benutzereingabe werden durch das datenflussbasierte
Framework OpenTracker verwaltet. Es ist XML basiert und steuert den Daten-
fluss sämtlicher Tracker.
Zusätzlich wurde das AR ToolKitPlus für das markerbasierte optische Tracking
auf mobilen Endgeräten entwickelt und in das in Bild 3-4 gezeigte Framework
integriert. Das ARToolkitPlus ist eine Version des ARToolKits für mobile
Endgeräte. Alle Fließkommaoperationen wurden in Festkommaoperationen
umgewandelt, so dass die Bilderkennungsalgorithmen besonders schnell auf
mobilen Endgeräten laufen, die in der Regel keine Floatingpointprozessoren
besitzen. In der Mitte der AR-Marker befindet sich nun eine 6x6 Matrix, die als
CRC-Code3 genutzt und viel schneller erkannt wird.
Ein Multimediatool ermöglicht das Abspielen von verschiedenen Multimedia-
daten wie MPEG4, Macromediaflash, Videotexturen und verschiedenen
Soundformaten.
Für das Rendering wurde Klimt entwickelt, eine OpenGL API für OpenGL ES.
OpenGL ES ist die Bezeichnung für OpenGL for embedded Systems (ES) und
wird von der Graphikhardware von mobilen Endgeräten zur beschleunigten
3D-Darstellung benutzt. Der Standard unterstützt nicht alle OpenGL-
Eigenschaften. Durch Klimt werden die fehlenden Eigenschaften zu Open GL
ES hinzugefügt.
Studierstube arbeitet nicht direkt auf OpenGL sondern nutzt eine Szenengraph-
bibliothek wie OpenInventor. Coin3D ist eine open source-Alternative zu Ope-
ninventor und wurde auf WindowsCE für mobile Endgeräte portiert.
Studierstube ist plattformunabhängig und unterstützt die Betriebssysteme Li-
nux, Windows und Mac OS. Die Anwendungsentwicklung geschieht mit den
1 API: Application Programming Interface ist eine Schnittstelle, die eine Software anderen Pro-
grammen zur Anbindung zur Verfügung stellt
2 Open Inventor: Open Inventor ist eine objektorientierte C++-Programmbibliothek zur Erstel-
lung von 3D-Grafiken unter Verwendung von OpenGL.
3 CRC: Zyklisch redundanter Code (engl. Cyclic Redundand Code). Nach der Codierung wird
ein Prüfwert berechnet, über den Fehler bei der Decodierung entdeckt werden.
Seite 48 Kapitel 3
Programmiersprachen C++, Inventor und Python [FLS97], [RS03], [SFH00],
[SFS+96], [SSF+96], [WPL+05], [WS03].
Bild 3-4: Architektur des Studierstube Frameworks für mobiles AR [Stu06-ol]
Bild 3-5 zeigt die mit Studierstube entwickelte kooperative AR-Anwendung
„The Invisibel Train“. Auf einem Tisch liegen die Schienen einer Holzspiel-
zeugeisenbahn und AR-Marker. Betrachtet ein Benutzer die Szene durch ein
PDA mit integrierter Kamera, so sieht er die virtuellen Weichen und Züge. Der
Nutzer kann die Weichen verstellen und die Züge verändern ihre Fahrstrecke.
Weitere Nutzer können über ihre PDAs die gleiche Szene aus ihrer eigenen
Perspektive sehen und ebenfalls die Weichen verstellen. Die Auswirkungen
sind für alle sichtbar. Über Studierstube werden die Daten synchronisiert, so
dass eine kooperative Umgebung entsteht. Das Tracking erfolgt mit dem AR
ToolKitplus.
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 49
Bild 3-5: Studierstube-Anwendung: The Invisible Train [WS06]
Bild 3-6 zeigt die AR-Museums-Anwendung „ Virtuoso“. An einer Wand be-
finden sich AR-Marker. Die Besucher betrachten die AR-Marker durch ihren
PDA mit integrierter Kamera und sehen dort zufällig angeordnete virtuelle
Kunstobjekte. Die Besucher haben die Aufgabe, die Kunstobjekte in der rich-
ten zeitlichen Reihenfolge an der Wand aufzureihen. Sie können das virtuelle
Kunstobjekt auf ihren PDA übernehmen und an einer anderen Position wieder
ablegen. Legen sie das Virtuelle Objekt an einer Informationsstation ab, erklärt
der virtuelle Charakter Mr. Virtuoso dort das Objekt mit Multimediainformati-
onen wie Videos, Bildern, Texten und Sound.
Die AR-Markererkennung erfolgt durch das AR ToolKitPlus direkt auf dem
PDA und die Synchronisation wird über Studierstube auf einem Laptop vorge-
nommen, der über WLAN mit den PDAs kommuniziert.
Seite 50 Kapitel 3
Bild 3-6: Studierstube-Anwendunge: Virtuoso [WS06]
Bewertung hinsichtlich der Erfüllung der Anforderungen
Mit Studierstube können verteilte AR-Anwendungen für mobile Endgeräte er-
stellt werden. Es werden PDAs und Smartphones unterstützt. Studierstube
nutzt für das Tracking das ARToolKitPlus. Zusätzlich können über OpenTra-
cker verschiedene Trackingsysteme eingebunden werden. Ein markerloses op-
tisches Trackingverfahren wird nicht eingesetzt. Die Anwendungen werden mit
Hilfe von Programmbibliotheken erstellt und nicht mit einem Autorensystem
für Laien unterstütz.
3.4 Cellphone Tracking
Cellphone Tracking ist ein Projekt der Bauhaus-Universität Weimar. Ziel des
Projektes war die Entwicklung der ersten Augmented Reality Anwendung für
ein handelsübliches Mobiltelefon mit integrierter Kamera. Das Bild 3-7 zeigt
das verwendete Mobiltelefon Nokia 7650. Es enthält einen 104 Mhz ARM
Prozessor ohne Floatingpointeinheit und 4 MB RAM, sowie dem Betriebssys-
tem Symbian OS 6.1 für Smartphones.
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 51
Bild 3-7: AR mit dem Mobiltelefon Nokia 7650 [MLB04b]
Alle Berechnungen für das Tracking wurden aufgrund der fehlenden Fließ-
kommaunterstützung in Integerberechnungen umgewandelt. Die Anwendung
erreichte bei einer Auflösung von 160x120 Pixel und einer Farbtiefe von 12 bit
eine Framerate von 16 fps. Bei einer Auflösung von 320x240 Pixel fiel die
Framerate auf 0.5 fps.
Die Anwendung verwendet dreidimensionale Marker, die in Bild 3-8 darge-
stellt werden. Die Marker haben eine Grundfläche von ca. 10x10 cm und ihre
Kanten sind jeweils rot, grün und blau gefärbt. Da die Kamera ein RGB-
Signal1 liefert, können die eingefärbten Kanten besonders gut identifiziert wer-
den. Die Anwendung geht davon aus, dass das Mobiltelefon richtig gehalten
wird und die grüne Kante des Markers senkrecht steht. Der Algorithmus scannt
das Bild von oben nach unten und sucht nach der grünen Kante. Ist die Kante
gefunden so sucht der Algorithmus die Endpunkte, dort sucht er im Umfeld
nach der roten und blauen Kante und findet dadurch den Ursprung der drei
Kanten. Die Länge der Kanten ist bekannt und so kann die Position und die
Lage der Marker im Raum berechnet werden. Zur Identifizierung der Marker
befinden sich auf den Flächen farbige Punkte [MLB04a].
1 RGB-Signal: Das RGB Signal überträgt die Primärfarben rot, grün und blau, auf drei getrenn-
ten Kanälen, durch additive Farbmischung können alle Farben daraus erzeugt werden.
Seite 52 Kapitel 3
Bild 3-8: 3D-Marker für das Cellphone Tracking [MLB04a]
Bewertung hinsichtlich der Erfüllung der Anforderungen
Das System zeigt, dass Mobiltelefone in der Lage sind, einfache Trackingalgo-
rithmen auszuführen und eine 3D-Graphik an der berechneten Position des
Markers darzustellen. Für einen industriellen Einsatz sind die Marker durch ih-
re Dreidimensionalität nicht alltagstauglich, da sie schlecht an Produkten befes-
tigt werden können und vor allem die Ästhetik stören. Die Anwendung zeigt
auch, dass bei einer höheren Auflösung von 320x240 die Framerate extrem zu-
rück fiel, so dass keine Animation mehr möglich war.
Das System bietet nur das Tracking und das Rendering der Graphik. Es exis-
tiert kein Autorensystem zum einfachen Erstellen von Anwendungen. Der
Zugriff auf Onlinedatenbanken ist bisher nicht vorgesehen.
3.5 Distributed Wearable Augmented Reality Framework
(DWARF)
Das Distributed Wearable Augmented Reality Framework (DWARF) ist ein
Projekt der Technischen Universität München. Ziel des Projektes ist die Ent-
wicklung eines erweiterbaren dezentralen Software-Frameworks für verteilte
AR-Anwendungen, Kontextermittlung und Ubiquitous1 Computing. DWARF
1 Ubiquitous Computing ist die Allgegenwertigkeit von Computern, die unsichtbar in
Gebrauchsgegenstände integriert sind, über Sensoren ihre Umgebung wahrnehmen und ü-
ber drahtlose Kommunikation Daten austauschen [Mat01].
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 53
besteht aus wieder verwendbaren Software-Diensten zur Entwicklung von ver-
teilten AR-Anwendungen. Die Middleware basiert auf CORBA1. Die Dienste
werden in XML oder CORBA IDL2 beschrieben. Sie werden während der
Laufzeit von der Middleware dynamisch zusammengestellt und bilden einen
verteilten Datenflussgraph. Für die Erstellung einer AR-Anwendung bietet
DWARF Dienste für verschiedene Trackingsysteme, Kalibrierung, szenen-
graphbasiertes Rendern, Audio Ein- und Ausgabe, Videocapturing oder für In-
teraktionsgeräte.
DWARF ist plattformunabhängig und unterstützt die Betriebssysteme Linux,
Windows, Mac OS. Für die Anwendungsentwicklung können die Program-
miersprachen C++, JAVA und Python verwendet werden [BBK+01]
[WRB+03], [WSW+03].
Bild 3-9 zeigt die Kooperative Augmented Reality Anwendung „The Shared
Environment Entertainment Pasture“ (SHEEP), die mit DWARF entwickelt
wurde. Ein Videobeamer projiziert eine virtuelle Szene auf einen Tisch. Es
wird eine Landschaft dargestellt in der sich Schafe und Wölfe befinden. Mit
verschiedenen Geräten wie Notebooks, HMDs und PDAs kann mit der Szene
interagiert werden. Alle Geräte werden getrackt und zeigen ihre Sicht auf die
virtuelle Landschaft abhängig von ihrer Position im Raum. Mit den verschie-
denen Geräten kann die Szene modifiziert werden, in dem Schafe entnommen,
verändert und an einer anderen Position wieder abgesetzt werden. SHEEP ist
eine kooperative Augmented Reality Umgebung in der mehrere Benutzer eine
Szene gemeinsam bearbeiten können.
Bild 3-9: DWARF Anwendung SHEEP [She06]
1 CORBA Common Objekct Request Broker Architecture ist eine Middleware, die plattformu-
nabhängige Dienste definiert. Sie wurde entwickelt von der Object Management Group
(OMG).
2 IDL: Interface Definition Language. Beschreibungssprache für Schnittstellen bei CORBA.
Seite 54 Kapitel 3
Bewertung hinsichtlich der Erfüllung der Anforderungen
DWARF ist besonders für den Einsatz auf mobilen Endgeräten ausgelegt. Die
Dienste können fast auf allen Plattformen ausgeführt werden und kommunizie-
ren über drahtlose Netze miteinander. So kann ein mobiles Endgerät z. B. das
AR ToolKit Plus zum Tracken verwenden oder über das Netzwerk auf externe
Trackingsysteme zugreifen, die ihre Dienste anbieten.
Verschiedene Trackingsysteme können als Dienste in DWARF-Anwendungen
integriert werden. Dabei werden Verfahren wie das AR ToolKit Plus oder ex-
terne System wie A.R.T.track unterstützt. Bisher wird kein markerloses opti-
sches Tracking verwendet.
Die Dienste können auch online Zugriffe auf Datenbanken anbieten.
3.6 Tinmith
Tinmith-evo5 ist ein mobiles Outdoor-AR-System, das an der Universität von
Südaustralien entwickelt wurde. Die Hardwareplattform bildet ein Notebook
mit einem HMD als Videoausgabe sowie die Kombination von Kamera, GPS
und einem Digitalkompass als Trackingsystem (siehe Bild 3-10). Das GPS-
System empfängt die genaue Position des Benutzers durch die Satelliten. Die
Blickrichtung wird über den 3-Achsen-Digitalkompass am Kopf des Benutzers
ermittelt. Zur Navigation innerhalb von Gebäuden und zur Interaktionserken-
nung wird das ARToolKit verwendet Mit einem Sensor-Handschuh interagiert
der Benutzer mit dem System. An dem Handschuh befinden sich Kontaktschal-
ter, über die elektronische Signale an das System gegeben werden, die als In-
teraktionen ausgewertet werden. An dem Handschuh befinden sich AR-
Marker, über die die Position und damit die Bewegungen des Handschuhs
getrackt werden (siehe Bild 3-11).
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 55
Bild 3-10: Tinmith Hardware [Pie04]
Tinmith visualisierte zuerst nur die Gebäudeerweiterung auf dem Campus der
Universität Südaustraliens [PHD+99], [PTH+99]. In der aktuellen Version er-
möglicht Tinmith-ev0 dem Benutzer virtuelle Objekte in einer realen Szene zu
platzieren und zu bearbeiten. Architekten und Bauherren haben damit die Mög-
lichkeit, bereits vor Baubeginn einen Eindruck des späteren Gebäudes oder der
Bepflanzung zu erhalten. Bild 3-12 zeigt die Konstruktion eines virtuellen Ge-
bäudes in der realen Umgebung.
Bild 3-11: Interaktion mit Sensor-Handschuh [Pie04]
Seite 56 Kapitel 3
Bild 3-12: Architekturplanung mit virtuellen Gebäuden in einer realen Umge-
bung [Pie04]
Zielsetzung des Projektes ist es, eine umfassende Lösung für AR-
Anwendungen zu entwickeln, die neben den Basisfunktionalitäten für die Dar-
stellung und das Rendering der Objekte auch komplexe Aufgaben bereits fertig
mitliefert, ohne dass sie von Programmierern entwickelt werden müssen. Ba-
sierend auf der in Bild 3-13 dargestellten „Low-Level-Architektur“ soll es
möglich sein, fertige Komponenten für die Implementierung komplexer Appli-
kationen zu verwenden.
Bild 3-13: Tinmith-evo 5 Gesamtsystemübersicht [Pie04]
Tinmith ist eine datenflußorientierte Architektur. Sie besteht aus verschiedenen
Schichten, wie Bild 3-14 zeigt. Die Informationen über die Außenwelt nimmt
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 57
das System über die Trackinggeräte wahr. Über eine Hardware-
Abstraktionsschicht (engl. Hardware Abstraction) werden die Daten aus den
Trackinggeräten für die Weiterverarbeitung abstrahiert und in Objekte verwan-
delt. In der nächsten Schicht werden die Trackerdaten als Objektevents an ei-
nen Zustandsautomaten weitergereicht, der die Logik der Anwendung steuert.
Die Events verursachen über den Zustandsautomaten Veränderungen an dem
Szenengraphen, der in der letzten Schicht gerendert wird [Pie04], [PT03],
[PHD+99], [PTH+99].
Bild 3-14: Datenfluß durch die Tinmith Module [Pie04]
Bewertung hinsichtlich der Erfüllung der Anforderungen
Das System erfüllt alle Anforderungen der Definition Augmented Reality. Das
System wird von den Entwicklern zwar als mobil bezeichnet, ist aber für einen
realen mobilen Einsatz zu groß und damit zu unpraktisch. Der Nutzer trägt ei-
nen Laptop und die über viele Kabel angeschlossenen Trackinggeräte in einem
Rucksack. In der bisherigen Ausführung wird es schwer sein, eine befriedigen-
de Benutzerakzeptanz zu erreichen.
Zum Tracking außerhalb von Gebäuden verwendet das System GPS und einen
digitalen Kreiselkompass und innerhalb von Gebäuden wird das AR-Toolkit
zur Positionsbestimmung verwendet.
Seite 58 Kapitel 3
Das System ist nicht mit einer Onlinedatenbank verbunden. Alle Daten befin-
den sich auf dem Endgerät im Dateisystem.
Das System selber ist eine Art Autorensystem. Der Nutzer kreiert mit dem Sys-
tem eine Augmented Reality-Umgebung. Durch Gestik erstellt der Benutzer
virtuelle Objekte, die in die reale Umgebung eingefügt und später wieder be-
trachtet werden können. Die Anwendung nutzt einen eigene properitäre Gra-
fikbeschreibungssprache und kann andere Datenformate nicht lesen oder
schreiben. Möchte man das System für andere Anwendungsfälle nutzen, müs-
sen die Komponenten von Experten programmiert werden. In dem Fall werden
Laien nicht mit einem Autorensystem unterstützt.
3.7 Ubiquitous Mobile Augmented Reality (UMAR)
Das UMAR Framework in Bild 3-15 zeigt kontextabhängige personalisierte In-
formationen auf einem Smartphone an. Der Kontext wird über Sensoren ermit-
telt: Das Smartphone kennt die aktuelle Mobilfunkzelle und kann darüber eine
Ortsbestimmung durchführen. Über die interne Kamera und dem AR ToolKit
identifiziert die Software auf dem Smartphone die AR-Marker und zeigt dem
Marker zugeordnete Informationen an. Mobiltelefone sind im Regelfall genau
einer Person zugeordnet, dadurch wird die Informationsanfrage personalisiert.
Die Informationsanfragen werden durch die Interaktion des Benutzers, seine
Identität, seine Position und den erkannten AR-Markern bestimmt. Abhängig
von der räumlichen Beziehung zu einem Objekt wird die Benutzungsschnitt-
stelle ausgewählt. Bei sehr nahen Objekten mit AR-Markern verwendet das
System AR, bei entfernten Objekten wird eine 2D-Karte mit interessanten
Punkten der Umgebung angezeigt. Existiert kein räumlicher Bezug zum ge-
suchten Objekt, so nutzt das System Internetseiten zur Informationsdarstellung
[HO03], [HO04].
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 59
Bild 3-15: UMAR Framework [HO04]
Bild 3-16 zeigt eine Beispielanwendung, die abhängig von der aktuellen Zeit
die Position der Straßenbahnen auf einem Stadtplan mit der Technologie AR
einblendet. Eine weitere Anwendung ermittelt die aktuelle Mobilfunkzelle und
zeigt den entsprechenden Kartenausschnitt der Umgebung als Graphik im
Smartphone an. Auf dem Kartenausschnitt befinden sich Hyperlinks zu Videos,
die interessante Punkte der Umgebung erläutern.
Bild 3-16: Karte mit AR-Marker (links); Im Display des Smartphons wird die
Karte mit virtuellen Straßenbahnen erweitert (rechts) [HO04]
Auf Basis der UMAR Erfahrungen erstellten die Autoren ein AR-Tennisspiel
für Mobiltelefone [HBO05].
Seite 60 Kapitel 3
Bewertung hinsichtlich der Erfüllung der Anforderungen
Das Framework unterstützt die Technologie Augmented Reality für Smartpho-
nes. Das Tracking basiert auf eine AR-ToolKit Version, die für mobile Endge-
räte angepasst wurde. Die Floatingpointoperationen wurden in Festkommaope-
rationen umgewandelt, da die mobilen Geräte die Floatingpointoperationen
nicht mit der Hardware unterstützen. Die Markererkennung funktioniert bis zu
einer maximalen Distanz von 1,5 m und arbeitet nur mit drei Freiheitsgeraden,
d.h. die Translation in der 2D-Ebene und die Tiefenentfernung zur Kamera.
Die Rotationen in den Ebenen werden nicht erfasst.
Neben dem AR ToolKit-Tracking erkennt die Software in welcher Mobilfunk-
zelle das Gerät sich befindet. Entsprechend der Mobilfunkzellenidentifikation
ruft die Software die Informationen aus einer Onlinedatenbank ab und zeigt sie
auf dem Smartphone an.
Die Anwendungsentwicklung wird nicht von einem Autorensystem unterstützt.
Die gesamte Anwendung wird vom Entwickler programmiert.
3.8 wearIT@work
Ziel des Projekts wearIT@work ist die Entwicklung einer Wearable Compu-
ting Plattform zur Unterstützung mobiler Tätigkeiten in Industrie- und Dienst-
leistungsunternehmen. Es werden Hard- und Softwarelösungen für die folgen-
den Anwendungsszenarien entwickelt und evaluiert:
– Wartung von Flugzeugen (EADS, Frankreich)
– Produktion von Fahrzeugen (Skoda, Tschechien)
– Medizinische Versorgung (Gesundheits- und Spitals AG, Österreich)
– Notfallintervention (Feuerwehr Paris, Frankreich)
Das wearIT@work-Framework ist eine serviceorientierte Architektur (SOA).
Es bietet für die jeweiligen Aufgaben spezielle Dienste an. Aus den Anwen-
dungsszenarien wurden mögliche Dienste (engl. Services) abgeleitet, z.B. Da-
tenbankzugriffe, Kontexterkennung, Workflowmanagement und mobile Kom-
munikation. Diese Dienste registrieren sich bei dem Servicebroker und stehen
damit allen Komponenten zur Verfügung. Benötigt eine Anwendung einen be-
stimmten Service, so fragt sie bei dem Servicebroker nach und kann dann die
benötigten registrierten Dienste nutzen.
Das Bild 3-17 zeigt die Struktur des Frameworks zwischen der Anwendung
und dem Betriebssystemen. Die Basis bilden die Kernkomponenten (engl. Co-
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 61
re-Components) und die Integrationsschicht (engl. Integrationlayer), die ver-
antwortlich für die interne Kommunikation des Frameworks ist. Die Kernkom-
ponenten sind eine Sammlung von Komponenten, die von allen möglichen
Anwendungen gemeinsam genutzt werden.
Je nach Anforderungen einer Anwendung werden Kerndienste (engl. Core Ser-
vices) und domainspezifische Dienste zur Verfügung gestellt.
Die Brokerfunktion übernimmt der WearIT Management Service. Hier regist-
rieren sich die Dienste. Er sorgt für die Zuordnung der Dienste zu den Anwen-
dungen und übernimmt so das gesamte Livecycle-Management1 der Dienste.
Bild 3-17: wearIT@work Framework [Sbo05]
Weiterhin werden im Rahmen des Projektes Treiberkomponenten für die An-
bindung verschiedener Hardware an Wearable Computer entwickelt, so dass
Sensoren, Tracker, Kommunikationshardware wie Mobilfunk oder WLAN von
den Geräten genutzt werden können.
Das Framework unterstützt die Betriebssysteme Linux und Windows. Als
Wearable Computer wird der QBIC verwendet [ALO+04]. Der Computer ist in
einem Gürtel integriert (siehe Bild 3-18). Der Rechner befindet sich in der
Schnalle und ein Bussystem im Gürtel. Über das Bussystem können verschie-
den Hardwarekomponenten an den Rechner angeschlossen werden. Weitere
Plattformen sind die kommerziellen Produkte oqo und Xybernaut [Oqo06-ol],
[Xyb06ol], [ST06], [BHK+06].
1 Livecycle ist hier die Lebensdauer eines Dienstes vom Start bis zur Beendigung
Seite 62 Kapitel 3
Bild 3-18: QBIC: Computer in der Gürtelschnalle mit MicroOptical Clip-On
Display [Qbi06]
Bewertung hinsichtlich der Erfüllung der Anforderungen
In der bisherigen Planung ist der Einsatz für Augmented Reality in dem Projekt
nicht vorgesehen. Das Framework bietet teilweise die benötigten Dienste für
ein AR-Anwendung an: Videoübertragung, Kontexterkennung, Workflowma-
nagement. Die Entwicklung von Komponente zur 3D-Darstellung und zur
Kombination von virtueller und realer Umgebung sind nicht Bestandteile des
Projektes.
Das Framework ist speziell für tragbare (engl. Wearable) und damit mobile
Computer ausgelegt, die in Industrie- und Dienstleistungsunternehmen einge-
setzt werden sollen. Das Framework bietet Dienste für die mobile Kommunika-
tion an wie Bluetooth, WLAN und UMTS. Sind mehrere Kommunikations-
möglichkeiten vorhanden, so wählen intelligente Dienste je nach Anforderung
der Anwendung die möglichst optimale Kommunikationsform aus, ohne dass
sich der Nutzer darum kümmern muss [MTS+06]. Bei dem Ausfall einer Über-
tragungstechnologie, z.B. WLAN, kann automatisch auf eine andere Alternati-
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 63
ve wie UMTS umgeschaltet werden, ohne dass die laufende Anwendung un-
terbrochen wird.
Ein Ziel des Projektes ist es die Arbeit durch den Einsatz von Wearable Com-
putern zu erleichtern und den Informationszugriff effizienter zu gestalten. In-
formationen sollen dem Arbeiter in der Fabrikhalle oder dem Feuerwehrmann
im Einsatz geliefert werden. Eine große Anforderung an das Projekt ist die Be-
reitstellung von einem Onlinezugriff auf die bestehenden Datenbanken und
Systeme in den Unternehmen.
In das Framework wurden eine Vielzahl von Trackingsystemen integriert. Es
werden z.B. RFID-Sensoren und Bewegungssensoren genutzt, um aus Bewe-
gungen der Nutzers auf ihre Tätigkeiten zu schließen (siehe Bild 3-19)
[SLR+06]. Die eingesetzten Trackingsysteme bieten aber nicht die notwendige
Präzision für AR.
Bild 3-19: Trackingsensoren zur Kontexterkennung [SLR+06]
Das Framework bietet nur Dienste an. Alle Anwendungen müssen program-
miert werden. Der Anwendungsprogrammierer kann die Dienste über ihre
Schnittstellen in seine Anwendung integrieren. Es existiert kein Autorenwerk-
zeug, das es Laien ermöglicht Anwendungen für das Framework ohne Exper-
tenwissen zu entwickeln.
A Inertial-Sensor
B Kraft-Sensor
C RFID-Tag
D RFID-Leser
E Bluetooth-Sender
Seite 64 Kapitel 3
3.9 Handlungsbedarf und Zielsetzung der Arbeit
Die Analyse der Systemarchitekturen zeigt, dass keines der Systeme alle ge-
stellten Anforderungen erfüllt. Bild 3-20 stellt eine tabellarische Übersicht der
nach den Anforderungen aus Kapitel 2.6 bewerteten Systeme dar.
In den Forschungsprojekten der Universitäten steht die Weiterentwicklung der
AR-Basistechnologien wie Tracking und die Darstellung der 3D-Objekte auf
den Endgeräten im Vordergrund und nicht die Integration der Systeme in den
Produktlebenszyklus. Erst die Projekte wearIT@work und ARVIKA mit star-
ker industrieller Beteiligung beschäftigen sich mit der Online-Anbindung an
Datenbanken oder andere Lagacy-Systeme, um auf konsistente und aktuelle
Produktdaten zugreifen zu können.
In allen Projekten können die Anwendungen nur von Experten erstellt werden.
Für eine Akzeptanz der Technologie müssen auch Personen aus anderen Berei-
chen mit wenig IT-Erfahrung wie Marketing oder technischen Redaktionen in
die Lage versetzt werden kostengünstig Inhalte für eine Anwendung zur Pro-
duktpräsentation zu erstellen.
Die meisten Systeme nutzen einen markerbasierten Trackingansatz. In den Be-
reich Design, Vertrieb oder beim Kundensupport spielt das ästhetische Er-
scheinungsbild eines Produktes eine große Rolle. Durch den Einsatz von Mar-
kern wird dieses extrem gestört.
Ziel der vorliegenden Arbeit ist daher die Entwicklung einer Architektur für
mobile skalierbare Augmented Reality-Anwendungen für die Produktpräsenta-
tion. Hierbei wird ein markerloses optisches Trackingverfahren integriert, um
besonders die ästhetischen Anforderungen aus den Bereichen Marketing, Ver-
trieb und Kundensupport zu berücksichtigen und somit eine hohe Akzeptanz zu
erreichen. Der Onlinezugriff auf eine Datenbank mit den Anwendungsdaten
soll einen konsistenten und aktuellen Informationsstand gewährleisten. Die
Einbindung eines Autorensystems wird eine kostengünstige Generierung von
Inhalten auch für Nichtexperten ermöglichen und damit ebenfalls die Akzep-
tanz des Systems erhöhen.
Analyse bestehender Systemarchitekturen für AR-Anwendungen Seite 65
Bild 3-20: Bewertung der bestehenden Systeme für AR und Mobile Computing
hinsichtlich der in Kapitel 2.6 aufgestellten Anforderungen
Systemarchitektur Seite 67
4 Konzeption und Systementwurf
In dem vorangehenden Kapitel wurde gezeigt, dass die bestehenden Systeme
nicht alle Anforderungen an ein System zur Produktpräsentation erfüllen.
Im Folgenden wird eine Konzeption einer Architektur für ein System zur Pro-
duktpräsentation vorgestellt und ein Vergleich mit einer Referenzarchitektur
vorgenommen. Anschließend werden die Komponenten der Architektur erläu-
tert. Darauf folgt eine Vorstellung eines Autorensystem, mit dem Laien in die
Lage versetzt werden, Inhalte für eine Anwendung zu generieren.
Des Weiteren wird erläutert, wie die Trackingdaten innerhalb des Entwick-
lungsprozesses generiert werden und wie die Inhalte über die Produktlebens-
phasen erstellt werden. Am Ende des Kapitels wird gezeigt, dass alle Anforde-
rungen an ein System zur Produktpräsentation erfüllt werden.
4.1 Systemarchitektur
Das Augmentieren von Videobildern mit virtuellen Informationen sowie das
Tracking sind sehr rechenintensive Prozesse, die nur sehr eingeschränkt auf
den aktuellen mobilen Endgeräten ausgeführt werden können. Ein Lösungsan-
satz ist die in Bild 4-1 dargestellte Client/Server-Architektur, die es ermöglicht,
die rechenintensiven Prozesse bei Bedarf auf einen Server auszulagern. Dies
erlaubt einen flexiblen Einsatz von unterschiedlichen Geräten. Z. B. kann ein
leistungsstarker Tablet PC gleichzeitig als Client und Server dienen und die re-
chenintensiven Prozesse der Bildverarbeitung selber ausführen. Leistungs-
schwache Geräte wie z. B. PDAs dienen nur zur Anzeige der Informationen
und zur Interaktion mit dem Benutzer, während die rechenintensiven Prozesse
auf einem Server ausgeführt werden. Die Minimalfunktionen eines Clients sind
dann die Ein- und Ausgabe von Video und Audio sowie die Interaktion mit
dem Benutzer.
Der Server besteht aus einem Managementsystem, das die Ausführung der
Anwendung steuert und deshalb mit allen Komponenten des Servers kommu-
niziert. Das Trackingsystem liefert die Position und die Identität eines gefunde-
nen Objektes. Die Objektdarstellung berechnet die Ausgabe des Systems. Dies
umfasst die GUI und die 3D-Objekte. Über eine Datenbankschnittstelle wird
auf die interne Datenbank zugegriffen, in der die Anwendungs- und Tracking-
daten liegen. Ferner kann über diese Schnittstelle der Zugriff auf weitere exter-
ne Datenbanken geregelt werden. Das Managementsystem kann auch externe
Anwendungen aufrufen, um z. B. Dokumente oder andere Daten anzuzeigen.
Seite 68 Kapitel 4
Client und Server kommunizieren über Standard-Internet-Protokolle wie
TCP/IP oder UDP/IP miteinander, so dass Netzwerktechnologien wie WLAN
oder UMTS zur Kommunikation zwischen Client und Server genutzt werden
können.
Bild 4-1: Systemarchitektur des AR-Produktpräsentationssystems
Im Rahmen des ARVIKA-Projektes wurde von der Technischen Universität
München eine Referenzarchitektur für Augmented Reality-Anwendungen er-
stellt [BMR04]. Nach der Referenzarchitektur in Bild 4-2 besteht ein AR-
System aus den Subsystemen: Anwendung (engl. Application), Tracking, User
input, User output, Kontext, World Model.
Die Komponenten der hier entwickelten Systemarchitektur decken alle Subsys-
teme der Referenzarchitektur ab:
Systemarchitektur Seite 69
Anwendung: Die Anwendungslogik wird im Anwendungsskript be-
schrieben und vom Managementsystem ausgeführt.
Kontext-Manager: Der Kontext-Manager wird durch eine Finite State Ma-
chine (FSM) implementiert, die den aktuellen Kontext
durch ihren Zustand darstellt. Ereignisse wie Benutzerin-
teraktionen oder Trackinginformationen, die einen Kon-
textwechsel darstellen, führen zu einem Übergang in ei-
nen neuen Zustand der FSM.
Eingabe: Die Eingaben erfolgen per Stift-Interaktion und über die
Tasten des mobilen Endgerätes. Das aufgenommene Vi-
deobild der Kamera dient als Eingabe für das markerlose
modellbasierte Trackingverfahren.
Ausgabe: Ein 3D Renderer stellt die 3D Modelle dar. Ein Vide-
oplayer gibt das mit Zusatzinformationen angereicherte
Videobild auf dem Endgerät aus. Über einen PDF-
Viewer können PDF-Dokumente oder die vom Doku-
mentengenerator erzeugten Dokumente ausgegeben wer-
den.
Tracker: Zum Identifizieren und Verfolgen der Objekte wird ein
markerloses modellbasiertes Trackingverfahren verwen-
det.
Weltmodell: Das gesamte Weltmodell wird in einem Anwendungs-
szenario beschrieben. Ein Anwendungsszenario enthält
mehrere Anwendungsskripte, die je nach Kontext ausge-
führt werden.
Die Architektur wird in die drei Elemente Client, Server und Kommunikation
aufgeteilt, die in den folgenden Kapiteln näher beschrieben werden.
Seite 70 Kapitel 4
Bild 4-2: Referenzarchitektur für AR-Systeme [BMR04]
4.1.1 Client
Der Client mit seinen Komponenten in Bild 4-3 ist die Schnittstelle zwischen
dem Benutzer und der Anwendung. Der Client bietet dem Benutzer die Interak-
tionsmöglichkeiten mit der Anwendung. Dies kann über die Tasten des Gerätes
erfolgen oder wie bei den meisten PDAs mit einem berührungsempfindlichen
Display und einem Stift. Die Stifteingabe liefert eine 2D-Koordinate auf dem
Display, sie wird in der Protokoll- und Abstraktionsschicht geräteunabhängig
codiert und an die Anwendung zur Auswertung gesendet.
Das Gerät dient auch als Eingabegerät für ein optisches Tracking, daher ist der
Client mit einer Videokamera ausgestattet. Die Kamera sendet über den Client
ein Video an die Serveranwendung und damit an das Trackingsystem. Das von
der Kamera aufgenommene Bild wird in der Protokoll- und Abstraktions-
schicht des Client nach dem verwendeten Videostandard und Übertragungspro-
tokoll komprimiert, codiert und anschließend versendet.
Vom Server erhält der Client ein Video mit den angereicherten Informationen.
Er muss daher kein 3D-Rendering mehr vornehmen, sondern zeigt die Ausgabe
nur als Video an. Zu diesem Zweck nutzt der Client eine Videoabspielsoftware,
die abhängig vom verwendeten Videoprotokoll den Videostrom vom Server
abspielen kann.
Die Anbindung des Clients an den Server geschieht durch drahtlose Kommuni-
kation, daher unterstützt der Client hard- und softwareseitig einen breitbandi-
gen Kommunikationsstandard, wie UMTS oder WLAN.
Systemarchitektur Seite 71
Der Client kann auch externe Anwendungen nutzen. Neben der Anzeige von
AR-Inhalten können so auch Dokumente oder Präsentationen geöffnet werden,
falls der Client die entsprechende Software anbieten kann.
Bei einem leistungsstarken Client kann der Server auch auf dem Endgerät aus-
geführt werden. In dem Fall interagiert der Benutzer direkt mit der Objektdar-
stellung. Das Videobild der Kamera wird als direkte Eingabe für das optische
Tracking verwendet. Die Codierung, Komprimierung, Versendung, De-
komprimierung und Decodierung des Videos entfällt. Eine Online-Anbindung
über drahtlose Kommunikation wird weiterhin benötigt, um Zugriff auf die Da-
tenbanken mit den aktuellen Anwendungsdaten zu gewährleisten.
Bild 4-3: Komponenten des Clients
4.1.2 Kommunikation
Die Kommunikation ist so ausgelegt, dass unterschiedliche Endgeräte unter-
stützt werden. Für die Übertragung der Daten und die Komprimierung der Bil-
der werden daher Standardprotokolle eingesetzt, wie die Netzwerkprotokolle
TCP/IP oder UDP/IP für die Datenübertragung. Bei der Auswahl der Protokol-
le sollte sichergestellt werden, dass sie von den Übertragungsstandards zur
drahtlosen Kommunikation wie WLAN oder UMTS unterstützt werden. Für
die Kommunikation werden drei Kanäle benötigt: zwei Kanäle für die Video-
übertragung, d. h. ein Kanal zur Videoübertragung vom Client zum Server so-
wie ein Kanal zurück und einen Kanal für die Übertragung der Interaktionen
und Befehle.
Seite 72 Kapitel 4
4.1.2.1 Videoübertragung
Für die Übertragung der Videos wird ein Videostandard verwendet. Hier bieten
sich besonders die Standards für Videokonferenzen an, da sie zwei Videoströ-
me parallel bei geringer Datenübertragungsrate übertragen müssen. Die Inter-
nationale Telefon Union (ITU) legte für die Komprimierung Standards wie
H.261, H.263 oder H.264 fest [ITU06-ol]. Die Standards sind besonders für
starke Komprimierung bei wenigen Bewegungen optimiert, d. h. zwischen den
einzelnen Bildern des Videostroms gibt es wenige Veränderungen. Dies ist im
Bereich AR der Fall, da der Nutzer in erster Linie versucht, dass zu untersu-
chende Objekt anzuvisieren, um darüber Informationen abzurufen. Der Einsatz
von Videostandards hat den Vorteil, dass sie von der Hardware unterstützt wer-
den können. So ist z.B. H.263 ein Teil von MPEG4 für Videotelefonie mit
UMTS-Mobiltelefone.
Die benötigte Übertragungsbandbreite kann nicht nur durch Komprimierung
reduziert werden, sondern auch durch intelligente Anwendungsentwicklung.
Neben dem „Live-AR-Modus“, bei dem alle Bilder von der Kamera kompri-
miert an den Server geschickt werden, kann mit einem „AR-Fotografiermodus“
die zu Übertragende Datenmenge stark reduziert werden. Die Bilder der Kame-
ra werden zunächst nur lokal auf dem Client angezeigt. Erst wenn der Anwen-
der auf den Auslöseknopf drückt, werden die Bilder so lange zum Server ge-
schickt, bis dieser ein Objekt identifiziert hat. Ab dann werden nur noch Daten
vom Server zum Client gesendet und das Tracking ist in der Phase nicht mehr
aktiv. Aus Sicht des Anwenders verringert sich dabei die Latenz des Systems
und die Handhabung wird erleichtert, da er nicht mehr das reale Objekt anvi-
sieren muss.
4.1.2.2 Interaktionen
Die Interaktionen des Benutzers mit dem Endgerät werden als Nachrichten
(engl. Messages) an den Server geschickt. Die Nachrichten beschreiben die In-
teraktionen mit den Interaktionselementen der Endgeräte, wie das Drücken von
Tasten oder Knöpfen sowie die Berührung eines berührungsempfindlichen
Displays mit einem Stift oder Finger. Dabei werden die Interaktionen durch die
folgenden Schlüsselwörter beschrieben: keydown, keyup, pendown, penup. Als
Parameter werden die Bezeichnungen der Tasten und Knöpfe und die Display-
koordinaten übertragen. Der Server erhält die geräteabhängigen Daten und
wandelt sie in der Abstraktionsschicht in geräteunabhängige Daten um, da die
verschiedenen Endgeräte z. B. unterschiedliche Bildschirmauflösungen besit-
zen können. Die geräteunabhängigen Daten werden an das Interaktionsmodul
der Objektdarstellung weitergeleitet, das die Daten weiterverarbeitet.
Systemarchitektur Seite 73
4.1.3 AR-Server
Der AR-Server besteht wie in Bild 4-4 dargestellt aus den Komponenten Tra-
cking, mit der High-Level- und Low-Level Objekterkennung, Objektdarstel-
lung, Managementsystem, Datenhaltung und die Data-Control-Pipeline über
die Daten zwischen den Komponenten ausgetauscht werden.
Das mobile Endgerät nimmt mit einer integrierten Videokamera eine Szene
auf. Das Videobild wird komprimiert und über die breitbandige Mobilfunkstre-
cke zum Server gesendet. Nach dem Empfang der Daten, werden sie decodiert
und in der Datenstruktur der Data- Control-Pipeline abgelegt.
Alle Komponenten legen ihre Daten in den vorher vereinbarten Formaten in
die Datenstruktur des Data-Control-Pipeline ab und das Modul regelt den
Zugriff der anderen Komponenten auf die Daten (siehe Bild 4-5). Dies gewähr-
leistet die korrekte Zugriffsreihenfolge der einzelnen Module und ermöglicht
so, dass die Komponenten Decoder, Tracking, Objektdarstellung und Encoder
wie eine Pipeline arbeiten. Die Komponenten entnehmen aus der Data-Control-
Einheit ihre Eingabedaten, verarbeiten sie und legen das Ergebnis wieder in die
Datenstruktur ab, auf die dann die nächste Komponente zugreifen kann.
Die Low-Level-Objekterkennung analysiert mit Bildverarbeitungs-Algorithmen
das Video und erkennt z. B. dominante Kanten und andere Charakteristika.
Die High-Level-Objekterkennung erkennt und verfolgt Objekte durch den Ver-
gleich der Ergebnisse der Low-Level-Vision mit den Informationen zu den ge-
suchten Objekten aus den Objekterkennungsdateien. Sie berechnet die Position
und die Lage des realen Objektes und legt das Ergebnis als Matrix in die Da-
tenstruktur der Data-Control-Pipeline.
Die Objektdarstellung stellt die Multimediadaten wie z. B. 3D/2D-Grafiken,
Animationen oder Texte relativ zur berechneten Position des erkannten Objek-
tes dar und mischt sie mit dem Videobild der Realität. Weiterhin behandelt sie
die Benutzeraktionen mit ihrem Interaction Handler. Um die Interaktionen un-
abhängig von der Hardware des Clients zu halten, wurde ein Protokoll und
Abstraktionsschicht als Zwischenschicht konzipiert. Sie liefert die Interaktio-
nen geräteunabhängig an den Interaction Handler. Er reagiert auf die Benutzer-
aktionen wie z. B. Tastendruck auf dem mobilen Endgerät und interpretiert sie:
Haben die Benutzeraktionen Auswirkungen auf die Szene im Renderer, so lei-
tet der Interaction Handler die Informationen an den Renderer weiter, der die
neue Szene berechnet und darstellt. Das gerenderte Bild wird komprimiert, co-
diert und zur Anzeige zurück zum Client gesendet.
Seite 74 Kapitel 4
Bild 4-4: Datenfluss innerhalb der Architektur
FSM: Finite State Machine
MMS: Managementsystem
OE: Objekterkennung
DB: Datenbank
DG: Dokumenten Generator
Systemarchitektur Seite 75
Bild 4-5: Kommunikation der Module über die Data-Control-Pipeline
Einzelne Stufen der Pipeline könnten auf das Endgerät ausgelagert werden.
Grundsätzlich wäre es zum Beispiel möglich, die Low-Level-Analyse auf dem
Endgerät durchzuführen. Das würde die Übertragung der Bilddaten zum Server
unnötig machen. Aufgrund der geringen Rechenleistung der PDAs ist die Um-
setzung eines Moduls auf dem Endgerät zur Zeit noch nicht möglich. Grund-
sätzlich kann durch eine Auslagerung einiger Servermodule auf ein Endgerät
mit mehr Rechenleistung aber durchaus erfolgreich eingesetzt werden. Das Re-
sultat wären deutliche geringere Latenzen.
Die Basisprozesse des Servers können wie in Bild 4-6 gezeigt mehrfach ausge-
führt werden und gleichzeitig auf eine Datenbasis zugreifen. Dies ermöglicht
den gleichzeitigen Zugriff mehrer Clients und damit mehrer Personen auf den
Server. Für jeden Client wird ein Server ausgeführt. Jedes Client-Server-Paar
muss andere Kommunikationsports benutzen, damit die Videoströme und Inte-
raktions-Daten den richtigen Partner erreichen.
Seite 76 Kapitel 4
Bild 4-6: Konzept für die parallele Verarbeitung mehrerer Clients
4.1.3.1 Das Managementsystem
Das Managementsystem steuert den logischen Ablauf der Anwendung. Die
Logik der Anwendung basiert auf einen Zustandsautomaten und wird in einem
Anwendungsskript in XML beschrieben. Das Managementsystem lädt über die
Datenbankschnittstelle das Anwendungsskript, interpretiert es und führt es
dann aus. Es agiert während der Ausführung als Zustandsautomat, der auf Er-
eignisse (engl. Events) der Objekterkennung, der Objektdarstellung sowie des
Clients reagiert. Die Architektur hat den Vorteil, dass sich das Management
nur mit dem logischen Ablauf der Anwendung beschäftigt und nicht mit dem
getakteten Ablauf der Pipeline.
Das Managementsystem besteht aus einem Eventsystem, einem endlichen Au-
tomaten (engl. Finite State Mashine FSM) und der Schnittstelle zur Datenhal-
tung (Bild 4-7).
Systemarchitektur Seite 77
Bild 4-7: Aufbau und Datenfluss des Managementsystems
Der endliche Automat besitzt Zustände mit Zustandsübergängen. Der zu ver-
wendende Zustandsübergang wird anhand von Ereignissen ausgewählt. Aktio-
nen können beim Betreten, während sowie beim Verlassen eines Zustandes und
während einer Transition ausgeführt werden. Dabei ist die Anzahl der Aktio-
nen unbegrenzt. Die Transitionen können Bedingungen beinhalten, von denen
ihre Ausführung abhängt. Bild 4-8 zeigt den Zustandsautomaten für die Initia-
lisierung des Systems: Die Komponenten Objektdarstellung (OD) und Objekt-
erkennung (OR) melden sich beim Managementsystem an. Nachdem einge-
gangenem Ereignis der Anmeldung gibt das Managementsystem an die
Komponenten den Befehl zum Laden des jeweiligen Skriptes. Nachdem die
Objekterkennung die Trackingdaten und die Objektdarstellung die Multime-
diadaten geladen haben, ist die Initialisierung abgeschlossen.
Seite 78 Kapitel 4
Bild 4-8: Zustandsautomat für die Initialisierung des Gesamtsystems
Das Eventsystem verwaltet die Ereignisse. Nach dem sich die Komponenten
beim Eventsystem angemeldet haben, besteht eine TCP/IP-Verbindungen zwi-
schen den Komponenten und dem Eventsystem. Dies hat den Vorteil, dass die
einzelnen Komponenten im Netz verteilt sein können. Über die Verbindung
schicken die Komponenten Ereignisse an das Eventsystem. Das Eventsystem
gibt das Ereignis an die FSM weiter. Die FSM wechselt abhängig vom Ereignis
den Zustand und versendet einen Befehl oder ein Ereignis an das Eventsystem,
das die Daten wiederum an die Komponenten verteilt. Der Befehl an die Ob-
jektdarstellung (OD) zum Laden der Datei „AR.xml“ wird wie folgt angege-
ben:
<Action Class="SendPaket">
<Param Name="Ziel" Value="OD"/>
<Param Name="Befehl" Value="ladeskript"/>
<Param Name="Kennung" Value="OD"/>
Systemarchitektur Seite 79
..<Param Name="AddParameter" Value="AR.xml"/>
</Action>
Neben der Verarbeitung von Events gibt das Managementsystem an, welche
Dateien zur Ausführung der Anwendung von den Komponenten geladen wer-
den müssen. Das Managementsystem teilt der Bilderkennung mit, welche
Suchmuster aus der Datenbank verwendet werden. Die Objektdarstellung er-
hält die Information, welche Multimediadatei sie laden soll. Die Multimediada-
tei enthält die Präsentationssicht auf die Anwendung, d.h. in ihr ist die Gestalt
der Anwendung enthalten, dies umfasst die Gestaltung der Benutzungsoberflä-
che, Texte, Sounds, Filme sowie die einzelnen 3D-Modelle, die in der Anwen-
dung verwendet werden.
Die Anbindung an das Autorensystem erfolgt über die Datenhaltung. Die von
dem Autorensystem erstellten Anwendungen werden als „Anwendungsskript“
in der Datenbank abgelegt. Dies hat den Vorteil, dass jede Anwendung unab-
hängig vom Server im Autorensystem erstellt werden kann und der Server ver-
schiedene Anwendungen ausführt.
Der Benutzer kann jeweils den aktuellen Zustand der Anwendung in einer Da-
tenbank speichern, um ihn später wieder abzurufen. Der Nutzer kann an der ge-
speicherten Position weiterarbeiten. Beim Speichern der Konfiguration werden
das aktuelle Bild der Szene sowie der Zustand der Finite State Machine gespei-
chert. Dies ermöglicht eine spätere Rekonstruktion der Szene und dem Benut-
zer können vom Autor vorgefertigte Konfigurationen zur Verfügung gestellt
werden. Die Daten können zusätzlich ausgedruckt oder als E-Mail versendet
werden.
4.1.3.2 Objektdarstellung
Die Objektdarstellung zeigt die 3D-Modelle und die 2D-Benutzungsoberfläche
(GUI) an. Für die 3D-Darstellung wird die Bibliothek I4D verwendet [Pae02].
Die Attribute wie Position, Orientierung, Größe, Farbe und Textur der 3D-
Objekte können während der Laufzeit geändert werden. Den Objekten können
auch Animationen zugeordnet werden, um Bewegungsabläufe darzustellen.
Das Objektracking liefert die Position und die Orientierung des gefundenen re-
alen Objektes an die Objektdarstellung. Relativ zum realen Objekte werden die
3D-Objekte eingeblendet. Der Hintergrund wird einfarbig dargestellt und durch
das Videobild ersetzt, so dass die 3D-Modelle in der Realität erscheinen.
Liegt ein Teil des realen Objektes vor dem virtuellen Objekt, so kommt es zur
Verdeckungsproblematik: Da das Video im Hintergrund der Szene liegt wird
der eigentlich sichtbare Teil des realen Objektes durch das im Vordergrund lie-
Seite 80 Kapitel 4
gende virtuelle Objekt verdeckt. Dies Problem wird durch Phantomobjekte ge-
löst. Das verdeckte reale Objekt wird als Phantomobjekt modelliert und in der
Szene transparent dargestellt. Das Phantomobjekt wird als letztes Objekt ge-
rendert und wird somit von den bereits vorhandenen virtuellen Objekten sub-
trahiert, an diesen Stellen wird das Video im Hintergrund sichtbar.
Für die Darstellung der Benutzungsoberfläche wird die freie Bibliothek glGUI
verwendet [GLG05-ol]. In einer XML-Datei wird die Benutzeroberfäche be-
schrieben. Die Datei kann währen der Laufzeit geladen werden. Mit der glGUI
wurden die folgenden Elemente umgesetzt:
– Textfelder
– Buttons
– Auswahllisten
– Menüs
– Popup Menüs
– Icons
Wie oben beschrieben erhält die Interaktionsschnittstelle die geräteunabhängi-
gen Benutzerinteraktionen von dem Client. Die Information enthält den Event
wie „Pendown“ und die normalisierte Displaykoordinate, wenn der Benutzer
mit dem Stift das Display berührt hat. Die Interaktionsschnittstelle ermittelt das
betroffene Element in der 3D-Szene oder in der GUI. Hat der Stift z. B. den
Button „A“ getroffen, gibt die Interaktionsschnittstelle den Event „Button „A“
gedrückt“ an das Managementsystem. In der FSM des Managementsystems
wechselt der Zustand abhängig von dem Event in den Folgezustand und die
entsprechende Aktion aus dem Anwendungsskript wird ausgeführt.
4.1.3.3 Tracking
Das Tracking wird durch ein markerloses Modell bzw. kantenbasiertes Verfah-
ren realisiert [BBB+03]. Das Verfahren extrahiert Kanten aus dem Videobild
und vergleicht sie mit den Kanten des Referenzmodells und berechnet die Posi-
tion und Orientierung des Objektes.
Mit Hilfe von verschiedenen Filtern findet das Verfahren gerade Kanten (Bild
4-9 a). Die Kanten werden zur Weiterverarbeitung vektorisiert und künstlich
verlängert, um Schnittpunkte zu finden (Bild 4-9 b) [Sti04]. Aus jeweils drei
gefundenen Kanten werden Hypothesen über die Position des realen Objektes
aufgestellt (Bild 4-9 c). Für jede Hypothese wird das Referenzmodell in die
Bildebene projiziert. Die Kanten des projizierten Modells werden mit den ge-
Systemarchitektur Seite 81
fundenen Kanten verglichen. Durch die Anzahl der Übereinstimmungen kann
die Qualität der Hypothese bewertet werden. Die Hypothese mit der besten
Bewertung wird erst als korrekte Hypothese angesehen, wenn ihre Bewertung
einen gewissen Schwellenwert erreicht hat. Bild 4-9 d) zeigt eine gefundene
Hypothese.
45
6
7
1
2
3
1
2
3
a) b)
c) d)
Bild 4-9: Low-Level Objekterkennung
Zur weiteren Objektidentifikation wird ein Texturvergleich eingesetzt. Nach
dem über die Hypothesen die Position bestimmt wurde, wird ein aussagekräfti-
ger Bereich des Bildes ausgewählt, der zur eindeutigen Identifizierung dient.
Der Bereich des Bildes wird aufgrund der berechneten Position und Orientie-
rung entzerrt und mittels eines gradientenbasierten Verfahrens mit den Refe-
renztexturen aus der Datenbank verglichen. Bild 4-10 zeigt auf der linken Seite
Referenztexturen von Bedienfeldern unterschiedlicher Backöfen und auf der
rechten Seite die daraus berechneten Gradiententexturen. Das Verfahren hat
den Vorteil, dass keine Markierungen an den gesuchten Objekten angebracht
werden müssen.
Seite 82 Kapitel 4
Bild 4-10: Referenztexturen der Bedienfelder (links) mit den entsprechenden
Gradiententexturen (rechts)
4.1.3.4 Datenhaltung
Die Datenhaltung speichert die Daten für die AR-Anwendungen sowie die Be-
nutzerinformationen wie das Datenmodell in Bild 4-11 zeigt. Die Benutzer
werden in Gruppen eingeteilt, die entsprechende Zugriffsrechte besitzen. Diese
Gruppen sind z.B. Kunden, Mitarbeiter, Autoren oder Administratoren. Admi-
nistratoren haben den Vollzugriff auf alle Daten. Autoren dürfen neue Daten
anlegen. Mitarbeiter dürfen nur lesend auf die Daten zugreifen. Kunden haben
eine beschränkte Sicht auf die Daten. So können unternehmensinterne Informa-
tionen wie z.B. Einkaufpreise verborgen werden.
Die Anwendungsdaten werden als Szenarien gespeichert. Jedes Szenario kann
mehrere Versionen enthalten. Eine Szenarioversion enthält die Objekterken-
nungsdaten, die 3D-Modelle, Videos, Audiodaten, Texturen und das Skript für
die Anwendungslogik. Die Anwendungslogik wird in XML beschrieben und
liegt damit als ASCII-Datei vor, während alle weiteren Daten als Binärobjekte
gespeichert werden. zeigt das Datenmodell.
Systemarchitektur Seite 83
Bild 4-11: Datenmodell der Datenhaltung
Eine relationale Datenbank, wie die freiverfügbare Open-Source-Software
MySQL wird zur Verwaltung der Benutzer- und Anwendungsdaten eingesetzt.
Seite 84 Kapitel 4
4.2 Autorensystem
Mit Hilfe des Autorensystems werden auch Laien in die Lage versetzt eine
Anwendung für das Gesamtsystem zu entwickeln. Das Autorensystem beinhal-
tet die gesamte Objektdarstellung, so dass die Anwendung in einem Vorschau-
fenster getestet werden kann wie es in Bild 4-12 dargestellt wird.
Eine Anwendung wird hierarchisch aufgebaut und als Szenario abgelegt. Als
Ausgangspunkt wird als erstes das reale Objekt angelegt. Dem Objekt wird die
Tracking-Datei zugewiesen, in der die Trackingdaten für die Objekterkennung
abgelegt sind um das reale Objekt zu identifizieren und zu verfolgen. Relativ
zu dem realen Objekt werden dann Erweiterungsobjekte oder Interaktionsob-
jekte angelegt. Erweiterungsobjekte sind Multimediadaten, die relativ zum rea-
len Objekt eingeblendet werden, 3D-Objekte, Videos, Texte oder Sound. Zu
jedem eingefügten 3D-Objekt wird die Position, Orientierung und die Skalie-
rung zur Positionierung im Raum angegeben. Die Erweiterungsobjekte werden
mit den Interaktionsobjekten verknüpft. Über die Interaktionsobjekte werden
die Erweiterungsobjekte in der Anwendung ausgewählt und anschließend an-
gezeigt.
Die Interaktionsobjekte sind in Bild 4-13 dargestellt und vom folgenden Typ:
– Buttons sind Knöpfe, auf denen Texte angezeigt werden. Bei der Auswahl
des Buttons wird ein Event erzeugt, das eine neue Handlung auslöst. Die
Buttons können ihren Text ändern und werden graphisch hervorgehoben
wenn sie ausgewählt wurden. Die Buttons können mit einem Stift ausgelöst
werden oder über die Knöpfe der Hardware.
– Icons sind Piktogramme oder graphische Symbole. Über sie werden Popup-
Menüs aufgerufen, die Befehle aufrufen oder Erweiterungsobjekte zur Aus-
wahl anzeigen.
– Popup-Menüs sind eine Liste von Auswahlmöglichkeiten, die durch But-
tons oder Icons dargestellt werden. Ein Pop-Up Menü wird auch genutzt,
um Texte oder Bilder anzuzeigen.
Systemarchitektur Seite 85
Bild 4-12: Autorensystem
Seite 86 Kapitel 4
– Hotspots sind auswählbare 3D-Interaktionsobjekte. Sie sind räumlich ange-
ordnet und stehen in Bezug zu dem realen Objekt oder zu Erweiterungsob-
jekten. Sie zeigen an, dass weitere Informationen zu einem Objekt vorlie-
gen. Bei der Auswahl wird ein Popup Menü aufgerufen, das wiederum
Befehle oder Erweiterungsobjekte aufruft.
Bild 4-13: Informationsobjekte der Benutzungsschnittstelle
Das Autorensystem legt alle Daten in der relationalen Datenbank der Datenhal-
tung ab. Neben den verwendeten Multimediadaten entstehen zwei XML-
Dateien. In einer Datei wird der Aufbau der Benutzungsoberfläche gespeichert
und in der anderen Datei wird die Anwendungslogik abgelegt [EKM+04].
Systemarchitektur Seite 87
4.3 Integration in den Produktlebenszyklus
Das System kann im gesamten Produktlebenszyklus eingesetzt werden. In den
einzelnen Phasen des Produktlebenszyklus fallen die Daten an, die für die In-
haltsgenerierung der AR-Anwendung genutzt werden. Viele verschiedene Sys-
teme erzeugen und speichern die Daten in den einzelnen Phasen wie Bild 4-14
zeigt.
Bild 4-14: Einsatz Verschiedener Software in den verschiedenen Phasen des
Produktlebenszyklus [GHK+06]
4.3.1 Ermittlung der Trackingdaten
Kapitel 2.5.1 zeigt, dass die Technologie Augmented Reality ein besonders ho-
hes Nutzenpotenzial in der Produktentwicklung hat. AR kann die Anzahl der
realen Prototypen reduzieren und damit Kosten senken. Die Produktentwick-
lung erfolgt in den häufigsten Fällen mit Hilfe von CAD-Systemen. Mittels des
Verfahrens der „Dynamischen Kantenreduktion“ von Matysczok können die
Trackingdaten aus den CAD-Modellen generiert werden [Mat04]. Es werden
die dominanten sichtbaren Kanten eines Produktes ermittelt, die als Referenz-
modell für das modellbasierte Tracking aus [BBB+03] dienen.
Während der Produktentwicklungsphase wird das Produkt immer weiter kon-
kretisiert, dabei müssen die Trackingdaten angepasst werden. Existiert z.B.
noch kein physikalischer Prototyp, so können das konzipierte Produkt als vir-
tuelles Modell in die Umgebung eingeblendet werden. Hierbei kann man zwei
Situationen unterscheiden: Es handelt sich um eine Neuentwicklung oder eine
Weiterentwicklung eines bestehenden Produktes. Bei einer Neuentwicklung
können die üblichen AR-Marker genutzt werden, um einen virtuellen Prototy-
pen in die Realität einzublenden. Bei einer Weiterentwicklung können die Tra-
ckingdaten aus den vorherigen Produktversionen abgeleitet werden, damit kann
Seite 88 Kapitel 4
das neue digitale Produkt über das reale Vorgängerprodukt gelegt werden, um
die Änderungen zu demonstrieren.
Aus den Planungsdaten werden Daten von Teilmodellen abgeleitet, so ist es
möglich, halbfertige physikalische Prototypen zu einem Prototyp durch die vir-
tuellen Daten zu ergänzen. Ist die Entwicklung des Produktes abgeschlossen,
so stehen die Trackingdaten für die restlichen Lebenszyklenphasen fest wie
Bild 4-15 zeigt.
Zur Positionsbestimmung genügen die Daten aus den 3D-Modellen. Zur Identi-
fizierung der Objekte werden zusätzliche Texturvergleiche ausgeführt. Daher
ist es erforderlich, die Unterscheidungspunkte zwischen den Produkten festzu-
legen, um sie später durch einen Texturvergleich zu identifizieren.
Die Trackingdaten sollten direkt im PDM-System abgelegt werden, sie können
dann auch den einzelnen Entwicklungsständen zugeordnet werden.
Bild 4-15: Konkretisierung der Produkt- und Trackingdaten
4.3.2 Anwendungsentwicklung
Bild 4-16 zeigt das Vorgehen bei der Inhaltsgenerierung für das AR-basierte
Informationssystem. Wie oben beschrieben werden die Trackingdaten und ein
Systemarchitektur Seite 89
3D-Modell zur Repräsentation des realen Objektes aus den CAD-Daten abge-
leitet. Die Repräsentation des realen Objektes bildet die Ausgangssituation für
die Erstellung der Inhalte, darum wird sie in einer 3D-Szene positioniert und
mit den abgeleiteten Tracking-Informationen verknüpft, so dass Lage und Posi-
tion des realen Objektes mit der virtuellen Repräsentation übereinstimmen.
Kontextabhängige GUI-Elemente werden relativ zum realen Objekt über die
oben beschriebenen Hotspots verbunden. Alle anderen GUI-Elemente bekom-
men eine feste Position auf dem Bildschirm zugeordnet.
Die GUI-Elemente werden mit den Mediadaten verknüpft, wie Videos, Fotos,
Texte, Sounds oder Dokumente. Anschließend wird die Verhaltenslogik ange-
geben.
Bild 4-16: Vorgehen bei der Inhaltsgenerierung
4.3.3 Integration in die bestehende IT-Umgebung
In allen Phasen des Product Lifecycles fallen eine Menge von Produktinforma-
tionen an, die in elektronischer Form in den verschiedenen Verwaltungssyste-
men abgelegt werden. Product Lifecycle Managementsysteme (PLM) verwal-
ten alle anfallenden Daten in dem gesamten Lebenszyklus eines Produktes. In
Seite 90 Kapitel 4
dem PLM-System werden alle Daten aus den Fremdsystemen zusammen ge-
führt.
Für die Akzeptanz einer AR-Anwendung zur Produktpräsentation im Unter-
nehmen ist es wichtig, dass das AR-System vorhandene Ressourcen für die In-
haltsgenerierung wieder verwenden kann. Dazu benötigt der Anwendungsent-
wickler einer AR-Anwendung Zugriff auf die verwendeten CAD-Systeme,
Produktdatenmanagementsysteme und den Elektronic Publishing Systemen.
Aus den CAD-Systemen werden, wie oben beschrieben, die Trackinginforma-
tionen abgeleitet. Die PDM System liefern die Produktstruktur und die dazu
gehörigen Planungsdaten. In den Electronic Publishing Systemen werden Be-
dienungsanleitungen, Katalog und Werbeinformationen abgelegt. Die Daten-
haltung des AR-Systems speichert zurzeit die Dateien in einer eigenen Daten-
bank. Zur Integration des AR-Systems in die bestehende Infrastruktur kann
durch das Speichern von Datenreferenzierung auf die Fremdsysteme erfolgen,
dazu sind Schnittstellen zu den oben genannten Systemen nötig oder eine An-
bindung des AR-Systems über eine externe Schnittstelle an ein PLM-System,
wie Bild 4-17 zeigt.
Bild 4-17: Architektur eines PLM-Systems [BK02]
Systemarchitektur Seite 91
4.4 Bewertung hinsichtlich der Erfüllung der
Anforderungen
Die Architektur nutzt ein modellbasiertes Trackingverfahren und erfüllt die
Definition für Augmented Reality: Das Verfahren liefert die Position und Ori-
entierung der relevanten Objekte und erfüllt damit die Anforderung für die Re-
gistrierung im Raum. Die Interaktion mit dem System erfolgt in Echtzeit und
ein Livevideo wird mit computergenerierten Informationen angereichert.
Das eingesetzte modellbasierte Trackingverfahren ist markerlos und wird daher
besonders die ästhetischen Anforderungen an eine Produktpräsentation aus den
Bereichen Marketing, Vertrieb und Kundensupport erfüllen. Die Anwendung
benötigt wie alle AR-Anwendungen die Position und Lage eines gesuchten Ob-
jektes als Projektions- und Rotationsmatrix. Die beiden Matrizen werden von
den meisten Trackingsystem als Ausgabe geliefert. Dies ermöglicht das Ein-
binden weiterer Trackingsysteme.
Durch den Einsatz von drahtloser Datenübertragung werden auch leistungs-
schwächere mobile Endgeräte in die Lage versetzt Augmented Reality Anwen-
dungen zu nutzen. Die Anwendung kann für die Endgeräte skaliert werden:
Im High-End-Bereich kann interaktive Augmented Reality in Echtzeit auf ei-
nem leistungsstarken Endgerät ausgeführt werden, in dem Client und Server
auf dem Gerät ausgeführt werden.
Im Low-End-Bereich könnten Fotos anstelle des Livevideos zu einem Server
geschickt werden, der eine Bildanalyse durchführt und entsprechend der er-
kannten Objekte zusätzlichen Informationen an das Endgerät zurück überträgt.
So kann ein einfaches Mobiltelefon mit einer Kamera als Informationssystem
genutzt werden.
In den anderen Fällen, die zwischen der Low- und der High-End-Lösung lie-
gen, wird ein Livevideo zwischen Client und Server verschickt und mit Infor-
mationen angereichert. Das Endgerät dient zur Interaktion mit der Anwendung
und zur Videoein- und –ausgabe.
Die Inhalte für die Anwendungen können mit einem Autorensystem erstellt
werden. Das Autorensystem arbeitet mit Drag&Drop-Mechanismen, ist grafik-
orientiert und ermöglicht ein intuitives Erstellen der Anwendungsinhalte.
Durch die integrierte Vorschaukomponente kann die Anwendung im Autoren-
system ausgeführt und getestet werden. Die Anwendungsdaten werden in Sze-
narien zusammengestellt und in einer relationalen Datenbank abgelegt. In der
Datenbank können auch Referenzen auf andere Informationssysteme liegen,
aus denen die aktuellen Informationen für die Anwendung geholt werden. Über
Seite 92 Kapitel 4
die Datenbankschnittstelle können auch weitere externe Datenbanken ange-
bunden werden.
Prototypisch Realisierung Seite 93
5 Prototypische Realisierung
Das Konzept wurde für zwei Systeme umgesetzt, um die breite Einsatzmög-
lichkeit und die Skalierbarkeit zu zeigen. Es existieren eine Thin-Client-
Lösung und ein Komplettsystem auf einem Tablet PC. Bei der Thin-Client-
Lösung wird das mobile Endgerät zur Ein- und Ausgabe der Videodaten und
für die Benutzerinteraktion verwendet, die Rechenprozesse werden auf einem
stationären Server ausgeführt (siehe Bild 5-1). Das mobile Endgerät nimmt die
Videodaten mit einer Kamera auf, komprimiert sie und sendet sie über IE-
EE802.11b WirelessLAN an den Server. Der Server analysiert das Video, er-
kennt die relevanten Objekte und reichert das Video mit computergenerierten
Informationen an. Das erweiterte Video wird über WLAN zurück zum mobilen
Endgerät gesendet und dort angezeigt.
Bild 5-1: Anwendung für den PDA
Seite 94 Kapitel 6
5.1 Implementierung
Der Server ist ein Standard-PC mit Intel Pentium 4 CPU 2800 MHz, 2 GByte
RAM und einer GeForce4 TI 4600 Grafikkarte. Als Betriebssystem wurde Su-
se Linux 8.1 verwendet. Das mobile Endgerät ist ein PDA e740 der Firma To-
shiba. Der PDA wurde über die Compact-Flash-Schnittstelle mit einer Kamera
erweitert. Die Kamera ist eine FlyCam-CF der Firma LifeView. Sie besitzt eine
Auflösung von 320x240 und liefert 15 bis 20 Bilder pro Sekunde. Microsoft
Windows Pocket PC wird als Betriebssystem auf dem PDA eingesetzt. Die
Übertragung des Videostroms vom Client zum Server, die Bilderkennung und
die Übertragung des angereicherten Bildes zurück zum Client erreicht eine La-
tenzzeit von 1 bis 2 Sekunden.
Die Framerate beträgt 10 fps. Ohne die Einschränkung der Ausgangsbedingung
ergibt sich eine polynominelle Laufzeit für die Kantenerkennung. Es werden
mindestens 3 Kantenpaare zur Positionsbestimmung benötigt, bei n erkanten
Kanten und m Modellkanten ergeben sich ca. (n*m)³ Kombinationsmöglichkei-
ten [BBB03]. Durch Einschränkung der Kantenanzahl, Klassifizierung der
Kanten und die Annahme der wahrscheinlichen Kameraposition kann die An-
zahl der Lagehypothesen auf 100 beschränkt werden, um so eine Framerate
von 10 fps zu gewährleisten, wenn 1 ms für die Berechnung und Verifikation
einer Hypothese benötigt wird. Die Identifikation eines Objektes aus 64 Vari-
anten benötigt 18 ms. Ist ein Objekt erkannt und sind die Änderungen zum
nächsten Videobild nicht signifikant, so kann die neue Position in weniger als
10 ms errechnet werden.
Die Komponenten des Systems wurden in C++ implementiert. Für die Objekt-
darstellung wurde die Bibliothek I4D von [Pae02] verwendet. Das Manage-
mentsystem nutzt als Finite State Maschine eine freiverfügbare Bibliothek
[FSM02-ol]. Das Managementsystem ist in der Lage 2000 Events pro Sekunde
zu verarbeiten. Als Datenbank wurde MySQL eingesetzt. Das Autorensystem
wurde in Java implementiert, um eine Plattformunabhängigkeit zu gewährleis-
ten. Über ein Java Native Interface (JNI) nutzt das Autorensystem die Objekt-
darstellung des Servers als Vorschausystem.
Bei der zweite Lösung befinden sich Client und Server als ein komplettes Sys-
tem auf einem Tablet PC (siehe Bild 5-2). Der Tablet PC ist ein TC1000 der
Firma Hewlett Packard. Er ist ausgestattet mit einem Transmeta Crusoe
TM5800 Prozessor mit 1 GHz und 512 MB RAM. Die Grafikverarbeitung wird
von einem NVIDIA GeForce2 Go Graphikprozessor mit 16 MB RAM unter-
stützt. Als Kamera wird eine USB Kamera der Firma Philips mit einer Auflö-
sung von 640x480 und 15 bis 20 Bilder pro Sekunde verwendet. Das System
erreicht Aufgrund der geringeren Prozessorleistung und dem größeren Video-
bild eine Framerate von 5 bis 8 Fps.
Prototypisch Realisierung Seite 95
Bild 5-2: Anwendung für einen Tablet PC
5.2 Anwendungsszenario
Beide Systeme werden in einem Vertriebsszenario eingesetzt. Sie unterstützen
den Vertrieb von Hausgeräten. Die Objekterkennung erkennt verschiedene El-
ektroherde und einen Cafevollautomaten und berechnet ihre Position und Ori-
entierung im Raum. Die Trackingdaten wurden aus den CAD-Daten des Her-
stellers abgeleitet. Mit dem Autorensystem wurde eine Anwendung zur
Konfiguration einer Küchenzeile entwickelt. In der Küche können verschiede-
ne Oberflächen, Arbeitsplatten, Elektroherde, Dunstabzugshauben und Koch-
felder dargestellt werden, wie Bild 5-3 zeigt. Die Konfigurationen können ge-
speichert und zu späteren Zeitpunkten wieder angezeigt werden. Die Inhalte für
die Anwendung stammen aus den Produktkatalogen und Marketingunterlagen
des Herstellers.
Seite 96 Kapitel 6
Bild 5-3: PDA Lösung mit Auswahl der Küchenoberfläche, Auswahl der
Dunstabzugshaube
Bild 5-4: Eine Videoanimation erläutert das Funktionsprinzip des Cafevollau-
tomaten.
Prototypisch Realisierung Seite 97
Die gelben Hotspots in der mittleren Darstellung in Bild 5-3 zeigen, dass wei-
tere Informationen zu den Objekten vorhanden sind. Bei der Auswahl der
Hotspots erscheinen Popup-Menues, die den Zugang zu den Informationen bie-
ten. Es können Werbevideos zum Elektroherd und zum Cafevollautomaten an-
gezeigt werden (siehe Bild 5-4).
Weitere Ausstattungsmerkmale des Elektroherdes, wie der Teleskopwagen o-
der der Einzelauszug, werden als 3D-Modelle eingeblendet. Textfelder erläu-
tern die besonderen Eigenschaften des Elektroherdes wie z. B. die kühle Front,
die verhindert, dass die Fronttür des Herdes während des Betriebes heiß wird.
Mit Hilfe der Technologie Augmented Reality werden die Alleinstellungs-
merkmale der Produkte präsentiert und Verkaufsargumente visualisiert.
Bild 5-5: Benutzungsschnittstelle für den Tablet PC
Im praktischen Einsatz auf Messen stellte sich heraus, dass ein „Fotografier-
modus“ die Akzeptanz des Systems erhöht. Im „Livemodus“ des Systems muss
der Anwender das Objekt immer anvisieren, so dass die kontextsensitiven In-
formationen angezeigt werden. Für die Handhabbarkeit des Systems ist es von
Vorteil eine ideale Aufnahme des Objektes zu machen und anschließend mit
dem Standfoto zu interagieren. Weiterhin bevorzugt das Verkaufspersonal die
Tablet PC-Version, auf der Verkäufer und Kunde gleichzeitig das Produkt be-
trachten können. Der Verkäufer kann so dem Kunden die digitalen Informatio-
Seite 98 Kapitel 6
nen zu einem Produkt präsentieren und seine Verkaufsargumentation unterstüt-
zen.
Die PDA-Lösung findet eine höhere Akzeptanz bei den Kunden, da das kleine
und handliche Gerät zum Einkaufen mitgeführt werden kann. Das kleinere
Display schützt die Privatsphäre des Anwenders, da Außenstehende den Bild-
schirminhalt nicht sehen können.
Zusammenfassung und Ausblick Seite 99
6 Zusammenfassung und Ausblick
Technische Produkte im Maschinenbau werden zunehmend komplexer und pa-
rallel dazu steigt die Variantenvielfalt immer weiter an. Besonders in den Be-
reichen Produktion und Wartung von technischen Produkten stellt die Verfüg-
barkeit der aktuellen Produktinformationen eine Herausforderung dar. Die
wirksame Unterstützung des Benutzers hängt dabei sehr stark von der Art der
Bereitstellung dieser Informationen ab. Die Produktdaten sind heute in Hand-
büchern, Bedienungsanweisungen oder elektronischen Produktdatenmanage-
mentsystemen (PDM) vorhanden. Durch den Einsatz von Augmented Reality
können diese Informationen direkt am Arbeitsplatz und am Produkt dargestellt
werden
In dieser Arbeit wurde eine Softwarearchitektur konzipiert, die es ermöglicht,
die Technologie Augmented Reality auf verschiedenen mobilen Endgeräten
einzusetzen, um Produktinformationen in das Sichtfeld des Nutzers einzublen-
den. Auf diese Weise unterstützt die Technologie Augmented Reality den Nut-
zer in allen Phasen des Produktlebenszyklus.
Die in dieser Arbeit vorgestellte Softwarearchitektur ist eine
Client/Serverarchitektur. Bei leistungsstarken Endgeräten können Client und
Server auf einem Gerät ausgeführt werden. Beim Einsatz eines leistungsschwa-
chen mobilen Endgerätes werden die rechenintensiven Prozesse von dem Ser-
ver übernommen. Das mobile Endgerät nimmt über eine integrierte Kamera ein
Objekt auf. Das Video wird über drahtlose Kommunikation an den Server ge-
sendet. Der Server analysiert das Video, erkennt das Objekt und reichert das
Video mit kontextspezifischen Informationen an. Das angereicherte Video wird
wieder zurück zum Endgerät übertragen und dort angezeigt.
Die Architektur nutzt ein modellbasiertes markerloses Trackingverfahren und
erfüllt daher besonders die ästhetischen Anforderungen an eine Produktpräsen-
tation aus den Bereichen Marketing, Vertrieb und Kundensupport.
Die Inhalte für die Anwendungen können mit einem Autorensystem erstellt
werden. Das Autorensystem ermöglicht ein intuitives Erstellen der Anwen-
dungsinhalte. Durch die integrierte Vorschaukomponente kann die Anwendung
im Autorensystem ausgeführt und getestet werden. Die Anwendungsdaten
werden in Szenarien zusammengestellt und in einer relationalen Datenbank ab-
gelegt. In der Datenbank können auch Referenzen auf andere Informationssys-
teme liegen, aus denen die aktuellen Informationen für die Anwendung geholt
werden.
Eine Anwendung für die Präsentation von Hausgeräten wurde prototypisch
umgesetzt. Die Trackingdaten wurden aus den CATIA-Daten des Herstellers
Seite 100 Kapitel 6
abgeleitet. Das System erkannte verschiedene Hausgeräte. Der Benutzer konnte
um die Hausgeräte eine Küche konfigurieren und Informationen zu den Haus-
geräten abrufen.
Die rasante Entwicklung und Miniaturisierung von mobilen Endgeräten wird
dazu führen, dass die Geräte immer mehr Funktionalitäten des AR-Servers ü-
bernehmen können. Die Produzenten von Grafikhardware bieten schon Lösun-
gen zur Beschleunigung der 3D-Grafik auf mobilen Endgeräten an. Mobiltele-
fone, PDAs, Digitalkameras und Notebooks wachsen immer mehr zusammen,
so dass in kürzerer Zeit die Qualität der Kameras und die Rechenleistung der
mobilen Endgeräte zunehmen werden.
Abkürzungsverzeichnis Seite 101
7 Abkürzungsverzeichnis
2D zweidimensional
3D dreidimensional
AR Augmented Reality
CAD Computer Aided Design
CAL Control Abstaction Layer
CPU Central Processing Unit
DCT Diskrete Kosinustransformation
dof Degree of Freedom (Freiheitsgrade)
EDGE Enhanced Data Rates for GSM Evolutions
GSM Global System for Mobile Communication
FSM Finite-State-Machine
GByte Giga Byte
GPRS General Packet Radio Service
GPS Global Positioning Service
GSM Global System for Mobile Communications
GUI Graphical User Interface
HAL Hardware Abstraction Layer
HMD Head Mounted Display
HSCSD High Speed Circuit Switched Devices
HTML Hypertext Markup Language
IP Internet Protocol
ITU International Telecommunication Union
LAN Local Area Network
PC Personal Computer
PCMCIA Personal Computer Memory Card International Association
Seite 102 Kapitel 9
PDA Personal Digital Assistant
PDM Produktdatenmanagement
PLM Productlifecyclemanagement
RAM Random Access Memory
RFID Radio Frequenz Identifikation
UMAR Ubiquitous Mobile Augmented Reality (UMAR)
SMS Short Message Service
TCP Transmission Control Protocol
u. a. unter anderem
UDP User Datagram Protocol
UI User Interface
UMTS Universal Mobile Telecommunications System
USB Universal Serial Bus
VR Virtual Reality
VRML Virtual Reality Modeling Language
WAP Wireless Application Protocol
WLAN Wireless Local Area Network
XML Exensible Markup Language
z.B. zum Beispiel
Abbildungsverzeichnis Seite 103
8 Abbildungsverzeichnis
Bild 2-1: Mixed Reality Kontinuum [MTU+94]..........................................5
Bild 2-2: Virtuelle Informationen werden in das Sichtfeld des
Monteurs eingeblendet [Gau02]....................................................6
Bild 2-3: Prinzip des Video See-Through Systems [Mat05]........................8
Bild 2-4: Prinzip des Optical See-Through Systems [Mat05]......................9
Bild 2-5: Intersense IS900 arbeitet mit Ultraschall ......................................12
Bild 2-6: Funktionsprinzip des markerbasierten Trackings [HIT06-ol].......14
Bild 2-7: Verschiedene Marker [Fia05b]......................................................15
Bild 2-8: ARTtrack1: Optisches Infrarot-Tracking [ART06-ol]..................16
Bild 2-9: Der Buchdeckel wird als Muster erkannt [LLF05].......................17
Bild 2-10: Das Tracking wird auf 3D-Objekte angewendet [LLF05]............17
Bild 2-11: Kanten Tracking [WVS05]............................................................18
Bild 2-12: Lasertracker Laserbird [Asc06-ol] ................................................19
Bild 2-13: Stiftbedienung bei einem Tablet PC [Wac06-ol]..........................21
Bild 2-14: PDA Toshiba e740 und iPAQ hx2795 Pocket PC von hp
[Tos06-ol], [HP06-ol]....................................................................22
Bild 2-15: Smartphone XDA [O06-ol]...........................................................23
Bild 2-16: WLAN Betriebsarten: Ad-hoc-Modus (links) Infrastruktur-
Modus (rechts)...............................................................................26
Bild 2-17: AR-basiertes Prototyping in der Automobilvorentwicklung.........28
Bild 2-18: Entwurf des Cockpit Layouts mit AR [Fri04]...............................29
Bild 2-19: Planung neuer Anlagen mit Augmented Reality...........................30
Bild 2-20: AR-gestützte Planung in einer realen Halle [DSA+03] ................31
Bild 2-21: Kabelbaummontage mit AR-Unterstützung [CM92]....................32
Bild 2-22: Montage von Klemmleisten in einem Schaltkasten ......................32
Bild 2-23: Bolzenschweißpistole mit AR-Display [Fri04].............................33
Bild 2-24: virtuelle Gartenmöbel werden mit Schatten perspektivisch
korrekt in ein Foto eingeblendet [SHD06-ol]................................34
Bild 2-25: Live Möbelkonfigurator zeigt virtuelle Polstermöbel im
realen Raum...................................................................................35
Seite 104 Kapitel 8
Bild 2-26: Bedienungserklärung mittels Augmented Reality.........................36
Bild 2-27: Wearable Computing Lösung für die Kraninspektion
[HRB+02]......................................................................................37
Bild 3-1: ARVIKA Architektur [Fri04]........................................................41
Bild 3-2: Komponenten und Basisdienste der ARVIKA Architektur
[Fri04]............................................................................................43
Bild 3-3: AR ToolKit blendet 3D Modell auf einen AR-Marker ein
[Hit06]............................................................................................46
Bild 3-4: Architektur des Studierstube Frameworks für mobiles AR
[Stu06-ol].......................................................................................48
Bild 3-5: Studierstube-Anwendung: The Invisible Train [WS06]................49
Bild 3-6: Studierstube-Anwendunge: Virtuoso [WS06]...............................50
Bild 3-7: AR mit dem Mobiltelefon Nokia 7650 [MLB04b]........................51
Bild 3-8: 3D-Marker für das Cellphone Tracking [MLB04a] ......................52
Bild 3-9: DWARF Anwendung SHEEP [She06] .........................................53
Bild 3-10: Tinmith Hardware [Pie04].............................................................55
Bild 3-11: Interaktion mit Sensor-Handschuh [Pie04] ...................................55
Bild 3-12: Architekturplanung mit virtuellen Gebäuden in einer realen
Umgebung [Pie04].........................................................................56
Bild 3-13: Tinmith-evo 5 Gesamtsystemübersicht [Pie04].............................56
Bild 3-14: Datenfluß durch die Tinmith Module [Pie04]...............................57
Bild 3-15: UMAR Framework [HO04] ..........................................................59
Bild 3-16: Karte mit AR-Marker (links); Im Display des Smartphons
wird die Karte mit virtuellen Straßenbahnen erweitert (rechts)
[HO04]...........................................................................................59
Bild 3-17: wearIT@work Framework [Sbo05]...............................................61
Bild 3-18: QBIC: Computer in der Gürtelschnalle mit MicroOptical
Clip-On Display [Qbi06]...............................................................62
Bild 3-19: Trackingsensoren zur Kontexterkennung [SLR+06].....................63
Bild 3-20: Bewertung der bestehenden Systeme für AR und Mobile
Computing hinsichtlich der in Kapitel 2.6 aufgestellten
Anforderungen...............................................................................65
Bild 4-1: Systemarchitektur des AR-Produktpräsentationssystems..............68
Bild 4-2: Referenzarchitektur für AR-Systeme [BMR04]............................70
Bild 4-3: Komponenten des Clients..............................................................71
Abbildungsverzeichnis Seite 105
Bild 4-4: Datenfluss innerhalb der Architektur............................................74
Bild 4-5: Kommunikation der Module über die Data-Control-Pipeline.......75
Bild 4-6: Konzept für die parallele Verarbeitung mehrerer Clients.............76
Bild 4-7: Aufbau und Datenfluss des Managementsystems.........................77
Bild 4-8: Zustandsautomat für die Initialisierung des Gesamtsystems.........78
Bild 4-9: Low-Level Objekterkennung.........................................................81
Bild 4-10: Referenztexturen der Bedienfelder (links) mit den
entsprechenden Gradiententexturen (rechts).................................82
Bild 4-11: Datenmodell der Datenhaltung......................................................83
Bild 4-12: Autorensystem...............................................................................85
Bild 4-13: Informationsobjekte der Benutzungsschnittstelle..........................86
Bild 4-14: Einsatz Verschiedener Software in den verschiedenen Phasen
des Produktlebenszyklus [GHK+06].............................................87
Bild 4-15: Konkretisierung der Produkt- und Trackingdaten.........................88
Bild 4-16: Vorgehen bei der Inhaltsgenerierung ............................................89
Bild 4-17: Architektur eines PLM-Systems [BK02] ......................................90
Bild 5-1: Anwendung für den PDA..............................................................93
Bild 5-2: Anwendung für einen Tablet PC...................................................95
Bild 5-3: PDA Lösung mit Auswahl der Küchenoberfläche, Auswahl
der Dunstabzugshaube...................................................................96
Bild 5-4: Eine Videoanimation erläutert das Funktionsprinzip des
Cafevollautomaten.........................................................................96
Bild 5-5: Benutzungsschnittstelle für den Tablet PC...................................97
Abbildungsverzeichnis Seite 107
9 Literaturverzeichnis
[ABB+01] AZUMA, R.; BAILLOT, Y.; BEHRINGER, R.; FEINER, S.; JULIER, S.; MACIN-
TYRE, B.: Recent Advantages in Augmented Reality. In: Computer Graph-
ics and Applications, November/December 2003, IEEE Press, 2001
[ALO+04] AMFT, O.; LAUFFER, M., OSSEVOORT, S; MACALUSO, F.; LUKOWICZ, P.;
TRÖSTER, G.: Design of the QBIC wearable computing platform, ASAP
2004: Proceedings of the 15th IEEE International Conference on Applica-
tion-specific Systems, Architectures and Processors, Galveston, Texas,
2004
[ALJ+99] AZUMA, R. T.; LEE, J. W.; JIANG, B.; PARK, J.; Y0U, S.; NEUMANN, U.:
Tracking in unprepared environments for Augmented Reality Systems. In:
Computers & Graphics 23, 6 (December 1999), pp. 787-793
[ART06-ol] ADVANCED REALTIME TRACKING GMBH (Hrsg.): Firmenseite unter
http://www.ar-tracking.de/, 8. Oktober 2006
[Asc06-ol] ASCENSION TECHNOLOGY CORPORATION (Hrsg.): Laser Bird 2. unter:
http://www.ascension-tech.com/images/laserbirdlarge.jpg, 11. Oktober
2006
[Azu97] AZUMA, R. T.: A Survey of Augmented Reality. In: Presence: Teleopera-
tors and Virtual Environments, Vol 6, No 4, August 1997
[BBB03] BEIER, D.; BILLERT, R.; BRÜDERLIN, B.: Model-based Object Recognition
and Localization for Augmented Reality. In: Proceedings of the Computer
Vision / Computer Graphics Collaboration for Model-based Imageing,
Rendering, Image Analysis and Graphical Special Effects, 2003
[BBB+03] BEIER, D.; BILLERT, R.; BRÜDERLIN, B.; STICHLING, D.; KLEINJOHANN,
B.: Marker-less Vision Based Tracking for Mobile Augmented Reality.
In: Proceedings of the Second IEEE and ACM International Symposium
on Mixed and Augmented Reality, Tokyo, Japan, 2003
[BBK+01] BAUER, M.; BRUEGGE, B.; KLINKER, G.; MACWILLIAMS, A.; REICHER, T.;
RISS, S.; SANDOR, C.; WAGNER, M.: Design of a component-based aug-
mented reality framework. In Proceedings of the International Sym-
posium on Augmented Reality (ISAR), October 2001.
[BHK+06] BORONOWSKY, M., HERZOG, O., KNACKFUß, P., LAWO, M.: Wearable
Computing – an Approach for Living Labs In: Proceedings of the 3rd In-
ternational Forum on Applied Wearable Computing, IFAWC 2006, Bre-
men, 2006
[BIT07] BITKOM: Daten zur Informationsgesellschaft, Edition 2007, Broschüre des
Bundesverband Informationswirtschaft, Telekommunikation und neue
Medien e. V. Berlin, Mai 2007
[BK+01] BAUER, M.; BRUEGGE, B.; KLINKER, G.; MACWILLIAMS, A.; REICHER, T.,
RISS, S.; SANDOR, C.; WAGNER, M.: Design of a component-based aug-
mented reality framework. In Proceedings of the International Sympo-
sium on Augmented Reality (ISAR), October 2001
[BK02] BERLINER KREIS (Hrsg.): PLM-Systemklassen. Technology monito-
ring 1/02, Product Lifecycle Management, Berliner Kreis – Wissenschaft-
liches Forum für Produktentwicklung, Paderborn, 2002
Seite 108 Kapitel 9
[BKK+99] BILLINGHURST, M.; KATO, H.; KRAUS, E.; MAY, R.: Shared Space: Col-
laborative Augmented Reality. In: Visual Proceedings, SIGGRAPH 1999,
ACM Press, New York, NY, USA, 1999
[BKP+00] BILLINGHURST, M.; KATO, H.; POUPYREV, I.; IMAMOTO, K.; TACHIBANA,
K.: Virtual Object Manupulation on a Table-Top AR Environment. In:
Proceedings of the IEEE and ACM International Symposium on Aug-
mented Reality ISAR, IEEE Computer Society, Los Alamitos, CA, USA,
2000
[BMR04] BRÜGGE, B.:, MACWILLIAMS, A.; REICHER, T.: Software architectures for
augmented reality systems – report to the ARVIKA consortium. Techni-
cal Report TUM-I0410, Technische Universität München, July, 2004
[BWF96] BILLINGHURST, M.; WEGHORST, S.; FURNESS, T.: Shared Space: Colla-
borative Augmented Reality. In: Proceedings of the CVE '96 Workshop
Proceedings, September, Nottingham, Great Britain, 1996
[BWF97] BILLINGHURST, M.; WEGHORST, S.; FURNESS, T.: Shared Space: An Aug-
mented Reality Interface for Computer Supported Collaborative Work. In:
Proceedings of First International Symposium on Wearable Computing,
1997
[Can07] CANALYS: 64 million smartphones shipped worldwide in 2006, Canalys
Research Release 2007/024, Canalys, Reading UK, February. 2007
[CM92] CAUDELL, T.; MIZELL, D.: Augmented Reality: An Application of Heads-
up Display Technology to Manual Manufacturing Processes. In: Proceed-
ings of the Hawaii International Conference on System Science, Maui,
Hawaii, IEEE Press, January 1992
[DSA+03] DOIL, F.; SCHREIBER, W.; ALT, T.; PATRON, C.: Augmented Reality ge-
stützte Fabrik- und Anlagenplanung. In: 2. Paderborner Workshop "Aug-
mented Reality/Virtual Reality in der Produktentstehung",
HNI-Verlagsschriftenreihe, Paderborn, 2003
[Ebb97] EBBESMEYER, P.: Dynamische Texturwände - Ein Verfahren zur echt-
zeitorientierten Bildgenerierung für Virtuelle Umgebungen technischer
Objekte. Dissertation, Fachbereich für Maschinentechnik, Universität Pa-
derborn, HNI-Verlagsschriftenreihe, Band 25, 1997
[EKM+04] EBBESMEYER, P.; KRUMM, H.; MATYSCZOK, C; MACIEJ, J.: Efficient Crea-
tion of Augmented Reality Content by using an Intuitive Authoring Sys-
tem. In: Proceedings of the ASME 2004 Design Engineering Technical
Conferences and Computers and Information in Engineering Conference,
Salt Lake City, USA, 2004
[Fia05a] FIALA, M.: ARTag, a Fiducial Marker System Using Digital Techniques
in 2005 IEEE Computer Society Conference on Computer Vision and
Pattern Recognition (CVPR'05) - Volume 2pp. 590-596
[Fia05b] FIALA, M.: ARTag Rev2 Fiducial Marker System: Vision based Tracking
for AR. in n Proceedings of the International Symposium on Mixed and
Augmented Reality (ISMAR 2005), October 5th – 8th, 2005, Vienna,
Austria, 2005
[FLS97] FUHRMANN, A.; LÖFFELMANN, H.; SCHMALSTIEG, D.: Collaborative Aug-
mented Reality: Exploring Dynamical Systems. In: Proceedings of the
Visualization 97, IEEE Press, October 1997
Abbildungsverzeichnis Seite 109
[FME+04] FRÜND, J.; MATYSCZOK, C; EBBESMEYER, P.; KNOBEL, M.: AR-PDA: In-
novative Product Marketing for Innovative Products. In: International
Status Conference Virtual and Augmented Reality, Leipzig, 2004
[Fri04] FRIEDRICH, W.: ARVIKA - Augmented Reality für Entwicklung, Pro-
duktion und Service. Publicis Corporate Publishing, Erlangen, 2004
[FSM02-ol] SOURCEFORGE.NET (Hrsg.): Finite State Mashine. unter
http://sourceforge.net/projects/finsm/, 30. August 2002
[FW03] FRIEDRICH, W.; WOHLGEMUTH, W.: ARVIKA - Augmented Reality for
Development, Production and Service. In: Proceedings of the Interna-
tional Workshop on Potential Industrial Applications of Mixed and Aug-
mented Reality, Tokyo, Japan, October, 2003
[Gau02] GAUSEMEIER, J.: Neue Interaktionstechniken in de rechnerintegrierten
Produkt- und Produktionsprozeßentwicklung In: 1. Paderborner Work-
shop: Augmented & Virtual Reality in der Produktentstehung, Paderborn,
Germany, HNI-Verlagsschriftenreihe, Juni 2002
[GFG04] GAUSEMEIER, J.; FRÜND, J.; GRAFE, M.; MATYSCZOK, C.: Augmented Re-
ality as a New User Interface for the Layout Planning of Manufacturing
Systems. In: Ong, Soh Khim; Nee, Andrew Yeh Ching (Hrsg.) Virtual
and Augmented Reality in Manufacturing, Springer Verlag, 2004
[GFM+05] GAUSEMEIER, J.; FRÜND, J.,MATYSCZOK, C.; RADKOWSKI, R.: Using Aug-
mented Reality Technology to Support the Automobile Development. In:
Lecture Notes in Computer Science, Band 3168, Kapitel: 30, S. 289 - 298.
Springer Verlag LNCS, 2005
[GEK01] GAUSEMEIER, J.; EBBESMEYER, P.; KALLMEYER, F.: Produktinnovation -
Strategische Planung und Entwicklung der Produkte von morgen: Carl
Hanser Verlag München Wien, 2001
[GHK+06] GAUSEMEIER, J.; HAHN, A.; KESPOHL, H. D.; SEIFERT, L.: Vernetzte Pro-
duktentwicklung. Carl Hanser Verlag München Wien, 2006
[GLG05-ol] SOURCEFORGE.NET (Hrsg.): glGUI. unter
http://sourceforge.net/projects/glgui/, 26. Oktober 2006
[GPP-ol] 3RD GENERATION PARTNERSCHIP PROJEKT (Hrsg.): 3GPP a Global Initia-
tive uinter: http://www.3gpp.org, 26. Oktober 2006
[GRS+02] GENC, Y.; RIEDEL, S.; SOUVANNAVONG, F.; AKINLAR, C.; NAVAB, N.:
Marker-less Tracking for AR: A Learning-Based Approach. In: Procee-
dings of the International Symposium on Mixed and Augmented Reality
(ISMAR), IEEE Computer Society, Los Alamitos, CA,USA, 2002
[HBO05] A. HENRYSSON, M. BILLINGHURST, M. OLLILA. Face to Face Collabora-
tive AR on Mobile Phones. In Proceedings of the International Sympo-
sium on Mixed and Augmented Reality (ISMAR 2005), October 5th –
8th, 2005, Vienna, Austria, 2005
[HBF03] HAßBACH, H.; BÖSE, R.; PFAFF, M.: Einstieg in die virtuelle Produktent-
wicklung. In: Konstruktion, Springer-VDI-Verlag 03-2003, 2003
[HIT06-ol] HILAB WASHINGTON (Hrsg.): ARToolKit
http://www.hitl.washington.edu/artoolkit/documentation/userarwork.htm,
26. Oktober 2006
Seite 110 Kapitel 9
[HO03] HENRYSSON, A.; OLLILA, M.: "Augmented Reality on Smartphones". 2nd
IEEE International Augmented reality Toolkit Workshop 2003, Tokyo,
Japan, 2003
[HO04] HENRYSSON, A.; OLLILA, M.: "UMAR - Ubiquitous Mobile Augmented
Reality". To appear at 3rd Mobile Ubiquitous Multimedia 2004, Wash-
ington, USA, 2004
[HP06-ol] HEWLETT PACKARD (Hrsg) Firmenseite www.hp.com 26. Oktober 2006
[HRB+02] HERZOG, O.; RÜGGE, I.; BORONOWSKY, M.; NICOLAI, T.: Potenziale des
Wearable Computing in der Industrie - am Beispiel der Inspektion. In: 2.
Paderborner Workshop: Augmented & Virtual Reality in der Pro-
duktentstehung, Paderborn, Germany, HNI-Verlagsschriftenreihe, Juni
2000
[ITU06-ol] INTERNATIONAL TELECOMMUNICATIO UNION (Hrsg): International Tele-
communicatio Union http://www.itu.int/home/ 26. Oktober 2006
[KB99] KATO, H.; BILLINGHURST, M.: Marker Tracking and HMD Calibration for
a Video-based Augmented Reality Conferencing System. In: Proceedings
of the IWAR, 1999
[KS02] KOCH, R; SCHULZ, A.: XML-Techniken für Transaktionen bei der Pro-
duktkonfiguration im eProcurement, Tagungsband Zentrum für Grafische
Datenverarbeitung e.V., Juni 2002
[KTB+02] KATO, H.; TACHIBANA, K.; BILLINGHURST, M.; GRAFE, M.: Real-time
tracking system based on matching templates generated from image tex-
ture - in Proceeding of the International Symposium on Mixed and Aug-
mented Reality 2002, Darmstadt, 2002
[KTG03] KATO, H.; TACHIBANA, K.; GRAFE, M.: A registration method based on
texture tracking using artoolkit. In 2nd IEEE International Augmented
Reality Toolkit Workshop. Waseda Univ.,Tokyo, Japan, 2003
[KW04] KLINKER, G.; WAGNER, M.: 2nd Joint Advanced Summer School2004,
Course 3: Ubiquitous Tracking for Augmented Reality. Technischer
Bericht der TU München, TUM-I0417, June 2004
[LF05] LEPETIT, V.; FUA, P: Monocular Model-Based 3D-Tracking of Rigid Ob-
jects: A Survey. Foundations and Trends in Computer Graphics and Vi-
sion Vol. No. 1, Now Publishers, 2005, S1-98
[LLF05] LEPETIT, V.; LAGGER, P.; FUA, P.: Randomized Trees for Real-Time Key-
point Recognition. Conference on Computer Vision and Pattern Recogni-
tion, San Diego, CA, 2005, S. 775-781
[Mat01] MATTERN, F.: Ubiquitous Computing: Vision und technische Grundlagen.
INFORMATIK-INFORMATIQUE 5/2001 (joint issue with Novática and
Upgrade), pp. 4-7, October 2001
[Mat05] MATYSCZOK, C.: Dynamische Kantenextraktion - Ein Verfahren zur Ge-
nerierung von Tracking-Informationen für Augmented Reality-Anwend-
ungen auf Basis von 3D-Referenzmodellen. Dissertation, Fakultät für
Maschinenbau, Universität Paderborn, HNI-Verlagsschriftenreihe, Pader-
born, Band 165, 2005
[Miz01] MIZELL, D: Boing’s Wire Bundle Assembly Project in Barfield, W.:
Caudell, C. (Hrsg.): Fundamentals of Wearable Computers and Aug-
Abbildungsverzeichnis Seite 111
mented Reality. Mahwah: Lawrence Erlbaum Associates, 2001, S.447-
467
[MLB04a] MÖHRING, M.; LESSING, C.; BIMBER, O.: "Video See-Through and Optical
Tracking with Consumer Cell Phones," presented at the Association of
Computing Machinery (ACM) Special Interest Group Graphics (Sig-
graph) 2004 conference, Los Angeles, 2004, S.8-12
[MLB04b] MÖHRING, M.; LESSING, C.; BIMBER, O.: "Video See-Through AR on
Consumer Cell Phones: A first Case-Study," 1. Workshop Erweiterte und
Virtuelle Realität. 27. - 28. September 2004, Technische Universität
Chemnitz, 2004
[MTS+06] VAN MEGEN, F.; TIMM-GIEL, A.; SALMRE, I.; GÖRG, C.: Smart Network-
ing Requests: Supporting Application Development Relying on Network
Connectivity for Wearable Computers In: Proceedings of the 3rd Interna-
tional Forum on Applied Wearable Computing, IFAWC 2006, Bremen,
2006
[MTU+94] MILGRAM, P.; TAKEMURA, U.; UTSUMI, A.; KISHINO, F.: Augmented Real-
ity: A Class of Displays on the Reality-Virtuality Continuum. In: Pro-
ceedings of the SPIE Conference on Telemanipulation and Telepresence
Technologies SPIE, Boston, October 1994
[O06-ol] O2 (Hrsg.): O2 Firmenwebseite unter www.o20nline.de, 12. August 2006
[Oqo06-ol] OQO (Hrsg.): OQO Firmenwebseite. www.oqo.com, 12. August 2006
[Ovt 04] OVTCHAROVA, J.: Virtual Engineering, Herausforderung und Chance am
Beispiel der Automobilindustrie. In: 3. Paderborner Workshop VR/AR,
2004.
[Pae02] PAEELKE, V.: Design of Interactive 3D Illustrations, Dissertation, Fakultät
für Elektrotechnik, Informatik und Mathematik, Universität Paderborn, C-
LAB Publications, Paderborn, 2002
[PHD+99] PIEKARSKI, W.; HEPWORTH, D.; DEMCZUK, V.; THOMAS, B.; GUNTHER,
B.A.: Mobile Augmented Reality User Interface for Terrestrial Naviga-
tion. In: 22nd Australian Computer Science Conference, Auckland, New
Zealand, Januar 1999
[Pie04] PIEKARSKI, W. Interactive 3D Modelling In Outdoor Augmented Reality
Worlds. PhD Thesis, Adelaide, SA, University of South Australia, 2004.
[PKV+98] POLLEFEYS, M.; KOCH, R.;VERGAUWEN, M.; GOOL, L.V.: Flexible 3D
Acquisition with a Monocular Camera. In: Proceedings of the IEEE Inter-
national Conference on Robotics & Automation, 1998
[PT03] PIEKARSKI, W.; THOMAS, B.H.: An object-oriented software architecture
for 3D mixed reality applications. In Proceedings of the International
Symposium on Mixed and Augmented Reality (ISMAR), October 2003
[PTH+99] PIEKARSKI, W.; THOMAS, B.; HEPWORTH, D.; GUNTHER, B.; DEMCZUK,
V.: An Architecture for Outdoor Wearable Computers to Support Aug-
mented Reality and Multimedia Applications. In: Proceedings of the
Third International Conference on Knowledge-Based Intelligent Informa-
tion Engineering Systems, Adelaide, SA, 1999
[Qbi06] ETH ZÜRICH (Hrsg.): QBIC, a Wearable Computer integrated in a Belt
unter http://www.wearable.ethz.ch/qbic.0.html, 10. Juni 2006
Seite 112 Kapitel 9
[RDB01] ROLLAND, J. P.; DAVIS, L. D.; BAILLOT, Y.: A Survey of Tracking
Technologies for Virtual Environments. In: Barfield, Woodrow; Caudell,
Thomas (Hrsg.): Fundamentals of Wearable Computer and Augmented
Reality (2001), Kapitel 3, S. 67-112, Laurence Erlbaum Associates
(2001), ISBN 0-8058-2902-4
[RNB02] RÜGGE, I.; NICOLAI, T.; BORONOWSKY, M.: Computer im Blaumann. In:
Useware 2002 - Mensch-Maschine-Kommunikation/Design, no. 1678,
VDI-Berichte, S. 105-110, VDI/VDEGesellschaft für Mess- und Automa-
tisierungstechnik, Verein Deutscher Ingenieure, 2002
[Rot02] ROTH, J: Mobile Computing: Grundlagen, Technik, Konzepte,
dpunkt.Verlag, Heidelberg, 2002
[RS03] REITMAYR, G.;SCHMALSTIEG, D.: Data Management Strategies for Mo-
bile Augmented Reality. In: Proceedings of the International Workshop on
Software Technology for Augmented Reality Systems, STARS 2003, To-
kyo, Japan, 2003
[SB02] SIMON, G.; BERGER, M.-O.: Reconstructing while Registering: A Novel
Approach for Markerless Augmented Reality. In: Proceedings of the In-
ternational Symposium on Mixed and Augmented Reality (ISMAR),
IEEE Computer Society, Los Alamitos, CA,USA, 2002
[Sbo05] SBODIO, M.L.: Show case framework architectural design and specifica-
tion, Deliverable 6, wearit@work, 2005
[Sfb218-ol] SONDER FORSUCHUNGS BEREICH 218 TU BERLIN (Hrsg.):. Die Demonta-
gefabrik. unter: http://www.sfb281.tu-berlin.de/, 26. Oktober 2006
[SFH00] SCHMALSTEIG, D.; FUHRMANN, A.; HESINA, G.: Bridging Multiple User
Interface Dimensions with Augmented Reality. In: Proceedings of the
IEEE and ACM International Symposium on Augmented Reality, Mu-
nich, Germany, 2000
[SFS+96] SCHMALSTEIG, D.; FUHRMANN, A.; SZALAVARI, Z.; GERVAUTZ, M.: Stu-
dierstube - An Environment for Collaboration in Augmented Reality. In:
CVE '96 Workshop Proceedings, September, Nottingham, Great Britain,
1996
[SHD06-ol] SHD KREATIVE PLANUNGS-SYSTEME GMBH & CO. (Hrsg.): KPS Click &
Design unter http://www.shd.de/deu/loesungen/KPS/KPS_clickdesign/
26. Oktober 2006
[She06] LEHRSTUHL FÜR INFORMATIKANWENDUNGEN IN DER MEDIZIN & AUG-
MENTED REALITY DER TECHNISCHEN UNIVERSITÄT MÜNCHEN KLINKER
G.(Hrsg): SHEEP – The Shared Environment Entertainment SHEEP unter
http://campar.in.tum.de/Chair/ProjectSheep 26. Oktober 2006
[Sie05-ol] SIEMENS AG: Multimedialer GPS-Wegweiser im Handy. Unter:
http://w4.siemens.de/de2/html/press/newsdesk_archive/2004/c_0414_d.ht
ml Meldung1, 23. Juli 2005
[SLR+06] STIEFMEIER, T.; LOMBRISER, C.; ROGGEN, D.; JUNKER, H.; OGRIS, G.;
TROSTER, G.: Event-Based Activity Tracking in Work Environments, In:
Proceedings of the 3rd International Forum on Applied Wearable Com-
puting, IFAWC 2006, Bremen, 2006
[SSF+96] SZALAVARI, Z.; SCHMALSTIEG, D.; FUHRMANN, A.; GERVAUTZ, M.: Stu-
dierstube - An Environment for Collaboration in Augmented Reality. In:
Abbildungsverzeichnis Seite 113
Proceedings of the 1996 Workshop on Collaborative Virtual Environ-
ments CVE 96, Nottingham, England, September, 1996
[Sti04] STICHLING, D.: Visitrack-Inkrementelles Kameratracking für mobile
Echtzeitsysteme, Dissertation, Fakultät für Elektrotechnik, Informatik und
Mathematik, Universität Paderborn, C-LAB Publication, Band 19, 2004
[Stu06-ol] TECHNISCHE UNIVERSITÄT GRAZ (Hrsg.): Studierstube Augmented Reali-
ty Projekt unter: http://studierstube.icg.tu-graz.ac.at oder
www.studierstube.org, 26. Oktober 2006
[ST06] SBODIO, M.L.; THRONICKE, W.: Context processing within an open, com-
ponentoriented, software framework In: Proceedings of the 3nd Interna-
tional Forum on Applied Wearable Computing, IFAWC 2006, Bremen,
2006
[Tos06-ol] TOSHIBA (Hrsg.): Toshiba Firmenwebseite unter www.toshiba.de,
12. August 2006
[TP03] TUROWSKI, K.; POUSTTCHI, K.: Mobile Commerce – Grundlagen und
Techniken, Heidelberg 2003
[VK02] VAINIO, T.; KOTALA, O.: Developing 3D Informatins Systems for Mobile
Users: Some Usability Issues. In:Proceedings of the Second Nordic Con-
ference on Human-Computer Interaction. Aarhus 2002
[Wac06-ol] WACOM (Hrsg.): WACOM Technology Firmenwebseite unter
www.wacom.com/pressinfo/photography/TabletPC_callouts.jpg
[WPL+05] WAGNER, D.; PINTARIC, T.; LEDERMANN, F.; SCHMALSTIEG, D.: Towards
Massively Multi-User Augmented Reality on Handheld Devices in Pro-
ceedings of Third International Conference on Pervasive Computing, Per-
vasive 2005, 2005
[WRB+03] MACWILLIAMS, A.; REICHER, T.; BRÜGGE, B.: Decentralized coordination
of distributed interdependent services. In IEEE Distributed Systems
Online – Middleware ’03 Work in Progress Papers, Rio de Janeiro, Bra-
zil, June 2003
[WS03] WAGNER, D.; SCHMALSTIEG, D.: First Steps Towards Handheld Aug-
mented Reality. In: Proceedings of the 7th International Conference on
Wearable Computers, White Plains, NY, USA, 2003
[WS06] WAGNER, D.; SCHMALSTIEG, D.: Handheld Augmented Reality Display-
sirst Steps Towards Handheld Augmented Reality. In: Proceedings of the
7th International Conference on Wearable Computers, White Plains, NY,
USA, 2003
[WSW+03] MACWILLIAMS, A.; SANDOR, C.; WAGNER, M.; BAUER, M.; KLINKER, G.;
BRÜGGE, B.: Herding sheep: Live system development for distributed
augmented reality. In Proceedings of the International Symposium on
Mixed and Augmented Reality (ISMAR), October 2003
[WVS05] WUEST, H.; VIAL, F.; STRICKER, D: Adaptive Line Tracking with Multiple
Hypotheses for Augmented Reality. In Proceedings of the International
Symposium on Mixed and Augmented Reality (ISMAR), October 2005
[Xyb06-ol] XYBERNAUT (Hrsg.): Xybernaut Firmenwebseite. www.xybernaut.com,
12. August 2006
Seite 114 Kapitel 9
[YN01] YOU, S; NEUMANN, U: Fusion of Vision and GyroTracking for Robust
Augmented Reality Registration. In: IEEE Virtual Reality 2001, pp.71-
78, Yokahama Japan, March 2001.
[YNA99a] YOU, S.; NEUMANN, U.; AZUMA, R.: Hybrid Inertial and Vision Tracking
for Augmented Reality Registration. Proceedings of IEEE VR '99 (Hous-
ton, TX, 13-17 March 1999), pp. 260-267
[ZFN02] ZHANG, X.; FRONZ, S.; NAVAB, N.: Visual marker detection and decoding
in AR systems: a comparative study - In Proceedings of the International
Symposium on Mixed and Augmented Reality (ISMAR), October 2002
