Augmented Reality
Positionsgenaue Einblendung räumlicher Informationen
in einem See Through Head Mounted Display
für die Medizin am Beispiel der Leberchirurgie
von Diplom-Ingenieur
TIM SUTHAU
von der Fakultät VI
der Technischen Universität Berlin
zur Erlangung des akademischen Grades
Doktor der Ingenieurwissenschaften
- Dr.-Ing. –
genehmigte Dissertation
Promotionsausschuss:
Vorsitzender: Prof. Dr.-Ing. L. Gründig
Gutachter: Prof. Dr.-Ing. O. Hellwich
Gutachter: Prof. Dr. H.-P. Meinzer
Tag der wissenschaftlichen Aussprache: 13. Juni 2006
Berlin 2006
D 83
Ein besonderer Dank gilt:
Olaf Hellwich, alle@cv/fpk
für die Ideen, Diskussionen und die Unterstützung
H.-P. Meinzer und M. Vetter (MBI-DKFZ)
für die ausgezeichnete Kooperation
mtronix (A. Kaiser), A. Clarke
für die Bereitstellung von Know-How und Hardware
den Diplomanden, dem Dinoteam und nicht zuletzt meiner Familie
die mit Ihrer hervorragenden Arbeit und Geduld diese Promotion ermöglichten
Kurzfassung
Kurzfassung
Die vorliegende Arbeit beschäftigt sich mit der positionsgenauen Einblendung räumlicher
Informationen in einem See Through Head Mounted Display. Dies soll an einem Beispiel der Medizin
– der Leberchirurgie – erfolgen.
Im klinischen Alltag der Chirurgie stellt die Bereitstellung präoperativer Daten eine unverzichtbare
Hilfe für den Operateur dar. Diese Daten werden aus präoperativen Aufnahmen (Computertomo-
graphie, Magnetresonanztomographie, Ultraschall u.a.) gewonnen. Segmentierungsergebnisse und
zwei- bzw. dreidimensionale Darstellungen, welche aus diesen Aufnahmen gewonnen werden, dienen
dem Chirurgen zur notwendigen Orientierung während der Operation. Diese Daten können in einer
Augmented Reality Umgebung dem Arzt als virtuelle Daten mit Hilfe einer Datenbrille, dem Head
Mounted Display, zugänglich gemacht werden. Dem Operateur soll ein Hilfsmittel zur Seite gestellt
werden, welches zweckmäßig zusätzliche Informationen darstellt und eine komfortable Navigation
ermöglicht. Die exakte Überlagerung der virtuellen Daten mit dem realen Objekt stellt dabei ein
wesentliches Grundproblem dar.
Der bisherige Einsatz von Augmented Reality in der Medizin wird vorgestellt. Auf der Grundlage
dieser Arbeiten und bestehender Szenarien an der Medizinischen und Biologischen Informatik am
Krebsforschungszentrum in Heidelberg werden mögliche Komponenten eines Augmented Reality
Systems für die medizinische Navigation behandelt und ausgewählt.
Die Schwerpunkte dieser Arbeit liegen in der Kalibrierung der Einzelkomponenten und der
entsprechenden mathematischen Modellierung der Zusammenhänge zwischen den einzelnen
Komponenten. Hierzu gehören Verfahren des optischen Tracking. Der räumliche Bezug der Kamera
zum Objektraum wird teilweise mit nur einem geeigneten Marker hergestellt. Dies schließt die
entsprechende Kalibrierung inklusive Verzeichnung der verwendeten CCD Kamera ein. Ebenso wird
das benutzte Head Mounted Display in die Anwendung einbezogen. Das hier verwendete Virtual
Retinal Display muss hinsichtlich möglicher Besonderheiten untersucht und entsprechend kalibriert
werden. Ein Grundproblem solcher Anwendungen stellt das mögliche Verrutschen des Displays beim
Tragen des Systems dar. Die vorherige Kalibrierung des Head Mounted Display wird zerstört, eine
genaue Überlagerung der virtuellen Daten mit dem Objekt kann nicht mehr gewährleistet werden.
Durch die Anbindung eines Eye Tracking Device wird ein Verfahren vorgestellt, welches es erstmals
ermöglicht das Verrutschen des Displays zu erkennen und die Kalibrierung/Überblendung
entsprechend zu verbessern. Dadurch entfällt die erneute Kalibrierung des Systems. Der Nutzer kann
das Display mehrmalig auf- und absetzen, ohne die Kalibrierung wiederholen zu müssen. Aufgrund
der geometrischen Konstellation erfordert der Einsatz des Eye Tracking Device besondere
Anstrengungen hinsichtlich der Genauigkeit. Das Eye Tracking erfolgt auf der Grundlage
kantenbasierter Algorithmen zur Detektion der Pupille mit Sub-Pixel Auflösung. Durch die
kombinierte Erfassung der Pupille und des Cornealen Reflexes wird es möglich, das Verrutschen des
Displays von Augenbewegungen zu unterscheiden.
Die Einzelkomponenten und das Gesamtsystem werden evaluiert und besonders hinsichtlich der
Genauigkeit betrachtet.
Inhalt
Inhalt
1 Einleitung und Einordnung .....................................................................11
1.1 Motivation und Themeneingrenzung................................................................................ 11
1.2 Grundlegende Vorarbeiten................................................................................................ 13
1.3 Schwerpunkte und Gliederung.......................................................................................... 13
2 Augmented Reality....................................................................................15
2.1 Definition Augmented Reality.......................................................................................... 15
2.2 Anwendungen................................................................................................................... 16
2.3 Augmented Reality versus Virtual Reality ....................................................................... 17
2.4 Anforderungen an AR Systeme........................................................................................ 19
2.5 Klinische und technische Anforderungen......................................................................... 20
3 AR Anwendungen in der Medizin – Stand der Forschung...................23
3.1 Head Mounted Displays und Mikroskope ........................................................................ 23
3.2 Monitordarstellungen........................................................................................................ 26
3.3 Semiautomatische Instrumentenführung .......................................................................... 29
3.4 Standdisplays/ Doppelspiegelsysteme .............................................................................. 29
3.5 Head Mounted Projektor Displays.................................................................................... 30
3.6 Tabellarische Zusammenstellung der Anwendungen....................................................... 32
3.6.1 Head Mounted Displays und Mikroskope ........................................................... 32
3.6.2 Monitordarstellungen........................................................................................... 33
3.6.3 Standdisplays und Doppelspiegelsysteme ........................................................... 34
4 Navigation in der Leberchirurgie............................................................35
4.1 Anatomie der Leber.......................................................................................................... 35
4.2 Indikationen und Therapie in der Leberchirurgie............................................................. 36
4.2.1 Indikationen der Leberchirurgie .......................................................................... 36
4.2.2 Therapie von Lebertumoren ................................................................................ 37
4.3 Ablauf der Navigation in der Leberchirurgie (Computer Assisted Surgery, CAS).......... 37
4.3.1 Operationsplanung............................................................................................... 39
4.3.2 Übertragung der Planungsergebnisse auf den Situs (Registrierung) ................... 40
4.3.3 Visualisierung am autostereoskopischen Display................................................ 42
5 Komponenten eines Augmented Reality Systems..................................45
5.1 Displaysysteme................................................................................................................. 45
5.1.1 Stationäre Systeme............................................................................................... 46
5.1.2 Tragbare Systeme ................................................................................................ 47
5.1.3 Auswahl eines Head Mounted Displays............................................................. 58
5.2 Trackingsysteme............................................................................................................... 59
Inhalt
5.2.1 Tracking mittels GPS........................................................................................... 59
5.2.2 Inertialtracker....................................................................................................... 59
5.2.3 Mechanische Trackingsysteme............................................................................ 60
5.2.4 Akustische Trackingsysteme ............................................................................... 60
5.2.5 Magnetische Trackingsysteme............................................................................. 60
5.2.6 Optische Trackingsysteme................................................................................... 61
5.2.7 Tracking für den AR Einsatz in der Leberchirurgie ............................................ 62
5.2.8 Übersicht der verschiedenen Trackingverfahren ................................................. 63
5.3 Kalibrierung und Registrierung ........................................................................................ 64
5.3.1 Beispiele von Optical See Through Kalibrierungen............................................ 65
5.3.2 Tabellarische Zusammenfassung einiger Kalibrierungsmethoden ...................... 68
5.3.3 Verzeichnungskorrektur von Head Mounted Displays........................................ 69
5.4 Eye Gaze Tracking ........................................................................................................... 70
5.4.1 Anatomie und Physiologie des Auges ................................................................. 71
5.4.2 Augenmodelle...................................................................................................... 72
5.4.3 Invasive Eye Gaze Tracker.................................................................................. 73
5.4.4 Berührungslose Eye Gaze Tracker ...................................................................... 74
5.4.5 Tracking Merkmale ............................................................................................. 75
5.4.6 mtronix Eye Tracking Device.............................................................................. 77
5.4.7 Zusammenfassung der Eye Tracking Verfahren.................................................. 79
5.5 Zusammengefasste Komponentenauswahl für den Einsatz in der Leberchirurgie........... 80
6 Mathematische Modellierung ..................................................................81
6.1 Mathematische Grundlagen der projektiven Geometrie................................................... 83
6.1.1 Homogene Koordinaten....................................................................................... 83
6.1.2 Punkte und Geraden in der Ebene........................................................................ 84
6.1.3 Geradentreue Transformationen .......................................................................... 86
6.2 Projektive Abbildung mittels CCD Kamera – Einbild-Photogrammetrie ........................ 88
6.2.1 Grundlegende Abbildungsschritte ....................................................................... 88
6.2.2 Kameramodell - Modellierung der inneren Orientierung.................................... 90
6.2.3 Perspektivische Abbildung mit der Projektionsmatrix ........................................ 91
6.2.4 Direkte Lineare Transformation .......................................................................... 91
6.3 Bildpaargeometrie und lineare homogene Triangulation ................................................. 95
6.4 Umsetzung für Augmented Reality .................................................................................. 97
6.4.1 Markererkennung – Positionsbestimmung und Zielverfolgung .......................... 98
6.4.2 Kamerakalibrierung........................................................................................... 101
6.4.3 Kalibrierung des Head Mounted Display .......................................................... 105
6.4.4 Erfassen des Verrutschens des Displays und nachfolgende Verbesserung
der HMD Kalibrierung ...................................................................................... 108
Inhalt
7 Implementation und Ergebnisse............................................................113
7.1 Versuchsaufbau - Hardware............................................................................................ 113
7.2 Software.......................................................................................................................... 115
7.3 Genauigkeitsabschätzung................................................................................................ 121
7.3.1 Optische und geometrische Genauigkeitsabschätzung...................................... 121
7.3.2 Fehler und Auflösung im Zeitbereich................................................................ 127
7.4 Versuchsdurchführung und Ergebnisse von Einzelkomponenten .................................. 128
7.4.1 Kamerakalibrierung........................................................................................... 128
7.4.2 HMD Kalibrierung............................................................................................. 129
7.4.3 Versuche zu den Einzelkomponenten................................................................ 130
7.5 Gesamtsystem und Evaluierung...................................................................................... 134
7.5.1 Versuchsdurchführung....................................................................................... 135
7.5.2 Kalibrierungsergebnisse .................................................................................... 136
7.5.3 Verifizierung der Kalibrierungsergebnisse........................................................ 138
7.5.4 Interpretation der Kalibrierungsergebnisse....................................................... 142
8 Zusammenfassung und Ausblick...........................................................143
9 Literaturverzeichnis................................................................................145
1 Einleitung und Einordnung
11
1 Einleitung und Einordnung
Augmented Reality im Bereich der medizinischen Navigation ist ein noch relativ junges Verfahren mit
einem hohen Entwicklungspotenzial für die Optimierung der Übertragung der Operationsplanung in
den Operationssaal. Im Folgenden soll die Nützlichkeit der Verwendung virtueller Daten und deren
Überblendung mit der Realität motiviert werden. Gleichzeitig erfolgt aufgrund der großen Breite und
Möglichkeiten eine Themeneingrenzung, um im Anschluss eine kurze Einordnung in das
wissenschaftliche Umfeld vorzunehmen. Ebenso wird auf wichtige Vorarbeiten im Bereich der
medizinischen Navigation verwiesen, welche die Grundlage für das hier vorgestellte Gesamtszenario
darstellen. Im Anschluss werden zur besseren Übersicht die Schwerpunkte erläutert und die
Gliederung dieser Arbeit vorgestellt.
1.1 Motivation und Themeneingrenzung
Die positionsgenaue Überlagerung räumlicher Informationen in einem See Through Head Mounted
Display ist ein entscheidendes Kriterium für die Nutzung eines solchen Systems. Bei einem
Augmented Reality System werden reale Bilder durch zusätzliche Informationen ergänzt. Augmented
Reality ist somit die Verbindung zwischen realer und virtueller Welt. Im klinischen Alltag der
Chirurgie bedeutet die Bereitstellung präoperativer Daten eine unverzichtbare Hilfe für den Operateur.
Diese Daten werden aus präoperativen Aufnahmen (Computertomographie (CT), Magnetresonanz-
tomographie (MRT), Ultraschall (US) u.a.) gewonnen. Segmentierungsergebnisse und zwei- bzw.
dreidimensionale Darstellungen, welche aus diesen Aufnahmen gewonnen werden, dienen dem
Chirurgen zur notwendigen Orientierung während der Operation. Diese räumlichen Daten können in
einer Augmented Reality Umgebung dem Arzt als virtuelle Daten zugänglich gemacht werden. Dem
Operateur soll ein Hilfsmittel zur Seite gestellt werden, welches zweckmäßig zusätzliche
Informationen darstellt und eine komfortable Navigation ermöglicht.
Dies erfordert das Verständnis des praktischen klinischen Gesamtszenarios, die Auswahl geeigneter
Technologie (Hardware, wie Displays, Trackingsysteme und Sensoren), die mathematische
Modellierung der Zusammenhänge und eine entsprechende Umsetzung mit Evaluierung der
erreichten Ergebnisse.
Aufgabe dieser Arbeit ist die Kalibrierung eines kompletten Augmented Reality Systems für die
Navigation in der Leberchirurgie. Hierbei werden hauptsächlich optische Sensoren eingesetzt. Zur
Visualisierung der virtuellen Daten findet ein Virtual Retinal Display „Nomad“ der Firma Microvison
Anwendung. Zusätzlich wird das Problem des Verrutschens des Displays durch den Einsatz eines Eye
Tracking Device der Firma mtronix/ Chronos Vision gelöst. Schwerpunkt ist die Kalibrierung und
Genauigkeitsanalyse dieser Techniken.
Die exakte Überlagerung der virtuellen Daten mit dem realen Objekt stellt dabei ein
wesentliches Grundproblem dar. Diese Aufgabe soll im Mittelpunkt dieser Arbeit stehen.
Die exakte Überlagerung der virtuellen Daten mit dem realen Objekt wird meist als Registrierung
bezeichnet. Eine exakte Registrierung erfordert eine genaue Positionsbestimmung des Displays (damit
der Einblendung) und des Objektes. Abweichungen führen zu verschobenen Darstellungen und
werden als statische Fehler bezeichnet. Diese Fehler werden aufgrund des hohen Auflösungs-
vermögens des Auges im zentralen Sichtbereich sehr schnell wahrgenommen. Die Fehlerursachen sind
in optischen Verzerrungen (Kameras, Display), Fehler des Trackingsystems oder einer fehlerhaften
Kalibrierung des Displays zu suchen. Da sich diese Arbeit mit einer Anwendung befasst, welche hohe
Anforderungen hinsichtlich der Genauigkeit stellt, steht die Analyse und Verbesserung dieser
Fehlerursachen im Mittelpunkt der Untersuchungen.
Die bisherigen Kalibrierungen von Optical See Through Head Mounted Displays (OST-HMD)
unterliegen der Voraussetzung, dass das Display fest mit dem Kopf verbunden ist. Ein HMD unterliegt
der Bewegungen der Gesichtsmuskulatur und verändert häufig seine Position. Kommt es zum
1 Einleitung und Einordnung
12
Verrutschen des Displays, verschiebt sich die Augenposition, und die Darstellung entspricht nicht
mehr den Sichtparametern. Eine erneute, relativ aufwendige, Kalibrierung des HMD ist notwendig.
Dies war bisher eines (bzw. oft das) entscheidende Kriterium der Ablehnung von OST-HMD.
[OEHME04]
Durch die Einbeziehung eines Eye Tracking Device (ETD) kann das Verrutschen des Displays
erkannt werden. Die zugehörige Kalibrierung des Head Mounted Display wird simultan
korrigiert.
Eine erneute Kalibrierung des HMD entfällt. Somit muss beim Einsatz des ETD das HMD nur einmal
pro Benutzer kalibriert werden. Der Nutzer kann das Display mehrmalig auf- und absetzen, ohne die
Kalibrierung zu wiederholen.
Weitere Registrierungsfehler können durch dynamische Fehler verursacht werden, welche durch
Zeitdifferenzen bei der Messung der Sensordaten und der Darstellung nach entsprechender
Verarbeitung entstehen. Systemverzögerungen werden erst bei Bewegungen sichtbar und erhöhen sich
meist bei größerer Komplexität des Systems. Bei der Darstellung der virtuellen Daten im HMD
werden diese verzögert dargstellt. Unvermeidbare Systemverzögerungen wurden untersucht und
Modelle zur Bewegungsschätzung entwickelt. Diese Modelle berechnen Vorhersagen zum
Bewegungsverlauf.
Das in dieser Arbeit zu untersuchende System, bildet die Grundlage für eine spätere Anwendung in
der Chirurgie. Die Auswahl der Komponenten erfolgt nach den Kriterien und Anforderungen der
Leberchirurgie, genauer der onkologischen Leberresektion und der Leberlebendspende. Aus diesem
Grund müssen medizinische Aspekte und Erfordernisse Beachtung finden, um Bedingungen für eine
ausreichende Nutzerakzeptanz zu erreichen.
Im Mittelpunkt der Arbeit steht jedoch die Kalibrierung des Gesamtsystems zur positionsgenauen
Überlagerung virtueller räumlicher Daten mit der realen Umwelt. Dazu gehört die HMD Kalibrierung
(Virtual Retinal Displays) und die Anbindung eines Eye Tracking Device, sowie die Kalibrierung
verschiedener optischer Sensoren (Kameras). Notwendig ist die Erfassung des zu beobachtenden
Objektes, z.T. dessen räumliche Rekonstruktion und seine ständige Positionierung im Raum
(Tracking) in Echtzeit.
Die Photogrammetrie hat sich als eine der ersten Wissenschaften mit der Geometrie der Aufnahme,
der Orientierung und der Rekonstruktion dreidimensionaler Objekte aus Bildern beschäftigt. Sie diente
in erster Linie der topografischen Rekonstruktion der Erdoberfläche, wurde jedoch schon am Ende des
19. Jahrhunderts für die Rekonstruktion von Objekten im Nahbereich angewandt und maßgeblich
durch MEYDENBAUER eingeführt. Dabei ist die Kalibrierung der verwendeten Kameratechnik sehr
ausgereift und erforscht. Neben der Genauigkeitsproblematik erweitern sich die Anforderungen auf
den Wunsch, die Prozesse zu automatisieren und in Echtzeit (online) auszuwerten. Nur dann kann
solch ein System zum Tracking verwendet werden.
Auch der zunehmende Einsatz von Video- und CCD-Kameras und somit der Verzicht auf
Messkameras erlauben einerseits immer neue Anwendungen, anderseits erfordert dies neue Verfahren
zur Modellierung der Abbildungsgeometrie. Die freie Anordnung der Bilder der Kameras stellen hohe
Anforderungen an den Auswerteprozess. Besonders die Verfahren der projektiven Geometrie erlauben
die Automatisierung der Auswerteprozesse. Die grundlegenden Anforderungen bei einem Augmented
Reality System, wie Echtzeitfähigkeit und Genauigkeit, erfordern die Nutzung der algebraischen
Geometrie und die Bereitstellung direkter Lösungsverfahren. Basis sind homogene Koordinaten, die
die Repräsentation geometrischer Elemente, ihre Verknüpfung und ihre Transformation
repräsentieren.
Die Basis zur Lösung der allgemeinen Aufgabenstellung bilden Kenntnisse in der Bildverarbeitung,
der linearen Algebra (lineare Gleichungssysteme, Eigenwert- und Singulärwertzerlegung), der
Statistik und Ausgleichsrechnung sowie der Physik der Sensoren.
1 Einleitung und Einordnung
13
1.2 Grundlegende Vorarbeiten
Grundlagen dieser Arbeit sind, neben den grundlegenden Techniken und Forschungsergebnissen der
Photogrammetrie und Computer Vision, umfangreiche Forschungen und Umsetzungen der Abteilung
Medizinische und Biologische Informatik des Deutschen Krebsforschungszentrums in Heidelberg. Die
Abteilung Medizinische und Biologische Informatik sowie die Chirurgische und Radiologische Klinik
der Universität Heidelberg haben einen Prototyp eines bildgestützten Navigations-Systems (Image
Guided Surgery System, IGSS) für die Anwendung in der onkologischen Leberchirurgie entwickelt.
Dieses IGSS wird den Chirurgen in die Lage versetzen, sein Instrument in räumlicher Beziehung zu
wichtigen Strukturen in der Leber zu sehen. Hierfür ist die Auswertung präoperativer Daten
(Segmentierung der Lebergefäßbäume) erforderlich.
Für eine erfolgreiche Resektion eines Lebertumors ist die Kenntnis der genauen Lage des tumorösen
Gewebes und des einzuhaltenden umgebenden Sicherheitsabstandes erforderlich [HASSENFLUG01A;
HASSENFLUG01B; VETTER01]. Den Chirurgen interessiert die möglichst exakte Übertragung der
präoperativ am Computermodell geplanten Resektionsflächen auf den Operationssitus. Die komplexe
Struktur der intrahepatischen Gefäßbäume, wie der Lebervenen und der Portalvenen, hilft den
Chirurgen bei der Orientierung innerhalb der Leber. Die Verletzung eines zentralen Gefäßes,
beispielsweise im Bereich des Lebervenenhauptstamms, stellt ein wesentliches intraoperatives Risiko
für den Patienten dar. Durch die Verletzung von Sicherheitsabständen kann es zu einer Aussaat von
Tumorzellen kommen. Der Transfer der präoperativen virtuellen Modelle und Planungsergebnisse auf
den intraoperativen Situs umfasst intraoperative Bilddatenakquisition, Registrierung mit den
präoperativen Daten, Deformationserfassung und -modellierung sowie eine adäquate Präsentation der
aktuellen Situation für den Chirurgen. Die bisherige Präsentation erfolgt mit Hilfe eines
autostereoskopischen Bildschirms. Aufgabe dieser Arbeit ist die Bereitstellung eines Augmented
Reality Szenarios für diese Umgebung im Sinne eines Nahbereichs See Through Systems für die
Viszeralchirurgie. Wie oben beschrieben sollen die virtuellen Daten der präoperativen Planung dem
Chirurg bei Bedarf direkt in das Sichtfeld projiziert werden. Eine ausführliche Beschreibung der
Heidelberger Vorarbeiten kann dem Abschnitt 4 entnommen werden. Der Unterschied zwischen der
heutigen und zukünftigen Arbeitsweise ist in Abbildung 1.1 illustriert.
Abbildung 1.1: Heutige und zukünftige Arbeitsweise der computergestützten OP nach [PEUCHOT93]
1.3 Schwerpunkte und Gliederung
Nachdem im Abschnitt 1 die Aufgabenstellung und deren Abgrenzung sowie ein kurzer Einblick in
das wissenschaftliche Umfeld gewährt wurde, wird im Abschnitt 2 der Begriff Augmented Reality und
dessen Bezug zur Virtual Reality ausführlicher definiert. Die allgemeinen Anforderungen an
Augmented Reality Systeme werden genannt und klinische und technische Anforderungen abgeleitet.
Im Abschnitt 3 erfolgt ein umfassender Überblick über die Anwendungen von Augmented Reality in
1 Einleitung und Einordnung
14
der Medizin. Entsprechend der verwendeten Displaytechnik werden dabei die Arbeiten und Projekte
unterschiedlicher Institutionen und Gruppen vorgestellt. Der Abschnitt 4 befasst sich mit der
Navigation in der Leberchirurgie. Neben den anatomischen und therapeutischen Voraussetzungen
werden besonders hier die umfangreichen Vorarbeiten der Abteilung Medizinische und Biologische
Informatik am Deutschen Krebsforschungszentrum in der Navigation in der Leberchirurgie behandelt.
Die in diesem Kapitel vorgestellten Verfahren und Systeme bilden die Grundlage für die Auswahl der
Augmented Reality Komponenten. Nach der Darstellung der Komponenten eines AR Systems, wie
Display- und Trackingsystem, Kalibrierung und Registrierung im Abschnitt 5, werden im darauf
folgenden Kapitel die mathematischen Grundlagen für Tracking, Kalibrierung und Registrierung
erläutert. Grundlage hierfür ist eine kurze Einführung in die projektive Geometrie, um dann die
projektive Abbildung mittels CCD-Kameras und die Bildpaargeometrie und lineare homogene
Triangulation zu vertiefen. Im Anschluss werden diese Grundlagen auf die Umsetzung bei einem
Augmented Reality Szenario übertragen.
Somit wird eine geschlossene mathematische Modellierung der Kalibrierung eines Optical See
Through Augmented Reality Systems geliefert. Erstmalig wird in dieser Modellierung das mögliche
Verrutschen des Displays berücksichtigt. Dies betrifft sowohl den Vorgang der Kalibrierung, wie auch
die Verbesserung der HMD Einblendung beim Tragen des Gerätes. Da das Verrutschen einem
wiederholten Auf- und Absetzen gleichzusetzen ist, braucht das System für den jeweiligen Benutzer
nur einmal kalibriert zu werden.
Diese vollständige mathematische Modellierung wurde in einer Software umgesetzt. Die
Implementation und deren Ergebnisse werden im Abschnitt 7 diskutiert. Besonderes Augenmerk liegt
hier auf der möglichen Genauigkeit eines solchen Systems, also letztendlich auf der Überlagerungs-
genauigkeit virtueller Daten im Objektraum und der Detektion des Verrutschens des zu tragenden
Displays mit der entsprechenden Verbesserung der Einblendung.
2 Augmented Reality
15
2 Augmented Reality
In sämtlichen Bereichen, in denen Menschen produktiv tätig sind bzw. forschen, fallen eine Vielzahl
von Informationen und Daten an. Eine große Herausforderung stellt dabei die anfallende Datenmenge
dar. Wichtiger wird, dass die gesammelten Daten genau dann zur Verfügung stehen, wenn sie benötigt
werden. Oftmals besitzen die Daten einen räumlichen Bezug, welcher wichtig für die Information
selbst ist. Es wird daher kontextabhängige und situationsgerechte Interaktion zwischen Mensch und
Technik gefordert. Dies kann man mit einer relativ neuen Technologie Augmented Reality erreichen.
Im Folgenden wird diese Technologie näher definiert und erläutert. Nach einigen Beispielen
hinsichtlich der allgemeinen Anwendungsmöglichkeiten, erfolgt eine nähere Beschreibung im
Vergleich zur Nachbardisziplin Virtual Reality. Davon abgeleitet werden die allgemeinen
Anforderungen für ein Augmented Reality System, um später auf die klinischen und technischen
Anforderungen einzugehen.
2.1 Definition Augmented Reality
Augmented Reality (dt.: vergrößerte oder erweiterte Realität) bietet die Möglichkeit, reale Bilder mit
zusätzlichen Informationen zu ergänzen und so eine Erweiterung sowohl der virtuellen als auch der
realen Umwelt zu erreichen. Bei einem Augmented Reality System werden reale Bilder durch
zusätzliche Informationen ergänzt. Diese zusätzlichen Informationen wurden zuvor oft aus realen
räumlichen Zusammenhängen (hier Operationsplanung) gewonnen und aufbereitet. Diese virtuellen
Daten können die reale Sicht des Nutzers kontextabhängig und situationsgerecht, um die von unserem
Auge nicht sichtbare Realität, ergänzen.
Augmented Reality ist die Anreicherung der realen Welt mit Zusatzinformationen in Form
virtueller Daten. Diese virtuellen Daten werden in Abhängigkeit zur betrachteten Realität
situationsgerecht eingeblendet. (vgl. [OEHME04])
Augmented Reality stellt somit die Verbindung zwischen realer und virtueller Welt her. Augmented
Reality nutzt dabei die Realität als Mitbestandteil der Informationswelt:
Realität + Zusatzinformation = Augmented Reality
Augmented Reality als Kombination von Realität und Virtualität wird auch bei der Definition von
[AZUMA01] verwendet. Reale und künstliche Objekte stehen räumlich zueinander in Beziehung und
erlauben Interaktion durch den Betrachter. Im Realität-Virtualität-Kontinuum von [MILGRAM94] ist
AR eine Untermenge der Mixed Reality (Abbildung 2.1).
Abbildung. 2.1: Realität - Virtualität - Kontinuum nach [MILGRAM94]
2 Augmented Reality
16
Der Ursprung von Augmented Reality liegt in der virtuellen Realität. Bei der virtuellen Realität wird
die reale Umgebung durch die virtuelle Umgebung vollständig ersetzt. Erste Fahrzeugsimulationen
gab es bereits nach 1920. Entwicklungen zur interaktiven Computergrafik und Flugsimulationen der
NASA wurden in den 60er Jahren des gleichen Jahrhunderts durchgeführt. Pionier im Bereich
Augmented Reality war Ivan Sutherland. Er entwickelte vor fast 40 Jahren das erste Augmented
Reality System mit einem See Through Head Mounted Display [SUTHERLAND68].
In der Abbildung 2.2 ist der schematische Aufbau eines allgemeinen Augmented Reality Systems für
die Leberchirurgie wiedergegeben. Die reale Szene wird mit Hilfe einer Kamera aufgenommen und
die Lage des realen Objektes im Raum bestimmt. Gleichzeitig werden vom Computer virtuelle Daten
zur Verfügung gestellt, welche nach einem Abgleich zwischen Grafik und Realität positionsgenau der
Realität überlagert werden können. Die gleichzeitige Betrachtung sowohl der realen Szene, wie auch
der überlagerten virtuellen Szene, erfolgt durch eine geeignete Projektion beispielsweise auf einem
Head Mounted Display. In dieser Arbeit kommt als Head Mounted Display (HMD) das Virtual Retinal
Display (VRD) von MICROVISION zum Einsatz.
Abbildung 2.2: Schematischer Aufbau eines AR Systems für die Leberchirurgie
2.2 Anwendungen
Augmented Reality bietet sich als Technologie immer dann an, wenn komplexe Systeme einfacher,
d.h. kontextabhängig und situationsgerecht dargeboten werden sollen. Besonders interessant ist die
räumliche Überlagerung der interessierenden Strukturen und Zusammenhänge über das Objekt. Dies
können die präoperativen Daten während eines chirurgischen Eingriffes ebenso sein, wie die
Montageanleitung zur Verlegung von Kabelbäumen in einem Flugzeug. Einfache Anwendungen
werden heute bei Fußballübertragungen im Fernsehen dargeboten: Der Abstand zum Tor, die
günstigste Schussrichtung etc. werden zusätzlich zum Kamerabild eingeblendet. Erste Anwendungen
ersetzen das Instrumentenfeld des Autos und projizieren diese Informationen auf die
Windschutzscheibe.
2 Augmented Reality
17
Es ergibt sich also eine weite Bandbreite von AR Anwendungen, welche fast alle Bereiche des
Lebens umfasst. Einige Beispiele sind in der Abb. 2.3 aufgeführt.
Abbildung 2.3: Augmented Reality Anwendungen
Zurzeit sind die Anwendungen noch beschränkt. Sie beziehen sich in der Regel auf spezielle
Industrieanwendungen, auf den Forschungsbereich oder auf den militärischen Bereich. Hier zum
Beispiel werden Jetpiloten über Head Up Displays (HUD) über technische Daten des Flugzeuges oder
Objekte am Boden informiert. Eine der stärksten Förderungen zu Anwendungen von Augmented
Reality stellte das bis Juli 2003 vom Ministerium für Bildung und Forschung (BMB+F) geförderte
ARVIKA-Projekt in Deutschland dar. Hier wurden Augmented Reality Technologien zur
Unterstützung von Arbeitsprozessen in Entwicklung, Produktion und Service für komplexe technische
Produkte und Anlagen benutzerorientiert und anwendungsgetrieben erforscht und realisiert.
[FRIEDRICH00]
In der Medizin interessiert die innenliegende Struktur der dreidimensionalen und undurchsichtigen
Körper. Durch die vielfältigen bildgebenden Systeme der Medizin, bietet es sich gerade hier an, reale
Patientenbilder mit virtuellen Daten, welche beispielsweise aus CT oder MRT Aufnahmen gewonnen
wurden, zu verbinden. Somit können AR Systeme für die Operationsplanung, die Operation selbst
oder die medizinische Ausbildung genutzt werden. Medizinische Anwendungen der erweiterten
Realität bedienen sich meist brillenbasierter Techniken. Eine interessante technische Alternative zu
brillenbasierten Systemen stellen projektorbasierte Techniken dar, bei denen Daten direkt auf den
Patienten projiziert und im Sichtfeld des Chirurgen überlagert werden.
Die bisher bekannten Systeme weisen alle einen starken Prototypencharakter auf. Klinische
Anwendungen wurden bisher nur bei ausgesuchten Systemen und im Rahmen sehr enger Vorschriften
vorgenommen. [BURGERT01] Eine komplette Übersicht des Standes der Forschung medizinischer
Anwendungen von Augmented Reality wird im Abschnitt 3 behandelt.
Des Weiteren werden AR Technologien im Bereich des Kundendesign, z.B. zur Simulation von
Innenarchitektur und in der Unterhaltung (Wetterbericht) genutzt. Darüber hinaus sind noch vielfältige
Anwendungen z.B. im Verkehr oder bei Informationssystemen allgemein (Stadtinformationssysteme,
Museumsführungen) denkbar.
2.3 Augmented Reality versus Virtual Reality
Bei der Definition wurde Augmented Reality als Mischprodukt beschrieben. Sowohl reale als auch
computergenerierte Objekte oder Daten stehen dem Betrachter zur Verfügung („Mixed Reality“). Die
reale und die virtuelle Welt werden miteinander derart verschmolzen, dass für den Betrachter
2 Augmented Reality
18
möglichst keine Unterschiede zwischen realem und künstlichem Objekt bestehen. Dem Benutzer
zeigen sich somit nur die vereinigten Bilder. Dadurch geht der Kontakt mit der realen Umgebung nicht
verloren. Dem Nutzer ist es möglich, in virtueller und realer Welt zu agieren. Ein Vergleich von
Augmented Reality (AR) und Virtual Reality (VR) zeigt die folgenden Unterschiede [AZUMA01,
SCHÄFER03]:
1) Umgebungseinbildung
VR ist vollkommen unabhängig von seiner Umgebung. Es wird eine vollständige Szenerie
erschaffen, in der sich der Benutzer bewegen kann. Dadurch kann es überall angewendet werden,
doch nie in Verknüpfung mit der Außenwelt.
AR Systeme sind an die Umgebung gebunden. Das System orientiert sich an seiner realen Umwelt
und passt sich selbst daran an. Die Anforderung an ein solches System ist hier, dass es möglichst
überall angewendet werden kann. Dies soll sowohl für indoor als auch für outdoor Anwendungen
gelten.
2) Tragbarkeit
Im Falle von VR bewegt sich der Benutzer vollständig in einer begrenzten virtuellen Umgebung,
meist nur an einem bestimmten Platz. Der AR Anwender bewegt sich jedoch in der realen
Umgebung und agiert in dieser. Der Benutzer sollte vom System nicht in seiner
Bewegungsfreiheit eingegrenzt sein. Dies kann nur durch kleine, leichte und tragbare
Komponenten gewährleistet werden.
3) Rechenleistung
VR kreiert eine vollständige virtuelle Umgebung. Dazu werden eine hohe Rechenleistung und eine
hoch auflösende und möglichst fotorealistische Grafik benötigt.
AR begnügt sich mit der Darstellung einzelner Objekte. Das verringert deutlich die benötigte
Rechenleistung und bewirkt, dass oft nur einfache Grafiken oder schriftliche Informationen
eingeblendet werden.
4) Grafikdarstellung
Die angewendeten Komponenten, insbesondere die Displays des VR Systems, müssen höchsten
Ansprüchen genügen. Sowohl die Auflösung als auch die Farbvielfalt muss so hoch sein, dass eine
realistische Umgebung dargestellt werden kann.
AR benötigt im Falle eines Optical See Through Systems (Halbdurchlässige Brille) oft lediglich
eine einfarbige Darstellungsmöglichkeit. Meist genügt schon Strichgrafik oder auch Text um
Informationen darzustellen. Doch können mit anderen Systemen die Anforderungen an das
Equipment ebenso hoch sein, wie im Falle des VR Systems.
5) Tracking
VR Nutzer bewegen sich nur in einem künstlich erzeugten Raum und dort in der Regel auch sehr
wenig. Daher muss die Bestimmung der Lage und Orientierung des Systems nicht sehr genau sein,
denn es muss kein Abgleich mit der Realität durchgeführt werden.
Ein AR System hingegen ist direkt mit der Umwelt verbunden. Deshalb muss das System optimal
orientiert sein. Dazu wird ein ausreichend genaues Trackingsystem verwendet, das sowohl Lage,
als auch Orientierung des HMD liefert. Nur so können die Informationen und Grafiken dort
eingespielt werden, wo sie vorgesehen sind.
6) Registrierung und Erfassung
Aufgrund der Abgeschlossenheit des VR Systems müssen keine Objekte erfasst oder registriert
werden.
2 Augmented Reality
19
Anders verhält es sich im AR System. Die Einbindung realer Objekte in die digitalen Bilder ist
dann von Nöten, wenn diese sich zum Beispiel im Raum bewegen. Daher ist eine genaue
Registrierung in der Regel unumgänglich.
2.4 Anforderungen an AR Systeme
Durch die vielfältigen Anwendungen und entsprechende Auswahl an Displaytypen leiten sich eine
Vielzahl von Anforderungen an ein AR System ab. So kann man technische Anforderungen und
Anforderungen, die die Wahrnehmung des Nutzers betreffen unterscheiden. Jedoch sind die
Anforderungen eng miteinander verknüpft und lassen sich oft nicht trennen. In Abbildung 2.5
(Abschnitt 2.5) sind die allgemeinen Anforderungen und ihre Beziehungen aufgelistet. Im gleichen
Abschnitt werden die davon abgeleiteten klinischen und technischen Anforderungen erläutert, welche
sich speziell bei einem Einsatz in der Leberchirurgie ergeben.
Der Mensch nimmt seine Umwelt mit einem relativ guten Sehvermögen auf. Er ist dabei besonders auf
Linien und Kanten spezialisiert, um Objekte zu identifizieren. Kleinste Unstimmigkeiten zwischen
realer und virtueller Welt werden erkannt. Neben den anderen, mehr hardwaretechnisch geprägten
Anforderungen existieren zwei wichtige Aufgaben im Bereich Augmented Reality; die
Überlagerungsgenauigkeit und Systemechtzeit:
Überlagerungsgenauigkeit
Soll ein Objekt in die Umgebung eingeblendet werden (Abbildung 2.4), die Oberfläche eines Objektes
durch Überlagerung einer Grafik verändert oder eine Positionsanzeige eingefügt werden, muss das
künstliche Objekt mit dem realen Objekt in Lage und Form übereinstimmen.
Abbildung 2.4: Szene mit Marker (links); eine virtuelle Teekanne wurde mit dem Marker registriert
(rechts)
Sowohl die Position des Objektes als auch die Darstellung der vom Computer erzeugten Bilder
müssen äußerst genau ermittelt bzw. errechnet werden. Hierzu muss ein Trackingsystem die HMD
Position genau genug bestimmen und die Kalibrierungsparameter dürfen nicht außerhalb einer
akzeptablen Genauigkeit liegen. Die Kalibrierungen, besonders des HMD, müssen auch erhalten
bleiben bzw. wiederhergestellt werden, falls es zum Verrutschen des HMD auf dem Kopf kommt.
Systemechtzeit
Bei Kopfbewegung des Nutzers eines Augmented Reality Systems müssen sämtliche künstliche
Objekte dem sich ändernden Sichtfeld nachgeführt werden. Ist die Bewegung zu schnell, kann der
Rechner die neuen Positionen entweder nicht mehr erkennen oder errechnet sie zu langsam und die
2 Augmented Reality
20
computergenerierten Objekte gleiten aus ihrer vorigen Lage im Raum heraus. Eine fehlerhafte
Einblendung und ungenügende Übereinstimmung der virtuellen Daten mit der realen Umgebung kann
also gravierende Fehler hervorrufen. Besonders bei der Nutzung von Augmented Reality für die
Navigation kann eine falsche Positionsanzeige bisweilen unbemerkt zu Fehlern führen.
2.5 Klinische und technische Anforderungen
Bei der Verwendung von Augmented Reality Techniken in der Leberchirurgie ist der Schritt zum
Einsatz im Operationssaal geplant. Dies erhöht die Anforderungen an ein entsprechendes System. Alle
Komponenten müssen der Unterstützung des Operateurs dienen und dürfen ihn keinesfalls behindern,
um die entsprechende Akzeptanz zu erreichen. Dies gelingt nur bei höchster Genauigkeit und stellt
damit hohe Anforderungen an Kalibrierung, Tracking und Registrierung. Ebenso ist die
Echtzeitfähigkeit und Sicherheit des Systems zu gewährleisten. Bei den Optical See Through
Systemen wird das virtuelle Bild in einer gewissen Distanz vom Nutzer projiziert. Diese Distanz ist
meist fix, sollte jedoch einstellbar, zumindest in der zum operierenden Objekt liegenden Entfernung
sein.
Abbildung 2.5: Allgemeine Anforderungen an AR Systeme und ihre Beziehungen zueinander nach
[ROLLAND01]
Dem Operateur soll mit Hilfe der aus der präoperativen Segmentierung gewonnenen Daten die
Orientierung bei der Operation erleichtert werden. Dies erfordert nicht nur die Tiefennavigation der
Instrumente. Auch sämtliche virtuelle Daten sollten räumlich projizierbar sein.
Monochrome Displays sind für viele Anwendungen ausreichend. Dabei sollte man beachten, dass
monochrome Head Mounted Displays oftmals eine höhere Lichtdurchlässigkeit besitzen, da diese nur
für eine Wellenlänge abgedunkelt sind. Weiterhin sollte das Sichtfeld groß genug und die Auflösung
der projizierten virtuellen Daten hoch genug sein, um hilfreich den Operationsverlauf zu beeinflussen
und eine gute Sichtbarkeit zu erreichen. Bei der Nutzung eines Optical See Through HMD wird die
reale Welt in voller Auflösung wahrgenommen. In Übereinstimmung mit diesen Anforderungen und
2 Augmented Reality
21
um eine breite Akzeptanz zu finden, sollte das System nicht nur schnell, genau und hoch auflösend,
sondern auch leicht, robust und relativ preiswert sein. Die hohen Anforderungen hinsichtlich der
Qualität beeinflussen dabei direkt die Herstellungskosten.
Weitere mögliche Problemstellungen, wie die Anpassung der Informationen an neue
Umgebungsbedingungen (Adaption) und die Einhaltung der Schärfentiefe seien hier nur erwähnt,
fallen aber aufgrund des begrenzten Operationsgebietes nicht ins Gewicht.
Die aufgeführten allgemeinen Anforderungen an AR Systeme, die wahrnehmungsbedingten
Anforderungen und ihre Beziehungen zueinander sind nach [ROLLAND01] in der Abbildung 2.5
zusammengefasst.
Weitere ergänzende Kriterien, die die Handhabbarkeit eines solchen Systems beeinflussen, können
nach [OEHME04] folgende Punkte sein:
• geringes Gewicht, gute Schwerpunktslage, hoher Tragekomfort,
• wegklappbar bzw. leichtes Auf- und Absetzen,
• brillentauglich / fehlsichtkorrigierbar,
• justierbar (Einfachheit, Stabilität),
• kabellos,
• äußere Ansteuerung (Kopfhörer, Mikrofon, haptische Geräte) und
• Arbeitszeittauglichkeit.
3 AR Anwendungen in der Medizin
23
3 AR Anwendungen in der Medizin – Stand der Forschung
Augmented Reality in der Medizin bietet dem Anwender die Möglichkeit, chirurgische Eingriffe zu
planen und sich bei ihrer Durchführung unterstützen zu lassen. Außerdem können mit Hilfe dieser
Technologie Simulationen anatomischer Vorgänge zu Darstellungs- und Ausbildungszwecken erzeugt
werden. Bei den meisten medizinischen Anwendungen geht es um die Überlagerung präoperativ
gewonnener virtueller Daten aus CT-, MRT- oder Ultraschallaufnahmen mit dem zu behandelnden
Körperteil des Patienten. Somit können komplexe anatomische, z.T. sogar funktionelle Zusammen-
hänge, dargestellt werden.
Trotz einer großen Anzahl laufender und abgeschlossener Arbeiten gelangte bisher noch kein See
Through Projekt zum intraoperativen Einsatz. Dies liegt einerseits an der zu geringen (oder nicht
untersuchten) Genauigkeit der Systeme, andererseits daran, dass andere technische und klinische
Anforderungen nicht erfüllt werden konnten. Intraoperativ werden z.Z. Monitorsysteme eingesetzt.
Beim Heidelberger Navigationssystem (s. Abschnitt 4.4.3) werden am autostereoskopischen Monitor
(örtlich vom eigentlichen Objekt getrennt) die präoperativen Daten im räumlichen Bezug zur aktuellen
Position des operierenden Instrumentes angezeigt.
Beim Studium der Arbeiten anderer Arbeitsgruppen wird deutlich, dass sich bisher wenige
Arbeitsgruppen erfolgreich mit Optical See Through Systemen beschäftigt haben. Dies liegt wohl
hauptsächlich an der besonderen Schwierigkeit der positionsgenauen Überlagerung der virtuellen
Daten mit dem Objekt und der Erhaltung der Kalibrierung bei Verrutschen des Head Mounted
Displays. Zur Verdeutlichung dieser Einschätzungen wird im Folgenden ein Überblick über
Arbeitsgruppen gegeben, welche sich mit dem Einsatz von Augmented Reality beschäftigen.
Da es mehrere Techniken zur Visualisierung der generierten Modelle und Daten gibt, soll auch hier
zwischen den grundsätzlichen Varianten unterschieden werden. Die Techniken selbst werden später
(Abschnitt 5) detailliert erläutert.
3.1 Head Mounted Displays und Mikroskope
Head Mounted Displays (HMD) sind spezielle Brillen, die eine Einblendung der aus Computer-
tomographien oder anderen Quellen aufbereiteten Daten in die Displays erlauben. Dabei muss
zwischen Video See Through Technologie und Optical See Through Technologie unterschieden
werden. Bei der Video See Through Technologie wird die Operationsumgebung von Kameras am
HMD aufgenommen, mit den zusätzlichen Informationen überlagert und in das HMD Display geleitet.
Bei der Optical See Through Technologie werden die virtuellen Daten über Spiegel in die Optik des
Displays eingeblendet. Die reale Umgebung wird direkt wahrgenommen. Ähnliches gilt für AR
Mikroskope, die im Grunde HMD mit einer Vergrößerungsoptik sind.
Im Folgenden sollen einige Projekte, welche HMD Technologie verwenden, erläutert werden
(vergleiche auch [ELGNER02]):
University of North Carolina
Das UNC Ultrasound Projekt [ACKERMANN00, STATE01] der University of North Carolina beschäftigt
sich mit der Echtzeit-Verknüpfung von Ultraschall- und Videodaten. Dabei werden aus
Ultraschallaufnahmen gewonnene Daten zur Modellierung von inneren Organen verwendet, welche
dann auf die Videobilder des Patienten durch eine virtuelle Öffnung im Leib eingeblendet werden. Die
Visualisierung erfolgt über ein HMD mit Video See Through Technologie, ausgestattet mit zwei
Miniaturkameras und einem Sony Glasstron Display. Die Datenerfassung und die Bildwiedergabe
erfolgt mit 10.Hz. Das Tracking erfolgt optoelektronisch. Genutzt werden soll dieses System bei
Laparoskopien, Brustbiopsien, Endoskopien und beim Einsetzen von Kathetern.
Ein weiteres, ähnliches Projekt der UNC [FUCHS98] beschäftigt sich mit der Verknüpfung von
Laparoskopien mit Augmented Reality. Die Hardware besteht aus einem Video See Through Head
3 AR Anwendungen in der Medizin
24
Mounted Display mit zwei LCD-Displays und der Möglichkeit der stereoskopischen Darstellung.
Weitere Bestandteile sind ein elektronischer Tracker der UNC für den Kopf des Chirurgen sowie
einem FlashPoint 5000 (Image Guided Technologies, Inc.) für das Tracking des Laparoskops. Eine
Besonderheit dieses Systems ist die Möglichkeit, die Tiefeninformationen mittels Lichtschnitt-
verfahren aus den Kameradaten des Laparoskops zu gewinnen. Dabei werden vertikale Linien mit
einem Projektor, der in das Laparoskop integriert ist, erzeugt und mit einer Kamera, die an das
Laparoskop gekoppelt ist, aufgenommen. Das Endergebnis der Datenzusammenführung besteht für
den Chirurgen in der Darstellung der vom Laparoskop aufgenommenen und dann modellierten Daten
durch eine synthetische Öffnung im Leib des Patienten.
Siemens AG
Ein Projekt namens „augmented workspace“ der Siemens AG [SAUER01] beschäftigt sich mit der
Visualisierung von Ultraschallbildern durch ein Video See Through Head Mounted Display. Dieses
HMD (Kaiser ProView.XL.35) ist mit zwei Farb-CCD Kameras (Panasonic) zur Erfassung der
Umgebung ausgestattet. Eine dritte Kamera (Sony) ist zu Zwecken des Tracking auf der Oberseite des
Displays installiert. Das System hat eine Bildwiederholungsrate von 30.Hz bei einer Latenz von
0,1.Sekunden, bei einer Wiedergabe von stereoskopischen Bildern mit einer Auflösung von
1024*768.Pixel, der zurzeit höchsten erreichbaren Auflösung von kommerziell erhältlichen LCD-
basierten HMD. Der Anwender hat bei diesem System die Möglichkeit, das Ultraschallbild
einzufrieren oder künstliche Öffnungen im Körper des Patienten zu erzeugen, um sich einen besseren
Überblick zu verschaffen. Dieses Augmented Reality System befindet sich noch im
Entwicklungsstadium. Es wurde bisher nur an Modellen getestet, jedoch ist der spätere Einsatz,
beispielsweise in Biopsien, geplant. Modifiziert und in Details weiterentwickelt wurde das System von
[VOGT03].
Universität Wien
Das Varioskop AR, entwickelt von der österreichischen Firma Life Optics, wird von der
Universitätsklinik der Universität Wien [BIRKFELLNER00, FIGL01] zur Mikroskopie in Verbindung
mit einem Head Mounted Display eingesetzt. Es handelt sich hierbei um ein Gerät mit Optical See
Through Technologie, bei dem die computergenerierten Bilder über ein Spiegelsystem in den
optischen Gang eingeblendet werden. Die Auflösung des Displays beträgt 640*480.Pixel. Das
Tracking erfolgt sowohl optisch als auch magnetisch. Die Registrierung des Patienten mit den
präoperativ erhobenen Daten erfolgt über das ebenfalls vom Universitätsklinikum entwickelte
Navigationssystem VISIT. Das System erreicht eine Updaterate von 6.Hz und die Übereinstimmung
zwischen den Umgebungs- und den Displaykoordinaten liegt bei etwa 1,7.Pixel. Die angegebene
Systemgenauigkeit liegt bei 0,9.mm mit einer Standardabweichung von 0,4.mm. Die
Weiterentwicklung zum VarioskopTM M5 AR und dessen automatische Kalibrierung wird in [FIGL05]
beschrieben.
United Medical and Dental Schools of Guys and Saint Thomas’s Hospitals
Forscher des United Medical and Dental Schools of Guys and Saint Thomas’s Hospitals
[EDWARDS00, HAWKS01, ROLLAND00] in England haben ein Stereomikroskop entwickelt, in dessen
Optik aufbereitete MRT- oder CT-Daten eingeblendet werden. Dabei kann es sich um die Darstellung
von Verletzungsrändern, Nervensträngen, Knochen und Blutgefäßen handeln. Registriert wird das
Mikroskop anhand von anatomischen Punkten oder durch selbst aufgesetzte Markierungen. Nach der
Verwendung von Farbdisplays mit geringem Kontrast entschied man sich dazu, Monochrom-Displays
mit höherem Kontrast einzusetzen. Das so genannte MAGI-System (Microscope Assisted Guided
Interventions) entspricht einem Optical See Through System in Mikroskopgröße. Die
Überlagerungsgenauigkeit liegt bei 3-4.mm [EDWARDS00].
Universität Karlsruhe
Am Institut für Prozessrechentechnik, Automation und Robotik der Universität Karlruhe wird das
System ARNO (Augmented Reality for Navigated Operating Microscopes) entwickelt [WÖRN05,
ASCHKE03]. Ähnlich dem im vorigen Abschnitt beschriebenen System von [EDWARDS00] ist die
dreidimensionale Einblendung präoperativ generierter Modelle in das Operationsmikroskop während
3 AR Anwendungen in der Medizin
25
eines neurochirurgischen Eingriffes geplant. Ein besonderer Schwerpunkt liegt dabei auf der
Transformation der zweidimensionalen Daten, um diese korrekt bezüglich des dreidimensionalen Situs
zu visualisieren. Die bisher erzielte Genauigkeit wird mit einer Standardabweichung von 0,04.mm
angegeben. Zur äußeren Visualisierung auf dem Schädel von geplanten Bohrungen, Schnittverläufen,
Biopsiepunkten und der Lage von Regionen von Tumoren wird zusätzlich ein projektorbasiertes AR
System eingesetzt. Die Standardabweichung der Visualisierung wir mit 1.mm angegeben [WÖRN05]
Die Modellierung von Gewebestrukturen, vor allem von Weichgewebe, hat sich eine weitere
Forschungsgruppe der Universität Karlsruhe [BURGERT01, EGGERS05] vom Institut für Technische
Informatik zur Aufgabe gemacht. Ziel ist es, chirurgische Eingriffe zur Beseitigung von
Weichgewebs- und Knochendefekten mit Augmented Reality (projektionsbasiert bzw. Optical See
Through Display) zu unterstützen. Erprobt wurde das INPRES-System, bestehend aus einem Sony-
Glasstron Display und zwei Miniaturkameras bei der Untersuchung von Unterkiefermodellen. Das
optische Tracking übernimmt ein NDI Polaris Trackingsystem. Für die Kopfverfolgung wird eine 360°
Panoramakamera eingesetzt. Die Einblendung der Daten seitens der Brille erfolgt in einer Entfernung
von 1,20.m. Die Weichgewebssimulation mittels des INPRES-Systems soll detaillierter und
realistischer sein, als existierende Weichgewebsmodelle. Die angegebene resultierende Genauigkeit
wird kleiner als 3.mm erwartet. Momentan wird daran gearbeitet, die Technologie auf komplexe
dreidimensionale Datensätze auszulegen. Außerdem sollen die Transformation und die Überlagerung
später in Echtzeit erfolgen.
University College London
Im Mittelpunkt der Arbeit an der University College London [CHIOS04, LAPEER03] steht das
CAESAR-Projekt (Computer-Assisted ENT Surgery using Augmented Reality). Ziel ist die
Entwicklung eines AR Konzeptes, welche die komplexe Ohren- und Schädelbasischirurgie verbessern
soll. Dreidimensionale Daten, welche aus präoperativen CT/MR Daten stammen, werden mit dem
stereoskopischen Blick durch ein Operationsmikroskop verschmolzen und gemeinsam auf einem
autostereoskopischen Display dargestellt. Darüber hinaus wurde eine zweite Möglichkeit umgesetzt.
Dabei werden die Daten aus der präoperativen Planung in einem Display eingeblendet, welches direkt
vor dem Okular des Mikroskops befestigt ist.
National Cancer Center Hospital Tokyo
Ausbildung, Training und Planung von onkologischen Eingriffen zur Geschwulstbeseitigung mittels
Augmented Reality werden am National Cancer Center Hospital [SOFERMAN98] in Tokyo (Japan)
erprobt. Hierbei werden Organe und Tumore, deren Daten aus Computertomographien oder
Magnetresonanzaufnahmen ermittelt werden, virtuell simuliert und diese Modelle auf ein Head
Mounted Display übertragen. Die Verknüpfung der realen Welt in die Visualisierung erfolgt über zwei
Videokameras. Das AR System erreicht eine Bildwiederholrate von 11-12.Hz bei monoskopischen
und 6-7.Hz bei stereoskopischen Darstellungen und kann bis zu 15000 sichtbare Polygone zeichnen.
Die aktuellen Arbeiten bezeugen eine Verlagerung des Schwerpunktes auf die dreidimensionale
Visualisierung von Leberstrukturen aus CT Daten [SHIMIZU04]. Eine Visualisierung auf einem Head
Mounted Display wird nicht mehr erwähnt.
University of Central Florida
Die University of Central Florida [ARGOTTI01] in Orlando hat das so genannte VRDA (Virtual
Reality Dynamic Anatomy) Tool entwickelt, das eine Überlagerung des Knies eines Patienten mit
einem modellierten Kniegelenk ermöglicht. Die Visualisierung erfolgt über ein Optical See Through
Head Mounted Display mit einer Auflösung von 640*480.Pixel. Das optische Tracking erledigt ein
Optotrak 3020 System (Northern Digital Inc., Waterloo, Kanada). Die Entwicklung zielt darauf ab,
neben Knochen und Gelenken auch Bänder und Muskeln darzustellen.
Jikei University
Die Jikei Universität [SUZUKI98] in Tokyo (Japan) hat ein Force Feedback System entwickelt, das
Echtzeitsimulationen von chirurgischen Eingriffen, speziell an elastischen Organen (z.B. der Leber),
ermöglicht. Der Chirurg erhält die Möglichkeit, die dreidimensionalen Organmodelle, die aus
3 AR Anwendungen in der Medizin
26
Computertomographien oder Magnetresonanzaufnahmen abgeleitet sind, mit der Hand oder
Instrumenten zu manipulieren. Das Force Feedback System, welches durch speziell dafür entwickelte
Handschuhe Kontakt zum Anwender über Daumen, Zeige- und Mittelfinger erhält, simuliert einen
direkten Kontakt zum Patienten. Die visuellen Daten werden über ein Head Mounted Display an den
Chirurgen übermittelt. Es wurden Updateraten von 10 Bildern pro Sekunde bei der Manipulation eines
Lebermodells mit einer geringen Latenz erreicht, wobei die Bilderzeugung nur ein Zehntel der
Geschwindigkeit des Force Feedback Systems beträgt. In aktuellen Veröffentlichungen [SUZUKI04]
wird über die Weiterentwicklung des Force Feedback Systems und der zugehörigen
Organmodellierung berichtet. Auf die Visualisierung über ein Head Mounted Display wird nicht
eingegangen
3.2 Monitordarstellungen
Die Darstellung auf Monitoren ist die konventionellste Methode, Augmented Reality zu visualisieren.
Monitore sind relativ preiswert und besitzen die Möglichkeit, mehrere Darstellungen gleichzeitig zu
betrachten. Insbesondere autostereoskopische Monitore haben sich für eine verbesserte
Tiefenorientierung als vorteilhaft erwiesen. Der Nachteil von Monitorbasierten AR Ansätzen besteht
darin, dass während der Betrachtung des Monitorbildes Handlung und Beobachtung räumlich getrennt
sind.
Am Deutschen Krebsforschungszentrum (DKFZ) Heidelberg wurden für die Navigation in der
Leberchirurgie mittels autostereoskopischer Monitore bereits die erforderlichen Grundlagen gelegt.
Später werden diese Arbeiten im Abschnitt 4 ausführlich erläutert, da sie eine wesentliche Grundlage
dieser Arbeit darstellen. Des Weiteren stellen stereoskopische Monitordarstellungen eine wesentliche
Grundlage der Photogrammetrie dar und an der Technischen Universität Berlin existieren jahrelange
Erfahrungen mit den unterschiedlichen Darstellungsmöglichkeiten. Die Arbeit zielt darauf, den
Nachteil der räumlichen Trennung zwischen Handlung und Beobachtung durch See Through
Technologie aufzuheben.
Die Visualisierung von aufbereiteten präoperativen Aufnahmen gehört bereits zum klinischen Alltag.
Besonders für komplizierte chirurgische Eingriffe ist diese Form der Operationsplanung unerlässlich.
Dabei gibt es vielfältige Bemühungen diese Daten mit der intraoperativen Bildgebung zu
verschmelzen (Registrierung) und entsprechend gemeinsam zu visualisieren. Eine besondere
Herausforderung ist dabei die Berücksichtigung der aktuellen Deformationen während der Operation.
Weit fortgeschritten ist die AR Visualisierung bei endoskopischen Eingriffen. Auffällig ist der
Anspruch älterer Publikationen die Visualisierung auf Stereomonitore bzw. Head Mounted Displays
zu erweitern, welches jedoch kaum realisiert wurde. Die Gründe hierfür liegen wohl in der fehlenden
Nutzerakzeptanz und der fehlenden Korrektur der Kalibrierung beim möglichen Verrutschen des
Displays.
Aus der Vielfalt der Arbeiten auf dem Gebiet der AR Monitordarstellungen soll im Folgenden die
Arbeit einiger Einrichtungen beispielhaft beschrieben werden.
Universität Erlangen-Nürnberg/ Technische Universität München
Forscher der Universität Erlangen-Nürnberg und der Technischen Universität München
[SCHEUERING01, SCHEUERING02] beschäftigen sich mit Augmented Reality in der Laparoskopie. Bei
ihrem System werden laparoskopische Videoaufnahmen mit dreidimensionalen Volumendaten, die aus
Computertomographieaufnahmen errechnet werden, überlagert. Sie setzen ein Volume Rendering
System mit zweidimensionalen Multitexturen ein, das ihnen eine Überlagerung in Echtzeit ermöglicht.
Die Verwendung von Multitexturen erlaubt es, mehrere Texturen auf einem Polygon unterzubringen
und sie zu überlagern. So ist z.B. auch die Darstellung der Blutgefäße der Leber zusätzlich zu ihrer
Oberfläche auf einem Modell möglich. Eingebunden wird dieses Volume Rendering System in die
Softwareplattform syngo, entwickelt von der Siemens AG. Ein elektromagnetisches
Navigationssystem miniBIRD™.800 (Ascension Technology Corp.) übernimmt das Tracking, wobei
der Sender zwischen den Patientenbeinen platziert wird. Das System wurde sowohl an
3 AR Anwendungen in der Medizin
27
Patientenmodellen als auch bei echten minimal-invasiven Lebereingriffen eingesetzt. Bei Versuchen
mit Testobjekten erreichte man eine Genauigkeit der Überlagerung von 5.mm.
IRCAD Strasbourg
Am Digestive Cancer Research Institute (IRCAD) Strasbourg [SOLER04] wird an der Entwicklung
eines AR Systems für Operationen des Abdomens (Bauchhöhle) geforscht. Laparoskopische
Videoaufnahmen der Operation werden mit dreidimensionalen präoperativen CT Aufnahmen
verknüpft. Beim Tracking der Operationsnadeln auf der Basis des ARToolKit [KATO99] konnten
Fehler in der Abweichung unter 1 mm erreicht werden. Die durchschnittliche Genauigkeit bei
Phantomversuchen zum Anzielen virtueller Punkte wird mit 1,8 mm angegeben.
Katolike Universiteit Leuven
Die Arbeitsgruppe von der Katolike Universiteit Leuven [DEBUCK05] erarbeitet ein AR System zur
patientenspezifischen Unterstützung bei Herzkathederprozeduren (Kathederablation). Bei diesem
System werden drei verschieden Informationsquellen kombiniert. Zur gleichzeitigen Visualisierung
gelangen das patientenspezifische Model des Herzens, intraoperative fluoroskopische Bilder und die
Messungen des kathederbasierten Elektrokardiogramms der Herzwand. Das patientenspezifische
Modell wird aus präoperativen MR Bildern gewonnen. Die fluoroskopischen Bilder liefern
Rückschlüsse auf die Position des Katheders und mögliche Probleme während des Eingriffes. Die
erreichbare Registrierungsgenauigkeit wird mit 1,04±0,45 mm angegeben.
Technische Universität Dresden
Die Technische Universität Dresden [SCHNEIDER01] beschäftigt sich mit der intraoperativen
computerassistierten Navigation bei Dentalimplantationen. Vor dem Eingriff finden eine 3D
Vorabplanung des Implantats und Computertomographien für die spätere Modellierung statt. Mit Hilfe
des Navigationssystems STN der Firma Carl Zeiss (Oberkochen) und der darauf abgestimmten
Navigationssoftware STP.4 (Leibinger, Freiburg) erfolgt dann der Eingriff und somit das Einsetzen
des Zahnimplantates. Das im Rahmen des Projektes eingesetzte Ortungssystem empfängt mit einer
über dem Operationstisch befindlichen Kamera die Signale von drei Infrarot-Leuchtdioden. Die
Lokalisierungsgenauigkeit liegt bei 0,79.mm mit einer Standardabweichung von 0,25.mm. Die
Abweichung zwischen Planung und Operationsergebnis, eine erneute Computertomographie liefert
den Vergleich, beträgt 0,68.mm mit einer Standardabweichung von 0,63.mm. Bis jetzt fanden jedoch
nur Implantationen an Unterkiefermodellen statt.
Massachussetts Institute for Technology (MIT)/ Harvard Medical School
Ein bildgestütztes Navigationssystem in der Neurochirurgie stellte das MIT AI Laboratory
[WARFIELD02] vor. Es soll den Chirurgen bei der Entfernung der Schädeldecke, zur Abgrenzung von
Tumoren und zur Lokalisierung von wichtigen Blutgefäßen unterstützen. Entwickelt wurde ein
Algorithmus, welcher die kombinierte Darstellung von präoperativ generierten Daten mit der
intraoperativen Bildgebung erlaubt. Die segmentierten dreidimensionalen Modelldaten erhält man
primär aus Magnetresonanzscans, jedoch ist auch die Einbindung anderer Bilddaten möglich.
Während der Operation werden diese Daten gemeinsam mit den Daten des offenen
Magnetresonanztomographen auf einem LCD Bildschirm dargestellt. Bei der Registrierung der
präoperativen Daten mit den intraoperativen werden die aktuellen Deformationen des operierten
Gehirns berücksichtigt. Genauigkeitsangaben sind nur in älteren Veröffentlichungen zu finden
[MELLOR95].Die dort angegebene Genauigkeit des Systems, in diesem Fall die Abweichung zwischen
der erwarteten Position und der durch das System ermittelten Position von Passpunkten, liegt bei
weniger als 2.Voxel bzw. etwa 1.mm.
Image Research Laboratory
Das Image Research Laboratory [DEY00] in London (Ontario, Kanada) führte Daten aus Computer-
tomographien eines künstlichen Kopfmodelles mit endoskopischen Videodaten eines AESCULAP
Neuro-Endoskops zusammen und erreichte damit eine dreidimensionale Darstellung der Position des
Endoskops im menschlichen Gehirn. Für das Tracking wurde ein optisches POLARIS Trackingsystem
(Northern Digital, Inc.) benutzt, wobei sich die LEDs am Endoskopschaft befanden. Die Genauigkeit
3 AR Anwendungen in der Medizin
28
wird mit 2,4.mm angegeben, wobei man eine Genauigkeit der Bestimmung der Position der
Endoskopspitze mit 1.mm erreichte. Das Endergebnis besteht aus einer stereoskopischen Darstellung
der Endoskopposition im Gehirn, sichtbar durch eine künstlich entfernte Schädeldecke.
Tokyo Women’s Medical University/ Olympus Optical Corp.
Die Tokyo Women’s Medical University [AKATSUKA00, ISEKI03] in Japan hat ein Navigationssystem
für endoskopische Eingriffe in der Neurochirurgie vorgestellt. Während der Operation werden Tumore
als Drahtgittermodelle, die aus Daten aus der Computertomographie und aus
Magnetresonanzaufnahmen erstellt werden, in Echtzeit auf die Videobilder des Endoskops überlagert.
Des Weiteren können zusätzliche Informationen eingeblendet werden. Der Chirurg erhält die Bilder
über Monitore im Operationssaal. Das Tracking erfolgt optisch mit einem Flashpoint.5000
Trackingsystem (IGT Inc., Boulder, USA) über LEDs, die zum einen am Kopf des Patienten und zum
anderen am Endoskop befestigt sind. Die Genauigkeit der Bestimmung der Position der
Endoskopspitze wird mit 10.mm und die Genauigkeit der Bildüberlagerung mit weniger als 2.mm
angegeben. Dieses Navigationssystem wurde schon erfolgreich zur Tumorentfernung an der
Hypophyse eingesetzt.
Wayne State University
An der Wayne State University [PANDYA05] wird ebenfalls Augmented Reality für den Einsatz in der
Endoskopie entwickelt. Präoperative Daten aus CT Aufnahmen werden mit dem Live Video des
Endoskops verschmolzen und dem Chirurgen am Monitor präsentiert. [PANDYA05] geht in seiner
Darstellung auf die nützliche Kombination von Augmented Reality mit Virtual Reality ein. Die
Umsetzung der AR Komponente basiert dabei weitgehend auf dem ARToolKit von [KATO99].
Scuola Superiore S. Anna/ Istituti Ortopedici Rivolli
Die Verwendung von Augmented Reality im Bereich der Knie-Arthroskopie ist das Ziel der Scuola
Superiore S. Anna in Pisa und des Istituti Ortopedici Rizolli in Bologna [TONET00]. Das Endprodukt
der Entwicklung wird ein Navigationsgerät sein, mit dessen Hilfe und der dazugehörigen Darstellung
der zusammengeführten Daten auf Monitoren der Chirurg minimal-invasive Eingriffe am Knie
vornehmen kann. Die Quelldaten für die Modellierung des Gelenks erhält man aus
Computertomographien oder Magnetresonanzaufnahmen. Das Tracking übernimmt ein opto-
elektronischer Tracker Flashpoint.5000 (IGT Inc., Boulder, USA). Die Genauigkeit des Systems wird
mit 2,3.mm und die Updaterate mit 13.Hz angegeben.
Medical Applications Group, VICOMTech, Donostia-San Sebastián (Spanien)
[PALOC04] beschreibt den Einsatz eines AR Navigationssystems in der Leberchirurgie, ähnlich dem
im Abschnitt 4 beschriebenen Heidelberger Navigationssystem. Die präoperativen Daten werden
mittels MRT erhoben und mittels Bildanalyse segmentiert und rekonstruiert. Die Registrierung der
Daten erfolgt mit einem optischen Trackingsystem. Danach können diese virtuellen Strukturen an
einem autostereoskopischen Monitor dargestellt werden. Die Registrierung erfolgt dabei über drei am
Abdomen befestigte Marker, welche sowohl durch das MRT, wie auch dem optischen Trackingsystem
erfasst werden können. Die Genauigkeit wird im Millimeterbereich angegeben. Der klinische Einsatz
muss dabei noch getestet werden. Im Gegensatz zum Navigationssystem des DKFZ Heidelberg
werden nicht die Gefäßbäume, Tumor und deren Lage zum Instrument segmentiert. Segmentiert und
dargstellt wird nur das gesamte Parenchym der Leber auf dem Torso. Die Deformation der Leber
während der Operation wird ebenfalls nicht berücksichtigt.
Fraunhofer IGD Darmstadt, Ewha Women’s University Seoul
Das IGD Darmstadt unterhält in Kooperation der Ewha Women’s University in Seoul (Südkorea)
[BEHR99] das Projekt Med-SANARE. Hierbei handelt es sich um die modellierte und animierte
Darstellung des schlagenden Herzens. Die Daten, die für die Modellierung gebraucht werden, erhält
man aus MRT- oder CT-Scans. Die Darstellung erfolgt auf einem Monitor, welcher mit
entsprechenden Brillen auch stereoskopisch betrachtet werden kann. Das Modell beinhaltet dabei eine
dynamische Farbgebung, die die Färbung der Bewegung anpasst. Dieses Projekt hat das Ziel,
3 AR Anwendungen in der Medizin
29
Ausbildung anhand von kardiologischen Simulationen anzubieten und später sogar als Cardiac Station
Diagnosen durchzuführen [BEHR00].
3.3 Semiautomatische Instrumentenführung
Bei der semiautomatischen Instrumentenführung werden die Instrumente durch den Operateur geführt.
Navigationssysteme können dabei je nach Bedarf die Instrumente steuern bzw. an gewünschten
Zielorten platzieren. Semiautomatisch bedeutet dabei meist, dass das entsprechende Instrument unter
Aufsicht des Chirurgen selbst Eingriffe vornehmen kann. Die Einblendung bzw. Visualisierung
virtueller Daten spielt dabei eine eher untergeordnete Rolle. Die jeweiligen Projekte sind jedoch
hinsichtlich des Trackings, der Kalibrierung und Registrierung interessant.
TIMB Grenoble
Das TIMB [MELLOR95] in Grenoble (Frankreich) experimentiert mit einem robotergestützten
Navigationssystem für die Chirurgie. Diesen Roboter kann man in verschiedenen Modi von passiv bis
semiautomatisch betreiben. Im passiven Modus überlagert er Bilder der inneren Anatomie eines
Patienten, die aus prächirurgischen Scans stammen, mit der Position einer Sonde bzw. des
chirurgischen Instruments. Dabei wird eine Genauigkeit von etwa 5.mm erreicht. Im
semiautomatischen Modus kann das Gerät unter Aufsicht des Chirurgen selbst Eingriffe vornehmen.
Kalibriert wird das System durch einen speziellen Käfig, der neben dem Patienten platziert wird. Dann
werden Röntgenaufnahmen durchgeführt. Die Beziehung zwischen den prächirurgischen Scans, den
Röntgenbilder und dem Roboter wird durch 3D/ 3D Matching hergestellt.
Siemens AG Erlangen
Die Siemens AG in Erlangen [MITSCHKE00] hat das CAMC-System, das mit einer CCD Kamera
bestückt ist, entwickelt (camera augmented mobile C-Arm), mit welchem sich auch Augmented
Reality Anwendungen betreiben lassen. In diesem speziellen Fall handelt es sich um die intraoperative
Zusammenführung von CCD Video- und fluoroskopische Daten in Echtzeit. Ziel ist es, eine
Nadelplatzierung, aber theoretisch auch die Platzierung anderer chirurgischer Instrumente oder die
Positionierung von Schrauben unter einer möglichst geringen Strahlenbelastung, also mit wenigen
fluoroskopischen Aufnahmen, unter semiautomatischer Instrumentenführung durchzuführen. Es
werden zwei Fluoroskopien von verschiedenen Positionen des C-Arms durchgeführt. Man erhält
jeweils eine Fläche, die die Projektionen sowohl vom Eintrittspunkt als auch vom Zielpunkt der Nadel
enthält. Durch die Zusammenführung beider Flächen kann man die dreidimensionale Orientierung der
Nadel ermitteln. Mit Hilfe zusätzliche Röntgenaufnahmen wird die Orientierung überprüft und die
Genauigkeit gesteigert. Weiterführende Arbeitsschritte lassen sich, sofern der Patient nicht bewegt
wird, allein unter Verwendung der Videodaten durchführen. Die Visualisierung der Überlagerung von
CCD- und Röntgendaten findet mittels eines Doppelspiegelsystems statt.
3.4 Standdisplays/ Doppelspiegelsysteme
Standdisplays und Doppelspiegelsysteme sind immobil und werden direkt über dem Patienten
platziert. Ihre Kalibrierung und das Tracking sind nicht so aufwendig wie bei HMDs, jedoch können
sie während der Operation mitunter störend wirken. Vorteil ist, dass die Verkabelung des Nutzers, wie
sie bei HMDs meist noch notwendig ist, entfällt.
MEDARPA Darmstadt
Das Projekt Medarpa [SCHNAIDER03] des Zentrums für Graphische Datenverarbeitung e.V. Darmstadt
befasst sich mit der Umsetzung eines AR Szenarios auf der Grundlage eines frei beweglichen AR
Displays. Dieses Display dient der Darstellung der virtuellen Daten direkt über dem Operationsfeld
mit Hilfe eines semitransparenten 17“ großen Displays mit einer Auflösung von 1024x768.Bild-
punkten bei 75.Hz. Die Trackingaufgaben werden durch ein optisches Infrarotsystem und dem
3 AR Anwendungen in der Medizin
30
magnetischen Trackingsystem Minibird von Ascension übernommen. Das Ziel des Projektes ist ein
preiswerter und effizienter Einsatz für die Chirurgie. Das System wird dabei exemplarisch für
verschiedene Szenarien wie Punktion, Biopsie, Krebstherapie, Brachytherapie und Herzchirurgie im
klinischen Alltag erprobt.
ARSyS-Tricorder
Der ARSyS-Tricorder [GOEBBELS02, GOEBBELS03] ist eine Entwicklung des Fraunhofer Instituts für
Medienkommunikation Sankt Augustin, der Fraunhofer Gesellschaft TEG, Stuttgart und der Klinik
und Poliklinik für Mund-Kiefer-Gesichtschirurgie der TU München. Dabei soll ein AR System zur
Unterstützung der Mund-Kiefer-Gesichtschirurgie entwickelt werden. Das Ziel des ARSyS-Tricorder
Projekts ist die hochgenaue dreidimensionale Videoüberlagerung von Planungsbilddaten mit dem
Operationssitus in Echtzeit. Diese anatomischen Strukturen sollen dreidimensional über ein
transparentes Display eingeblendet werden, wobei der Chirurg eine Stereo-Brille tragen soll. Das
Displaysystem ist in den mechanischen Arm einer OP-Lampe integriert. Dieser Arm hält dann ein
Spiegelsystem, Projektoren und eine bildaufbauende Projektionsscheibe. Ein optisches
Trackingsystem hat die Aufgabe die Bewegungen des Betrachters, des Displays und des Patienten zu
registrieren. Der Einsatz ist zurzeit für Trainings- und Ausbildungszwecke geplant.
Blaise Pascal Universität Clermont Ferrand
Die Blaise Pascal Universität Clermont Ferrand [ROLLAND00] in Frankreich stellte ein System vor,
das die Korrektur von Skoliosen (Wirbelsäulenverkrümmungen) unterstützen soll. Es handelt sich
hierbei um ein Hybridsystem in der Form, dass Video und Optical See Through Technologien
gleichzeitig verwendet werden. Die Videodaten werden für das Tracking, das optische System für die
Visualisierung, benötigt. Das System ist immobil, liegt also in Form eines Slice Displays über dem
Patienten vor. Die virtuellen Daten werden über Spiegel eingeblendet.
University of Pittsburgh/Carnegie Mellon University
Die University of Pittsburgh [STETTEN01] und die Carnegie Mellon University haben sich das Ziel
gesetzt, die so genannte RTTR-Technologie (Real Time Tomographic Reflection) als Navigationshilfe
für Nadelbiopsien einzusetzen. RTTR-Aufnahmen werden mit Ultraschall durchgeführt. Diese
Aufnahmen werden dann mit Hilfe eines halbversilberten Spiegels auf den Körper des Patienten
eingeblendet. Das Gerät haben die Entwickler „Sonic Flashlight“ getauft.
University of Tokyo/Tokyo Denki University
Ein dreidimensionales Slice Display haben die University of Tokyo und die Tokyo Denki University
[MASAMUNE00, MASAMUNE02, NAKAJIMA00] entwickelt. Es erlaubt die Überlagerung der inneren
Anatomie des Patienten, die man aus Magnetresonanzaufnahmen modelliert, auf seinen Körper und
unterstützt den Chirurgen bei der Operation. Die Registrierung zwischen dem Modell und dem
Patienten erfolgt über ein optisches Trackingsystem Polaris (Northern Digital Inc., Ontario) und durch
Markierungen in den MR-Bildern. Die dreidimensionalen Bilder werden in Echtzeit generiert. Die
Genauigkeit des Systems liegt bei 3-4.mm. Das Slice Display erlaubt die Betrachtung des Bildes durch
mehrere Personen mit einer korrekten Bewegungsparallaxe.
3.5 Head Mounted Projektor Displays
Das von [HUA01, HUA03, HUA04] bzw. [ROLLAND03] beschriebene Head Mounted Projektor
Display (HMPD) ist eine Technologie an der Grenze zwischen herkömmlichen HMDs und
projektionsbasierten Systemen, wie beispielsweise einem Cave (surround screen display). Die
herkömmliche augenbezogene Optik eines HMD wird durch einen Projektor ersetzt, welcher virtuelle
Daten auf eine im Raum günstig angeordnete Projektionsfläche mit retro-reflektivem Material
projiziert. Diese Technologie bietet die Möglichkeit der Betrachtung durch mehrere Beobachter und
bietet einen weiteren Vorzug hinsichtlich der Verdeckungsproblematik (Abschnitt 5).
3 AR Anwendungen in der Medizin
31
University of Central Florida
Neben dem im Abschnitt 3.2.8 vorgestellten VRDA Tool existiert eine Anwendungsumgebung für das
HMPD im medizinischen Bereich. [DAVIS02, ROLLAND02] stellt eine Nutzung des HMPD zum
Atemwegtraining vor. In Kombination mit einem Patientensimulator kann die endotracheale
Intubation von Patienten geübt werden. Auf dem Patientensimulator erfolgt die dreidimensionale
Visualisierung der Anatomie der Atemwege und dem endotrachealen Tubus. Zur Lokalisierung des
Patientensimulators und des Tubus wird das optische Trackingsystem von Polaris eingesetzt.
[SANTHANAM04] präsentiert eine präoperative anatomische Visualisierung für die Lunge. Beim
PRASAD-System (Physically Realistic Adaptive and Scalable Anatomical Deformation System)
erfolgt ebenfalls eine stereoskopische AR Visualisierung mittels HMPD im ARC- System. Das ARC-
Display mit einem Durchmesser von 4,75.m bietet die Projektionsfläche für die Betrachtung mit dem
HMPD.
3 AR Anwendungen in der Medizin
32
3.6 Tabellarische Zusammenstellung der Anwendungen
Nachfolgend werden die Anwendungen der Medizin für Head Mounted Displays und Mikroskope, für
Monitordarstellungen und für Standdisplays/ Doppelspiegelsysteme zur besseren Übersicht tabellar-
isch aufgeführt.
3.6.1 Head Mounted Displays und Mikroskope
In der Tabelle 3.1 sind die AR Anwendungen in der Medizin aus Abschnitt 3.1 für Head Mounted
Displays und Mikroskope zusammengefasst.
Tabelle 3.1: AR Anwendungen in der Medizin – Head Mounted Displays und Mikroskope
Entwickler Projekt Anwendung Technologie
Datenquellen für
Modellierung
Tracking/
Kalibrierung
University of North
Carolina Chapel Hill
UNC Ultrasound Biopsie,
Laparoskopie,
Endoskopie
Video See
Through HMD
Ultraschall optoelektronisch
University of North
Carolina Chapel Hill
UNC Laparos-
copy
Laparoskopie Video See
Through HMD
laparoskopische
Aufnahmen
optisch, elektro-
magnetisch
Siemens AG Biopsie Video See
Through HMD
Ultraschall Video
Universität Wien Varioscope AR noch keine direkte
Anwendung
Optical See
Through
Mikroskop
CT optisch
United Medical School
of Guys and St.
Thomas Hospital
MAGI Optical See
Through
Mikroskop
CT, MRT
Universität Karlsruhe ARNO
INPRES
Neurochirurgie
Weichgewebsdefek
te
Mikroskop
Video See
Through HMD
CT, MRT optisch
University College
London
CAESAR HNO (ENT)
Chirurgie
Mikroskop,
Stereomonitor
CT, MRT
National Cancer
Center Hospital Tokyo
onkologische
Eingriffe, Simulation
Video See
Through HMD
CT, MRT
University of Central
Florida, Orlando
VRDA Tool Kniegelenk-
Untersuchungen
Optical See
Through HMD
MRT optisch
Jikei University, Tokyo Simulation von
Eingriffen an
elastischen
Organen
Video See
Through HMD
CT, MRT
3 AR Anwendungen in der Medizin
33
3.6.2 Monitordarstellungen
In der Tabelle 3.2 sind die AR Anwendungen in der Medizin aus Abschnitt 3.2 für
Monitordarstellungen zusammengefasst.
Tabelle 3.2: AR Anwendungen in der Medizin – Monitordarstellungen
Entwickler
Projekt
Anwendung
Einbindung
der
realen Welt
Datenquellen
für
Modellierung
Tracking/
Kalibrierung
System-
genauigkeit
Universität Erlangen-
Nürnberg/ TU München
Laparoskopie Video CT, MRT magnetisch
IRCAD Strasbourg Laparoskopie Video CT optisch 1,8 mm
Katolike Universiteit
Leuven
Kathederablation Video MRT, Elektro-
kardiogramm
1,04 mm
(±0,45.mm)
TU Dresden dentale
Implantologie
optisch 0,68.mm
(±0,63.mm)
MIT AI
Labarotories/Harvard
Neurochirurgie offene MRT MRT, andere optisch 1.mm
Image Research
Laboratory/ London
Health Science Center
Neuroendoskopie Video
(Endoskop)
CT,
endoskopische
Aufnahmen
optisch 2,4.mm
Tokyo Women's Medical
University
AR Navigation
System for
Neurosurgery
Neuroendoskopie Video
(Endoskop)
CT, MRT optisch 2.mm
Wayne State University Neuroendoskopie Video
(Endoskop)
CT optisch
Scuola Superiore S.
Anna/ Istituti Ortopedici
Rizolli
CA Arthroscopic
Knee Surgery
arthroskopische
Chirurgie am Knie
Video
(Arthroskop)
CT, MRT optisch 2,3.mm
Medical Applications
Group,
Leberchirurgie MRT optisch < 1.cm
IGD Darmstadt, Ewha
Women's University
Seoul
Med-SANARE Diagnose,
kardiologische
Ausbildung
CT, MRT
3 AR Anwendungen in der Medizin
34
3.6.3 Standdisplays und Doppelspiegelsysteme
In der Tabelle 3.3 sind die AR Anwendungen in der Medizin aus Abschnitt 3.4 für Standdisplays und
Doppelspiegelsysteme zusammengefasst.
Tabelle 3.3: AR Anwendungen in der Medizin – Standdisplays und Doppelspiegelsysteme
Entwickler
Projekt
Anwendung
Tracking/
Kalibrierung
Zentrum für Graphische
Datenverarbeitung e.V.
Darmstadt
MEDARPA Punktion, Biopsie, Krebs-
und Brachytherapie,
Herzchirurgie
optisch,
magnetisch
Fraunhofer Medienkom.
St.Augustin, Fraunhofer TEG
Stuttgart, TU München
ARSyS
Tricorder
Mund-Kiefer-
Gesichtschirurgie
optisch
Blaise Pascal Universität
Clermont Ferrand
Skoliosekorrektur
University of Pittsburgh/
Carnegie Mellon University
Biopsie
University of Tokyo / Tokyo
Denki University
Frakturen, Tumorsektion optisch
4 Navigation in der Leberchirurgie
35
4 Navigation in der Leberchirurgie
Bildgestützte Navigationssysteme in der Leberchirurgie sollen den Chirurgen vor und während der
Operation unterstützen. Der Chirurg erarbeitet sich während der präoperativen Planung ein Wissen
über die Verbindung der allgemeinen mit der patientenspezifische Anatomie des erkrankten Organs.
Die Verschmelzung von Erkenntnissen aus radiologischen Bildern und Befunden mit weiteren
klinischen Parametern und der Pathologie bilden die Grundlage für den operativen Eingriff. Die
Wissensfusion der allgemeinen und patientenspezifischen Anatomie des erkrankten Organs bildet die
Grundlage des chirurgischen Handelns. Die dabei vom Chirurgen gewonnene räumliche Vorstellung
der anatomischen und pathologischen Strukturen und Beziehungen kann durch geeignete
positionsgenaue Einblendung präoperativer Daten auch während der Operation unterstützt werden, da
während der Resektion die visuelle Wahrnehmung eingeschränkt ist. So ist nur die unmittelbar
betroffene Struktur an der Oberfläche sichtbar. Verdeckte, beim nächsten Schritt betroffene
Strukturen, können nur der vom Chirurg gebildeten Vorstellung der Organtopologie entnommen
werden. Hier kann ein bildgestütztes Navigationssystem den Chirurgen bei der Wahrnehmung der
mittelbar und unmittelbar betroffenen Strukturen unterstützen. Die bei der Operationsvorbereitung
gewonnene Vorstellung der patientenindividuellen Anatomie und Pathologie kann auf den aktuellen
Situs übertragen werden, um die Tumorresektion exakter durchführen zu können. Dadurch wird die
Operation für den Patienten schonender und prognostisch günstiger.
Die Fusion der Visualisierung der präoperativen Bilddaten mit der intraoperativen Lage der
anatomischen Strukturen und der Lage des chirurgischen Instruments verbessert die Orientierung des
Chirurgen deutlich. Teilweise können auch komplexe Resektionsebenen aus der Operationsplanung in
Beziehung zum Organ und zum chirurgischen Instrument betrachtet werden. Dies führt zu einer
Wissensfusion zwischen der Organtopologie (räumliche Beziehungen der anatomischen Strukturen),
Organpathologie und der Operationsplanung. [VETTER04]
Das in dieser Arbeit verfolgte Ziel der positionsgenauen Überblendung präoperativ gewonnener Daten
über den realen Situs stellt somit einen entscheidenden Beitrag zur Weiterentwicklung der Navigation
in der Leberchirurgie dar.
Im Folgenden werden die Grundlagen der Anatomie der Leber vermittelt, um dann auf die
Indikationen und die möglichen Therapieformen in der Leberchirurgie einzugehen. Im Abschnitt 4.3
wird der Ablauf der Navigation in der Leberchirurgie beschrieben und die Bedeutung gewürdigt.
4.1 Anatomie der Leber
Die Kenntnis der anatomischen und physiologischen Grundlagen der Leber ist die Grundlage für die
Entwicklung eines computerunterstützten Chirurgiesystems für den Einsatz in der Leberchirurgie. Aus
diesem Grund soll in diesem Kapitel auf die wichtigsten Aspekte, eingegangen werden. Vertieft
werden können diese Kenntnisse bei [ELIAS52, ELIAS69, GOLDSMITH57, LIPPERT00, SOBOTTA88].
Der dort beschriebene Aufbau ist als allgemeingültig anzusehen. Jedoch zeigen sich
patientenindividuelle Unterschiede, welche für den chirurgischen Eingriff essentiell sind. Somit ist die
patientenindividuelle Durchführung einer Operationsplanung unerlässlich. Im Zuge dieser
Operationsplanung erhält der Arzt nicht nur die Information über Lage und Größe von Tumoren,
sondern auch über den individuellen anatomischen Aufbau der Leber und die
Versorgungsabhängigkeiten einzelner Lebersegmente. Den Chirurgen interessiert die möglichst exakte
Übertragung der präoperativ am Computermodell geplanten Resektionsflächen auf den
Operationssitus. Die komplexe Struktur der intrahepatischen Gefäßbäume, wie der Lebervenen und
der Portalvenen, hilft dem Chirurgen bei der Orientierung innerhalb der Leber.
Die Leber ist das wichtigste Stoffwechselorgan des Körpers. Jede einzelne Leberzelle hat dabei
zahlreiche Aufgaben zu erfüllen. Neben einer Fülle von Leistungen des Zwischen- und
Endstoffwechsels gehört dazu die Gallebildung, die Beteiligung an der Umsetzung der Eiweißkörper,
4 Navigation in der Leberchirurgie
36
Harnstoffbildung, Glykogenaufbau und Glykogenspeicherung und in geringem Umfang die
Fettspeicherung. Die Leber ist weiter am Eisenstoffwechsel, an der Blutbildung und der Biosynthese
der Gallenfarbstoffe aus den Abbauprodukten der roten Blutkörperchen beteiligt. Sie spielt eine
wichtige Rolle bei der Blutgerinnung und bei der Entgiftung. Bedeutsam ist die Regenerations-
fähigkeit der Leber nach der Zerstörung von Gewebe durch operative Eingriffe oder Leberkrankheiten.
[BROCKHAUS99]
Die Leber, die aus zwei ungleich großen Leberlappen besteht und deren Gewicht bei Erwachsenen
etwa 1,5.kg beträgt, liegt größtenteils im rechten Oberbauch unter der rechten Zwerchfellkuppel. An
der konkaven Unterfläche des rechten Leberlappens liegen rechte Niere, Zwölffingerdarm, Dickdarm
und Gallenblase, der des linken Leberlappens der Magen an. (Abbildung 4.1)
Abbildung 4.1: Lage der Leber beim Menschen
Eine allgemeingültige Lebergestalt im strengen Sinne gibt es nach [KÖCKERLING99] nicht, da normale
Lebern verschiedene Formen annehmen können. Die Grundstrukturen der topographischen Merkmale
(Landmarken) sind hierbei jedoch immer gleich.
4.2 Indikationen und Therapie in der Leberchirurgie
Im Folgenden sollen die wichtigsten Indikationen der Leberchirurgie vorgestellt werden. Davon
ausgehend können dann chirurgische Therapien der Leberheilkunde und deren Bedarf an
Navigationsunterstützung diskutiert werden. Vertiefend sei [VETTER04] empfohlen. Sie bilden die
Grundanforderung an die Verwendung von Navigationssystemen und sollen einen Eindruck über die
Wichtigkeit der Leberresektion und der Verwendung von computerunterstützter Chirurgie vermitteln.
4.2.1 Indikationen der Leberchirurgie
Die Indikationen für eine chirurgische Therapie der Leber kann man in bösartige (maligne) und
gutartige (benigne) Lebertumoren einteilen. Die malignen Tumore sind dabei entscheidend. Benigne
Tumore besitzen ihre Bedeutung in der Abgrenzung von den malignen Tumoren. Die Leber wird am
zweithäufigsten (nach den Lymphknoten) von malignen Tumoren befallen. Man unterscheidet dabei
zwischen primären und sekundären Tumoren (auch Metastasen genannt). Die primären Tumore sind
am Ort des Auftretens entstanden, die sekundären Tumore haben ihre Entstehung in entfernten
Tumorherden und verteilen sich über das Blut und Lymphsystem im Körper und siedeln sich in
4 Navigation in der Leberchirurgie
37
anderen Organen und Geweben des Körpers an. Metastasen sind die häufigsten malignen Tumoren der
Leber. Sie stammen von unterschiedlichen primären Tumoren. Am häufigsten metastasieren
Karzinome der Bronchien in die Leber, gefolgt von Tumoren des Kolons und Rektums, Pankreas, der
Mamma und des Gaster [SIEWERT00]. Die Indikation zur Tumorresektion in der Leber besteht im
Wesentlichen bei Metastasen kolorektaler Karzinome.
4.2.2 Therapie von Lebertumoren
Tumorgenese und Tumorstadium sind die wesentlichen Kriterien zur Auswahl der notwendigen
Therapieform bei Neoplasien der Leber. Im Vordergrund steht dabei die Leberresektion bei Leber-
Transplantation. Neben diesen primär operativen Verfahren haben neue Therapieformen als eher
kurative Methoden eine untergeordnete Bedeutung und werden bei OP-Kontraindikation angewandt.
Zu diesen Therapien zählen die laserinduzierte Thermotherapie (LITT) und die Kryotherapie.
Die Resektabilität von Neoplasien der Leber wird anhand der Tumorgenese, des Tumorstadiums, der
lokalen Ausdehnung, der zu erwartenden Leberrestfunktion und des Allgemeinzustandes des Patienten
beurteilt. Eine Alternative zur postmortalen Lebertransplantation stellt in Zukunft die Leber-
Lebendspende dar. Dabei wird meist die linke Leberhälfte gespendet. Aufgrund der hohen
Regenerationsfähigkeit der Leber wächst die Leber sowohl beim Spender, wie auch beim Empfänger
zu ihrer ursprünglichen Größe heran.
Besonders die Trennung der Gefäße (Split-Lebertransplantation) stellt dabei höchste Ansprüche an das
chirurgische Können und die entsprechende Orientierung des Arztes während der Operation. Im
Mittelpunkt steht dabei die Gesundheit des Spenders. In der Bundesrepublik Deutschland beträgt die
derzeitige Mortalitätsrate bei Leber-Lebendspenden bei ca. 1%.
Bevor es zu einer kurativen Behandlung sekundärer Tumore kommt, muss der Primärtumor
erfolgreich entfernt worden sein. Auch weitere Tumorrezidive und Metastasen sind diagnostisch
auszuschließen.
Die regionale Chemotherapie als zusätzliche Form der Therapie für primäre und sekundäre Tumore
wird zusätzlich zur Resektion eingesetzt oder besitzt nur palliative Bedeutung.
4.3 Ablauf der Navigation in der Leberchirurgie (Computer Assisted
Surgery, CAS)
Am Anfang des Abschnittes soll kurz auf die Bedeutung der Navigation in der Leberchirurgie
eingegangen werden, um dann später auf die einzelnen Komponenten der computerunterstützten
Chirurgie (Computer Assisted Surgery, CAS) und damit dem Ablauf der Navigation in der
Leberchirurgie einzugehen.
Es besteht weiterhin eine signifikante Morbidität und Mortalität bei Leberoperationen. Ein ausreichend
genaues Navigationssystem kann die Exaktheit der Operation dadurch verbessern, dass die
Orientierung in der Leber sicherer und die Umsetzung des Operationsvorschlages dadurch genauer
wird. Langfristig sind durch ein ausreichend genaues Navigationssystem verringerte Morbiditäts- und
Mortalitätsraten zu erwarten.
Eine besondere Bedrohung des Patienten stellen Tumoren in der Nähe zentraler Strukturen in der
Leber dar. Hier ist eine räumlich exakte Umsetzung der Operationsplanung in den intraoperativen
Situs ggf. überlebensentscheidend. Zentrale und multiple Tumore führen zu größeren Volumen-
defekten und räumlich komplexeren Resektionsflächen. Dies stellt höhere Anforderungen an die
räumliche Orientierung des Chirurgen. Insbesondere bei zirrhotischen Lebern ist ein maximales
Restlebervolumen zu erhalten. Die Leber-Lebendspende wird zukünftig an Bedeutung gewinnen, weil
eine zunehmende Diskrepanz zwischen der Anzahl von Organspendern und potentiellen Empfängern
besteht. Ein gesunder Spender darf nicht zu schaden kommen (Null-Morbidität). Ein Schaden tritt vor
allem dann ein, wenn die großen Lebervenen beschädigt werden. Durch die große interindividuelle
4 Navigation in der Leberchirurgie
38
Variabilität im linken Leberlappen sind die Lebervenen bei der Transplantatgewinnung besonders
gefährdet.
Aus diesem Grund wird die computerunterstützte Chirurgie auch für Eingriffe an der Leber
zunehmend an Bedeutung gewinnen. Computerunterstützte Chirurgie umfasst die Datenakquisition
und -übertragung, die Operationsplanung, die Unterstützung während des Eingriffs durch Navigations-
systeme (Image Guided Surgery, IGS) oder Roboter und die postoperative Verlaufskontrolle.
In einer Kooperation des DKFZ mit der Chirurgischen Klinik der Universität Heidelberg wird ein
Forschungsprojekt verfolgt, das sich mit der computergestützten Planung von chirurgischen Eingriffen
zur Entfernung von Leber-Tumoren beschäftigt. Hierbei wird die individuelle Gefäßbaumanatomie in
Bezug zur Lage der zu entfernenden Areale gesetzt (Abbildung 4.2).
Abbildung 4.2: Individueller Gefäßbaum, Tumor und Resektionsvorschlag für einen Patienten
Auf diese Weise können aus den präoperativen Daten die gesunden Bereiche der Leber bestimmt
werden, die bei einer Leberresektion zusammen mit dem erkrankten Bereich entfernt werden müssen.
Dies ist notwendig, da während der Entfernung des Tumors auch ein Sicherheitsabstand eingehalten
werden muss. Diejenigen Gefäße, die in der unmittelbaren Umgebung des Tumors liegen, werden
durch die Resektion ebenfalls verletzt und die von ihnen abhängigen Leberbereiche sind nicht mehr
ausreichend versorgt. Die computergestützte Operationsplanung ermöglicht eine objektive
Abschätzung des gefährdeten Lebervolumens und damit (neben einer mehr objektiven Auswahl der
Patienten, die sich für einen operativen Eingriff eignen) eine exaktere Operationsplanung.
Die Machbarkeit der Übertragung der Ergebnisse aus der computergestützten Operationsplanung auf
den intraoperativen Situs wurde durch das DKFZ in einem eigenen Forschungsprojekt untersucht. Das
Projekt wird durch das BMBF im Rahmen des Innovationswettbewerbs Medizintechnik unter dem
Förderkennzeichen 01EZ0008 gefördert. Gegenstand der vorliegenden Arbeit ist die Ergänzung der
dort entwickelten Machbarkeitsstudie um eine See Through Komponente.
Seit dem sind die Verfahren zur Operationsplanung in einer Applikation vereint, die den Einsatz in der
Klinik ermöglicht. Neben einer Erprobung der Applikation werden bereits intraoperativ Computer-
projektionen der präoperativ berechneten Visualisierungen eingesetzt (Abbildung 4.3), aber die
Übertragung auf die tatsächliche, momentane Lage der Leber bleibt bislang der Vorstellungskraft des
Chirurgen überlassen.
4 Navigation in der Leberchirurgie
39
Abbildung 4.3: Intraoperative Visualisierung der präoperativ berechneten Resektionsvorschläge
Somit wird die Arbeit auf dem Gebiet der computerunterstützten Leberchirurgie konsequent
fortgesetzt. Das Ziel, eine computerbasierte Operationsstrategie optimal intraoperativ umzusetzen, ist
bereits teilweise bei Knochenoperationen durch die Einführung von Navigationssystemen realisiert
worden. Für den Bereich der Weichteiloperationen ist durch solche Systeme und die Einführung von
See Through Technologie eine entsprechende Qualitätsverbesserung zu erwarten.
4.3.1 Operationsplanung
In den letzten Jahren werden an Leberzentren wie Heidelberg Programme zur computergestützten
Therapieplanung eingesetzt. Neben den konventionellen, radiologischen Bildmaterialien kommen
neue Visualisierungstechniken zum Einsatz, die eine dreidimensionale Betrachtung der
patientenindividuellen Leberanatomie ermöglichen [GLOMBITZA99]. Die dreidimensionale
Beurteilung der Tumorausdehnung und dessen Lage in räumlicher Beziehung zu den intrahepatischen
Gefäßstrukturen wie Portalvenen, Lebervenen und Gallengängen geben eine zusätzliche Sicherheit bei
der Beurteilung der Operabilität bzw. der Auswahl einer geeigneten alternativen Therapie. Neben der
3D Visualisierung von anatomischen Strukturen ist mit Hilfe der Operationsplanungsprogramme eine
Abschätzung der Leberfunktion möglich, die aufgrund des verbleibenden funktionellen Parenchyms
nach einer Tumorresektion erfolgt und auf der Berechnung von Gewebe basiert, welches infolge der
geplanten Resektion vaskulär minderversorgt würde. Aus kontrastmittelverstärkten Computertomo-
graphie Daten (CT-Daten) der portalen und spätvenösen Phase werden zunächst die Leberhülle und
die Tumoren segmentiert. Anschließend werden Gefäße, die sich innerhalb der Leberhülle befinden,
segmentiert und klassifiziert. In den existierenden Programmen wird bei der Klassifikation zwischen
Lebervenen und Portalvenen unterschieden. Ausgehend von der Gefäßklassifikation können die
Segmente der Leber bestimmt werden. Berechnet werden die Einflussbereiche (Voronizellen) der
versorgenden Gefäße des Portalbaumes.
Das DKFZ arbeitet seit einigen Jahren im LENA-Projekt [GÖPFERT98] des Tumorzentrums
Heidelberg/ Mannheim, das die computergestützte Operationsplanung in der Leberchirurgie zum
Gegenstand hat. Nach einer Bilddatensegmentierung [HASTENTEUFEL01, KUNERT01] der tumorös
erkrankten Bereiche kann anhand des individuellen Gefäßbaumes des Patienten ein
Resektionsvorschlag berechnet werden. Dazu wird die Struktur des Gefäßbaumes analysiert und in
eine symbolische Beschreibung überführt.
In der Heidelberger Abteilung wurde das Verfahren von [SCHÖBINGER02] weiterentwickelt, so dass
abhängiges Leberparenchym berechnet werden kann. Das erweiterte Verfahren gestattet Teilbereiche
der Leber zu bestimmen, deren Gefäße den Sicherheitsabstand des tumorösen Gewebes durchdringen.
Somit wird es möglich, durch den Tumor betroffenes gesundes Lebergewebe rechnerisch zu ermitteln
und den Chirurgen visuell zu präsentieren. Des Weiteren wurde das klassische Segmenteinteilungs-
modell, das von den Radiologen seit 30 Jahren verwendet wird, verfeinert und als interaktives
4 Navigation in der Leberchirurgie
40
Werkzeug umgesetzt, so dass die Segmente mit Hilfe von planaren Ebenen eingeteilt werden können
[THORN99].
Die Applikation zur Operationsplanung wurde als PlugIn [EVERS98] für das Teleradiologie- und PAC-
System CHILI [ENGELMANN00] entwickelt, das von der Firma „Steinbeis-Transferzentrum
Medizinische Informatik“ entwickelt und vertrieben wird. Zur derzeit interaktiven Segmentierung der
Leber in den CT-Datensätzen wurden automatische Komponenten entwickelt, um diesen Arbeitsschritt
zu beschleunigen [HASSENPFLUG00] und damit die Akzeptanz in der Klinik zu erhöhen.
Als Ergebnis der Operationsplanung werden Resektionsvorschläge berechnet, die auf der
Abhängigkeit der Leberareale von gefährdeten Gefäßen beruhen. Der logisch nächste Schritt ist die
Unterstützung der intraoperativen Umsetzung der Resektionsvorschläge durch ein Navigationssystem.
Zusammengefasst durchläuft die Operationsplanung folgende Schritte (Abbildung 4.4):
1) Segmentierung der Leber und des Tumors,
2) Segmentierung der Gefäße,
3) Berechnung der Volumen und
4) Präsentation der Ergebnisse.
Abbildung 4.4: Präoperatives CT mit Segmentierungsergebnissen (links);
Gefäßbaum mit Resektionsvorschlag (rechts)
4.3.2 Übertragung der Planungsergebnisse auf den Situs
(Registrierung)
Die positionsgenaue Überlagerung der Bilddaten aus der präoperativen Planung kombiniert mit den
intraoperativ aufgenommenen Bilddaten desselben Patienten bezeichnet man als Registrierung der
Leber und dient der Navigation. Mit Hilfe der Ergebnisse der Operationsplanung trifft der Operateur
eine Entscheidung über die Operabilität des Patienten. Darüber hinaus kann er Resektionsvorschläge
für die notwendige Operation erarbeiten. Erst mit Hilfe der Registrierung (der Operationsplanung mit
dem aktuellen Situs während der Operation) kann er diese Resektionsvorschläge auf das Organ
übertragen. Eine besondere Schwierigkeit bei der Übertragung von Resektionsebenen, Tumor- und
Gefäßverläufen stellt dabei die Verformung des Organs dar. Durch die Atmung des Patienten, aber
besonders durch die Öffnung des Abdomens, kommt es zu Lageveränderungen und Verformungen des
Organs bezüglich der Operationsplanung.
Bei der Oberflächenregistrierung wird nur die Oberfläche des Organs mit den Daten der
Operationsplanung registriert. Die Übertragung der Registrierung auf innenliegende Strukturen stellt
aufgrund der Deformation hinsichtlich der Genauigkeit ein ungelöstes Problem dar. Die gefäßbasierte
Registrierung der Leber verwendet auch innenliegende Strukturen (Gefäße) des Organs, ist jedoch für
eine kontinuierliche Registrierung über den gesamten Eingriff zu rechenintensiv.
4 Navigation in der Leberchirurgie
41
In der Arbeit von [VETTER04] wird die schritthaltende Registrierung vorgestellt, welche eine initial
hergestellte Registrierung zwischen präoperativen Bilddaten und intraoperativem Organ
aufrechterhält. Mit diesem Verfahren können auch tiefer liegende Strukturen der Leber in Echtzeit
verfolgt werden. Topologieveränderungen des Organs, wie sie bei der Leberresektion auftreten,
werden durch ein Echtzeit-Deformationsmodell berücksichtigt. Aufgrund der Bedeutung der
Anbindung bei einem Augmented Reality Gesamtszenario soll im Folgenden das Konzept von
[VETTER04] in seinen Grundzügen vorgestellt werden:
Schritthaltende Registrierung
[VETTER04] schlägt eine schritthaltende oder kontinuierliche Registrierung vor, welche in zwei
Phasen, die initiale Registrierung und die Aufrechterhaltung der Registrierung aufgeteilt wird.
(Abbildung 4.5)
Abbildung 4.5: Zeitlicher Ablauf der schritthaltenden Registrierung
Bei der initialen Registrierung werden die präoperativen Bilddaten mit der intraoperativen Bildgebung
wie dem Ultraschall registriert. Dabei wird das Organ fixiert. Diese Immobilisierung der Leber ist
notwendig, um eine bewegungsfehlerfreie Bildaquisition zu erreichen.
In einer zweiten Phase wird der initial hergestellte Registrierungszustand durch das Einbringen von
Navigationshilfen aufrechterhalten. In ein Echtzeit Deformationsmodell gehen die Positionen der
Navigationshilfen als Parameter ein. Navigationshilfen sind speziell für die Leberchirurgie entwickelte
nadelförmige Instrumente, welche aufgrund einer im Inneren vorhandenen Mikroempfangspule
elektromagnetisch getrackt werden können.
Diese Navigationshilfen werden noch während der Organfixierung in interessierende Zielstrukturen
eingebracht. Nach der Aufhebung der Organfixierung können die Navigationshilfen mit 60 Messungen
pro Sekunde hinsichtlich ihrer Lage und Position bestimmt werden. Sie ermöglichen die Position von
interessierenden intrahepatischen Gefäßen zu verfolgen und das Deformationsmodell der Leber zu
verbessern. Die Evaluierung der resultierenden Deformationsberechnung beschreibt die Verformungen
mit einem mittleren Fehler von 1,6.mm (s=1,2.mm). Die Positionen der Navigationshilfen lassen sich
präoperativ planen. Die direkte Visualisierung des Instruments (ebenfalls mit einer Mikroempfangs-
spule versehen) ist sowohl in den intraoperativen wie auch präoperativen Bilddaten möglich.
(Abbildung 4.6)
4 Navigation in der Leberchirurgie
42
Abbildung 4.6: links: Schematische Darstellung einer Navigationshilfe [VETTER04];
rechts: Einbringen der Navigationshilfen an die präoperativ geplanten Positionen.
Das Konzept der schritthaltenden Registrierung erlaubt die direkte Messung der Weichteilverformung
in Echtzeit, ermöglicht die Navigation in tiefliegenden Bereichen und schafft somit die Vorraus-
setzungen für Augmented Reality Visualisierungen.
4.3.3 Visualisierung am autostereoskopischen Display
Autostereoskopische Displays ermöglichen die dreidimensionale Darstellung an einem Monitor ohne
weitere Hilfsmittel. Die erforderliche Trennung der Bilder und deren Darstellung für jedes Auge wird
durch eine Prismenmaske erreicht, welche sich direkt vor einem LCD-Display befindet. Für eine
korrekte Zuordnung der Teilbilder bei horizontalen Bewegungen des Betrachters muss die Prismen-
position korrigiert werden. Die wird bei den aktuellen Monitoren mittels Stereokamerasystem oder
Infrarotkamerasystem erreicht. Die detektierte Position des Betrachters wird im Heidelberger Arion
System dazu verwendet die virtuellen Kameras entsprechend der Position des Betrachters mitzuführen.
Dadurch wird eine quasi-holographische Visualisierung erreicht.
Die vom Chirurgen zunächst gewählte Ansicht kann entsprechend der Augenposition des Chirurgen
relativ zur Initial gewählten Ansicht mitgeführt werden. So ist es möglich, auf natürliche Weise um
das virtuelle Organ herumzuschauen. Dies ist von Bedeutung, wenn interessierende Strukturen durch
vorgelagerte Objekte verdeckt werden.
Die räumliche Zuordnung des virtuellen Lebermodells zur intraoperativen Leber wird durch die
Darstellung des intraoperativen Instruments in dem präoperativ erzeugten virtuellen Organmodell
erreicht. Die quasi-holographische Visualisierung erfolgt in Echtzeit (im Gegensatz zur Holographie),
ebenso wie die Darstellung der Bewegung des Instrumentes unter Berücksichtigung der Organ-
deformation. Die Darstellung der gesamten Organdeformation ist zu rechenaufwendig. Der
Bewegungsfreiraum ist jedoch sehr eingeschränkt (horizontal ±80.cm, vertikal ±50.cm, in der Tiefe
±25.cm).
Dem Chirurgen werden die wichtigsten Informationen, wie der Verlauf der Gefäße und die Lage des
Tumors, visualisiert. Die Gefäße können zur besseren Orientierung je nach Gefäßtyp unterschiedlich
eingefärbt, ausgeblendet oder hervorgehoben werden. Zur besseren lokalen Orientierung der Spitze
des Schneideinstruments kann eine Entfernungsskala eingeblendet werden. Diese ermöglicht eine
einfache Quantifizierung von Distanzen beispielsweise zwischen Tumor und Instrumentenspitze oder
Gefäß und Instrumentenspitze. Das autostereoskopische System bietet somit die Möglichkeit stereos-
kopische Bildinformationen in einem Operationsumfeld ohne zusätzliche Brillen anzubieten. Der
4 Navigation in der Leberchirurgie
43
Nachteil gegenüber einer in dieser Arbeit angestrebten See Through Lösung besteht in der räumlichen
Trennung von Handlung und Betrachtung. (Abbildung 4.7)
Abbildung 4.7: links: Darstellungsmöglichkeiten im ARION System (rot: Tumor, gelb: Instrument,
blau-grün: Gefäßsystem); rechts: Visualisierung am autostereoskopischen Monitor
5 Komponenten eines AR Systems
45
5 Komponenten eines Augmented Reality Systems
Das Herzstück eines Augmented Reality Systems ist das zu verwendende Display. Dieses muss in den
Gesamtzusammenhang eingebunden werden. Daneben ist ein Trackingsystem zur Identifizierung der
Verhältnisse zwischen Nutzer / Display und der Umwelt essenziell. Die Informationsverarbeitung
erfolgt mit einem angeschlossenen Computer. Zu weiteren, eher „weichen“, Komponenten kann man
Kalibrierung und Registrierung zählen. Eine spezielle Form des Tracking, das Eye Tracking,
komplettiert in dem hier vorliegenden Fall das AR System und übernimmt die Aufgabe ein
Verrutschen des Displays zu erkennen und die vorliegende Kalibrierung simultan zu korrigieren.
Die Grenzen zwischen den einzelnen Vorgängen innerhalb eines Augmented Reality Systems sind oft
fließend und lassen sich nur schwer eindeutig voneinander trennen. Das Displaysystem hat die
Aufgabe virtuelle Daten dem Auge des Nutzers zuzuführen. Unter Kalibrierung versteht man die
Ermittlung aller Parameter, welche im Zusammenhang mit der benutzten Technik oder dem Betrachter
stehen und die Überlagerung virtueller und realer Objekte beeinflussen. Somit ist mit Kalibrierung
bzw. mit Kalibrierung eines HMD meist die Kalibrierung des Gesamtsystems gemeint. Oft sind
hierfür speziellere Kalibrierungen, wie beispielsweise die einer benutzten Trackingkamera, notwendig.
Registrierung ist die Ermittlung einer Transformation zwischen dem Augmented Reality System und
einem beliebigen realen Objekt, um eine Überlagerung des Gegenstandes mit einem virtuellen Bild zu
ermöglichen. Dies geschieht in der Regel unter Verwendung von Trackingsystemen, welche der
Bestimmung und Verfolgung der Position der beteiligten Komponenten dienen.
In den folgenden Kapiteln werden die Komponenten erläutert und der Stand der Forschung vorgestellt.
Die verwendeten mathematischen Grundlagen werden nur, soweit erforderlich, angerissen und im
Abschnitt 6 näher erläutert. Hinsichtlich der klinischen und technischen Anforderungen ist eine
kabellose (wireless) Anbindung aller Komponenten erstrebenswert. Die Nutzung von Wireless
Komponenten ist technisch durchaus möglich, soll jedoch in dieser Arbeit nicht umgesetzt werden, da
der Schwerpunkt auf der geometrischen und algorithmischen Verbindung der verwendeten AR
Komponenten liegt.
5.1 Displaysysteme
Die allgemeinen Anforderungen (s. Abschnitt 2.4) an Augmented Reality Systeme sind entscheidend
bei der Wahl des Displaysystems. Die Kombination von realer und virtueller Welt in einem
gemeinsamen Bild erfolgt mit Hilfe unterschiedlicher Display Technologien. Grundsätzlich lassen sich
die Displaytypen in zwei Klassen unterteilen: in die der stationären Geräte und die der tragbaren,
direkt vor dem Auge positionierten, Systeme:
Den stationären Systemen werden zugerechnet:
• Image Overlay Systeme,
• Monitor AR Systeme und
• Projektionsbasierte AR Systeme.
Zu den tragbaren Systemen gehören:
• Head Mounted Display,
- Virtual Retinal Systeme,
- Optical See Through,
- Video See Through,
- Head Mounted Projektor Displays,
• Mikroskopanwendungen und
• Mikrodisplay.
5 Komponenten eines AR Systems
46
Wegen ihrer Flexibilität dominieren im AR Bereich Anwendungen mit tragbaren Systemen. Besonders
im medizinischen Bereich sind Optical See Through Displays aufgrund der Nutzerakzeptanz und der
damit verbundenen Forderung des Arztes, selbstverantwortlich den gesamten Überblick bei einer
Operation zu behalten, den Video See Through Systemen vorzuziehen. Das in dieser Arbeit
verwendete Virtual Retinal Display bietet Vorteile besonders in Hinblick auf Leuchtstärke der
virtuellen Daten und der geringen Abdunkelung der realen Umgebung. Aufgrund der einfachen
Verbindung virtueller Daten mit der realen Welt existieren viele Anwendungen im Bereich der
Mikroskopie. Dadurch ergibt sich eine Vielzahl medizinischer Einsatzmöglichkeiten. Stationäre
Systeme finden bei Szenarien außerhalb der Medizin selten Anwendung im Bereich von Augmented
Reality. Jedoch bestehen vielfältige Umsetzungen für die Virtual Reality. Hier dominieren
projektionsbasierte räumliche Displays, wie Surround Screen Displays (SSD) und Embedded Screen
Displays (ESD). Im Vergleich zu HMDs, bieten projektionsbasierte Geräte einige technologische und
ergonomische Vorteile, sind aber immobil und sie besitzen keine optischen See Through Fähigkeiten
für ein entsprechendes AR Szenario. Head Mounted Projektor Displays (HMPD) könnten für einige
medizinische Anwendungen einen Kompromiss darstellen, der die Vorteile von HMDs mit denen der
Projektionsdisplays verbindet. [BIMBER02]
5.1.1 Stationäre Systeme
Stationäre Systeme besitzen meist einen halbdurchlässigen Spiegel, der sich im Blickfeld des
Anwenders, z.B. eines Operateurs, befindet. Der Operateur kann dann durch den halbdurchlässigen
Spiegel den Patienten sehen und gleichzeitig sind für ihn in dem Spiegel die zusätzlichen Bilder, z.B.
aus CT- oder MRT Aufnahmen, sichtbar.
halbdurchlässige(r)
Spiegel
reale
Welt
Stereobrille (optional)
Monitor/
Projektionseinheit
reale
Welt
Stereobrille (optional) Videokamera(s)
Monitor
Abbildung 5.1: Prinzipskizzen stationärer Displaysysteme nach [OEHME04] (links: optisch mit halb-
durchlässigem Spiegel, rechts: videobasiert mit auto-stereoskopischen Display)
Prinzipiell ist es auch möglich stereoskopische Bilder mit diesem System zu verwenden, was eine
bessere Anpassung der „zusätzlichen Informationen“ an die Realität, den Patienten, erlaubt. Dies lässt
sich jedoch nur mit Hilfe von Shutterbrillen o.ä. erreichen. Dies würde jedoch den Vorteil zunichte
machen, dass der Operateur nicht durch Brillen und Kabel in seiner Bewegungsfreiheit eingeschränkt
wird.
Genauso kann man an eine Verwendung der direkten Projektion denken. Hier wird ähnlich, wie bei
einem Diaprojektor oder Beamer, die zusätzliche Information direkt auf das Objekt, den Patienten,
projiziert. Diese Systeme sind jedoch kaum für den Operationssaal geeignet, da die Projektion schnell
durch die anwesenden Personen verdeckt wird. Auch eine Stereoprojektion ist schwer möglich.
Beide Möglichkeiten basieren auf der Head Up Display Technologie, welche zu den ersten
Realisierungen von Augmented Reality zählt. Zusätzliche Informationen werden auf der
Windschutzscheibe vom Flugzeug bzw. Auto dargestellt
5 Komponenten eines AR Systems
47
Eine weitere Möglichkeit ist die Verwendung von (Stereo-) Monitoren. Dafür kommen beispielsweise
Systeme mit Shutterbrillen zum Einsatz. Am DKFZ wurden erfolgreiche Tests [VETTER02] zur
Verwendung eines auto-stereoskopischen Displays ohne Shutterbrille (System Dresen 3D),
durchgeführt. Auf die Visualisierung am autostereoskopischen Display wurde im Abschnitt 4.4.3
eingegangen.
Die Prinzipskizzen für zwei Möglichkeiten stationärer Displaysysteme (optisch mit halbdurchlässigem
Spiegel, videobasiert mit auto-stereoskopischen Display) sind in der Abbildung 5.1 dargestellt.
5.1.2 Tragbare Systeme
Bei den tragbaren Displaysystemen kommen meist die so genannten Head Mounted Displays (HMD)
zum Einsatz. Das sind Displays, die, ähnlich wie Brillen, vor den Augen getragen werden. Head
Mounted Displays werden häufig im Bereich der virtuellen Realität eingesetzt. Sie wurden dafür
entwickelt, den Benutzer in eine virtuelle Welt eintauchen zu lassen. Für Augmented Reality sind
dabei allerdings nur die Systeme von Interesse, die zusätzlich einen Blick auf die „Außenwelt“, die
Realität, ermöglichen. Dazu gibt es zwei Verfahrenswege: die Optical See Through (OST-HMDs)
und die Video See Through Systeme (VST-HMDs). Bei den Video See Through Systemen geschieht
dieses mit Hilfe von Videokameras, die in Augenhöhe montiert sind und den Bereich aufnehmen, den
die Augen normalerweise sehen könnten, befände sich nicht die undurchsichtige „Brille“ vor ihnen.
Diese Bilder werden nun im Rechner mit den zusätzlichen Bildern, die die Realität „erweitern“ sollen,
verschmolzen und den Augen des Betrachters zugeführt (Abbildung 5.2).
reale
Welt
Monitor(e)
Videokamera(s)
Abbildung 5.2: links: Prinzipskizze eines VST-HMD nach [OEHME04], rechts: Beispiel eines VST-HMD:
3scope (TRIVISIO)
Im Gegensatz dazu gewähren die Optical See Through Systeme direkte Sicht auf die „Außenwelt“.
Dieses geschieht z.B. mit Hilfe halbdurchlässiger Spiegel, die sich vor den Augen befinden. In diesen
werden die zusätzlichen Bilder angezeigt (Abbildung 5.3).
5 Komponenten eines AR Systems
48
halbdurchlässige(r)
Spiegel
reale
Welt
Monitor(e)
Abbildung 5.3: links: Prinzipskizze eines OST-HMD nach [OEHME04], rechts: Beispiel eines OST-
HMD: AddVisor 150 (SAAB).
Aus dem Aufbau der beiden Arten ergeben sich Vor- und Nachteile, welche im Folgenden aufgeführt
werden sollen [SCHÄFER03]. Eine Sonderstellung nimmt das Retinal Display (Virtual Retinal Display,
VRD) ein, das von der Firma MICROVISION hergestellt wird [VIIRRE98]. Bei diesem wird mit Hilfe
von schwachen Laserstrahlen das entsprechende Bild direkt auf die Netzhaut des Benutzers
gezeichnet. In seiner Art entspricht es weitgehend einem OST-HMD und ist bei dem folgenden
Vergleich diesem zuzuordnen. Der spezielle Aufbau und dessen Vorteile werden im Nachhinein
behandelt, da dieses System in dieser Arbeit zur Anwendung gelangen soll.
Video See Through versus Optical See Through
Unterschiede und Gemeinsamkeiten beider Varianten der Augmentierung sollen im Folgenden durch
die Aufstellung der jeweiligen Vor- und Nachteile aufgelistet werden:
Nachteile eines VST-HMD:
• Die Wahrnehmung des Nutzers wird durch das Auflösungsvermögen und die Farbvielfalt des
jeweiligen Displays bestimmt bzw. begrenzt.
• Zwei separate Videobilder (real, virtuell) müssen verarbeitet werden und führen zu relativ
hohen Verzögerungszeiten.
• Eine hohe Rechenleistung ist erforderlich.
• Aufgrund der unterschiedlichen Position des Auges und der Position, der die Realität
aufnehmenden Kamera, entsteht ein Offset. Der Nutzer sieht die Umgebung aus einer etwas
anderen Perspektive. Das Umrechnen der Perspektive ist zu rechenintensiv. In der Praxis
werden korrigierende Spiegel integriert. [EDWARDS93]
• Kalibrierungsfehler werden nicht sofort durch den Betrachter erkannt (Monitorbild ist
ungleich dem natürlichen Sichtfeld ohne HMD). Dieser Fehler wirkt sich besonders bei hoher
Genauigkeitsanforderung aus.
• Bei Unterbrechung der Stromzufuhr „erblindet“ der Nutzer. Dies kann unter Umständen (z.B.
bei Operationen) verheerende Auswirkungen nach sich ziehen.
5 Komponenten eines AR Systems
49
Vorteile eines VST-HMD:
• Die Bildverknüpfung vom realen und virtuellen Bild ist relativ einfach zu realisieren. Es
besteht dabei die Möglichkeit der automatischen Bildzuordnung zum Einfügen der virtuellen
Objekte.
• Kein Nachziehen des virtuellen Bildes, da reales und virtuelles Bild gemeinsam übertragen
werden.
Nachteile eines OST-HMD:
• Das Sichtfeld muss exakt mit dem generierten Bild übereinstimmen.
• Mit größerem Abstand zum Bildhauptpunkt vergrößert sich auch die radiale Verzeichnung.
Dadurch muss das Sichtfeld relativ klein gehalten oder die Korrektur der Verzeichnung
berücksichtigt werden.
• Bei Bewegungen des Kopfes entsteht eine leichte Verzögerung der Bilder aufgrund der
benötigten Rechenzeit zur neuen Situation. Dadurch können Realbild und virtuelles Bild
voneinander abweichen.
• Die halbdurchlässigen Spiegel verringern bei „normalen“ Optical See Through HMDs die
Lichtmenge, die zu den Augen gelangen soll. Laut [HOLGREN92] kann diese sich bis auf 30%
reduzieren. Eine Lösung bietet hier das Retinal Virtual Display (nächster Abschnitt).
• Die künstlichen Objekte können die Objekte der realen Umgebung nicht überdecken, da die
Spiegel auch Licht aus der Umwelt hindurch lassen. Mehr hierzu in [AZUMA01].
Vorteile eines OST-HMD:
• OST-HMDs besitzen meist eine leichte und einfache Bauweise.
• Im Vergleich stellen sie die preislich günstigeren Systeme dar.
• Sie besitzen eine kurze Verzögerungszeit.
• Da die Realität voll wahrgenommen wird und die Gefahr des „Erblindens“ bei einem
Systemausfall nicht besteht besitzen OST-HMDs eine größere Nutzerakzeptanz.
Virtual Retinal Display
Das Virtual Retinal Display (VRD) wurde 1993 an der University of Washington am HIT-Labor
(Human Interface Technology Lab) erfunden [FURNESS95]. Beim VRD wird mit Hilfe von schwachen
Laserstrahlen das entsprechende Bild direkt auf die Netzhaut des Benutzers gezeichnet. Auch hierbei
kann die „reale“ Welt gesehen werden, auch wenn das Display nicht aktiv ist. Retinal Displays werden
deshalb den OST-HMDs zugeordnet. (Abbildung 5.4)
5 Komponenten eines AR Systems
50
Abbildung 5.4: Virtual Retinal Display: “Nomad” Personal Display (MICROVISION)
Bei den herkömmlichen Optical See Through Systemen werden die Lichtstrahlen, die von der realen
Außenwelt kommen, durch die halbdurchlässigen Spiegel stark abgeschwächt (Transmissions-
grad.<.50%), so dass diese wie durch eine Sonnenbrille wahrgenommen werden. Das eingeblendete
Bild verliert durch den halbdurchlässigen Spiegel ebenfalls an Helligkeit. Beim Retina Display wird
dieses Problem umgangen, da es dort keinen halbdurchlässigen Spiegel gibt. Die Laserstrahlen werden
als sehr hell wahrgenommen, so dass insgesamt ein helles Bild entsteht. Die Anpassung des Displays
an die Helligkeit der Umgebung bei unterschiedlichen Beleuchtungsverhältnissen wie beim Auge ist
problematisch, da das menschliche Auge logarithmisch arbeitet und einen extrem großen Helligkeits-
bereich verarbeiten kann. Normale Displays decken nicht annähernd so große Bereiche ab. Beim
Virtual Retinal Display ist das anders. Die technischen Details des „Nomad“ können der Tabelle 5.1
entnommen werden.
Tabelle 5.1: Technische Details des “Nomad” Personal Display (MICROVISION)
Hersteller Microvision
Modell Nomad
Typ Virtual Retinal Display
Maximale Auflösung 800 × 600
Bildgröße entspricht 17” Monitor bei einer Armlänge Entfernung
Blickfeld 23° horizontal, 17° vertikal
Schnittstelle VGA
5 Komponenten eines AR Systems
51
In den folgenden Unterabschnitten soll auf den prinzipiellen Aufbau / Funktion bzw. auf die
Bilderzeugung eines VRD eingegangen werden. Eine vollständige Beschreibung ist dabei nicht
möglich. Es soll jedoch auf Besonderheiten eingegangen werden, welche bei der Korrektur des
Verrutschens des Displays beachtet werden müssen. Grundlage und Orientierung sind die Arbeiten
von [KAISER05, TUNER02]. Eine vollständigere Beschreibung kann [DEWIT97] entnommen werden.
Des Weiteren wird auf darüber hinausgehende Besonderheiten und Potenziale des Virtual Retinal
Display verwiesen.
Aufbau und Funktion
Ein analoges Videosignal (VGA), welches digitalisiert und durch einen Digitalen Signalprozessor
(DSP) aufbereitet wird, dient als Signalquelle für das monochrome (roter Laser) Display. Akusto-
optische Modulatoren (AOM) modulieren das Laserlicht mit den Helligkeitswerten aus dem DSP. Der
austretende Strahl wird über eine mikroskopische Linse fokussiert und mittels Glasfaser weitergeleitet.
Bevor es zur Bilderzeugung auf der Retina kommt, sorgt eine Ablenkvorrichtung für eine synchrone
horizontale und vertikale Ablenkung und kann somit einen rechteckigen Bereich abdecken. Der in der
Ablenkvorrichtung vorhandene Strahlteiler lenkt 70% des Lichtes auf einen sphärischen Spiegel,
welcher das Licht fokussiert und wiederum ca. 30% durch den Strahlteiler Richtung Auge lenkt.
Insgesamt wird so der gesamte Scanbereich in der Austrittspupille des VRDs auf einen 1.mm großen
Bereich konvergiert. Wird das Auge nun entsprechend vor der Austrittspupille des Displays
positioniert, wird ein Bild auf der Netzhaut erzeugt (Abbildung 5.5).
Abbildung 5.5: Schematischer Aufbau eines Virtual Retinal Display
Bei einer Austrittspupille von nur 1.mm ist jedoch der Spielraum für die Positionierung des Auges vor
dem Display (Kopplung von Pupille und Austrittspupille) stark eingeschränkt (Abbildung 5.6).
5 Komponenten eines AR Systems
52
Abbildung 5.6: Ent-/ Kopplung Pupille des Auges und Austrittspupille des Displays
Beim herkömmlichen Video See Through Display ist das Bild beim möglichen Verrutschen zwar
„dejustiert“, aber noch sichtbar. Bei dem bisher beschriebenen VRD würden sich durch
Blickwinkeländerungen oder Verrutschen Pupille und Austrittspupille entkoppeln und das Bild
verschwinden. Dabei ist der Bewegungsspielraum des Auges abhängig vom Pupillendurchmesser oder
von der Größe der Austrittspupille. Typische Pupillendurchmesser bei idealen Bedingungen in
geschlossenen Räumen liegen bei etwa 4.mm. Nach dem Modell von [DEWIT97] entspricht dies einem
maximalen Sichtbereich von 21,5°. Dabei ist noch nicht das Verrutschen des Displays berücksichtigt.
Für die Abbildung eines Sichtbereiches eines 17“ Monitors sind jedoch Winkel über 25° notwendig.
Die mögliche Vergrößerung der Austrittspupille am Display ist nicht zu empfehlen, da die
Tiefenschärfe verloren geht und die Energieeffizienz des Systems (Menge des Lichtes, welches die
Retina erreicht) stark abnimmt.
Die Lösung des Problems stellt die rasterförmige Anordnung mehrerer Austrittspupillen in einem
ebenen Array dar (Abbildung 5.7).
Abbildung 5.7: Austrittspupillen Array beim Microvision VRD „Nomad“; links: frontal, rechts: Detail
Dasselbe Bild wird an verschiedenen Orten so dargestellt, dass mindestens eine (oder mehrere)
Austrittspupillen mit der Pupille des Auges gekoppelt sind. Hierfür ist die optimale Dimensionierung
der Abstände der Austrittspupillen notwendig. Kommt es zur Kopplung der Pupille mit mehreren
Austrittspupillen wird nur ein Bild wahrgenommen, da beide Bilder exakt übereinander liegen. Zum
besseren Verständnis der Ent- / Kopplung beim Austrittspupillenarray sei Abbildung 5.8 empfohlen.
5 Komponenten eines AR Systems
53
Damit wird eine größere Bewegungsfreiheit (Blickwinkel) des Auges gewährleistet. Der hohe
Aufwand der Bildarrayerzeugung ist u.a. auch durch eine deutlich verbesserte Energieeffizienz zu
rechtfertigen [TURNER02].
Kopplung mit einer Austrittspupille
umschalten bei Augenbewegung
zu großer Array Abstand, Bild wird nicht
wahrgenommen
Kopplung mit zwei Austrittspupillen, ein Bild wird
wahrgenommen
Abbildung 5.8: Ent-/Kopplung beim Austrittspupillenarray
Modellierung und Besonderheiten der Bilderzeugung beim VRD
Besonders bei den Überlegungen zur Modellierung des Verrutschens des Displays vor dem Auge
müssen die besonderen Eigenschaften des Retinal Display, welche durch das Prinzip des
Austrittspupillearrays hervorgerufen werden, berücksichtigt werden. Verschiebungen herkömmlicher
LCD Displays wirken sich wesentlicher stärker aus als beim VRD, da beim Austrittspupillenarray
bereits kleine Verschiebungen durch den gleichen Strahlengang der versetzten Austrittspupillen im
Array kompensiert werden.
Die Verschiebung bei herkömmlichen OST-HMDs auf LCD Basis ist in Abbildung 5.9
wiedergegeben.
5 Komponenten eines AR Systems
54
(a)
(b)
(c)
Abbildung 5.9: (a) Strahlengang eines OST-HMD mit Spiegel im optischen Pfad (b) vereinfachtes
Modell ohne Spiegel nach Verschiebung (c) Verlauf des Registrierungsfehlers in
Abhängigkeit der Verschiebung (für eine Richtung horizontal/vertikal)
Hier wird das LCD Bild dem Nutzer über einen halbdurchlässigen Spiegel in den Sichtbereich
eingeblendet. Verrutscht nun das HMD, verschiebt sich im gleichen Maße das LCD sowie das vom
Spiegel projizierte Bild und verursacht einen zur Verschiebung proportionalen Registrierungsfehler.
Dieser Fehler steigt monoton linear und ist proportional zum Bildmaßstab.
Beim VRD ist die maximale Verschiebung des Displays, um noch ein Bild zu sehen, durch die Größe
des Arrays vorgegeben. Innerhalb des Arrays kommt es zur Entkopplung der durch Verrutschen nicht
mehr sichtbaren Austrittspupille und zur gleichzeitigen Kopplung mit der nächsten Austrittspupille aus
dem Array. Das Bild wird dabei an derselben Stelle der Retina eingeblendet.
Die Größe des Registrierungsfehlers wird durch die Abstände der Austrittspupillen auf dem Array
bestimmt und subjektiv kaum wahrgenommen. So steigt der Fehler beim Verrutschen erst linear an
und wechselt sein Vorzeichen, sobald das Auge mit der nächsten Austrittspupille gekoppelt wird.
Wird das Display weiter verschoben, geht der Fehler linear zurück, um bis zum nächsten Übergang
auf eine neue Austrittspupille mit entsprechender Ent-/Kopplung linear anzusteigen und entsprechend
wieder das Vorzeichen zu wechseln. Die Simulation eines solchen Vorgangs für eine Verschiebung
nach oben ist in Abbildung 5.10 dargestellt. Dabei wird von einer festen Blickrichtung und Abständen
auf dem Array unter 4.mm ausgegangen, da sonst Bildausfälle auftreten.
5 Komponenten eines AR Systems
55
(a)
(b)
(c)
Abbildung 5.10: (a) Ausgangsposition, eine Austrittspupille gekoppelt; (b) Verschiebung um einen
Array Abstand, Bildlage wie in der Ausgangsposition (keine fehlerhafte Darstellung);
(c) Verlauf des Registrierungsfehlers in Abhängigkeit der Verschiebung (für eine
Richtung horizontal/vertikal), d bezeichnet den Array Abstand
Für die Fehlerkompensation ist nicht die Position des Displays zum Auge, sondern zur jeweiligen
Austrittspupille entscheidend. Zusätzlich muss beispielsweise der Abstand der Austrittspupillen im
Array bekannt sein. Nach diesem Modell kann eine Fehlerkompensation umgesetzt werden. Zur
Bestimmung des absoluten Fehlers (Betrag des Fehlers zwischen den Vorzeichenwechseln) ist die
genaue Kenntnis des VRDs nötig. Des Weiteren ist der optimale Abstand der Austrittspupillen auf
dem Array abhängig von der Pupillengröße und Position des Trägers und damit auch von den
vorherrschenden Lichtbedingungen. Die Optimierung des Displays erfolgte so, dass beim oben
genannten Vorzeichenwechsel des Fehlers (also beim Übergang zwischen zwei Austrittspupillen) kein
wahrnehmbarer Sprung der Bildposition zu verzeichnen ist. Diese Optimierung und deren Parameter
sind Interna von Microvision.
Die Beschränkung des Registrierungsfehlers auf einen bestimmten Höchstbetrag ermöglicht den
Einsatz des VRDs auch für kritische Anwendungen im Nahbereich. Selbst ohne Fehlerkompensation
oder deren Versagen ist eine gewisse Sicherheit gegeben.
Weitere Besonderheiten und Potenziale des VRDs
Ein Problem bei Optical See Through HMDs stellt die Fokussierung dar. Der Beobachter stellt die
Brechkraft seiner Augen auf die Entfernung zu einem bestimmten Objekt in der „realen“ Welt ein
(Akkommodation), um dieses scharf sehen zu können. Das virtuelle Bild der erweiternden
Informationen muss nun dieser Brechkraft angepasst werden, so dass es auf der Netzhaut ebenfalls
scharf abgebildet wird. Bei unterschiedlichen Sehdistanzen zum Objekt müsste die eingespiegelte
5 Komponenten eines AR Systems
56
Information ebenfalls immer in unterschiedlichen Sehdistanzen eingeblendet werden, was technisch
sehr aufwendig ist.
Die so genannte Knotenpunktabbildung stellt eine Möglichkeit dar, die Informationen ohne
Anforderungen an die Akkommodation einzuspiegeln. In der Abbildung 5.11 wird der Pfeil mittels
einer Linse der Brennweite f abgebildet. Da der Brennpunkt der Linse und der Knotenpunkt des Auges
örtlich übereinstimmen, nimmt der Pfeil einen, unabhängig von seiner Entfernung zum Auge, immer
gleich großen Sehwinkel ein. Die Abbildungsstrahlen, die durch den Knotenpunkt gehen, werden nicht
von der abbildenden Optik beeinflusst.
f
γ
K
K : objektseitiger Knotenpunkt Auge
f : Brennweite Linse
γ: Sehwinkelgröße = konstant
Abbildung 5.11: Knotenpunktabbildung nach [MENOZZI01]
Wenn das Objekt diffus strahlt, erfordert eine scharfe Abbildung des Objektes dennoch die Einstellung
der Akkommodation. Wenn jedoch zur optischen Achse parallele Lichtstrahlen ausgesandt werden,
entspricht dies ebenfalls der Knotenpunktabbildung und eine Einstellung der Akkommodation ist nicht
notwendig. [MENOZZI01] schlägt eine Erweiterung des Virtual Retinal Display um eine
Kollimatorlinse vor, um hier die Knotenpunktabbildung umzusetzen.
Eine Erweiterung des VRDs um eine variable Fokalebene bzw. variable Akkommodation kann
technisch durch einen deformierbaren Membranspiegel erreicht werden [MCQUAIDE02A,
MCQUAIDE02B, SILVERMAN03]. Theoretisch ist damit ein binokulares VRD mit der Möglichkeit der
Stereorepräsentation möglich. Eine Umsetzung ist jedoch noch nicht erfolgt. [CHINTHAMMIT02,
CHINTHAMMIT03] stellt eine andere Erweiterung des VRDs vor. Dabei wird der Laser des VRDs
nicht nur zur Bilderzeugung, sondern auch zum Kopftracking genutzt. Dies geschieht durch die direkte
Verbindung des Lasers mit einem Infrarot-Trackingsystem. Dabei macht man sich die Eigenschaft des
VRDs zu nutze, dass dessen Beamsplitter ein Teil der Energie (ca. 40%) in die Umwelt abgibt. Diese
Strahlung kann sehr gut und mit hoher Genauigkeit durch Infrarotdetektoren erfasst werden.
[KLEWENO01] und [LIN03] gehen auf die therapeutische Nutzung des VRDs bei Sehstörungen ein. So
können durch den Einsatz des VRDs, Sehstörungen kompensiert werden. Voraussetzung ist eine
intakte Retina und ein funktionierender Sehnerv. Ist die Retina nur teilweise beschädigt, kann das
VRD die verbleibenden gesunden Areale effektiver nutzen.
[OEHME04] hat einige Optical See Through Head Mounted Displays hinsichtlich des Nutzwertes
analysiert. Dabei wurde das Virtual Retinal Display besonders hinsichtlich der guten
Visualisierungsbewertung und der großen Informationsentnahmeleistung hervorgehoben.
5 Komponenten eines AR Systems
57
Zusammenfassung der Vorteile des VRD
Somit können folgende Vorteile des Virtual Retinal Displays zusammengefasst werden:
• potenziell sehr klein und leicht,
• großes Blickfeld, Sehwinkel größer als 100° pro Auge,
• hohe Auflösung, Annäherung an die Auflösung des Auges möglich,
• volle Farbauflösung möglich, potenziell besser als bei herkömmlichen Displays,
• Helligkeit und Kontrast für Anwendungen im Freien (outdoor) geeignet,
• Möglichkeit der Tiefenwahrnehmung bei zukünftigen 3D Displays,
• keine zusätzliche Abdunkelung der Realität notwendig und
• das VRD behebt viele optische Defekte des Auges bzw. der Retina.
Aufgrund dieser Vorzüge und eines akzeptablen Preises soll zur ersten Realisierung eines Nahbereichs
See Through Systems für die Viszeralchirurgie ein Virtual Retinal Display „Nomad“ der Firma
Microvision eingesetzt werden.
Head Mounted Projektor Displays
Das von [HUA01, HUA03, HUA04] bzw. [ROLLAND03] beschriebene Head Mounted Projektor Display
(HMPD) ist eine Technologie an der Grenze zwischen herkömmlichen HMDs und
projektionsbasierten Systemen, wie beispielsweise einem Cave (surround screen display). Die
herkömmliche augenbezogene Optik eines HMD wird durch einen Projektor ersetzt, welcher virtuelle
Daten auf eine im Raum günstig angeordnete Projektionsfläche (mit retro-reflectivem Material)
projiziert.
Solch eine Funktionsweise bietet einige Vorteile gegenüber den herkömmlichen Technologien. HMPD
können ein relativ großes Sichtfeld (field-of-view) besitzen. Die HMPD Technologie bietet die
Möglichkeit des Einsatzes mehrerer Beobachter von unterschiedlichen Standpunkten mit Blick auf die
Projektionsfläche. Bei herkömmlichen projektionsbasierten Systemen war dies nur von einem
Standpunkt aus möglich. Ein weiterer Vorzug bietet sich hinsichtlich der Verdeckungsproblematik. Da
die projizierten virtuellen Daten nur auf dem retro-reflektierendem Material zu sehen sind, kommt es
zu natürlichen Verdeckungen. Den genannten Vorzügen steht jedoch die Notwendigkeit der Nutzung
einer Projektionsfläche entgegen, welche bei den meisten medizinischen Anwendungen ähnlich den
monitorbasierten Systemen arbeiten würden und somit beispielsweise nicht die Verschmelzung des
realen Operationssitus mit den virtuellen Daten umfassen. Der operierende Arzt müsste vom
eigentlichen Interessensgebiet weg, auf eine Projektionsfläche schauen.
Weitere tragbare Systeme
Wenn die „zusätzlichen Informationen“ displaytechnisch von relativ anspruchsloser Natur sind, wie
z.B. die Einblendung von Text oder Zahlen, bei denen eine geringe Displayauflösung ausreicht und
keine stereoskopische Darstellung benötigt wird, können auch die so genannten Mikrodisplays zum
Einsatz kommen. Als Beispiel dafür sei hier der M1 und dessen Nachfolgemodell M2 der kanadischen
Firma Tek Gear genannt. Diese Firma hat sich auf den professionellen Einsatz von Mikrodisplays
spezialisiert. Als Anwendung wird auch hierbei an die Arbeit von Chirurgen gedacht, die während
einer Operation permanent die Körperfunktionen des Patienten überwachen müssen. Die Firma
Mikrooptical bietet ein Mikrodisplay an, das entweder vollständig in ein Brillenglas integriert oder als
so genanntes Clip-On-Display an einer gewöhnlichen Brille befestigt werden kann. Das Besondere an
diesem Display ist, dass das Bild von einem LCD zunächst in einen Lichtleiter gespeist und dann über
ein Mikroprisma ins Auge projiziert wird. Ein Beispiel für ein Mikrodisplay ist der Abbildung 5.12
dargestellt.
Selbstverständlich ist es auch möglich, die Realität mit anderen Werkzeugen zu erweitern. Zu
erwähnen wären stationäre Durchsichtmonitore, auf deren Bildschirm die Informationen oder Grafiken
dargestellt werden. Ebenso sind kleine Handhelds oder akustische Geräte vorstellbar. Diese Arbeit
wird sich aber im Weiteren nur auf die oben genannten Head Mounted Displays beziehen, welche
bevorzugt im Innenbereich Anwendung finden.
5 Komponenten eines AR Systems
58
Abbildung 5.12: Mikrodisplay (MIKROOPTICAL)
Verfügbare Head Mounted Displays
Der Markt für Head Mounted Displays unterliegt wie jede Technologie einem ständigen technischen
Wandel. Die Auswahl preiswerter Geräte ist insofern eingeschränkt, dass sich die Displays nicht auf
einem Massemarkt durchsetzen konnten. Dies liegt einerseits an den Geräten selbst (schwer,
unhandlich, teuer) aber auch an der Tatsache, dass Software für entsprechende Anwendungen nicht
ausreichend vorhanden ist. Anfangs für den Massenmarkt produzierte Produkte werden nicht
weiterentwickelt bzw. sind käuflich nicht mehr zu erwerben. Um einen Überblick von den auf dem
Markt befindlichen HMDs zu erhalten seien die Internetseiten [BUNGERT05] und [EST05] empfohlen.
Hier werden nahezu alle verfügbaren HMDs aufgelistet und hinsichtlich einiger technischer Parameter
verglichen.
5.1.3 Auswahl eines Head Mounted Displays
Für Augmented Reality brauchen die HMDs eine See Through Option. Die Vor- und Nachteile von
Systemen mit Optischem bzw. Video See Through wurde im Abschnitt 5.1.2 diskutiert. Sollen wenige
virtuelle Daten der realen Welt zugefügt werden, sind OST Displays (Optical See Through) zu
bevorzugen. Um derzeit eine Akzeptanz bei den Chirurgen zu erreichen, sollte dies ebenfalls optisch
geschehen. Der Arzt ist ständig mit der realen Welt verbunden, auch bei einem Ausfall des Systems,
was bei den VST Geräten (Video See Through) nicht der Fall ist. Somit beschränkt sich die Auswahl
der verfügbaren Geräte auf die wenigen Head Mounted Displays mit Optical See Through Option. Im
Abschnitt 5.1.2.2 wurden die Vorteile und das hohe technische Potenzial des Virtual Retinal Displays
herausgearbeitet. Aufgrund eines akzeptablen Preises und der genannten Vorzüge wurde es für eine
erste Umsetzung einer AR Anwendung in der Viszeralchirurgie ausgewählt und beschafft. In dieser
Arbeit geht es um eine erste Umsetzung eines Nahbereichs See Through Systems für die
Leberchirurgie. Für einen alltäglichen Einsatz bei Operationen müssten das Display, aber auch andere
Einzelkomponenten des AR Systems, den klinischen Erfordernissen und für eine entsprechende
Nutzerakzeptanz angepasst werden (s. Abschnitt 2.4 und 2.5). Für das Display ergibt sich die
Forderung nach weiterer Miniaturisierung und Gewichtsreduzierung, einer kabellosen Verbindung
(wireless) und einer Erweiterung auf den stereoskopischen Modus (binokulares VRD s. Abschnitt
5.1.2.2).
5 Komponenten eines AR Systems
59
5.2 Trackingsysteme
Die zusätzlichen Daten (wie die präoperativen Informationen der Operationsplanung) sind auf dem
HMD geometrisch exakt darzustellen. Um dies zu erreichen, muss dem System bekannt sein, wo sich
der Benutzer und das interessierende Objekt befinden. Diese Aufgabe übernehmen Trackingsysteme.
Unter Tracking versteht man die Bestimmung und Verfolgung der Position des interessierenden
Objektes.
Hierfür gibt es grundsätzlich mehrere Möglichkeiten:
• GPS (Global Positioning System),
• mit einem Inertialtracker,
• mechanisch,
• akustisch,
• magnetisch und
• optisch.
Im Mittelpunkt dieser Arbeit steht das optische Tracking, da die anderen Verfahren aufgrund ihrer
negativen Merkmale ausfallen. Im Folgenden sollen dennoch alle Verfahren kurz vorgestellt werden,
weil besonders GPS für Außenanwendungen und das magnetische Tracking für
Innenraumanwendungen von AR Systemen eine Rolle spielen. Die mechanischen Trackingsysteme
waren die ersten Systeme, welche in der Medizin zum Einsatz kamen. Das optische Tracking der
Pupille liefert in dieser Arbeit einen wichtigen Beitrag zur Verbesserung der HMD Kalibrierung und
wird deshalb extra im Abschnitt 5.4 erläutert.
5.2.1 Tracking mittels GPS
Die Positionsbestimmung mit Hilfe des Global Positioning System (GPS) ist nur für AR
Außenanwendungen, also außerhalb von Gebäuden geeignet. Dabei erfolgt die eigene
Positionsbestimmung mit Hilfe eines Empfängers und mindestens vier Satelliten. Diese sind
notwendig, um auf der Grundlage von Zeitmessungen eine 3D Ortsbestimmung durchzuführen. Zur
lückenlosen Ortsbestimmung mittels GPS sind mindestens 24 Satelliten notwendig, die auf sechs
Orbitalbahnen die Erde in einer Höhe von 20200.km umkreisen.
Der größte Vorteil dieses Verfahrens ist die fast unbeschränkte Reichweite im Hinblick auf die
Nutzung in einem AR System. Jedoch ist der Einsatz in Gebäuden oder bei starken Verdeckungen der
Sicht zum Satelliten (Häuserschluchten, Wald) nicht möglich.
Unter Beachtung bestimmter Voraussetzungen sind mit GPS Genauigkeiten im cm-Bereich möglich.
Diese sind für die meisten Outdoor AR Anwendungen ausreichend.
Weiterführende Informationen zu GPS findet man unter [BAUER97] und [GPS05].
5.2.2 Inertialtracker
Der Inertialtracker besteht aus den Hauptkomponenten Laserkreisel und Beschleunigungsmesser. Der
Laserkreisel dient dabei zur Richtungsbestimmung und der Beschleunigungsmesser registriert eine
Bewegung in beliebiger Richtung. Kombiniert ist es möglich eine Bewegung hinsichtlich ihrer Strecke
(Translation) als auch Richtung (Rotation) zu verfolgen. Dabei kommt es zu Abweichungen (Drift),
welche sich ohne Kontrolle addieren und somit eine ungünstige Fehlerfortpflanzung beinhalten.
Deshalb ist es empfehlenswert mittels anderer Trackingsysteme diese Abweichungen entsprechend zu
korrigieren. Beispielsweise wird in der Luftfahrt oft eine Kombination aus Inertialsystemen und GPS
eingesetzt. Das Inertialtracking besitzt den Vorteil unterbrechungsfrei (frei von äußeren Einflüssen)
5 Komponenten eines AR Systems
60
arbeiten zu können. Im Bereich der AR Anwendungen kommt es als Ergänzung zu Anwendungen mit
GPS in Frage.
5.2.3 Mechanische Trackingsysteme
Mechanische Trackingsysteme waren die ersten kommerziell verfügbaren Systeme, die zum
klinischen Einsatz kamen. Die Position eines Messarms bezüglich seiner Basis wird über eine
mechanisch aufgebaute Stangen-Gelenk-Konstruktion bestimmt. Dabei wird die Stellung der Gelenke
beispielsweise mit Potentiometern erfasst, welche abhängig von der Gelenkstellung den Ohmschen
Widerstand verändern. Je nach Anwendung ist die Gelenkzahl der mechanischen Trackingsysteme
unterschiedlich und kann sechs und mehr Freiheitsgrade betragen. Die Basis des mechanischen
Trackers wird entweder mit dem Operationstisch oder teilweise direkt mit dem Patienten fest
verbunden. Aufgrund ihres eingeschränkten Arbeitsvolumens, ihrer Bewegungsfreiheit und der
Tatsache, dass lediglich ein oder wenige Objekte im Raum lokalisiert werden können, finden diese
Systeme nur noch selten Verwendung. [VETTER04]
5.2.4 Akustische Trackingsysteme
Hierbei kann man zwei Grundsysteme unterscheiden. Beide Systeme arbeiten mit Vergleichs-
verfahren, dem Phasenvergleichsverfahren oder dem Impulsverfahren. Beim Phasenvergleichs-
verfahren strahlt ein Sender (Zielobjekt) beispielsweise eine Ultraschallwelle zum Empfänger
(Referenzobjekt) aus. Ändert sich die Position des Zielobjektes zum Referenzobjekt, kann dies das
Referenzobjekt in Form einer Phasenverschiebung registrieren. Beim Impulsverfahren wird direkt die
Laufzeit, d.h. deren Änderung zwischen Ziel- und Referenzobjekt, gemessen. Dem Vorteil der
preisgünstigen Anschaffung steht eine Genauigkeit von 0,5-6.mm bzw. 0,1-0,6° und einer starken
Beeinflussung von Temperatur, Luftfeuchtigkeit, Luftdruck und Ultraschallrauschen gegenüber. Bei
Verdeckungen kann keine Messung durchgeführt werden.
5.2.5 Magnetische Trackingsysteme
Magnetische Tracker nutzen die Eigenschaft von Spulen, in magnetischen Feldern Strom zu erzeugen.
Sowohl die Sender, wie auch die Empfänger bestehen aus senkrecht zueinander stehenden Spulen.
Entsprechend ihrer Lage im Magnetfeld, wird in diesen Spulen unterschiedlich stark Strom induziert.
Anhand der induzierten Ströme, der Frequenz, der Amplitude und der Phase kann die Position des
Empfängers zum Sender bestimmt werden.
Abbildung 5.13: Magnetische Trackingsysteme zum Tracking der Navigationsnadeln (links),
des Instruments (rechts)
5 Komponenten eines AR Systems
61
Magnetische Tracker besitzen einen relativ kleinen Aktionsradius (bis ca. 1,5.m) und sind
störungsanfällig gegenüber metallischen Gegenständen. Sie sind deshalb zur Positionsbestimmung von
AR Systemen nur bedingt einsetzbar. Da sie aber relativ robust arbeiten und die
Verdeckungsproblematik nicht existiert, eignen sie sich in Kombination mit anderen
Trackingverfahren. Die Genauigkeit magnetischer Tracker nimmt mit dem Quadrat der Entfernung ab.
Das Messrauschen bei diesen Systemen ist höher als bei optischen Trackingsystemen. Die Genauigkeit
der magnetischen Systeme beträgt etwa 0,8-25.mm bzw. 0,15-3°. Vertiefende Ausführungen zu
magnetischen Trackingverfahren im AR Bereich bzw. zu den erreichbaren Genauigkeiten sind
vielfältig verfügbar [FUHRMANN99, KINDRATENKO00, MCGARRITY01, TANG03]
Bei dem hier vorgestellten Navigationssystem für die Leberchirurgie übernehmen magnetische
Tracker die Aufgabe der Positionsbestimmung, der Verfolgung des Instrumentes des Chirurgen und
der Hilfsnadeln zur besseren Bestimmung des Deformationsmodells der Leber (Abschnitt 4.4.2).
Beide Zielobjekte befinden sich während der Operation weitgehend im Gewebe der Leber und sind
verdeckt. Daher kommt ein optisches Trackingverfahren nicht in Frage. Der für das Instrument
verwendete Sensor der Firma NDI (System AURORA) zur Positions- und Orientierungsbestimmung
besteht aus einer Mikroempfangsspule mit einer Länge von 8.mm und einem Durchmesser von 0,8-
0,9.mm (Abbildung 5.13). Es lassen sich mehrere Empfangsspulen im Magnetfeld gleichzeitig mit
einer Updatezeit von 20ms bestimmen. Die Genauigkeit des AURORA Trackingsystems wurde von
[FRANTZ03] untersucht. Der Hersteller spezifiziert die mittlere Genauigkeit mit 1,5.mm bei
Translationen und 1,5° Winkelgenauigkeit bei Drehungen. Die durchgeführte Kalibrierungsmessung
des zur Verfügung gestellten Geräts ergab eine mittlere Genauigkeit von 0,76.mm bei Translationen
und 0,65° Winkelgenauigkeit. [VETTER04]
5.2.6 Optische Trackingsysteme
Trackingsysteme, die auf der Verarbeitung optischer Sensoren beruhen, können als die genauesten
Systeme mit einem variablen Aktionsradius angesehen werden. Vorausgesetzt werden muss, dass die
Sicht der verwendeten Kameras nicht verdeckt wird. Die Positionsbestimmung im Raum erfolgt
mittels Passpunkten, welche im AR Bereich meist Marker genannt werden.
Diese Marker können je nach Aufgabenstellung unterschiedliche
Formen annehmen. Im AR Bereich haben sich quadratische
Marker (Abbildung 5.14) durchgesetzt. Zeichen oder Grafiken in
ihrer Mitte können zur Identifizierung dienen. Die Überprüfung
der Parallelität der Kanten und die Kenntnis der Entfernung
zwischen den Eckpunkten tragen zur schnelleren und sicheren
Positionierung der Kamera in Bezug zum Marker bei (ausführliche
Erläuterung im Abschnitt 6.4.1).
Zunehmend wird versucht, mit markerlosem optischem Tracking
zu operieren. Hier müssen also nicht ein oder mehrere Marker auf
oder in Nähe des Objektes angebracht werden. Zur Identifizierung
werden natürliche (im Raum vorhandene) Strukturen verwendet.
Abbildung 5.14: Marker
Zur Initialisierung werden vor dem eigentlichen Trackingprozess Aufnahmen von dem zu trackenden
Raum oder Objekt gemacht. Das Muster dieser Aufnahmen wird intern gespeichert. Beim
Trackingprozess selbst wird nach diesen Mustern (ähnlich wie nach den Markern) gesucht. Beide
Verfahren sind prinzipiell gleich. Beim markerlosen Tracking entfällt das Anbringen von Markern. Es
werden hohen Anforderungen an die Bilderkennungsalgorithmen gestellt. Problematisch wird es bei
sich wiederholenden Strukturen oder ungünstigen Lichtverhältnissen. Die Marker beim
herkömmlichen Tracking mit ihren einfachen und vorher festgelegten Mustern lassen sich gut
voneinander unterscheiden und sind auch bei variierenden Beleuchtungsverhältnissen, aufgrund ihres
hohen Kontrastes, sicher erkennbar. Somit bietet das markerbasierte Tracking eine höhere Genauigkeit
5 Komponenten eines AR Systems
62
gegenüber dem markerlosen Tracking, bei dem andere Einsatzmöglichkeiten existieren und wo das
Anbringen von Markern schwierig oder nicht möglich ist.
Eine weitere Einteilungsmöglichkeit beim optischen Tracking besteht in der Wahl der Positionierung
der Kamera. Die Kamera kann direkt am Display (oder in dessen Nähe) befestigt sein. Dann
beobachtet die Kamera von dort den Marker bzw. das Zielobjekt. Daraus kann die Position der
Kamera und damit die Position des Head Mounted Display bestimmt werden. Dieses Verfahren wird
als „inside out“ Verfahren bezeichnet. Die Aufgabenstellung der Positionierung entspricht weitgehend
dem räumlichen Rückwärtsschnitt der Photogrammetrie. Beim „outside in“ Verfahren wird die
Kamera im Raum positioniert und verfolgt die Bewegung der Marker am Display. Dieses Verfahren
entspricht dem des räumlichen Vorwärtsschnittes in der Photogrammetrie.
[CHINTHAMMIT02, CHINTHAMMIT03] nutzt die vom Virtual Retinal Display (VRD) in die Umwelt
abgegebene Strahlung, um die Position des Displays zu bestimmen. Dabei macht man sich die
Eigenschaft des VRDs zu nutze, dass dessen Beamsplitter ein Teil der Energie (ca. 40%) in die
Umwelt abgibt. Diese Strahlung kann sehr gut und mit hoher Genauigkeit durch Infrarotdetektoren
erfasst werden.
Ein ausführlicher Überblick über Abbildungen mittels CCD Kameras, deren mathematischer
Modellierung und die Umsetzung für Augmented Reality werden im Abschnitt 6 behandelt.
5.2.7 Tracking für den AR Einsatz in der Leberchirurgie
Für den Einsatz von Augmented Reality in der Leberchirurgie steht die Bestimmung der räumlichen
Zusammenhänge einzelner Komponenten im Mittelpunkt. Zur Identifizierung der Lage des Objektes
werden bekannte Objektpunkte in Form von Markern (Passpunkte) verwandt. Eine Kamera übernimmt
dabei die ständige Positionsbestimmung (optisches Tracking) des Markers (Abschnitt 6.4.1). Eine
weitere Kamera am Kopfband des Displays übernimmt das Tracking der Blickrichtung des Auges
(Eye Tracking Device, ETD) (Abschnitt 6.4.6). Dadurch kann das Verrutschen des HMD erkannt und
korrigiert werden. Magnetische Tracker haben die Aufgabe der Positionsbestimmung und der
Verfolgung des Instrumentes des Chirurgen und der Hilfsnadeln zur besseren Bestimmung des
Deformationsmodells der Leber (Abschnitt 4.4.2 und 5.2.5). Beide Zielobjekte befinden sich während
der Operation weitgehend im Gewebe der Leber und sind verdeckt. Daher kommt für innenliegende
Bereiche der Leber ein optisches Trackingverfahren nicht in Frage.
5 Komponenten eines AR Systems
63
5.2.8 Übersicht der verschiedenen Trackingverfahren
In der folgenden Tabelle 5.2 werden die in den vorigen Abschnitten behandelten Trackingverfahren
zur besseren Übersicht hinsichtlich ihrer Funktion und den Vor- und Nachteilen zusammengefasst.
Tabelle 5.2: Übersicht von Trackingverfahren für Augmented Reality
Trackingsystem
AR Anwendung
Funktionsweise Vorteile Nachteile
GPS
im Außenbereich
- ein Empfänger und
vier Satelliten
- 24 Satelliten für
lückenlosen
Empfang
- im Außenbereich
Verfahren der Wahl
- fast unbeschränkte
Reichweite
- im Innenbereich nicht
geeignet
- Funk tionseinschränku ng
bei Sichtverdeckung
(Häuser, Wald)
Inertial
bei großer räumlicher
Ausdehnung
- Laserkreisel
(Rotation) und
Beschleunigungs-
messer (Translation)
- kein Referenzsender
nötig
- unabhängig von
Raumgröße
- Fehleraddition (Drift)
- Kalibrierung vor jeder
Messung
Mechanisch
Medizin, 3D Digitizing
- Winkelmessung durch
Potentiometer
- geringe Latenz
(schnell)
- gute Genauigkeit
- unkomfortable
Handhabung
- eingeschränktes
Arbeitsvolumen
Akustisch
Unterhaltungsbranche,
CAVE
- Ultraschall
- Phasenvergleich oder
Impulsverfahren
- preisgünstig
- keine mechanischen
Verbindungen
- geringe Genauigkeit
- geringe Abtastrate
- sensibel auf
Feuchtigkeit und
Temperatur
- Funktionsverlust bei
Verdeckung
Magnetisch
im Nahbereich
- Emitter und
Empfänger
- Frequenz, Phase und
Amplitude von
induziertem Strom als
Funktion der Position
und Orientierung
- relativ schnell
- gute Genauigkeit
und Abtastrate
- Funktionsstörung durch
ferromagnetische Felder
- geringe Reichweite
- Genauigkeit nimmt mit
Quadrat der Entfernung
ab
Optisch
im Nahbereich
- räumliche
Orientierung meist
mehrerer Kameras
- hohe Genauigkeit
- hohe Abtastraten
- unabhängig von
Temperatur,
Feuchtigkeit und
ferromagentischen
Feldern
- meist teurer
- Funktionsein-
schränkung bei
Verdeckung
- beleuchtungsabhängig
Hybrid Verbindet in geeigneter Weise die Funktionsweise der obigen Verfahren,
um die Nachteile für die jeweilige Anwendung zu minimieren.
5 Komponenten eines AR Systems
64
5.3 Kalibrierung und Registrierung
Nach [MCGARRITY99] ist Kalibrierung „die Ermittlung (der Prozess) der umschreibenden
Parameterwerte des mathematischen Modells, welche die physikalische Umgebung an die inneren
Darstellungen anpassen, so dass das innere Computermodell mit der physikalischen Welt
übereinstimmt.“ In Bezug auf ein AR System kann Kalibrierung wie folgt definiert werden:
Kalibrierung ist die Ermittlung aller Parameter, welche im Zusammenhang mit der benutzten
Technik oder dem Betrachter selbst stehen und die Überlagerung virtueller und realer Objekte
beeinflussen.
Unter Registrierung versteht man dabei die Suche nach der Transformation der korrekten
Überlagerung zweier zugehöriger Objekte (hier meist reales Objekt mit virtuellem Objekt). Besonders
zwischen Kalibrierung und Registrierung sind dabei die Grenzen bei einem AR System fließend. In
der Literatur werden die verschiedensten Methoden zur Kalibrierung von AR Systemen
vorgeschlagen. Je nach Aufgabenstellung kommen die verschiedensten Komponenten zum Einsatz
und erfordern je nach Auswahl unterschiedliche Kalibrierungsprozeduren. Eine besondere Vielfalt
ergibt sich aus der Wahl des Displaysystems (Abschnitt 5.1) und der unterschiedlichen
Trackingsysteme (Abschnitt 5.2). Selbst bei gleicher Auswahl können verschiedene Kalibrierungs-
und Registrierungsprozeduren zum Einsatz kommen. Diese hängen dann oft von den geforderten
Genauigkeitskriterien ab.
Prinzipiell müssen bei der Verwendung eines OST-HMD die eingeblendeten Daten im Display dem
Auge so präsentiert werden, dass diese Einblendungen an der richtigen Stelle positioniert werden. Bei
den meisten Kalibrierungen wird dabei das System Auge / Display als virtuelle Kamera modelliert.
Anschaulich kann das Display als Bildebene einer Kamera und das Auge als dessen
Projektionszentrum betrachtet werden. Gesucht sind jetzt die inneren und äußeren Parameter dieser
virtuellen Kamera. Die Kalibrierung erfolgt mit Hilfe bekannter Objektpunkte (Marker, Passpunkte),
welche in Beziehung zu den eingeblendeten 2D Punkten im Display gesetzt werden. Die Position der
virtuellen Kamera in Bezug zum Objekt wird mittels eines kalibrierten Trackingsystems berechnet.
Dabei hängt die Wahl des Trackingsystems (meist magnetisch oder optisch) vom Aufbau des
Gesamtsystems und den Genauigkeitsanforderungen ab (s. Abschnitt 5.2).
Im Folgenden sollen die prinzipiellen Möglichkeiten vorgestellt werden. Die eigene Umsetzung wird
im Abschnitt 6 und 7 erläutert. Aufgrund der Abhängigkeit von der Wahl der Display- und Tracking-
komponenten kann man die Verfahren einerseits in Kalibrierungsverfahren für Optical See Through
und Video See Through Kalibrierungen unterteilen, andererseits in Verfahren, welche auf
magnetischen oder optischen Trackingsystemen basieren.
Hinsichtlich der Displaysysteme erfolgt eine Beschränkung auf tragbare Head Mounted
Displaysysteme einschließlich Virtual Retinal Displays mit Optical See Through Option. Die Video
See Through Systeme (VST Systeme) kommen für die vorliegende Anwendung nicht in Frage
(Abschnitt 5.1). Die Vor- und Nachteile von Optical See Through Systemen gegenüber Video See
Through Systemen wurden im Abschnitt 5.1.2.1 diskutiert. Die dort erläuterten Eigenschaften wirken
sich auf die Kalibrierungsmethoden aus. Optical See Through Systeme benötigen einen relativ hohen
Kalibrierungsaufwand, was die Bestimmung der physikalischen Parameter der am System beteiligten
Sensoren betrifft. Bildverarbeitungsalgorithmen können dabei weniger zur Registrierungsproblematik
beitragen. Da die virtuellen Objekte jedoch direkt (ohne Umwege) in die Realität abgebildet werden,
kann die Güte der Kalibrierung und Registrierung direkt überprüft werden.
Für die Kalibrierung von Video See Through Systemen sind andere Kalibrierungsmethoden zu
verwenden, welche weitgehend der 3D Objektrekonstruktion von Videosequenzen entsprechen.
Prinzipiell erfolgt eine Zuordnung gleichartiger (geometrisch) Videosequenzen. Dabei handelt es sich
um eine Videosequenz der realen Welt und eine zugehörige Videosequenz mit den virtuellen Daten,
welche die Realität ergänzen bzw. erweitern sollen. Mit der Kalibrierung von VST Systemen haben
sich beispielsweise [FUHRMANN99, GIBSON02, STRICKER99] beschäftigt.
5 Komponenten eines AR Systems
65
Hinsichtlich der Trackingsysteme erfolgt eine Beschränkung auf magnetische und optische
Trackingsysteme, welche in dem hier interessierenden Maßstabsbereich von Interesse sind. Die
Kalibrierung mit den anderen Display- bzw. Trackingsystemen kann entsprechender Literatur
entnommen werden. Genauigkeitsuntersuchungen bzw. Evaluierungen der Kalibrierungsmethoden
(inklusive Tracking) sind u.a. bei [LEEBMANN02A, LEEBMANN02B, TANG03] zu finden. Erste
Kalibrierungen wurden beispielsweise von [JANIN93] und [AZUMA94] präsentiert.
Im Folgenden werden einzelne Veröffentlichungen vorgestellt, um die Vielfalt möglicher
Kalibrierungen aufzuzeigen. Das Verfahren von [MCGARRITY99] dient zur Erläuterung des so
genannten multi-point Verfahrens, um dann auf die Verbesserungen der single point alignment method
(SPAAM) und deren Modifikationen von [GENC01, GENC02, TUCERYAN00, TUCERYAN02]
einzugehen. Die Veröffentlichung von [KATO99] entspricht weitgehend den Kalibrierungen, welche
im [ARTOOLKIT05] (Erläuterung s. Abschnitt 7.2) umgesetzt wurden. Diese Software bildet auch die
Grundlage der eigenen Umsetzung. Die mathematische Modellierung wird ausführlich im Abschnitt
6.4 beschrieben. Die ausgewählten Arbeiten können nicht den Anspruch der Vollständigkeit erfüllen,
sollen jedoch einen Querschnitt der „üblichen“ Verfahren darstellen.
5.3.1 Beispiele von Optical See Through Kalibrierungen
„A Method of Calibrating See-Through HMD for AR“
Erin McGarrity, Mitran Tuceryan [MCGARRITY99]
[MCGARRITY99] stellt in dieser Veröffentlichung die Kalibrierung eines gesamten AR Systems vor.
Im Mittelpunkt steht die Kalibrierung der so genannten virtuellen Kamera. Diese besteht aus der
Einheit Display und Auge und wird wie eine Lochkamera modelliert. Zur Kalibrierung des
Gesamtsystems werden folgende Einzelkalibrierungen durchgeführt:
• Kalibrierung der (virtuellen) Kamera (innere & äußere Orientierung),
• Kalibrierung eines Zeigers / Markierers,
• Kalibrierung des Trackers, Transmitters,
• Kalibrierung des Objektes und
• Kalibrierung der Marken, die durch den Tracker geortet werden.
Dem Gesamtverfahren liegt ein vollständig dynamischer Algorithmus zugrunde, so dass sich der
Nutzer während der Kalibrierung frei bewegen kann. Ein magnetisches Trackingsystem registriert
sämtliche Bewegungen. Während der Kalibrierung wird auf dem Display eine Markierung
eingeblendet. Diese muss nun durch den Benutzer mit dem zugehörigen Objekt zur Deckung gebracht
werden. Ergebnis der Kalibrierung sind die inneren Parameter der virtuellen Kamera und die
Transformation zwischen virtueller Kamera und Tracker-Markierung. Die Qualität der Kalibrierung
nimmt mit zunehmenden Messungen aus verschiedenen Blickrichtungen zu. Evaluiert wurde das
Verfahren durch den Einsatz einer zusätzlichen Kamera, welche das Auge ersetzt.
Ein Nachteil dieses Verfahrens ist, dass der Nutzer mehrere Punkte zur Deckung bringen muss (multi-
point Verfahren).
„Single Point Alignment Method for Optical-See-Through HMD Calibration “
Mitran Tuceryan, Nassir Navab, Yakub Genc [GENC01, GENC02, TUCERYAN00, TUCERYAN02]
Ein für Optical See Through HMD Kalibrierungen weit verbreitetes Verfahren stellt die von
TUCERYAN, GENC und NAVAB entwickelte single point alignment method (SPAAM) dar. Dieses
relativ einfache und robuste Verfahren benötigt im Gegensatz zum multi-point Verfahren nur einen
einzigen Punkt im übergeordneten System.
5 Komponenten eines AR Systems
66
Ziel ist auch hier die Bestimmung der Projektionsmatrix einer virtuellen Kamera. Das System der
virtuellen Kamera wird als fix angenommen, d.h., Auge und Display dürfen sich nicht zueinander
bewegen (verrutschen).
Die Berechnung der Projektionsmatrix der virtuellen Kamera erfolgt durch die Messung
korrespondierender Punktpaare im Display- und Trackingkoordinatensystem. Eine im HMD
eingeblendete Markierung wird während der Kalibrierung mit dem zugehörigen Marker in
Übereinstimmung gebracht. Nötig sind dabei mindestens zwei verschiedene Markerabstände mit fünf
Wiederholungen. Die Markerkoordinaten werden dabei durch das jeweilige kalibrierte Trackingsystem
bestimmt. So wird auf der Basis der 2D Einblendungen im HMD und den zugehörigen 3D
Markerkoordinaten die gesuchte Projektionsmatrix der virtuellen Kamera (also auch des HMD)
berechnet. Die mathematische Grundlage ist die lineare Bestimmung der Projektionsmatrix mit Hilfe
der Direkten Linearen Transformation (s. Abschnitt 6.2.4). [TUCERYAN00, TUCERYAN02] Nachteilig
ist bei diesem Verfahren der relativ hohe Aufwand zur Bestimmung der 10 Punktkorrespondenzen.
Zur Behebung dieses Nachteils wurde von den gleichen Autoren [GENC02] eine Weiterentwicklung
der SPAAM vorgestellt. Dabei wird der Kalibrierungsaufwand durch die Nutzung vorheriger
Kalibrierungen des HMD gesenkt und die Parameter der Kalibrierung in fixe und variable Werte
unterteilt. Die Reduzierung der Parameter wird dadurch erreicht, dass sich zwischen zwei
Kalibrierungen nur der Bezug zwischen HMD und Auge verändert. Die Parameter des HMD und die
Anatomie des Auges ändern sich im Allgemeinen nicht. Auch hier darf jedoch das System Auge-
HMD während und nach der Kalibrierung nicht verrutschen.
Die Autoren schlagen eine zweistufige Kalibrierung vor. Die erste Stufe entspricht dabei weitgehend
dem oben beschriebenen Vorgehen. Jedoch werden zur Verbesserung der Genauigkeit
(Überbestimmung des Systems zur Bestimmung der elf Parameter der Projektionsmatrix) wesentlich
mehr Punktkorrespondenzen empfohlen. Dieser erste Schritt braucht nur einmalig für jedes System
Auge-HMD (gleicher Nutzer, gleiches HMD) durchgeführt werden. Ist das HMD verrutscht oder wird
es neu aufgesetzt, wird nur noch die zweite Stufe der Kalibrierung benötigt. Diese kann auf einen
bestimmten Parametersatz der ersten Stufe der Kalibrierung zurückgreifen. Die Anzahl der zu
messenden Punktkorrespondenzen verringert sich entsprechend der Anzahl der noch verbleibenden
Parameter des Korrekturmodells.
Ein ähnliches Verfahren wurde von [OWEN04] beschrieben und als „Display-Relative Calibration“
veröffentlicht. Ebenso werden Abweichungen der Augenposition von den Kalibrierungswerten mittels
Punktkorrespondenzen ausgeglichen. Die Anzahl der Punktkorrespondenzen ist wiederum von den im
Korrekturmodell enthaltenen Parametern abhängig.
Eine andere Erweiterung von SPAAM ist die gleichzeitige Kalibrierung eines binokularen OST-HMD
für beide Augen [GENC00]. Auch hier werden Punktkorrespondenzen durch Übereinstimmung
computergenerierter Daten mit dem zugehörigen Objekt berechnet. In dieser Arbeit wird eine Methode
beschrieben, um ein See Through HMD für beide Augen gleichzeitig zu kalibrieren. Es kann als
Weiterentwicklung des SPAAM Algorithmus gewertet werden und basiert ebenso auf dem Vorgehen,
ein reales Objekt mit einem computergenerierten durch die Bewegung des HMD in Übereinstimmung
zu bringen. Durch die gleichzeitige Kalibrierung kann so Zeit und Aufwand für den Nutzer gespart
werden. Ergebnis der Kalibrierung sind die Projektionsmatrizen für jedes Display.
„Marker Tracking and HMD Calibration for a Video-Based AR Conferencing System“
Hirokazu Kato, Mark Billinghurst [KATO99]
[KATO99]stellt eine Kalibrierung vor, welche ein optisches Trackingsystem verwendet. Hierfür ist
eine Kamera fest mit dem HMD verbunden. Diese Kamera stellt den Bezug der Einheit Kopf / HMD
zur Realität her. In einem ersten Schritt wird die verwendete Trackingkamera kalibriert. Dabei werden
Markierungen in Form von Kreuzen eines Kalibrierungsbrettes im Kamerabildkoordinatensystem
mittels Bildanalyse gemessen und die gesuchten Parameter der Kamera berechnet. Die errechnete
Projektionsmatrix enthält die Parameter der äußeren Orientierung (drei Rotationen, drei Translationen)
5 Komponenten eines AR Systems
67
und die Parameter der inneren Orientierung (Bildhauptpunkt, Kamerakonstante, Skalierung und
Scherung).
Zur Kalibrierung des HMD werden quadratische Marker genutzt, welche von der Kamera per
Bilderkennung detektiert werden. Die Eindeutigkeit der Marker wird durch verschiedene Formen/
Buchstaben im Innern des Markers gewährleistet. Durch die bekannten Ausmaße des Markers (vier
Eckpunkte, deren Abstände und Parallelität der Verbindungslinien) können die 3D Koordinaten der
Marker in Echtzeit errechnet werden. Somit ist jederzeit die Position der Kamera im
Markerkoordinatensystem oder umgekehrt möglich. Während der Kalibrierung wird ein Fadenkreuz in
das Display eingeblendet. Der Nutzer hat jetzt die Aufgabe das Fadenkreuz mit einem speziellen
Marker zur Deckung zu bringen. Die Bildkoordinaten des Fadenkreuzes im Display und die
zugehörigen 3D Koordinaten des Markers werden per Mausklick gespeichert. Diese Prozedur wird für
zwei Abstände jeweils fünfmal wiederholt.
Durch die gesammelten Koordinaten des HMD und des Kamera Koordinatensystems bei der Marker
Registrierung können dann die inneren und äußeren Parameter des HMD Systems (Auge Systems)
bestimmt werden.
Das Kalibrierungsverfahren von [KATO99] wurde weitgehend im ARToolKit umgesetzt. ARToolKit
ist eine zu Forschungszwecken entwickelte Software Bibliothek und dient der Ansteuerung von
Kamera und HMD. Auf diese bewährte Sammlung bildverarbeitender Verfahren wurde auch hier
zurückgegriffen [ARTOOLKIT05]. Somit stellen die in den nächsten Abschnitten erläuterten
mathematischen Grundlagen und Prozeduren eine Weiterentwicklung der hier kurz umrissenen Arbeit
von [KATO99] dar.
5 Komponenten eines AR Systems
68
5.3.2 Tabellarische Zusammenfassung einiger
Kalibrierungsmethoden
Die grundlegenden Kalibrierungsmethoden sind zur besseren Übersicht für OST-HMDs in der Tabelle
5.3, für VST-HMDs und HMPD in Tabelle 5.4 zusammengefasst.
Tabelle 5.3: Tabellarische Zusammenfassung der Beispiele der Kalibrierungen für OSTHMD
Autor Titel Tracking Besonderheiten
Optical See Through Kalibrierungen
[JANIN93] Calibration of HMDs for
AR Applications
magnetisch
(optisch)
- Berechnung über ein virtuelles
Display
- Incl. Kalibrierung des Trackers
- Mögliche Fadenkreuzanpeilung
[AZUMA94] Improving Static and
Dynamic Registration in an
Optical See through HMD
optisch
inertial
- Optisches Tracking kombiniert mit
Inertialsensor zur Vorausschätzung
der Kopfbewegung
[MCGARRITY99] A method of Calibrating
See Through HMD for AR
magnetisch - Vollständig dynamisch
- Incl. Kalibrierung eines Zeigers
- Kalibrierungsboard
[KATO99] Marker Tracking and HMD
Calibration for a Video-
based AR Conferencing
System
optisch - Video Tracking von Markern
- Kalibrierung mit Kalibrierungsgitter
und Kalibrierungsmarker
- Echtzeit
[TUCERYAN00,
TUCERYAN02]
SPAAM for optical see-
through HMD calibration
magnetisch
(optisch)
- Einzelner bekannter Punkt
notwendig
- Fadenkreuz auf Display
[GENC00] Optical see through HMD
Calibration: a stereo
Method with a video see-
through System
magnetisch - Kalibrierung zweier Displays
- SPAAM Weiterentwicklung
- Einzelner bekannter Punkt
notwendig
- „Anzielung“ mit beiden Displays
(Schnittbedingung)
[GENC01] Optical see through
Calibration with vision
based Trackers
optisch - SPAAM Weiterentwicklung
- Video Tracker: Bekannte Punkte
durch Video erkannt
- Unterteilung in fixe und
veränderliche Parameter
[GENC02] Practical Solutions for
Calibration of optical see
through devices
optisch
(magnetisch)
- Nutzung bekannter
Kalibrierungsparameter
- Fixe Parameter werden nicht neu
berechnet
[OWEN04] Display-Relative
Calibration
optisch - erst Parameterbestimmung des
HMD, dann Augenpositions-
bestimmung relativ zum Display
5 Komponenten eines AR Systems
69
Tabelle 5.4: Tabellarische Zusammenfassung der Beispiele der Kalibrierungen für VST-HMD / HMPD
Autor Titel
Video See Through Kalibrierungen
[FUHRMANN99] Fast Calibration for Augmented Reality
[STRICKER99] Calibration propagation for image augmentation
[GIBSON02] Accurate Camera Calibration for Offline, Video-Based Augmented Reality
Head Mounted Projektive Display Kalibrierungen
[HUA02] Calibration of a head-mounted projective display for augmented reality systems
5.3.3 Verzeichnungskorrektur von Head Mounted Displays
Head Mounted Displays weisen aufgrund ihrer optischen Eigenschaften (ähnlich denen von Kameras
im Abschnitt 6.2.2) Verzeichnungen auf. Die Verzeichnung wird durch Parameter und Funktionen
beschrieben, welche Abweichungen vom Modell der Zentralperspektive bzw. dem bei der HMD
Kalibrierung angesetztem perspektivem Modell repräsentieren.
[WATSON95] stellt zur Korrektur der Verzeichnung von HMDs zwei grundsätzlich unterschiedliche
Methoden vor, welche zusammengefasst werden sollen:
Korrektur durch optische Linsen
Eine Möglichkeit der Verzeichniskorrektur ist der Einsatz optischer Linsen. Dieses System optischer
Linsen wird so angebracht, dass sie das Bild, bevor es auf dem Display ausgegeben wird,
vorverzeichnen. Diese Verzeichnung ist entgegengesetzt der Verzeichnung des HMD. Somit heben
sich beide Verzeichnungen auf, das Bild wird auf dem HMD korrekt ausgegeben. Diese Art der
Verzeichnungskorrektur macht eine digitale (meist rechenaufwändige aber einmalige) Korrektur
überflüssig. Jedoch wird für jedes Display ein System von Korrekturlinsen benötigt. Diese steigern
den Aufwand und die Kosten eines Displays. Darüber hinaus steigt auch das Gewicht des Systems.
Korrektur mittels Texture Mapping
Für die Korrektur der Verzeichnung von Head Mounted Displays kann ein spezieller Fall des Texture
Mapping, wie bei [FOLEY03] beschrieben, verwendet werden. Zur Erzeugung einer realitätsnahen
Szene wird die Textur eines Bildes auf ein 2D bzw. 3D Objekt aufgebracht. Das Bild, bzw. die Textur,
wird somit in Polygone zerlegt und auf der Displayoberfläche abgebildet. Diese Polygone werden
mittels Korrekturterme so transformiert, dass eine verzeichnungsfreie Abbildung entsteht.
Für die Berechnung der Verzeichnung können folgende Approximationen verwendet werden:
()
22
sn vn sv vn vn vn
xxkxxy=+ + (5.1)
()
22
sn vn sv vn vn vn
yykyxy=+ + (5.2)
wobei:
• sn sn
x,y die Pixelposition des HMD Rasters beschreibt,
• vn vn
x,y die Pixelposition nach der Verzeichnungskorrektur beschreibt,
5 Komponenten eines AR Systems
70
• sv
k der Verzeichnungsfaktor ist.
Die Bestimmung der Korrekturglieder (Verzeichnisfaktor) kann mit Hilfe eines Kalibrierrasters
erfolgen. Diese Korrektur muss für jedes Display ermittelt werden, bleibt jedoch dann konstant.
Werden die ermittelten Verzeichnisfaktoren in obiger Gleichung verwendet, ergibt sich ein
vorverzeichnetes Bild, welches in der verzeichnenden Optik korrekt dargestellt wird, da sich die
Vorverzeichnung und Displayverzeichnung gegenseitig eliminieren. Auf dem Display wird ein
verzeichnungsfehlerfreies Bild dargestellt.
In dieser Arbeit (Abschnitt 6.4.5) wird ebenfalls das Texture Mapping zur Verzeichnungskorrektur
angewendet.
5.4 Eye Gaze Tracking
Eye Gaze Tracker (EGTs) sind Systeme, welche die Blickrichtung des Auges eines Benutzers
feststellen und verfolgen. Darauf aufbauend ist es möglich festzustellen, wohin der Nutzer schaut
(gaze following). Einen guten Überblick dieser Systeme erhält man bei [MORIMOTO05], auf dem
folgende kurze Zusammenfassung basiert. [YOUNG75] stellt eine gute Untersuchung der traditionellen
Techniken zum Eye Gaze Tracking vor. Eine Untersuchung neuerer Verfahren ist bei [GLENSTRUP95]
und [DUCHOWSKI03] zu finden. Erste EGTs wurden für wissenschaftliche Zwecke unter
Laborbedingungen entwickelt und genutzt. Blickrichtungsuntersuchungen wurden und werden auf
den Gebieten der Augenheilkunde, der Neurologie, der Psychologie und auf anderen relevanten
Gebieten verwendet, wo die Charakteristik der Augenbewegung, Abnormalitäten der Bewegung und
ihre Beziehungen zur Wahrnehmung des Nutzers untersucht werden. Heute gewinnen diese Systeme
mehr und mehr an Bedeutung in Bereichen des Marketings und der Werbung, genauso wie bei der
Nutzung des menschlichen Faktors bei Computersystemen. Hier kann die Kommunikation Mensch –
Maschine gesteuert und kontrolliert werden. So werden die Systeme beispielsweise in diagnostische
und interaktive Systeme unterteilt [DUCHOWSKI02]. Diagnostische Anwendungen nutzen
Blickbewegungsdaten zur quantitativen Erfassung der Blickrichtung und dessen Wahrnehmung.
Interaktive Anwendungen nutzen die Blickrichtungsdaten, um entsprechend zu reagieren bzw. zu
interagieren. Viele klassische Anwendungen sind invasiv (nicht berührungslos) und verwenden
spezielle Kontaktlinsen, Elektroden oder ähnliches zum Erfassen der Augenbewegungen.
Berührungslose Verfahren sind meist optische Systeme, welche Kameras zur Erfassung der Daten
nutzen. Da die Kameras meist mit dem Kopf verbunden sind, sind auch diese Systeme nicht völlig
berührungslos. Die invasiven Verfahren bieten sich für einmalige kurze klinische Tests an, wo die
Daten mit hoher Genauigkeit in einem kurzen Zeitraum erfasst werden. Die Auswertung der Daten
erfolgt meist nach den Messungen und verlängert nicht den unkomfortablen Einsatz.
Die berührungslosen Blickrichtungsdetektoren (REGT- Remote Eye Gaze Tracker) bieten einen
komfortableren Umgang und sind somit auch für einen längeren Einsatz geeignet. Die meisten REGTs
sind hinsichtlich ihrer Genauigkeit schlechter als die invasiven EGTs. Die Nutzung der Pupillen-
Cornea-Reflexion ist bekannt als Verfahren, welches relativ unempfindlich gegenüber Kopf-
bewegungen und leicht zu kalibrieren ist. Trotz der noch vorhandenen Limitierung von aktuellen
REGTs haben diese Technologien das Potenzial den Umgang mit dem Computer zu revolutionieren.
[LEWIS98] diskutiert Design und Aufbau intelligenter agentenbasierter Nutzereingabegeräte
(interfaces). Diese Agenten sind in der Lage die Mensch – Maschine Kommunikation zu
automatisieren. Solche Eingabegeräte erahnen Kommandos bzw. beeinflussen autonom Interaktionen.
Um dies gewährleisten zu können, ist es notwendig die Aufmerksamkeit, d.h. beispielsweise „wohin
der Nutzer schaut“, zu erkennen. Dies kann durch EGTs erfolgen. Im Folgenden wird auf die
Anatomie und Physiologie des Auges und der Augenmodelle eingegangen, um besser die Struktur und
die Einschränkungen von EGTs zu verstehen. Danach werden invasive und berührungslose EGTs
verglichen. Zur Bestimmung der Blickrichtung können verschiedene Merkmale der Augenkamera
genommen werden. Diese Trackingmerkmale werden untersucht. Das hier verwendete Verfahren der
Pupillen Cornea Reflexion wird detailliert erläutert, um dann das verwendete System von mtronix
vorzustellen.
5 Komponenten eines AR Systems
71
5.4.1 Anatomie und Physiologie des Auges
Das Verständnis des Auges ist eine Voraussetzung, um den Aufbau und die Wirkungsweise von EGTs
zu verstehen. Abbildung 5.15 zeigt die grundlegende Struktur des menschlichen Auges.
Nach [OVEJERO98] werden drei Hüllen unterschieden:
a) Außen: Lederhaut (Sklera) und Hornhaut (Cornea): formt und schützt den Augapfel und ist
sehr widerstandsfähig
b) Mitte: Regenbogenhaut (Iris) mit zentraler Öffnung (Pupille), Strahlenkörper und Aderhaut
c) Innen: Netzhaut (Retina) als lichtempfindliches Organ
Geschützt in der knöchernen Augenhöhle befindet sich der kugelförmige Augapfel (Bulbus oculi).
Dieser hat einen Radius von ca. 12.mm und wird nach außen durch die durchsichtige Hornhaut
(Cornea) begrenzt. Der Hohlraum zwischen Hornhaut und Linse ist mit Kammerwasser, einer
durchsichtigen Nährflüssigkeit, gefüllt und wird als vordere Augenkammer bezeichnet. Der daran
anschließende ebenfalls Kammerwasser enthaltende Raum, seitlich der Linse zwischen
Regenbogenhaut (Iris) und Glaskörper, wird als hintere Augenkammer bezeichnet. Die Pupille ist eine
mediane Öffnung, die durch die Regenbogenhaut gebildet wird und funktioniert ähnlich einer Blende.
Die Pupille kann je nach Lichteinfall verengt oder erweitert werden.
Abbildung 5.15: Physiologie des menschlichen Auges nach [ATCHINSON00]
Die für das Scharfsehen erforderliche Änderung der Brechkraft wird zum großen Teil von der Cornea
übernommen. Das Scharfstellen (Akkommodation) des Bildes auf der Netzhaut wird durch eine
Verformung der Linse gewährleistet. Der Raum zwischen Linse und Netzhaut wird als Glaskörper
(Corpus vitreum) bezeichnet und besteht aus einer durchsichtigen gallertartigen Substanz. Die
Netzhaut enthält photosensitive Zellen, die die Sehpigmente enthalten. Diese Photorezeptoren
sprechen auf elektromagnetische Strahlung mit Wellenlängen von 350-750.nm (sichtbares Licht) an,
wobei das Maximum der Empfindlichkeit bei etwa 560.nm liegt. An der Stelle, an der die Sehachse
5 Komponenten eines AR Systems
72
auf die Netzhaut auftrifft, befindet sich die Zentralgrube (Fovea centralis) inmitten des gelben Fleckes
(Macua lutea). Dies ist die Stelle des schärfsten Sehens, da hier in sehr großer Dichte die Zapfen
(Farbsehen) vorkommen. Andere Zellen sind seitlich verschoben, so dass die Lichtstrahlen direkt auf
die Photorezeptoren auftreffen können. Die Austrittstelle des Sehnervs ist der blinde Fleck, da hier die
Netzhaut durchbrochen wird und daher an dieser Stelle kein Sehen möglich ist. [BROCKHAUS90].
Die Fovea befindet sich nicht genau auf der optischen Achse (Line of Gaze - LoG) des Auges, welche
vom Mittelpunkt des Augapfels und dem Mittelpunkt des Durchtritts eines Lichtstrahls durch die
Pupille definiert ist. Die Achse vom Zentrum der Fovea durch den Mittelpunkt der Pupille wird als
Blicklinie (Line of Sight - LoS) bezeichnet. Dabei bestimmt die Blicklinie und nicht die optische
Achse die Richtung der Aufmerksamkeit (Blickrichtung) der jeweiligen Person.
Wichtig für das Augentracking ist das Bewegungsverhalten des Auges. Mit Hilfe von sechs
unterschiedlich angreifenden Muskeln rotiert das Auge in seiner Höhle, um auch Objekte außerhalb
des zentralen Sehfeldes zu erfassen. Die unterschiedlich angreifenden Muskeln rufen eine Translation
hervor, welche von der Rotation überlagert ist. Jedoch wird diese Translation bei den meisten
Augenmodellen vernachlässigt. Diese bewusst gesteuerten Bewegungen werden von sehr schnellen
sprunghaften Auslenkungen (Sakkaden) überlagert. Die Sakkaden dauern 10-80.ms und erreichen
Geschwindigkeiten von 500° pro Sekunde. Die Informationsaufnahme wird jedoch vorher unterdrückt
und erst nach Beendigung der Sakkade wieder freigegeben, so dass auf der Retina trotzdem ein
ortsfestes Bild entsteht. Die Fixation dient zur Aufnahme der Objektinformation und dauert 100-
200.ms. Diese bleiben jedoch nicht konstant, es kommt zu langsamen Verschiebungsbewegungen
(Drift) und werden durch mikrosakkadische Rücksprünge ausgeglichen.
5.4.2 Augenmodelle
Verschiedene Augenmodelle beschreiben unterschiedliche Charakteristika des menschlichen Auges
unter verschiedenen Detaillierungsgraden. Sie dienen dabei als Beschreibung der Bildentstehung, bzw.
der optischen Vorgänge und Phänomene des Auges und bilden eine entscheidende Quelle für Eye
Gaze Trackingverfahren.
Als Modell des idealen Auges wird meist das Augenmodel von GULLSTRAND bzw. von LE GRAND
[ATCHINSON00] verwendet, um Eigenschaften von EGTs festzulegen bzw. zu beschreiben. Auf
weitere darüber hinausgehende Modelle und Versionen (siehe hierzu [ATCHINSON00]) soll hier
verzichtet werden.
Gullstrand’s Modell
Gullstrand hat zwei Grundmodelle entwickelt, um die komplizierten Vorgänge des Auges beschreiben
zu können. Bei seinen detaillierten Untersuchungen am Anfang des 20.Jahrhunderts hat er sich
besonders auf die Untersuchung der unterschiedlichen Brechzahlen konzentriert. Das erste Modell
Gullstrands wird auch als Gullstrands exaktes Auge bezeichnet. Es besteht aus einem Linsenaufbau
mit vier Grenzflächen, jeweils zwei für die Cornea und zwei für die Linse. Die Linse besteht aus
einem Kern mit hohem Brechindex, der von einem Körper niedrigerem Index umgeben ist.
Gullstrands Modell Nummer 2 stellt eine vereinfachte Version mit nur drei Grenzflächen dar. Die
Cornea wird dabei durch nur eine Grenzfläche beschrieben. Dieses vereinfachte Modell erzielt bei den
meisten Anwendungen eine noch ausreichende Genauigkeit und wird deshalb oft verwendet. Beide
Modelle sind für zwei feste Akkommodationszustände definiert.
Le Grand’s Modell
Mitte des 20. Jahrhunderts beschreibt Le Grand ebenfalls zwei Modelle, die wiederum auf drei bzw.
vier Grenzflächen beruhen. Jedoch beschreibt das Modell mit vier Grenzflächen (hier als vollständig
theoretisches Modell bezeichnet) die Übergänge von Luft, Cornea, Kammerwasser, Linse und
Glaskörper. Variable Akkommodationszustände werden nicht berücksichtigt.
5 Komponenten eines AR Systems
73
Das vereinfachte Modell von Le Grand findet sehr selten Anwendung, da es von einer Linse ohne
Dicke ausgeht. Hornhaut und Kammerwasser haben die gleiche optische Brechzahl. Die Hornhaut
wird als perfekte Kugel angenommen. In Abhängigkeit von der Lichteinwirkung und anderer
Psychologischer Effekte variiert der Pupillendurchmesser des Modells.
5.4.3 Invasive Eye Gaze Tracker
Wie schon oben aufgeführt unterscheidet man berührungslose Systeme und solche, die invasiv
arbeiten, also im direkten Kontakt zum Nutzer stehen. Eine Voraussetzung der robusten Detektion der
Blickrichtung ist die Detektion und Positionsverfolgung des Auges an sich. Hier soll jedoch ein
Verfahren genutzt werden, wo sich die Kamera in direkter Nähe des Auges befindet und somit sofort
ein Bild des Auges liefert. Es ist somit nicht notwendig, beispielsweise das Auge von anderen Features
des Kopfes zu unterscheiden.
Im Folgenden werden die wichtigsten invasiven Eye Gaze Tracker beschrieben, um im nächsten
Abschnitt auf die berührungslosen Eye Gaze Tracker einzugehen.
Search Coils
Invasive Eye Gaze Tracker sind im Allgemeinen genauer als die berührungslosen Verfahren. Eine der
traditionellen Methoden basiert auf speziellen Kontaktlinsen. Schon [ROBINSON63, ROBINSON68]
nutzt so genannte search coils, welche technisch einer kleinen elektromagnetischen Spule entsprechen.
Diese Art der Kontaktlinsen wird direkt in das Auge eingebracht und saugen sich leicht an der
Oberfläche der Cornea an, um ein Verrutschen während der Augenbewegungen zu verhindern. Die
Blickrichtung des Benutzers wird mit Hilfe eines externen elektromagnetischen Feldes und der durch
das search coil induzierten Spannung ermittelt. Die Genauigkeit des Systems wird mit 0,08°
angegeben und ist somit sehr gut. Eine kompakte und mobile Anwendung ist auf Grund der
aufwendigen Messapparatur allerdings ausgeschlossen. Eine Nutzungsdauer über 30.Minuten wird
nicht empfohlen.
Elektrookulogramm
Eine weniger aufwendige und preiswertere Methode basiert auf der Messung des Gesichtspotenzials
und wurde von [KAUFMAN93] beschrieben. Das so genannte Elektrookulogramm (EOG) ist eine weit
verbreitete Technik zur Aufnahme von Augenbewegungen im klinischen Alltag. Hierfür werden um
das Auge Elektroden platziert, welche Potenzialmessungen vornehmen. Die Auswertung der
unterschiedlichen Potenziale untereinander lassen auf die Augenbewegung des Nutzers schließen
(Abbildung 5.16).
Abbildung 5.16: Veränderung des Potenzials in Abhängigkeit von der Blickrichtung beim
Elektrookulogramm
Ermöglicht wird dies durch das elektrische Dipolmoment des Auges, welches eine Potenzialdifferenz
von ca. 1.mV zwischen Retina und Cornea aufweist. Auch diese Technik ist wegen der fehlenden
Berührungslosigkeit nicht für allgemeine Anwendungen nutzbar. Aufgrund der geringen
Potenzialdifferenz besteht eine hohe Störanfälligkeit. Es werden Genauigkeiten von ca. 2° erreicht.
5 Komponenten eines AR Systems
74
5.4.4 Berührungslose Eye Gaze Tracker
Berührungslose Verfahren entsprechen dem aktuellen Stand der Technik im Bereich des Eye Gaze
Tracking. Dabei nutzen alle diese Verfahren Bilder aus Kameras (Videookulografie) und damit
Algorithmen der digitalen Bildverarbeitung zur Detektion von Augenmerkmalen. Es werden spezielle
Charkteristika des Auges erkannt und verfolgt, um daraus die Augenbewegungen abzuleiten. Die
Unterschiede der Verfahren finden sich in der Aufnahmeentfernung, der Wahl der extrahierten
Merkmale, der erzielbaren Genauigkeit und der Systemarchitektur der Tracker. Die meisten
verwendeten Techniken haben das Potenzial völlig berührungslos zu arbeiten. Oft wird aus
praktischen Erwägungen diese Berührungslosigkeit eingeschränkt, indem die Kamera in der Nähe des
Auges (also kopfmontiert) angebracht wird.
Besonders die Pupille, aber auch andere Merkmale wie der Limbus oder die Augengefäße, sind
allgemeine Features, welche zum Tracking genutzt werden. Der Limbus ist dabei die Begrenzung
zwischen Iris und Sklera und kann leicht horizontal getrackt werden. Da jedoch die Augenlider einen
großen Teil der Iris verdecken, ist das Tracken des vertikalen Anteils recht ungenau. Die Pupille ist im
Allgemeinen, aufgrund des geringen Kontrastes zwischen Pupille und Iris, schwieriger zu detektieren.
Letztendlich sind jedoch Verfahren, welche die Pupille tracken, genauer, weil diese nicht von den
Augenlidern (außer beim Lidschlag) verdeckt wird. Um den Kontrast zwischen Pupille und Iris zu
verbessern, nutzen viele EGTs die Bestrahlung des Auges mit infrarotem Licht. Da das infrarote Licht
bei einer oft genutzten Wellenlänge von 880.nm für den Nutzer nicht sichtbar ist, stört es den Nutzer
nicht. Als Lichtquelle werden meist LED´s eingesetzt, welche klein, leicht, kostengünstig und sehr
energieeffizient sind. Die beleuchtete Pupille ist jedoch relativ einfach vom Kamerasystem zu
detektieren.
Abbildung 5.17: links: Entstehung der Purkinje Bilder an optischen Grenzflächen
rechts: 1. und 2. Purkinje Bild
Neben der einfachen Detektion der Pupille wird ein weiteres Bildmerkmal, der Glanzpunkt, durch die
Infrarotlichtquelle erzeugt. Glanzpunkte werden bei spiegelnden Oberflächen, wenn
Aufnahmerichtung und reflektierter Lichtstrahl kollinear sind, sichtbar. Teilweise wirken sie störend
beim Pupillentracking, andererseits verändert sich ihre Lage relativ zur Augenbewegung. Die
entstandenen Glanzpunkte sind Reflexionen an den Grenzflächen von Cornea und Linse und werden
als Purkinje Bilder bezeichnet. Der oft genutzte (weil einfach zu detektieren) Corneale Reflex ist das
erste und hellste Purkinje Bild. Das zweite entsteht an der Rückseite der Cornea, drittes und viertes an
Vorder- bzw. Rückseite der Linse (Abbildung 5.17).
5 Komponenten eines AR Systems
75
5.4.5 Tracking Merkmale
Im vorigen Abschnitt wurden schon verschiedene Trackingmerkmale vorgestellt und Vor- und
Nachteile besprochen. Verschiedene Merkmale können aus den Bilddaten der Augenkamera
entnommen werden, um die Blickrichtung zu bestimmen. So sind Limbus und Augengefäße weniger
zum Tracken geeignet. Im Folgenden sollen die meist genutzten Merkmale, wie Pupille, Pupille in
Kombination mit Cornealem Reflex und das Purkinje Bild Tracking hinsichtlich der technischen
Umsetzung und Bildverarbeitung bei der Positionsbestimmung und -verfolgung näher besprochen
werden. Des Weiteren wird auf die Verwendung Künstlicher Neuronaler Netze und auf Parametrische
Ansätze eingegangen.
Pupille
Die Pupille eignet sich besonders zur Blickrichtungsbestimmung. Der hohe Kontrast zwischen Iris und
Pupille ist von besonderem Vorteil zur exakten und stabilen Detektion auch unter schlechten oder
variierenden Beleuchtungsbedingungen. Mittels Kreis- oder Ellipseneinpassung kann die Position der
Pupille bestimmt werden und liefert so direkt eine Aussage über die aktuelle Blickrichtung.
Zusätzlich wird oft noch ein weiteres Merkmal genutzt, wenn eine Lichtquelle sehr dicht an der
optischen Achse der Kamera befestigt wird. Es entsteht der so genannte Bright Eye Effekt, welcher
dem Rote Augen Effekt bei der Nutzung von Blitzlicht beim Fotografieren ähnelt. Die Lichtquelle
erzeugt eine sehr helle Pupille, welche eine noch einfachere Kantendetektion zulässt. Wird die
Lichtquelle nur jedes zweite Bild angeschaltet, kann man aus der Differenz der aufeinander folgenden
Bilder die Grenze zwischen Iris und Pupille sehr einfach bestimmen (Abbildung 5.18).
(a)
(b) (c)
Abbildung 5.18: (a) dark eye (b) bright eye und (c) Differenzbild nach Schwellwertbildung
[MORIMOTO99]
Die Nutzung des bright eye Effektes ist aufgrund der Systemverzögerung bei der Differenzbildung
(halbe Bildrate) nur für langsame Augenbewegungen möglich. Bei hoher Bewegungsgeschwindigkeit
der Augen befinden sich die Bilder für die Differenzbildung an jeweils unterschiedlichen Stellen und
verfälschen das Ergebnis.
Pupille und Cornealer Reflex
Durch den Einsatz einer infraroten Lichtquelle kann der Glanzpunkt des ersten Purkinje Bildes, der
Corneale Reflex (s. Abschnitt 5.4.4), erzeugt werden. Zur Blickrichtungsbestimmung wird der
Differenzvektor des Cornealen Reflexes und der Pupille bestimmt, welcher unabhängig von der
Kameraposition bei gleicher Blickrichtung ist (Abbildung 5.19).
5 Komponenten eines AR Systems
76
Abbildung 5.19: relative Position des Cornealen Reflexes und der Pupille nach [RICHARDSON04]
A) Blickrichtung konstant, B) und C) geänderte Blickrichtung und D) Blickrichtung wie
in A) bei geänderter Aufnahmekonstellation
Diese Verfahren und die im Folgenden beschriebene Umsetzung finden in dieser Arbeit bei der
Detektion und Korrektur des Verrutschens des Head Mounted Display Anwendung. Der Corneale
Reflex ist als heller Fleck in der Nähe der Pupille (je nach Lage der Lichtquelle) wahrnehmbar und
kann durch einfache Schwellwertbildung von der Umgebung getrennt werden. Anschließend werden
mit einem morphologischen closing Operator kleinere Regionen zusammengeführt. Die folgende
Segmentierung findet zusammenhängende Bereiche, die klassifiziert werden müssen. Als
Klassenmerkmale bieten sich die Fläche eines Bereichs oder, falls vorhanden, der Abstand zum
Pupillenzentrum an. Vom Segment mit der größten Wahrscheinlichkeit bestimmt man den
geometrischen Schwerpunkt (Abbildung 5.20)[KAISER05].
(a)
(b)
(c)
(d)
(e)
Abbildung 5.20: Reflex Tracking aus der Implementierung:(a) Ausschnitt Kamerabild, (b) Ausschnitt
geglättetes Bild, (c) gesamtes Kamerabild, (d) Schwellwertbild + Closing-Operation
mit gefundenem Reflex, (e) Brillenglas Reflexionen durch IR Beleuchtung und Virtual
Retinal Display
Soll das Verfahren bei Brillenträgern angewendet werden, sind zusätzliche Reflexe auf den
Brillengläsern zu beachten und die Lichtquelle muss entsprechend günstig angeordnet werden. Eine
Erweiterung der Klassifizierung wird unter anderem bei [MORIMOTO99] beschrieben.
5 Komponenten eines AR Systems
77
Purkinje Bild Tracking
Die Lage des Auges kann auch über das erste und vierte Purkinje Bild bestimmt werden
[CORNSWEET73]. Bei einer Translation des Auges verändern sich beide Bilder gleichsinnig. Bei einer
Rotation des Auges ändert sich der Abstand der Bilder zueinander und ermöglicht eine Aussage über
die momentane Blickrichtung. [CORNSWEET73] verwendet, jedoch anstelle einer Kamera licht-
empfindliche Sensoren. Wenn eine Rotation der Augen vorliegt, wird mittels eines Servomotors die
zugehörige Spiegelanordnung solange geregelt, bis die verwendeten Purkinje Bilder eingepasst sind.
Die Blickrichtung wird aus dem Zusammenhang zwischen Drehwinkel der Motoren und
Augenrotation bestimmt. Die erzielbare Genauigkeit und zeitliche Auflösung wird durch die
verwendeten Servomotoren bestimmt und liegt bei einer Bogenminute bzw. 300.Hz.
Künstliche Neuronale Netze
Künstliche Neuronale Netze (KNN) ermöglichen die Klassifikation von Datenvektoren nach
entsprechendem Training. Sämtliche Bilddaten werden als Vektoren höherdimensionaler Räume
aufgefasst. Die zur Klassifikation genutzten Klassen werden beim Eye Tracking durch die
Blickrichtung festgelegt. Das KNN generalisiert die verwendeten Daten und lernt die zur
Klassifikation relevanten Daten. Solch eine sehr aufwendige Lernsequenz braucht nur einmal
durchgeführt zu werden. Die bei [BALUJA94] beschriebene Implementierung verwendet eine
Trainingssequenz von 2000.Bildern und erreicht eine Genauigkeit von 2°.
Parametrische Ansätze
[TIAN00] stellt einen parametrischen Eye Tracking Ansatz vor, welcher zwei Zustände (geschlossenes
bzw. geöffnetes Auge) modelliert. Zur Beschreibung der beiden Zustände werden neun bzw. vier
Parameter aus den Bilddaten gewonnen. Die hohe Komplexität steigert den Rechenaufwand, so dass
eine echtzeitfähige Verarbeitung nur mit spezieller Hardware möglich ist. [TIAN00] verarbeitet
Datensätze mit 3.Bilder pro Sekunde auf einem Pentium II 400.MHz.
5.4.6 mtronix Eye Tracking Device
Für die im Abschnitt 7 beschriebenen Versuchsdurchführungen wurde ein Eye Tracking Device
(ETD), welches auf Pupillentracking beruht, ausgewählt. Das Gerät der Firma mtronix – precision
measuring instruments mit einem speziell entwickelten Kopfgestell der Firma Chronos Vision ist der
Videookulografie zuzuordnen. (Abbildung 5.21) Die Vorzüge des Systems sind die sehr hohe
Genauigkeit (<2’) und die zeitliche Auflösung von bis zu 400.Bildern pro Sekunde [CLARKE02].
Abbildung 5.21: Binokulares Eye Tracking Device – ETD, PCI Karten und Kopfgestell mit Kamera
von mtronix / Chronos Vision
5 Komponenten eines AR Systems
78
„Das ETD wird sowohl berührungslos in der refraktiven Laser Chirurgie als auch am Kopfgestell
montiert zur klinischen Diagnostik und in Labors für Gleichgewichts und neuro-vestibuläre-
Forschungszwecke eingesetzt. Im Frühjahr 2004 wurden auf der internationalen Raumstation ISS mit
dem ETD Experimente aufgenommen. Man verspricht sich neue Erkenntnisse über die
Funktionsweise des Vestibularapparats unter Schwerelosigkeit. Die Anwendung im Weltraum
erfordert ein hohes Maß an Stabilität und Zuverlässigkeit.“[KAISER05]
Die hohen Bildraten werden durch zwei miniaturisierte CMOS Kameras mit hervorragender
Bildqualität und der Anbindung über einen digitalen Hochgeschwindigkeitsbus erreicht. Eine PCI-
Karte pro Kamera gewährleistet die Funktion von Spezialhardware zur Bildverarbeitung und
letztendlich die Bestimmung von Pupillenposition und –durchmesser durch kantenbasierte
Algorithmen im Subpixel-Bereich. Damit nur infrarotes Licht den Sensor erreicht, wird das Tageslicht
durch einen Objektivfilter abgeschwächt. Bildrate und Aufnahmebereich könne zur Verringerung der
Datenmenge reduziert werden. Im Gegensatz zu anderen Systemen erfolgt die Steuerung und
Datenaufzeichnung per Software auf dem Rechner mit den installierten PCI Karten. Somit arbeiten
Eye Tracker und Software auf demselben Rechner und kein weiterer Rechner ist zur Datenauswertung
notwendig. Der Zugriff auf die Daten erfolgt ohne nennenswerte Latenz. Zusätzliche Merkmale, die
nicht durch den Tracker (online) zur Verfügung gestellt werden, können offline ausgewertet werden.
Die ETD Software erlaubt die Echtzeitauswertung und Aufnahme/ Wiedergabe der Bildsequenzen und
somit die mehrmalige Auswertung von Sequenzen unter verschiedenen Gesichtspunkten. Neben
dieser, besonders für Weltraumprojekte wichtigen Funktion, können Kamerabild und Pupillendaten
auch über eine Programmierschnittstelle ausgelesen werden (Abbildung 5.22).
Abbildung 5.22: Vereinfachte ETD Systemarchitektur
5 Komponenten eines AR Systems
79
Durch die leichte Konstruktion des Kopfgestells können zusätzliche Sensoren zur Messung von
Kopfbewegungen (z.B. Beschleunigungsmesser) montiert werden. Wie im Abschnitt 7 beschrieben,
wurden für die Versuche dieser Arbeit die Projektionseinheit des Virtual Retinal Displays und eine
Trackingkamera befestigt und erstmalig mit einem Eye Tracking Device kombiniert.
Folgende Vorteile sprechen für die Einzigartigkeit und den Einsatz des verwendeten ETD:
• erweiterbare Systemarchitektur,
• Echtzeit-Zugriff auf die Bilddaten und
• geringe Latenz,
• hohe Messgenauigkeit.
Die Hardware wurde mit freundlicher Unterstützung von der Firma mtronix zur Verfügung gestellt.
5.4.7 Zusammenfassung der Eye Tracking Verfahren
Die vorgestellten Verfahren sind hinsichtlich ihrer Genauigkeit und Eigenschaften in Tabelle 5.4
zusammengefasst. Entsprechende kommerzielle Implementierungen sind bis auf die Künstlichen
Neuronalen Netze und die parametrischen Ansätzen für alle Verfahren erhältlich.
Nur wenige Implementierungen erreichen eine ausreichende Bildrate bzw. sind unkompliziert
einzusetzen. Dies ist jedoch eine Voraussetzung für den Einsatz innerhalb von Augmented Reality
Systemen. Die Merkmalsextraktion ist in Echtzeit zu gewährleisten und im Idealfall sollten beide
Komponenten synchronisierbar sein.
Aufgrund der fehlenden Nutzerakzeptanz scheiden invasive Verfahren aus. Die
Videookulografietechnik bietet die besten Voraussetzungen für eine Umsetzung. Da KNN und
parametrische Verfahren aufgrund ihrer Komplexität noch nicht praxistauglich sind und beim Dual
Purkinje Image Tracking der Kopf nicht bewegt werden darf, kommen nur Verfahren in Frage, welche
am Kopf befestigte Kameras verwenden. Solch ein System, welches ausführlich im Abschnitt 5.4.6
vorgestellt wurde, soll in dieser Arbeit in Kombination mit Augmented Reality Komponenten zum
Einsatz kommen. Weitere Einschätzungen und Details zu den verschiedenen Eye Tracking Verfahren
sind bei [KAISER05] beschrieben.
Tabelle 5.4: EGT Verfahren und zugehörige Genauigkeit / Eigenschaften
Kategorie Verfahren Genauigkeit Eigenschaften
Search coil 1’ hohe zeitliche Auflösung, aufwändige
Apparatur
invasiv
EOG 2° kostengünstig
DPI 1’ benötigt Beißbrett
Limbus Tracking 1° geringere vertikale Genauigkeit
Pupillen Tracking 1° hoher Kontrast notwendig
ETD Pupillen Tracking 1’ hohe Bildrate, sehr genau
Pupillen CR Tracking 1° toleriert leichte Kopfbewegungen
KNN 0,5-2° Training notwendig
berührungslos
Parametrisches Modell - nicht echtzeitfähig
5 Komponenten eines AR Systems
80
5.5 Zusammengefasste Komponentenauswahl für den Einsatz in
der Leberchirurgie
Die allgemeinen sowie die technischen und klinischen Anforderungen an Augmented Reality Systeme
wurden im Abschnitt 2.4 und 2.5 diskutiert. Die Vor- und Nachteile der einzelnen Komponenten
wurden in den vorigen Abschnitten erläutert. Dabei wurde auch schon auf die Auswahl der jeweiligen
Komponente und somit deren Eignung eingegangen. Zum besseren Überblick und Verständnis werden
an dieser Stelle die ausgewählten Komponenten zusammengefasst.
Das Herzstück eines Augmented Reality Systems stellt das verwendete Display dar. Im Bereich
Augmented Reality verwendete Displays können dem Abschnitt 5.1 entnommen werden. Optical See
Through Displays sind hier zu bevorzugen, da nur wenige virtuelle Daten der Realität hinzugefügt
werden sollen. Die Realität wird dabei nicht über den Umweg einer Videoaufnahme dem Nutzer
präsentiert, sondern er hat direkten Sehkontakt zum interessierenden Objekt. Dies ist für eine
derzeitige Akzeptanz bei der Nutzung in der Chirurgie unerlässlich. Der Arzt ist ständig mit der
realen Welt verbunden, auch bei einem Ausfall des Systems, was bei den Video See Through Geräten
nicht der Fall ist. Somit beschränkt sich die Auswahl der verfügbaren Geräte auf die wenigen Head
Mounted Displays mit Optical See Through Option. Im Abschnitt 5.1.2 wurden die Vorteile, das hohe
technische Potenzial und die Besonderheiten der Abbildung des Virtual Retinal Displays
herausgearbeitet.
Für den Einsatz von Augmented Reality in der Leberchirurgie steht die Bestimmung der räumlichen
Zusammenhänge einzelner Komponenten im Mittelpunkt. Hierfür sind schnelle und präzise
Trackingverfahren anzuwenden. In dem hier genutzten Maßstabsbereich ist das optische Tracking
vorzuziehen. Zur Identifizierung der Lage des Objektes werden bekannte Objektpunkte in Form von
Markern (Passpunkten) verwendet, welche von einer Kamera (ALLIED, MF-046C) getrackt werden.
Eine weitere miniaturisierte CMOS Kamera am Kopfband des Displays übernimmt das Tracking der
Pupille und des Cornealen Reflexes des Auges (Eye Tracking Device, mtronix, ICPU502P).
Magnetische Tracker haben die Aufgabe der Positionsbestimmung und Verfolgung des Instrumentes
des Chirurgen und der Hilfsnadeln zur besseren Bestimmung des Deformationsmodells der Leber
(Abschnitt 4.4.2 und 5.2.5). Beide Zielobjekte befinden sich während der Operation weitgehend im
Gewebe der Leber und sind verdeckt. Daher kommt ein optisches Trackingverfahren nicht in Frage.
Das Eye Tracking Device (ETD) (s. Abschnitt 5.4) kann das Verrutschen des HMD erkennen und
korrigieren. Diese Möglichkeit wurde erst im Rahmen dieser Arbeit erarbeitet und umgesetzt. Hierfür
war die Vereinigung von ETD und HMD notwendig. Für den Versuchsaufbau in dieser Arbeit wurde
ein Eye Tracking Device der Firma mtronix – precision measuring instruments und ein speziell
entwickeltes Kopfgestell der Firma Chronos Vision eingesetzt. Es zeichnet sich durch seine sehr hohe
Genauigkeit (<2’) und zeitliche Auflösung von bis zu 400.Bildern pro Sekunde aus. Durch die direkte
Zusammenarbeit mit mtronix war die notwendige Anpassung der Software möglich. Das sehr leichte
und erweiterbare Kopfgestell ermöglichte die Montage aller Komponenten, ihre geometrische
Ausrichtung und somit die Auswertung aller Daten in diesem Zusammenhang.
Die ausgewählten Komponenten und ihre Spezifikationen sind in den Tabellen 7.1 bis 7.3 im
Abschnitt 7.1 aufgeführt.
6 Mathematische Modellierung
81
6 Mathematische Modellierung
Für die mathematische Beschreibung der Geometrie von Augmented Reality Systemen steht die
Berechnung der räumlichen Zusammenhänge einzelner Komponenten im Mittelpunkt. Zur
Identifizierung der Lage des Objektes werden bekannte Objektpunkte in Form von Markern
(Passpunkte) verwendet. Eine Kamera übernimmt dabei die ständige Positionsbestimmung (Tracking)
des Markers (s. Abschnitt 5.2, insbesondere 5.2.7). Soll diese Positionsbestimmung im Raum erfolgen,
ist eine Kalibrierung der Kamera notwendig. Mit diesen Komponenten kann der Bezug zwischen dem
Objekt (mit festem Bezug zu den Markern) und den virtuellen Daten hergestellt werden. Werden die
virtuellen Daten positionsgenau auf einem Head Mounted Display visualisiert, ist die Kalibrierung des
HMD erforderlich (s. Abschnitt 5.1, insbesondere 5.1.2 und 5.1.3). Voraussetzung für die Kalibrierung
ist eine gleichzeitige Erkennung der Marker durch die Trackingkamera (s. Abschnitt 5.3). Bei der
Kalibrierung des HMD wird der geometrische Zusammenhang zwischen dem Objekt (Marker), den
HMD Bildschirmkoordinaten und dem Auge hergestellt. Die Kalibrierung des HMD setzt eine feste
Verbindung zwischen HMD und Kopf (Auge) voraus. Kann dies nicht für die gesamte Tragedauer des
HMD gewährleistet werden, muss nach einem Verrutschen des HMD die Kalibrierung automatisch
verbessert oder neu bestimmt werden. Dies kann durch die Einbeziehung eines Eye Tracking Device
erfolgen. Eine Trackingkamera beobachtet das Auge und bestimmt hier die Position der Pupille sowie
den von einer Infrarotlichtquelle erzeugten Cornealen Reflex (s. Abschnitt 5.4, insbesondere 5.4.6).
Zusammengefasst sind folgende Aufgaben mathematisch zu beschreiben:
• die Positionsbestimmung (Tracking) von Markern (Passpunkte),
• die Kamerakalibrierung (Orientierung / Verzeichnung),
• die HMD Kalibrierung (Orientierung / Verzeichnung) und
• das Verrutschen des HMD (Korrektur).
Die grundlegenden Anforderungen, welche dabei berücksichtigt werden müssen, sind Genauigkeit
sowie Echtzeitfähigkeit und bilden damit die Grundlage für eine ausreichende Nutzerakzeptanz.
Im Folgenden werden zuerst die Grundlagen der projektiven Geometrie, der projektiven Abbildung
von CCD Kameras sowie die Bildpaargeometrie und die lineare homogene Triangulation erläutert.
Danach wird im Einzelnen auf die mathematische Modellierung der Komponenten eines Augmented
Reality Systems eingegangen. Dies entspricht der Modellierung, der in Abbildung 6.1 dargestellten
geometrischen Beziehungen und Abhängigkeiten des Gesamtsystems.
6 Mathematische Modellierung
82
Abbildung 6.1: Darstellung der geometrischen Beziehungen und Abhängigkeiten des Gesamtsystems
6 Mathematische Modellierung
83
6.1 Mathematische Grundlagen der projektiven Geometrie
Bei einem optischen Trackingsystem besteht das Ziel in der Messung von dreidimensionalen
Strukturen aus zweidimensionalen Bildern. Im Fall von Augmented Reality werden dreidimensionale
Strukturen in einem zweidimensionalen Display eingeblendet und die dabei entstehenden
zweidimensionalen Strukturen dem gesehenen Objekt überlagert.
In diesem Gesamtsystem sind die mathematischen Beziehungen zwischen geometrischen Objekten im
Raum, dem Bild einer Trackingkamera, dem Bildschirm eines HMD, der Position des Auges und dem
Bild der Augenkamera zu modellieren.
Dabei gibt es eine Reihe von zu klärenden Teilfragen:
• Wie können wir aus geometrischen Beobachtungen im Bild auf die Geometrie des Objektes
schließen?
• Inverses Problem: Wie können virtuelle Objekte lagerichtig im Bildkoordinatensystem des
HMD eingeblendet werden?
• Wo befindet sich die Trackingkamera während der Aufnahme?
• Wie ist der Zusammenhang zwischen Bild und Richtung des Raumstrahles?
Hierfür ist die Nutzung der algebraischen projektiven Geometrie hilfreich. Vertiefend wird diese in
entsprechender Literatur [FAUGERAS01, HARTLEY00, MA03] behandelt. Im Folgenden werden die
homogenen Koordinaten, welche die Basis der projektiven Geometrie darstellen und grundlegende
Transformationen, eingeführt. Des Weiteren wird auf Punkte und Geraden im homogenen Raum sowie
auf die Modellierung des Abbildungsvorganges von Kameras im Einbildfall (Einbild-
Photogrammetrie) und im Zweibildfall (Stereo-Photogrammetrie) eingegangen.
An einigen Stellen wird auf die vermittelnde Ausgleichung verwiesen und die Kenntnis dieses
Verfahrens zur Lösung von homogenen Gleichungssystemen der Form ⋅Ax=0 vorausgesetzt.
Ausgleichungsansätze in der projektiven Geometrie wurden von [HEUEL04, SCHUHMACHER03]
behandelt. Für eine detaillierte Behandlung der Fragen der Ausgleichsrechnung sei auf [HÖPCKE80,
WELSCH00] verwiesen.
6.1.1 Homogene Koordinaten
Die homogene Repräsentation eines euklidischen Bildpunktes in der projektiven Ebene ist:
1
x
u
yv
w
λ
⎛⎞⎛⎞
⎜⎟⎜⎟
==
⎜⎟⎜⎟
⎜⎟⎜⎟
⎝⎠⎝⎠
x (6.1)
Es dürfen nicht alle Elemente = 0 sein, und w bezeichnet man als homogene Komponente.
Definition der Homogenität:
Die Repräsentation x eines Punktes heißt homogen, wenn x und
λ
x den gleichen Punkt
repräsentieren, wobei 0
λ
≠
.
Oft wird (so auch im Folgenden) der Skalierungsfaktor
λ
nicht explizit in Gleichungen aufgeführt und
durch ein „≅“ ausgedrückt.
Somit werden die homogenen Koordinaten durch das Hinzufügen einer homogenen Komponente w
und eines freien Skalierungsfaktors
λ
aus den euklidischen Koordinaten gebildet. Nach (6.2) können
die euklidischen Koordinaten mit:
6 Mathematische Modellierung
84
u
xw
= und v
yw
= ( 0w≠) (6.2)
zurückgerechnet werden.
Die Relation zwischen Punkt und Gerade, dass der Punkt genau auf der zugehörigen Geraden liegt
(Inzidenz), kann durch eine Vielzahl von Repräsentationen beschrieben werden. Hierzu gehören die
HESSEsche Normalform, die Achsenabschnittsform und die implizite Darstellung der Geraden
(Tabelle 6.1).
Tabelle 6.1: Repräsentationen von Geraden in der Ebene
Repräsentation Parameter Geradengleichung
HESSEsche Normalform Winkel
φ
, Abstand d cos sin 0xyd
φ
φ
+
−=
Achsenabschnittsform Abstände 0
x
und 0
y
00
10
xy
xy
+
−=
Implizite Darstellung Parameter ,,..abc 0ax by c
+
+=
Diese Beziehungen zeichnen sich durch die Linearität in den Koordinaten der Punkte und in den
Parametern der Geraden aus. Darüber hinaus können sie als homogen geschrieben werden, d.h. ihre
rechte Seite kann nach Umbildung = 0 gesetzt werden. Mit dem 3-Vektor für Punkte lässt sich auch
der 3-Vektor für die unterschiedlichen Repräsentationen der Geraden angeben (Tabelle 6.2).
Tabelle 6.2: 3-Vektor für Punkt und Gerade
Gerade Punkt
HESSEsche
Normalform Achsenabschnittsform Implizite
Darstellung
1
x
y
⎛⎞
⎜⎟
=⎜⎟
⎜⎟
⎝⎠
x
cos
sin
d
φ
φ
⎛⎞
⎜⎟
=⎜⎟
⎜⎟
−
⎝⎠
l
0
0
1
1
1
x
y
⎛⎞
⎜⎟
⎜⎟
⎜⎟
=⎜⎟
⎜⎟
⎜⎟
−
⎜⎟
⎝⎠
l
a
b
c
⎛⎞
⎜⎟
=⎜⎟
⎜⎟
⎝⎠
l
Die Inzidenz für Punkt xund Gerade l ist somit darstellbar als:
0=
TT
xl=lx (6.3)
6.1.2 Punkte und Geraden in der Ebene
Bei den, in dieser Arbeit verwendeten, quadratischen (Passpunkt-) Markern kann u.a. durch die
Kenntnis von Geradenschnitt, Orthogonalität und Parallelität zwischen Geraden (Kanten des Markers)
auf die Position des Markers im Raum geschlossen werden. Dabei lassen sich durch die Abstände der
6 Mathematische Modellierung
85
Markereckpunkte (Geradenschnitt) Aussagen zum Bildmaßstab treffen. Über den Test der
Orthogonalität und Parallelität können die Rotationsparameter geschätzt werden (Abschnitt 6.4.1). Die
Verwendung homogener Koordinaten vereinfacht nicht nur die Darstellung der Repräsentation von
Punkten und Geraden, sondern auch ihre Beziehungen zueinander. Es besteht zusätzlich die
Möglichkeit, mit unendlich fernen Objekten (Punkte, Linien, Ebenen) zu arbeiten.
Schnitt zweier Geraden
Gegeben sind die Geraden
[
]
i
ll= und
[
]
i
mm= . Gesucht sind die Koordinaten
[
]
i
x
x= des
Schnittpunktes ≅∩xlm.
Die euklidischen Koordinaten
()
,
x
y ihres Schnittpunkts ergeben sich aus dem linearen
Gleichungssystem:
0
0
⋅
⎡⎤⎛⎞
=⎜⎟
⎢⎥
⋅
⎣⎦⎝⎠
lx
mx 3
12 1
3
122
l
llx
m
mm x
−
⎛⎞
⎡⎤⎛⎞
=⎜⎟
⎜⎟
⎢⎥ −
⎣⎦⎝⎠
⎝⎠
(6.4)
Mit der CRAMERschen Regel ergibt sich die Lösung:
1
3
D
xD
= 2
3
D
yD
= (6.5)
mit 12332
Dlmlm=−; 23113
Dlmlm=− und 31221
Dlmlm
=
−.
Ein Vergleich der Gleichungen führt zu den homogenen Koordinaten des Schnittpunkts:
≅xl×m (6.6)
Orthogonalität und Parallelität
Die Richtung von Geraden
()
T
T
h
l=l,l
mit (,)ab
TT
l=
und ()c
h
l= wird durch ihren homogenen
Anteil T
l
, den Richtungsvektor der Normalen, beschrieben.
Bei Orthogonalität zweier Geraden gilt die Bedingung:
l
0
T
lm=
(6.7)
Für die Parallelität erhält man zwei Möglichkeiten der Repräsentation:
1) Proportionalität:
l
λ
=lm
(6.8)
2) Determinante:
l
det 0
⎡⎤
=
⎣⎦
lm
(6.9)
6 Mathematische Modellierung
86
Die Beziehungen Schnittpunkt zweier Geraden, Orthogonalität zweier Geraden, Parallelität zweier
Geraden, Verbindung zweier Punkte, drei Punkte auf einer Geraden (Kollinearität) und der Schnitt
dreier Geraden in einem Punkt (Übereinstimmung) sind in der Tabelle 6.3 dargestellt.
Tabelle 6.3: Beziehungen von Geraden mit Formel und grafischer Darstellung
Beziehung Formel Grafische Darstellung
Schnittpunkt x zweier
Geraden 1
lund 2
l 12
x=l ×l
Orthogonalität zweier Geraden
1
lund 2
l 0
T
12
ll=
Parallelität zweier Geraden
1
lund 2
l
λ
12
l= l
bzw.
det 0
⎡⎤
=
⎣⎦
12
ll
Liniel, welche zwei Punkte 1
x
und 2
xverbindet
≅
12
lx×x
Kollinearität dreier Punkte 1
x,
2
xund 3
x
[
]
det 0
=
123
xxx
Schnitt dreier Geraden
1
l, 2
lund 3
l
[
]
det 0
=
123
lll
6.1.3 Geradentreue Transformationen
Die allgemeinste geradentreue Transformation ist die projektive Abbildung. Sie ist linear in den
homogenen Koordinaten und invertierbar. Diese Abbildung wird als Homographie bezeichnet:
≅x' Hx (6.10)
wobei x und x' (1)n+-Vektoren und H eine (1)(1)nn
+
×+-Matrix ist. Die Matrix H ist
homogen, somit repräsentieren H und
λ
H die gleiche Transformation. Im zweidimensionalen Fall
ist H eine 3×3 Matrix mit acht Freiheitsgraden, im dreidimensionalen Fall eine 4×4 Matrix mit 15
Freiheitsgraden. Eine Reihe von Spezialfällen lässt sich von der allgemeinen projektiven Abbildung
ableiten. Diese Transformationen, die zugehörige Transformationsmatrix H, die entsprechenden
Freiheitsgrade (Degrees of Freedom, DOF) und ihre grafische Darstellung können der Tabelle 6.4
entnommen werden.
6 Mathematische Modellierung
87
Tabelle 6.4: Auswahl ebener geradentreuer Transformationen
Transformation Transformations-
matrix H DOF Grafische Darstellung
Translation 10
01
001
a
b
⎡⎤
⎢⎥
⎢⎥
⎢⎥
⎣⎦
2
Rotation cos sin 0
sin cos 0
001
φφ
φφ
−
⎡⎤
⎢⎥
⎢⎥
⎢⎥
⎣⎦
1
Bewegung cos sin
sin cos
001
a
b
φφ
φφ
−
⎡⎤
⎢⎥
⎢⎥
⎢⎥
⎣⎦
3
Maßstabsänderung 1/2 0 0
01/20
001
m
m
+
⎡⎤
⎢⎥
−
⎢⎥
⎢⎥
⎣⎦
1
Scherung 1/20
/2 1 0
001
s
s
⎡⎤
⎢⎥
⎢⎥
⎢⎥
⎣⎦
1
Affinität
001
abc
def
⎡⎤
⎢⎥
⎢⎥
⎢⎥
⎣⎦
6
Projektivität
1
abc
def
gh
⎡⎤
⎢⎥
⎢⎥
⎢⎥
⎣⎦
8
Somit beschreibt die Homographie in der projektiven Ebene den Transfer zweidimensionaler Punkte
zwischen zwei Ebenen (Objektebene-Bildebene, Bildebenen-Bildebene, Objektebene-Objektebene):
Die 3×3 Homographie-Matrix H mit acht Freiheitsgraden kann durch 4n≥ homologe Bildpunkte
↔
ii
xx' bestimmt werden, wobei
≅
ii
x' Hx gilt. Die Punkte dürfen nicht kollinear sein, da
ansonsten die Lösung nicht eindeutig ist. Dagegen beschreibt die Homographie im projektiven Raum
den Transfer von Objektpunkten i
X. Es gilt:
≅
ii
X' HX . Dabei ist H eine 4×4 Matrix. Die 15
Freiheitsgrade lassen sich durch 5n≥ Objektpunkte, welche sowohl im Ausgangs- als auch im
Zielsystem bekannt sein müssen, bestimmen. Auf die Berechnung von projektiven Transformationen
6 Mathematische Modellierung
88
mit Hilfe der Direkten Linearen Transformation (DLT) wird später eingegangen. Insbesondere findet
die DLT Verwendung bei der linearen Bestimmung der Elemente der Projektionsmatrix und der
Bestimmung der Orientierungsparameter aus der Projektionsmatrix bei der Kamera- bzw. HMD
Kalibrierung.
6.2 Projektive Abbildung mittels CCD Kamera – Einbild-
Photogrammetrie
Im Folgenden soll auf die Modellierung des Abbildungsvorganges bei einer CCD Kamera
eingegangen werden. Diese wird zur Rekonstruktion von 3D Objekten bzw. zur optischen
Positionsbestimmung von Objekten im Raum (Tracking) benötigt. In dieser Arbeit wird eine Kamera
zur Positionsbestimmung von Markern und zur Ortung von Pupille und des Cornealen Reflexes beim
Eye Tracking verwendet. Im Folgenden wird die Verbindung des mathematischen Modells mit der
physikalischen Realität erläutert. Es ist notwendig, vom beobachteten Bildpunkt auf den Bildstrahl
der Aufnahme zu schließen und dessen Weg auf den Bildsensor zu verfolgen. Hierzu ist die
Modellierung der verwendeten Kamera unerlässlich. Diese Zusammenhänge dienen einerseits der
Bestimmung der Kalibrierung der Kamera selbst und andererseits zur Rekonstruktion bzw. zum
Tracking des Objektes. Das projektive Modell lässt sich auf das mathematische Modell eines Head
Mounted Display übertragen.
6.2.1 Grundlegende Abbildungsschritte
Zur Modellierung der grundlegenden Abbildungsschritte bei der Aufnahme mit CCD Kameras seien
folgende drei Koordinatensysteme eingeführt:
a) das Objektkoordinatensystem,
b) das Kamerakoordinatensystem und
c) das Koordinatensystem in der Ebene des CCD Sensors.
Im Einzelnen werden folgende Transformationen durchgeführt:
I. die Abbildung des Objektpunktes im Raum in das Kamerakoordinatensystem,
II. die ideale Projektion des Raumpunktes in die ideale Bildebene,
III. die Projektion der idealen Bildebene in ein CCD Bildkoordinatensystem und
IV. die Modellierung von Abbildungsfehlern.
Die Abbildung des Objektpunktes im Raum in das Kamerakoordinatensystem wird in der
Photogrammetrie als äußere Orientierung bezeichnet. Die äußere Orientierung bestimmt die Position
und Lage des Kamerakoordinatensystems in Bezug auf das gewählte Objektkoordinatensystem. Die
räumliche Transformation enthält drei Parameter für die Translation und drei Parameter für die
Rotationen. Es erfolgt eine Verschiebung des Objektpunktes im Raum in das Zentrum des
Kamerakoordinatensystems (Projektionszentrum O). Die drei Koordinaten des Projektionszentrums
werden durch die Translationsparameter
()
T
,,
OO O
XYZ=
O
Xbeschrieben, die Rotation R ist die
Folge dreier Drehungen um die Eulerwinkel ,,
ω
ϕκ
. Zusammengefasst in homogenen Koordinaten
gilt für die äußere Orientierung:
11
⎡⎤⎡⎤
==
⎢⎥⎢⎥
⎣⎦⎣⎦
O
TT
4×4 4×4
R-RX Rt
H00
(6.11)
Der Übergang vom Kamerakoordinatensystem zum Bildkoordinatensystem wird hingegen als innere
Orientierung bezeichnet. Dabei enthält das jeweils gewählte Kameramodell (s. Abschnitt 6.2.2) neben
dem Parameter der Kamerakonstante c einer idealen Kamera, den Koordinaten des Bildhauptpunktes
()
', '
hh
x
y einer Kamera mit euklidischen Sensor auch weitere Abbildungsfehler. Der geometrische
6 Mathematische Modellierung
89
Bezug zwischen äußerer und innerer Orientierung ist in der Abbildung 6.2 dargestellt. Der Tabelle 6.5
kann der Zusammenhang zwischen den Abbildungsschritten, den Kameramodellen und den zu
bestimmenden Parametern entnommen werden.
()
T
00 0
,,
X
YZ=
0
X
Projektionszentrum
Z
X
Y
ϕ
ω
κ
Bildkoordinatensystem
'
x
'y
Kamerakonstante c
Objektkoordinatensystem
Y
X
Z
Kamerakoordinatensystem
', '
hh
x
y
Bildhauptpunkt
X
Abbildung 6.2: Geometrischer Zusammenhang zwischen innerer und äußerer Orientierung
Tabelle 6.5: Abbildungsschritte und Parameter verschiedener Kameramodelle
(Parameter≠0 sind für das jeweilige Kameramodell grau hinterlegt)
()
T
,,
OO O
XYZ=
O
X
T
(,,)
ω
ϕκ
=R c ', '
hh
x
ym, s '( , )x
Δ
x' q bzw. '( , )yΔx' q
Translation Rotation Affinität Nichtlineare Bildfehler
Äußere Orientierung
Innere Orientierung
Normierte Kamera
Ideale Kamera
Euklidische Kamera
Projektive / Affine Kamera
Allgemeine Kamera
6 Mathematische Modellierung
90
Folgende Bezeichnungen der Parameter der inneren Orientierung werden in Tabelle 6.5 verwendet:
• c die Kamerakonstante,
• ', '
hh
x
y Position des Bildhauptpunktes,
• m Maßstabsunterschied
• s Scherung der Koordinatenachsen und
• '( )xΔx',q bzw. '( )yΔx',q nichtlineare Bildkorrekturen, welche vom Ort x' und
zusätzlichen Parametern q (z.B. Verzeichnung) abhängig sind (Nq: Anzahl der zusätzlichen
Parameter).
6.2.2 Kameramodell - Modellierung der inneren Orientierung
Nach der Einführung der projektiven Geometrie und der Erläuterung der allgemeinen
Abbildungsregeln soll nun die kameraspezifische Abbildung behandelt werden. Zur perspektivischen
Abbildung eines Objektpunktes in die Bildebene müssen die einzelnen Parameter festgelegt werden,
welche das Kameramodell bestmöglich beschreiben. Dies erfolgt mit Hilfe der KalibriermatrixK. Die
Kalibriermatrix Kist eine obere Dreiecksmatrix mit fünf Freiheitsgraden. Eine Auswahl der üblichen
Kameramodelle ist als Erweiterung der Tabelle 6.5 in der Tabelle 6.6 zu finden. Zu den verschiedenen
Kameramodellen werden die Kalibriermatrix und die notwendigen Freiheitsgrade (Degrees of
Freedom, DOF) aufgeführt. Die Anzahl der Freiheitsgrade entspricht den verbleibenden
Orientierungsparametern insgesamt.
Tabelle 6.6: Kalibriermatrix und verbleibende Orientierungsparameter insgesamt (DOF) für
verschiedene Kameramodelle
Kameramodell DOF Kalibriermatrix K
normiert 3 3×3
I
ideal 7 00
00
001
c
c
⎡
⎤
⎢
⎥
⎢
⎥
⎢
⎥
⎣
⎦
euklidisch 9 0'
0'
00 1
h
h
cx
cy
⎡
⎤
⎢
⎥
⎢
⎥
⎢
⎥
⎣
⎦
projektiv / affin 11 '
0(1 ) '
00 1
h
h
ccsx
cmy
⎡
⎤
⎢
⎥
+
⎢
⎥
⎢
⎥
⎣
⎦
allgemein 11+ Nq ''()
0(1 ) ' '( )
00 1
h
h
ccsxx
cmy y
+Δ
⎡
⎤
⎢
⎥
++Δ
⎢
⎥
⎢
⎥
⎣
⎦
x',q
x',q
6 Mathematische Modellierung
91
6.2.3 Perspektivische Abbildung mit der Projektionsmatrix
Unter der Vorraussetzung, dass die verwendete Abbildung als projektiv angenommen wird, kann die
allgemeine Abbildung eines Objektpunktes X an die Bildposition x' mit Hilfe der Projektionsmatrix
P beschrieben werden:
≅x' PX bzw.
11 12 13 14
21 22 23 24
31 32 33
'
'
11
1
X
xpppp
Y
ypppp
Z
ppp
⎡
⎤
⎡⎤⎡ ⎤
⎢
⎥
⎢⎥⎢ ⎥
⎢
⎥
≅
⎢⎥⎢ ⎥
⎢
⎥
⎢⎥⎢ ⎥
⎢
⎥
⎣⎦⎣ ⎦
⎣
⎦
(6.12)
oder
≅−
0
PKR[IX] bzw. ≅0
PKΠH (6.13)
wobei elf Parameter enthalten sind; die fünf Parameter der inneren Orientierung und sechs Parameter
der äußeren Orientierung. Da die Projektionsmatrix homogen ist, kann der Maßstab beliebig gewählt
werden.
H ist die so genannte Homographiematrix, welche die Transformation zwischen Objekt-
koordinatensystem und Kamerakoordinatensystem beschreibt:
1
⎡⎤
=⎢⎥
⎣⎦
0
T
R-RX
H0 und
1000
0100
0010
⎡
⎤
⎢
⎥
=
⎢
⎥
⎢
⎥
⎣
⎦
0
Π (6.14)
Die euklidischen Bildkoordinaten '
x
,'y ergeben sich aus:
11 12 13 14
31 32 33
'1
p
XpYpZp
xpX pY pZ
+++
=+++
21 22 23 24
31 32 33
'1
p
XpYpZp
ypX pY pZ
+++
=+++
(6.15)
Dabei sind ij
p
die Elemente von P. Die Bestimmung der Parameter der Projektionsmatrix kann linear
mit Hilfe der Direkten Linearen Transformation erfolgen und wird im nächsten Abschnitt eingeführt
und näher erläutert.
6.2.4 Direkte Lineare Transformation
Zur sicheren Bestimmung von Orientierungswerten bzw. zur Bestimmung der Parameter der
Projektionsmatrix wird oft eine Ausgleichung nach der Methode der kleinsten Quadrate benutzt.
Hierfür benötigt man jedoch Näherungswerte für die unbekannten Parameter. Direkte Lösungen, wie
die Direkte Lineare Transformation (DLT), können diese Näherungswerte bereitstellen bzw. die
Ausgleichung selbst ersetzen. Die DLT bestimmt somit die Orientierungsdaten eines Bildes in einem
linearen Gleichungssystem ohne Näherungswerte [ABDEL-AZIZ71]. Die Kollinearitätsgleichungen,
welche um eine Affintransformation der Bildkoordinaten erweitert werden, bilden die Grundlage für
dieses Verfahren. Die Vorteile der DLT liegen bei der schnellen Berechnung und im Konvergenz-
verhalten (bei Überbestimmung).
6 Mathematische Modellierung
92
Im Folgenden soll die lineare Bestimmung der Elemente der Projektionsmatrix mittels DLT
beschrieben werden.
Voraussetzung zur linearen Bestimmung der Elemente der Projektionsmatrix mittels DLT sind
mindestens sechs ( 6n≥) beobachtete Punkte ( '
i
x
,'
i
y
) im Raum, von denen die Objektkoordinaten
(i
X
,i
Y,i
Z
) bekannt sind. Diese Objektpunkt müssen sich in allgemeiner Lage befinden. Das heißt, die
Objektpunkte sollten gleichmäßig im Raum verteilt und drei Punkte dürfen nicht auf einer Geraden
liegen.
Die Gleichungen (6.15) können als Transformationsgleichungen der Direkten Linearen
Transformation aufgefasst werden. Die Elemente ij
p
werden nach 111
...
p
p überführt und sind die
gesuchten Elemente von P (Falls 34 1p
≠
, muss dieses Element auf 1 normiert werden). Nach dem
Umstellen der Gleichungen (6.15) erhält man folgende Form:
1234 9 10 11
''''
p
X pY pZ p xpX xpY xpZ x+++− − − =
5678 9 10 11
''''
p
XpYpZpypXypYypZy+++− − − = (6.16)
zur Lösung des für n Passpunkte ( 6n≥) aufzustellenden inhomogenen Gleichungssystems:
Ap = x' wobei p= T
111
( ... )
p
p und 2n,1
x' =
()
T
', '
ii
xy (6.17)
In der überbestimmten Form:
Ap - x' = ν (6.18)
erhält man nach einer vermittelnden Ausgleichung die Residuen ν und damit den algebraischen
Fehler. Mit der Lösung des Gleichungssystems sind die Elemente von 1
p
… 11
p
und können direkt
den gesuchten Elementen ij
p
von P zugeordnet werden.
Im Folgenden soll die Bestimmung der DLT Parameter und damit die Lösung des Gleichungssystems
aus Gleichung 6.17 mittels
a) MOORE-PENROSE Pseudo-Inversen und
b) Singulärwertzerlegung (SVD)
erläutert werden. Dabei entspricht die Lösung mit Hilfe der Pseudo-Inversen der vorliegenden
Umsetzung und liefert ausreichend genaue und stabile Ergebnisse. Die Lösung mittels SVD liefert im
Allgemeinen numerisch stabilere Ergebnisse und sei aus diesem Grund erläutert.
a) Berechnung der DLT Parameter mit Hilfe der MOORE-PENROSE Pseudo-Inversen:
Die Berechnung der DLT Parameter mit Hilfe der MOORE-PENROSE Pseudo-Inversen erfolgt nach der
Gleichung:
T-1T
p=(A A) A x' (6.19)
6 Mathematische Modellierung
93
Die Aufstellung von A und x'nach Gleichung 6.16:
111 111111
11 1 11 11 11
222 222222
22 2 22 22 22
10 0 00 ' ' '
0000 1 ' ' '
10 0 00 ' ' '
0000 1 ' ' '
........ . . .
........ . . .
........ . . .
10 0 00 ' ' '
0000 1 '
nnn nn nn nn
nnn n
X
YZ xX xY xZ
X
YZ yX yY yZ
X
YZ xX xY xZ
X
YZ yX yY yZ
X
XX xX xY xZ
XXX y
−−−
−−−
−−−
−−−
=
−−−
−
2n,11
A
''
nnnnn
X
yY yZ
⎡⎤
⎢⎥
⎢⎥
⎢⎥
⎢⎥
⎢⎥
⎢⎥
⎢⎥
⎢⎥
⎢⎥
⎢⎥
⎢⎥
⎢⎥
−−
⎢⎥
⎣⎦
(6.20)
()
T
112 2
''''...''
nn
xyxy xy=
2n,1
x' (6.21)
führt nach der Lösung des Gleichungssystems zum Ergebnis 1
p
…11
p
und zur Zuordnung der
gesuchten Elemente ij
p
von P.
b) Berechnung der DLT Parameter mit Hilfe der Singulärwertzerlegung (SVD)
Die Kleinste Quadrate Lösung für
p
der Gleichung 6.17 kann auch mit der SVD bestimmt werden.
Nach [HARTLEY00] müssen folgende Schritte durchlaufen werden:
1. Bestimmen der SVD: T
A=UDV ,
2. Definieren von T
x'' = U x',
3. Bestimmen des Vektors ydurch ''i
ii
x
yd
=, wobei i
d das i-te Diagonalelement von D ist.
4. Die Lösung ist p=V
y
.
Die normalerweise für die Singulärwertzerlegung zweckmäßige Sortierung der Diagonalelemente von
D darf hier nicht durchgeführt werden. Diese Lösung mit Hilfe der SVD ist der Pseudo-Inversen
vorzuziehen, da sie numerisch stabiler ist und der Algorithmus theoretisch nicht fehlschlagen kann
[RODEHORST04].
Mit Hilfe der ermittelten Projektionsmatrix ist die projektive Abbildung zwischen dem Objektpunkt
und Bildpunkt beschrieben. Die einzelnen Orientierungsparameter können bei Bedarf aus der
Projektionsmatrix gewonnen werden [BOPP78, FAUGERAS01, KRAUS96, LUHMANN00, MIKHAIL01,
RODEHORST04]. Im Folgenden wird jedoch meist direkt mit der ermittelten Projektionsmatrix
gearbeitet. Nur zur Verifizierung der Kalibrierungsergebnisse im Abschnitt 7.5.3 wurde das
Projektionszentrum 0
X aus der Projektionsmatrix P der HMD Kalibrierung berechnet. Die
verwendete homogene Bestimmung der Orientierungsparameter aus der Projektionsmatrix sei deshalb
im Folgenden aufgeführt:
Homogene Bestimmung der Orientierungsparameter aus der Projektionsmatrix
Zur homogenen Bestimmung der Orientierungsparameter werden die bekannten Elemente der
Projektionsmatrix P verwendet. Die gesuchten sechs Parameter der äußeren Orientierung
R(Rotationsmatrix) und O
X(Projektionszentrum) sowie die fünf Parameter der inneren Orientierung
K(Kalibriermatrix) stehen zur gegebenen Projektionsmatrix P analog zur Gleichung 6.13 in
folgendem Zusammenhang:
6 Mathematische Modellierung
94
≅−
0
PKR[IX] (6.22)
∞
≅−
0
PH[IX] (6.23)
Die Berechnung der gesuchten Parameter sei nachstehend zusammengefasst:
1) Projektionszentrum 0
X, drei Parameter
Die vierte Spalte der Projektionsmatrix P entspricht der Abbildung in den Ursprung. 0
X ist
gleichzeitig das Projektionszentrum und der besondere Punkt, für den:
0
PX = 0 gilt. (6.24)
Zur Berechnung kann man dieses homogene Gleichungssystem durch eine
Singulärwertzerlegung von P bestimmen und erhält als Ergebnis das Projektionszentrum. Die
Rechtecksmatrix P muss zur Berechnung der SVD um eine Zeile mit Nullen ergänzt werden.
Ist P bekannt, kann man das Projektionzentrum
()
T
01 02 03 04
,,,xxxx=
0
X auch algebraisch
bestimmen durch:
()
ˆ
1det()
i
=−
0i i
xP
für 1,...,4i
=
(6.25)
Dabei ist ˆi
P die Matrix P ohne die i-te Spalte. Diese Lösung ist jedoch numerisch instabiler
als die Berechnung des homogenen Gleichungssystemes mit einer SVD. [RODEHORST04]
2) Rotationsmatrix R (drei Parameter) und Kalibriermatrix K (fünf Parameter) aus RQ-
Zerlegung von ∞
H
Um aus einer gegebenen Projektionsmatrix P die Rotationsmatrix R und die Kalibriermatrix
Kzu extrahieren, kann man die erste Teilmatrix
∞
H(s. Gleichung 6.23) von P verwenden.
Diese 3×3 Matrix wird durch die RQ-Zerlegung in das Produkt einer oberen Dreiecks- und
einer unteren Rotationsmatrix (hier K und R) aufgespaltet:
∞≅HKR (6.26)
In der Praxis ist zu beachten, dass die dritte Zeile der Matrix
∞
H auf den Betrag 1 normiert
werden muss und det 0
∞>Hgelten muss. Die Berechnung der RQ-Zerlegung kann z.B. mit
den GIVENS-Rotationen durchgeführt werden [RODEHORST04], auf die hier nur verwiesen sein
soll. Man kann aber auch 1−
∞
H QR zerlegen und dann die resultierenden Matrizen invertieren.
Somit erfolgt eine eindeutige Zuordnung der Projektionsmatrix P zu den gesuchten Elementen der
inneren und äußeren Orientierung:
()
↔0
PK,R,X (6.27)
6 Mathematische Modellierung
95
6.3 Bildpaargeometrie und lineare homogene Triangulation
In diesem Abschnitt soll die Bildpaargeometrie behandelt werden. Durch die Ausnutzung der
Epipolargeometrie kann der Zusammenhang der Aufnahmen eines Objektes von unterschiedlichen
Kameras hergestellt werden. Dabei wird ein Objektpunkt X gleichzeitig in zwei Bildern abgebildet.
Die Projektionszentren beider Kameras O
X' und O
X'' werden durch die Basislinie b miteinander
verbunden. Diese Basislinie schneidet die Projektionsebenen in den Epipolen e' und e''.
Auf der Suche nach der Position eines Bildpunktes x' im anderen Bild braucht nur eine Gerade, die
Epipolargerade l'', abgesucht werden. Alle möglichen Epipolargeraden schneiden sich im Epipol e''.
Der Zusammenhang zwischen beiden Bildern kann der Abbildung 6.3 entnommen werden.
Abbildung 6.3 Epipolargeometrie für ein Bildpaar
In der projektiven Geometrie wird die Epipolargeometrie durch die Fundamentalmatrix F
repräsentiert. Sie enthält die gesamte Information der projektiven relativen Orientierung und kann
auch auf den Fall der HMD Kalibrierung (Bestimmung der HMD Parameter unter Verwendung einer
kalibrierten Trackingkamera s. Abschnitt 6.4.3) übertragen werden.
Die Fundamentalmatrix Fist eine 3×3 Matrix mit nur sieben Freiheitsgraden. Da sich alle
Epipolargeraden in einem Punkt schneiden, sind die Elemente durch die Singularitätsbedingung
det( ) 0=Fverknüpft. Die Fundamentalmatrix definiert ausgehend von den Bildpunkten die
zugehörige Epipolargerade:
≅l'' Fx' und
≅
T
l' F x'' (6.28)
Für alle auf den Epipolargeraden liegenden Punkte gilt die Inzidenzrelation:
0=
TT
x' l' = x'' l'' (6.29)
Daraus leitet sich die bilineare Komplanaritätsbedingung ab:
0=
T
x'' Fx' (6.30)
Die Bestimmung der Fundamentalmatrix kann nun allein mit Hilfe einer Menge von homologen
Punkten erfolgen. Es sei hier auf den Normierten 8-Punkt-Algorithmus mit acht homologen Punkten
und auf den Minimalen 7-Punkt-Algorithmus mit sieben homologen Punkten verwiesen [HARTLEY97,
HARTLEY00, LONGUET81, RODEHORST04]. Nun lassen sich mit Hilfe der linearen homogenen
Triangulation die räumlichen Koordinaten aus homologen Bildpunkten berechnen. Ebenso (wie im
6 Mathematische Modellierung
96
Falle der Nutzung eines HMD) lässt sich mit der Kenntnis der Objektkoordinaten und dem bekannten
Bildpunkt der Trackingkamera der homologe Bildpunkt im HMD berechnen.
Ist, wie bei der HMD Kalibrierung (Abschnitt 6.4.4), eine Projektionsmatrix P'bekannt, lässt sich die
andere Projektionsmatrix P''bei gemeinsamer Fundamentalmatrix F nach [FAUGERAS01]
folgendermaßen bestimmen:
[
]
⎡⎤
≅⎣⎦
4×4
x
P'' e'' F e'' H mit (6.31)
[]
0
0
0
wy
wx
yx
ee
ee
ee
⎡⎤
−
⎢⎥
=−
⎢⎥
⎢⎥
−
⎣⎦
x
e,
x
y
w
e
e
e
⎛⎞
⎜⎟
=⎜⎟
⎜⎟
⎝⎠
e und 0001
⎡
⎤
⎢
⎥
⎣
⎦
3×4
P'
H= (6.32)
Der Epipol e'' kann aus Fmittels Singulärwertzerlegung gewonnen werden.
Die Zusammenhänge der Bildpaargeometrie lassen sich sowohl für Video See Through, wie auch
Optical See Through HMD Kalibrierungen verwenden, wenn ein optisches Trackingsystem zum
Einsatz kommt. Auf den Fall der Optical See Through HMD Kalibrierung wird im Abschnitt 6.4.4
näher eingegangen. Die Anwendung zur Video See Through Kalibrierung wird beispielsweise in
[SEO00] beschrieben.
6 Mathematische Modellierung
97
6.4 Umsetzung für Augmented Reality
Für die Umsetzung des gesamten AR Systems ist es notwendig, alle beteiligten Komponenten (Objekt/
Marker, Head Mounted Display, Auge/ Kopf, Trackingkamera, Augenkamera) geometrisch zu
verbinden. Hierzu finden die mathematischen Grundlagen, aus den Abschnitten 6.1 bis 6.3,
Anwendung. Die Beziehungen der Komponenten und ihre zugehörigen Koordinatensysteme sind in
der Abbildung 6.4 aufgeführt. Im Einzelnen sind folgende Aufgaben zu lösen:
• die Positionsbestimmung der Marker,
• die Kamerakalibrierung (Orientierung / Verzeichnung),
• die HMD Kalibrierung (Orientierung / Verzeichnung) und
• das Verrutschen des HMD (Korrektur).
Abbildung 6.4: Beteiligte AR Komponenten und ihre Beziehungen in Koordinatensystemen
6 Mathematische Modellierung
98
6.4.1 Markererkennung – Positionsbestimmung und Zielverfolgung
Der Zusammenhang zwischen den einzelnen Koordinatensystemen bzw. der Bezug zwischen
Objektraum und Kopfraum wird durch die Verwendung von (Passpunkt-) Markern realisiert. Hier
sollen quadratische Marker, wie sie von [KATO99] und dem ARToolKit verwendet werden, ihre
Anwendung finden. In der Abbildung 6.5 ist eine Auswahl der verwendeten Marker abgebildet.
Abbildung 6.5: Auswahl der verwendeten Marker
(von links: Blankomarker, Marker mit Identifizierung, Marker zur HMD Kalibrierung)
Diese Marker haben die Eigenschaften, dass es möglich ist, mit Hilfe nur eines Markers die räumliche
Beziehung zwischen Objektraum (Markerraum) und Kopfraum (Kameraraum) herzustellen. Nach
durchgeführter Identifizierung eines Markers kann dies über die Kenntnis der Abstände der
Markereckpunkte und über Tests der Parallelität und Orthogonalität der Markerkanten erfolgen. Dabei
liefern die Abstände der Markereckpunkte Informationen zur entstandenen Maßstabsveränderung und
die Markerkanten Kenntnisse zur erfolgten Rotation.
Aufgrund der begrenzten Größe der Marker kann diese Rotation nur mit geringer Genauigkeit
berechnet werden. Dies hat besonders auf die Schätzung in Richtung der Verbindungslinie Kamera/
Marker einen negativen Einfluss. Diese Ungenauigkeit ist jedoch für den hier untersuchten Fall
unerheblich, da die Einblendung der virtuellen Objekte am Virtual Retinal Display (VRD) in einer
festen Entfernung erfolgt. Wichtig ist vor allen die lagegenaue Einblendung im VRD hinsichtlich der
verbleibenden zwei Achsen, welche wesentlich genauer (bezüglich des Tracking) ist. Das Feld im
Inneren der Marker dient dabei der Identifizierung der Marker bzw. der internen Nummerierung bei
Nutzung von mehreren Markern. Diese Art der Marker führt damit zu einer gewissen
Geschwindigkeits- und Genauigkeitssteigerung. Nachteilig ist die Verwechselbarkeit mit natürlichen
Objekten, welche Ähnlichkeit mit den Markern besitzen (z.B. Bildschirmmonitore). Solche
Verwechslungen können jedoch für die Anwendung in der Leberchirurgie ausgeschlossen werden, da
in der Nähe des Objektes und der Marker solche Strukturen ausgeschlossen werden können. Im
Folgenden soll die Positionsbestimmung und Positionsverfolgung (Tracking) der Marker, wie diese in
dieser Arbeit umgesetzt wurden, beschrieben werden.
Markertracking ist die Suche nach der Transformation ( TK_M
T mit Rotation Rund Translation t)
zwischen dem Tracking Kamerakoordinatensystem ( TK
X) und Objektraumkoordinatensystem der
Marker ( M
X):
≅⋅
TK TK
_
MM
XT X
bzw.
11 12 13
21 22 23
31 32 33
100011
TK X M
TK Y M
TK Z M
XrrrtX
YrrrtY
ZrrrtZ
⎛⎞⎡ ⎤⎛⎞
⎜⎟ ⎜⎟
⎢⎥
⎜⎟ ⎜⎟
⎢⎥
≅
⎜⎟ ⎜⎟
⎢⎥
⎜⎟ ⎜⎟
⎢⎥
⎜⎟ ⎜⎟
⎝⎠⎣ ⎦⎝⎠
(6.33)
6 Mathematische Modellierung
99
Die Markererkennung setzt sich aus der Lösung folgender drei Aufgaben, welche in Abbildung 6.6
visualisiert sind, zusammen:
1) die Lokalisierung der Marker im Bild (Schwellwertbildung, Segmentierung),
2) die Bestimmung der vier Markereckpunkte und –kanten und
3) die Berechnung der Transformationsmatrix.
Abbildung 6.6: Ablauf der Markererkennung
(links oben: Originalbild, rechts oben: Schwellwertbildung, links unten:
Segmentierung, rechts unten: Bestimmung der Markereckpunkte und Kanten)
Im Einzelnen werden nachstehende Schritte durchlaufen:
1. Das Bild wird einer allgemeinen Schwellwertbildung unterzogen, um die Markerregionen von
den restlichen Bildregionen trennen zu können.
2. Kennzeichnung (Labeling):
• Zusammenhängende Regionen werden markiert (Connected Components Labeling).
• Außenkonturen der Regionen werden erzeugt (Contour Seeking).
• Eckpunkte der Regionen werden identifiziert (Geraden werden durch Region gelegt,
weitester Punkt von jeweiliger Gerade ist Eckpunkt).
• Falsche Regionen werden identifiziert und gelöscht. Dies geschieht nach drei
Kriterien (Fläche, Anzahl und Vorhandensein besser passender Regionen).
• Markereckpunkte werden genau detektiert bzw. gemessen.
6 Mathematische Modellierung
100
• Die Parameter der Geradenabschnitte (Abschnitt 6.1.1und 6.1.2) werden bestimmt
und gespeichert.
• Die Schnittpunkte aus den Geradenschnitten 12
x=l ×l werden ermittelt und
gespeichert.
3. Mustererkennung (feature extraction) Æ Fläche, Position:
• Die perspektivisch verzerrten Markereckpunkte werden so entzerrt, dass ein Vergleich
des im inneren des Markers verzerrten Musters mit dem unverzerrten Muster des
Originalmarkers erfolgen kann. Die Bestimmung dieser ebenen Homographie H
erfolgt, entsprechend der Gleichung 6.10, durch die Bildkoordinaten der gefundenen
Markereckpunkte (' , ' )
TK TK
xy (Punkte aus Geradenschnitten) und den bekannten
Markerkoordinaten(,)
MM
X
Y:
≅
TK M
x' HX (6.34)
Bei der Projektion paralleler Seiten des Markers ins Bildkoordinatensystem ergeben
sich folgende Geradengleichungen:
111
0ax by c++=
222
0ax by c++= (6.35)
Die Abbildung im Bild ist durch die Projektionsmatrix TK
P aus dem Kalibrierungs-
prozess gegeben (Abschnitt 6.4.2, Gleichung 6.36).Betrachtet man eine um die äußere
Orientierung reduzierte Projektionsmatrix, so gilt:
11 12 13
22 23
0
00
0010
ppp
pp
⎡⎤
⎢⎥
=⎢⎥
⎢⎥
⎣⎦
TK
P,
'
'
11
TK
TK
TK
TK TK
TK
X
xY
yZ
⎛⎞
⎛⎞ ⎜⎟
⎜⎟ ⎜⎟
≅
⎜⎟ ⎜⎟
⎜⎟ ⎜⎟
⎝⎠ ⎜⎟
⎝⎠
P (6.36)
Jetzt können die Geradengleichungen (6.28) substituiert werden:
1 11 1 12 1 22 1 13 1 23 1
()( )0
MM M
ap X ap bp Y ap bp c Z++ +++=
2 11 2 12 2 22 2 13 2 23 2
()( )0
MM M
apX ap bp Y ap bp c Z++ +++= (6.37)
Normalenvektor der beiden Ebenen (Markerebene im Bildraum bzw.
Objektraum) ist 1
nund 2
n.
Die Richtung der jeweils zwei parallelen Seiten des Markers ist durch das
Kreuzprodukt 12
n×n gegeben.
Zwei Paare paralleler Seiten ergeben zwei solche Richtungen 1
uund 2
u, die
beim Marker rechtwinklig zueinander sein sollten.
Die Rechtwinkligkeit kann nicht immer exakt gegeben sein, deshalb werden
auf der Basis von 1
uund 2
udie Vektoren 1
vund 2
v berechnet, welche dann
exakt orthogonal sind.
6 Mathematische Modellierung
101
Der Richtungsvektor orthogonal zu 1
vund 2
vist 3
v.
Die Rotationskomponente 33
×
R in der Transformationsmatrix TK_M
T ist
⎡
⎤
⎣
⎦
T
123
rrr . Die Spalten i
r von R sind die Abbildungen der
Achsenrichtungen des Weltkoordinatensystems.
Jetzt können acht Gleichungen zur Bestimmung der Translationskomponenten
,,
x
yz
ttt aufgestellt werden. Bekannt sind dabei die Rotation 3×3
R und die
vier Eckpunkte des Markers im Bildkoordinatensystem der Kamera und im
Objektkoordinatensystem des Markers.
Die folgende Optimierung ist ein iterativer Prozess zur Minimierung des
Fehlers beim Finden von TK
_
M
Taus Gleichung 6.33 :
()
()
()
()
()
'
'
11
Mi
TK i
Mi
TK i
Mi
X
xY
yZ
⎛⎞
⎛⎞ ⎜⎟
⎜⎟ ⎜⎟
=⋅⋅
⎜⎟ ⎜⎟
⎜⎟ ⎜⎟
⎝⎠ ⎜⎟
⎝⎠
TK 0 TK_M
KΠT
()()
{
}
422
1
1''
4ii ii
i
err x x y y
=
=−+−
∑
(6.38)
Ergebnis ist die gesuchte Markerebene im Raum
• Template matching zur Identifizierung der Struktur innerhalb der Marker mit
bekannten Strukturen (beliebig ob Bild, Zahlen oder Buchstaben).
6.4.2 Kamerakalibrierung
Zur Kamerakalibrierung wird ein regelmäßiges
Gitter (Abbildung 6.7) in definierten Abständen
zur Kamera gemessen. Die Koordinaten der
gemessenen Kreuze sind somit im lokalen 3D
Koordinatensystem bekannt. Mehrere Paare von
Kamerabildkoordinaten 'TK
x
,'TK
y
und den
dazugehörigen lokalen 3D Koordinaten der
Gitterkoordinaten ,,
GG G
X
YZ können zur
Bestimmung der Projektionsmatrix TK
P genutzt
werden.
Abbildung 6.7: Gitter zur Kamerakalibrierung
Die innere Orientierung ist definiert:
'
'
11
TK TK
TK TK
x
x
y
y
⎛⎞ ⎛⎞
⎜⎟ ⎜⎟
≅
⎜⎟ ⎜⎟
⎜⎟ ⎜⎟
⎝⎠ ⎝⎠
TK
K mit
'
0(1) '
00 1
h
h
ccsx
cmy
⎡
⎤
⎢
⎥
=+
⎢
⎥
⎢
⎥
⎣
⎦
TK
K (6.39)
6 Mathematische Modellierung
102
Es ergeben sich die Beziehungen zwischen dem realen Kamerabildkoordinatensystem ','
TK TK
x
y, dem
idealen Kamerabildkoordinatensystem ,
TK TK
x
y und dem Gitterkoordinatensystem ,,
TT T
X
YZ:
'
'
11
G
TK
G
TK
G
X
xY
y
Z
⎛⎞
⎛⎞ ⎜⎟
⎜⎟ ⎜⎟
≅⋅⋅
⎜⎟ ⎜⎟
⎜⎟ ⎜⎟
⎝⎠ ⎜⎟
⎝⎠
TK 0 TK_G
KΠH (oder auch
≅
⎡⎤
⎣
⎦
TK TK 0 G
x' K R I - X X ) (6.40)
mit
11
⎡⎤⎡ ⎤
==
⎢⎥⎢ ⎥
⎣⎦⎣ ⎦
0
TK_G TT
Rt R-RX
H00 (6.41)
Zusammengefasst zur Projektionsmatrix:
≅
TK TK G
x' P X oder
11 12 13 14
21 22 23 24
31 32 33
'
'
11
1
G
TK
G
TK
G
X
xpppp
Y
ypppp
Z
ppp
⎛⎞
⎛⎞⎡ ⎤
⎜⎟
⎜⎟
⎢⎥
⎜⎟
≅
⎜⎟
⎢⎥
⎜⎟
⎜⎟
⎢⎥
⎜⎟
⎝⎠⎣ ⎦
⎜⎟
⎝⎠
(6.42)
Mit folgenden Bezeichnungen:
TK
K …Kalibriermatrix der inneren Orientierung der Kamera,
c …Kamerakonstante,
m …Maßstabsfaktor,
s …Scherung,
', '
hh
x
y …Bildhauptpunkt,
R …Rotationsmatrix,
t …Translationsvektor,
0
X …Projektionszentrum der Kamera,
TK_G
H …Homographiematrix der projektiven Transformation (Rotation, Translation)
zwischen Gitter- und Kamerakoordinatensystem und
TK
P …Projektionsmatrix.
Die Matrix TK
P wird durch mehrere Paare von Kamerabildkoordinaten ','
TK TK
x
yund lokalen 3D
Koordinaten ,,
GG G
X
YZ der Gitterkreuze bestimmt. Die Bestimmung der elf Parameter von TK
P
erfolgt durch die Lösung einer überbestimmten Direkten Linearen Transformation mit 6n≥
Bildpunkten, wie oben beschrieben (Abschnitt 6.2.4) mittels vermittelnder Ausgleichsrechnung. Nach
deren Bestimmung kann TK
P durch RQ Zerlegung in TK
K,R und O
X (damit TK_G
H) zerlegt
werden. Zur korrekten Abbildung reicht jedoch die Verwendung von TK
P aus.
6 Mathematische Modellierung
103
Berücksichtigung der Kameraverzeichnung
Die Funktionen bzw. Parameter der Kameraverzeichnung beschreiben die Bildfehler, welche vom
Modell der zentralperspektivischen Abbildung abweichen (als erweiterter Teil der Parameter der
inneren Orientierung s. Abschnitt 6.2.2). Die Ursachen liegen in einer von diesem Modell
abweichenden Optik der Kameras.
Die radial symmetrische Verzeichnung besitzt den größten Anteil der Abbildungsfehler. Durch das
Auftreten von Brechungsänderungen im Linsensystem (Eintrittswinkel τ ist ungleich dem
Austrittswinkel 'τ) weist der Bildpunkt P' gegenüber der Solllage einen Versatz r'Δ auf, welcher
die so genannte radial symmetrische Verzeichnung darstellt. (Abbildung 6.8) [LUHMANN00]
P'
P
τ
'
τ
r'
Δ
Blende
Eintrittspupille Austrittspupille Bildebene
c
τ
', '
hh
x
y
Abbildung 6.8: Strahlengang einer Kamerablende nach [LUHMANN00]
Dieser radialsymmetrische Versatz der Solllage der Bildpunkte führt je nach Richtung der
Verzeichnung zur kissenförmigen bzw. tonnenförmigen Verzeichnung. (Abb. 6.9) Die
radialsymmetrische Verzeichnung hängt im Wesentlichen von der aktuellen Fokussierung als auch
von der Objektentfernung bei konstanter Fokussierung ab. Der entfernungsabhängige Einfluss wird in
der Regel nur bei hochgenauen Messungen berücksichtigt.
kissenf
kissenfö
örmig
rmig
tonnenf
tonnenfö
örmig
rmig
P'
P
x
y
D
r'
Abbildung 6.9: Radialsymmetrische Verzeichnung und ihre Auswirkung
Im vorliegenden Fall wird die radiale Verzeichnung der Kamera im Vorfeld bestimmt. Mit der
verzeichnungsbehafteten Kamera wird ein regelmäßiges Punktraster (Abb. 7.9) aufgenommen. Die
Verbindung dieser Punkte stellt ein regelmäßiges Gitter von Geraden dar. Bei einer verzeichneten
Kamera gehen diese Geraden in Kurven über. Durch die Bestimmung der Verzeichnung wird dies
korrigiert. Dafür werden mehrere solche regelmäßigen Punktraster von verschiedenen Winkeln
aufgenommen und die Bildkoordinaten der Punkte angemessen. Die praktische Durchführung ist im
Abschnitt 7.4.1 beschrieben.
6 Mathematische Modellierung
104
Die korrigierten Bildkoordinaten der verwendeten Kamera berechnen sich aus folgenden Gleichungen:
0
'''
x
px x=Δ+ , (6.43)
0
'''
y
py y=Δ+ (6.44)
mit
1²
p
fd=− (Verzeichnungsfaktor
f
ist gesucht.), (6.45)
²'²'²dxy=Δ +Δ , (6.46)
()
0
'''
i
x
mx xΔ= − und (6.47)
()
0
'''
i
ymyyΔ= − . (6.48)
Die Verbesserungsgleichungen zur Verzeichnungsberechnung ergeben sich durch die Zusammen-
fassung obiger Gleichungen:
1
11010100
' (1 ( ²( ' ' )² ²( ' ' )²)) ( ' ' ) '
x
x
fmx x my y mx x x
ν
+=− − + − − +
1
11010100
' (1 ( ²( ' ' )² ²( ' ' )²)) ( ' ' ) '
y
y
fmx x my y my y y
ν
+=− − + − − +
#
0000
' (1 ( ²( ' ' )² ²( ' ' )²)) ( ' ' ) '
n
nx n n n
x
fmxx myy mxx x
ν
+=− − + − − +
0000
' (1 ( ²( ' ' )² ²( ' ' )²)) ( ' ' ) '
n
ny n n n
y
fmx x my y my y y
ν
+=− − + − − +
(6.49)
mit:
00
(', ')
x
y … Zentrum der Koordinaten der Verzeichnung,
(', ')
x
y … Bildkoordinaten der Kamera,
f
… Verzeichnungsfaktor und
m … Maßstabsfaktor.
Dieses nichtlineare Gleichungssystem wird an Näherungswerten ( 0f
=
, 1m=, 0
'
x
, 0
'
y
) für die
Unbekannten linearisiert. Diese Korrektur muss für die jeweilige Kamera nur einmal ermittelt
werden, solange die Parameter der Kamera während der Nutzung konstant bleiben.
6 Mathematische Modellierung
105
6.4.3 Kalibrierung des Head Mounted Display
Für die HMD Kalibrierung kann das gleiche mathematische Modell (projektive Abbildung) wie bei
der Kamerakalibrierung genutzt werden. Als bekannt genutzt werden viele Paare der HMD
Bildkoordinaten ','
H
MD HMD
xy und deren zugehörige Kameraposition ,,
TK TK TK
X
YZ aus der
Kamerakalibrierung. Die zugehörige Kameraposition wird durch das gleichzeitige Beobachten eines
Kalibrierungsmarkers gewährleistet, d.h. der Beobachter betrachtet den Marker durch den Bildschirm
eines HMD und bringt ein eingeblendetes Fadenkreuz im Display mit dem Marker in
Übereinstimmung. Im gleichen Augenblick wird der Marker durch eine kalibrierte Kamera getrackt
und somit geometrisch zugeordnet. Der direkte Zusammenhang zwischen HMD Bildkoordinaten
','
H
MD HMD
xy und deren zugehörige Kameraposition ,,
TK TK TK
X
YZ ist gegeben. Der Zusammenhang
zwischen den einzelnen Koordinatensystemen ist in Abbildung 6.10 dargestellt.
Abbildung 6.10: Koordinatensysteme bei der HMD Kalibrierung
Folgender mathematische Zusammenhang der Beziehung Marker – Trackingkamera (Beobachtung
von mindestens drei Passpunkten) ist gegeben:
'
'
11
M
TK
M
TK
M
X
xY
yZ
⎛⎞
⎛⎞ ⎜⎟
⎜⎟ ⎜⎟
≅
⎜⎟ ⎜⎟
⎜⎟ ⎜⎟
⎝⎠ ⎜⎟
⎝⎠
TK
P (6.50)
6 Mathematische Modellierung
106
Für die Beziehung Marker – HMD Bildschirmkoordinaten (Fadenkreuzeinstellung) gilt:
'
'
11
M
HMD
M
HMD
M
X
xY
yZ
⎛⎞
⎛⎞ ⎜⎟
⎜⎟ ⎜⎟
≅
⎜⎟ ⎜⎟
⎜⎟ ⎜⎟
⎝⎠ ⎜⎟
⎝⎠
HMD
P (6.51)
Für beide P gilt:
≅0
PKΠH mit
11 12 13
21 22 23
31 32 33 1
0001
X
Y
Z
rrrt
rrrt
rrrt
⎡⎤
⎢⎥
⎡
⎤
⎢⎥
==
⎢
⎥
⎢⎥
⎣
⎦
⎢⎥
⎣⎦
T
Rt
H0 (6.52)
mit
HMD
x' … Fadenkreuzkoordinaten auf dem HMD Display,
TK
x' … Koordinaten des angezielten (Pass-) Markerpunktes im Kamerabild und
M
X … Kameraobjektkoordinaten des angezielten Passpunktes im Kamerabild.
Transformation des Punktes im Fadenkreuz
Bei jeder Einstellung des Fadenkreuzes werden gleichzeitig die Objektkoordinaten der Marker
bestimmt, da die kalibrierte Trackingkamera den Marker erfasst. Es sind TK
P und TK
x' zur
Bestimmung von M
Xaus Gleichung (6.47) bekannt. Jetzt wird (äquivalent zur Kamerakalibrierung)
HMD
P durch mehrere Paare von HMD Displaykoordinaten (Fadenkreuz) ','
H
MD HMD
xyund lokalen 3D
Koordinaten ,,
M
MM
X
YZ der Marker bestimmt. Dazu reichen wiederum sechs Punkte aus. Die
Bestimmung der elf Parameter von HMD
P erfolgt durch die Lösung einer überbestimmten Direkten
Linearen Transformation, mittels vermittelnder Ausgleichsrechnung. Da HMD
P jetzt bekannt ist,
können die Objektdetails nun in das Display eingeblendet werden.
Position des Fadenkreuzes auf dem Bildschirm zur Kalibrierung
Der Anschauung nach, kann die Displayebene um die, mit einem einzigen Sehstrahl entstehende,
Achse rotieren, wenn das Kreuz immer im selben Displaypunkt erscheint. D.h. die HMD
x' müssen sich
verändern und am besten das ganze Display abdecken.
Eine Ausnahme bildet die zusätzliche Nutzung der Information über die Schiefe des Fadenkreuzes:
• Es werden die Mitte des Fadenkreuzes und die Mitte des Markers registriert und
• gleichzeitig werden auch die horizontale und vertikale Linie von Fadenkreuz und Marker
registriert.
6 Mathematische Modellierung
107
Zusammenhang mit der Epipolargeometrie
Die Kalibrierung des HMD kann alternativ mit der Epipolargeometrie beschrieben werden. Wegen der
Beobachtung der gemeinsamen Objektpunkte gilt die Ko(m)planaritätsbedingung für homologe
Bildpunkte (Abschnitt 6.3, Gl. 6.30):
TTT
''0
′′
==
HMD TK TK HMD
xFxxFx 3x3
F…Fundamentalmatrix (6.53)
Es folgt aus der Inzidenzrelation (vgl. Gl. 6.3 und 6.29):
TT
'' 0
′′
==
HMD HMD TK TK
xl xl (6.54)
Mit Hilfe der Beobachtung homologer Bildpunkte
↔
TK HMD
x' x' kann die Fundamentalmatrix
Fbeispielsweise durch den Normierten 8-Punkt Algorithmus bestimmt werden.
Nach [FAUGERAS01] gilt für zwei Projektionsmatrizen TK
P und HMD
P mit der gemeinsamen
Fundamentalmatrix F folgende Beziehung (vgl. Gl. 6.31-6.32):
[
]
⎡⎤
≅⎣⎦
HMD HMD HMD 4×4
x
PeFeH
(6.55)
mit 0001
⎡⎤
⎢⎥
⎣⎦
TK_3×4
P
H= (6.56)
Wobei TK
Pund Fzur Bestimmung von HMD
Pbekannt sind. Für die eindeutige Bestimmung der
Fundamentalmatrix mittels Normierten 8-Punkt Algorithmus’ sind jedoch mindestens acht perfekte
Korrespondenzen (homologe Punkte) notwendig. Dies ist aufwendiger als die direkte Bestimmung von
HMD
P mittels bekannter Markerkoordinaten M
X und den zugehörigen Displaykoordinaten HMD
x' . Für
die Bestimmung der elf Parameter von HMD
Pdurch eine DLT reichen sechs Korrespondenzen aus,
welchen deshalb der Lösung mit Verwendung von Fvorzuziehen ist. Die Bestimmung der HMD
Kalibrierung mittels Fundamentalmatrix empfiehlt sich, wenn die Kalibrierung der Trackingkamera
(also TK
P) unbekannt ist.
Die praktische Umsetzung stellt sich wie folgt dar:
• Einblenden eines Kreuzes ins HMD (bei Wiederholung an anderer Position des Displays).
• Marker und Kreuz werden in Übereinstimmung gebracht.
• Im gleichen Moment wird der Marker von der Kamera bestimmt.
• Die Markermessung wird mehrmals für nah und fern (Hand ausgestreckt) wiederholt.
• Daraus ergeben sich viele Paare HMD Bildkoordinaten ','
H
MD HMD
xyund deren zugehörige
Kameraposition ,,
TK TK TK
X
YZ.
• Bestimmung von HMD
P, dann Zerlegung in HMD
K und A_TK
T.
Durch die Markermessung mit dem HMD sind somit die Bildkoordinaten ','
H
MD HMD
xy im HMD
System gegeben. Gleichzeitig wird der Marker von der Kamera aufgenommen. Aufgrund der erfolgten
Kamerakalibrierung ist der Marker im Kamerakoordinatensystem ,,
CC C
X
YZ bekannt. Im praktischen
Ablauf (s. Abschnitt 7.4.2) werden zehn Korrespondenzen zwischen HMD Bildschirmkoordinaten
(','
H
MD HMD
xy) und Kameraobjektkoordinaten ( ,,
TK TK TK
X
YZ) zur Bestimmung von HMD
P genutzt.
Für zwei Entfernungen (nah = angewinkelter Arm, fern = ausgestreckter Arm) werden fünf Positionen
im HMD (Mitte und die vier Ecken) gemessen. Die Anmessung dieser zehn Korrespondenzen stellt
eine Überbestimmung dar, dient jedoch wesentlich der Stabilität und Genauigkeit der Berechnung.
6 Mathematische Modellierung
108
Berücksichtigung der HMD Verzeichnung
Möchte man die Verzeichnung von HMDs berücksichtigen kann dies, wie bei einer Kamera erfolgen.
Die mathematische Modellierung ist dabei analog den dort (Abschnitt 6.4.2) aufgeführten
Gleichungen 6.43-6.49. Beachtet werden muss fürs das HMD, dass hier das inverse Problem gesucht
ist. Eine regelmäßige Struktur (wie die eines gleichmäßigen Punktrasters) muss entsprechend der
Verzeichnungseigenschaften des HMD vorverzeichnet eingeblendet werden. Dann erscheint es dem
Nutzer wieder als gleichmäßiges Raster.
6.4.4 Erfassen des Verrutschens des Displays und nachfolgende
Verbesserung der HMD Kalibrierung
Bei der bisherigen Beschreibung der Kalibrierung von HMDs wird vorausgesetzt, dass HMD,
Trackingkamera und Position des Auges fest miteinander verbunden sind. In dieser Konstellation
stellen die Marker den einzigen Bezug zum äußeren Koordinatensystem dar. Die Bewegung des
Nutzers wird als Positionsänderung der Trackingkamera gegenüber dem Marker detektiert. Die
lagegenaue Einblendung bzw. Positionierung der virtuellen Daten im HMD wird entsprechend dieser
Positionsänderungen laufend aktualisiert. Im Kalibriermodell aus Abschnitt 6.4.3 wird die Position des
Auges implizit mit berücksichtigt. Da diese sich nicht verändert, wird dieses Kalibriermodell als
statisch bezeichnet [KAISER05].
Beim Verrutschen des HMD wird die Voraussetzung, dass das HMD fest mit dem Kopf verbunden ist,
aufgehoben. Die Trackingkamera stellt eine Positionsänderung des Markers fest, kann aber nicht
zwischen Kopfbewegung und Verrutschen unterscheiden. Es erfolgt eine Bewegung des HMD
gegenüber der Augenposition. Schon kleine Bewegungen führen zu einer signifikanten
Verschlechterung der Überlagerungsgenauigkeit. Dies lässt sich schnell mit dem Strahlensatz
berechnen. So führt ein Verrutschen des HMD parallel zur Augenbildebene um 1.mm bei einem
Abstand des HMD vom Auge von 2.(3).cm und einem Abstand des virtuellen Objektes vom HMD von
80.cm zu einer um 4 (3).cm falschen Einblendung des virtuellen Objektes. Folgende Feststellungen
können getroffen werden:
• Wenn sich der Rahmen um das Projektionszentrum des Auges (= Projektionszentrum des
Displaysystems) dreht, dann „sieht“ dies die Augenkamera nicht. Alle notwendigen Korrekturen
der Einblendung erfolgen dadurch, dass die Trackingkamera eine neue äußere Orientierung
erfährt.
• Die zu beachtenden Fälle liegen dann vor, wenn sich das Auge relativ zum Rahmen verschiebt.
Die wichtigen Translationen des Augenprojektionszentrums sind diejenigen, die parallel zur
Bildebene der Augenkamera liegen. Senkrechte Bewegungen zur Bildebene sind nicht so wichtig.
AK
Δx' könnten mittels Maßstabsfaktor in den Objektraum (= Displayraum) transformiert werden.
Zur Unterscheidung zwischen der Kopfbewegung und dem Verrutschen des Displays muss der
Zusammenhang zwischen Kopfgestell und Anwender getrackt werden. Die Notwendigkeit das
Verrutschen des HMD beim Tragen zu erfassen, kann mit unterschiedlichen Ansätzen realisiert
werden:
1) Es werden sowohl das HMD und der Kopf getrackt, die Bewegung zueinander erfasst und die
HMD Bildschirmkoordinaten entsprechend verbessert. Zum Tracking eignen sich sowohl
magnetische wie auch optische Verfahren. Problematisch (bzw. in den geforderten Genauigkeiten
unmöglich) ist das Finden geeigneter, zueinander nicht beweglicher, Punkte am Kopf, da sich
Haut und Gesichtsmuskulatur bewegen können. Aus diesem Grund scheint dieses Vorgehen wenig
geeignet.
2) Eine andere Möglichkeit sieht das Anbringen einer Augenkamera am Kopfband des HMD
(gleicher Rahmen) vor. Augenkamera und HMD sind fest miteinander verbunden und die
Augenkamera beobachtet das Auge (Eye Tracking Device). Jetzt können verschiedene Merkmale
(s. Abschnitt 5.4.5) des Auges detektiert werden. Ziel ist die Erfassung der relativen Bewegung
zwischen HMD und Auge und eine laufende Verbesserung der Projektionsmatrix und damit die
6 Mathematische Modellierung
109
lagegenaue Einblendung der virtuellen Daten unter Berücksichtigung der Bewegung des Nutzers
im Raum und der Bewegung des HMD gegenüber der Augenposition. Diese Modellierung
beinhaltet ein dynamisches Kalibriermodell und wird durch die Vereinigung von Eye Tracking
Device (ETD) und HMD realisiert. Diese Kalibrierung kommt hier zur Anwendung und soll im
Folgenden erläutert werden.
Erweiterung der HMD Kalibrierung
Bei der Vereinigung von Eye Tracking Device und HMD sind Augenkamera und HMD fest
miteinander verbunden. Dies entspricht der festen Verbindung von Trackingkamera und HMD. Somit
können die Koordinatensysteme ebenso mit einer konstanten Projektionsmatrix ineinander überführt
werden. Die Daten des ETD liefern dem mathematischen Modell neue Eingangsgrößen, um den Bezug
zwischen Kopf und Kopfband herzustellen. Beim HMD Kalibrierprozess wird das Auge implizit durch
HMD
P bzw. 0
Xerfasst (Abschnitt 6.4.3), wird aber während der eigentlichen Anwendung bisher nicht
berücksichtigt. Das heißt, eine Änderung der Augenposition und eine entsprechende Anpassung der
HMD Kalibrierung wird nicht berücksichtigt.
Soll dies geschehen, muss die Beziehung zwischen dem Markerkoordinatensystem (bzw. dem
Objektkoordinatensystem) und dem HMD Bildschirmkoordinatensystem (Gleichung 6.70) durch die
horizontale und vertikale Verschiebung des Auges Au
g
e
Δxerweitert werden:
'10
'01
1001 1
M
HMD Auge
M
HMD Auge
M
X
xx
Y
yy
Z
⎛⎞
−Δ
⎛⎞⎡ ⎤
⎜⎟
⎜⎟
⎢⎥
⎜⎟
≅−Δ
⎜⎟
⎢⎥
⎜⎟
⎜⎟
⎢⎥
⎜⎟
⎝⎠⎣ ⎦
⎜⎟
⎝⎠
HMD
P (6.57)
Das Eye Tracking Device liefert Auge
Δx und gleicht damit die Verschiebung der Augenposition von
der kalibrierten Augenposition aus. Die Modellierung der Verschiebung des Augpunktes von seiner
kalibrierten Position soll im Folgenden erläutert werden.
Modellierung der Verschiebung des kalibrierten Augpunktes
Wie oben beschrieben kann das Verrutschen des HMD auf verschiedenen Wegen detektiert werden.
Immer werden ein oder mehrere Bezugspunkte benötigt, welche invariant gegenüber der
Augenbewegung sind und trotzdem von der Augenkamera des ETD und deren relativ kleinem
Sichtfeld erfasst werden können.
1) [ZHU02] benutzt hierzu die Lidecken (innere Augenwinkel), da diese am wenigsten von der
Gesichtsmuskulatur beeinträchtigt werden. Gestik und Mimik verursachen zwar Bewegungen der
Gesichtsmuskulatur, jedoch ändern die Lidecken kaum ihre Position L
x. Deshalb können diese
mittels 2D Korrelationsfilter mit Sub-Pixel Genauigkeit robust lokalisiert werden (Abb. 6.11). Die
Position der Referenzlidecke L_REF
x ändert sich bei Verrutschen des Displays. Die aktuelle
Position L
x der Lidecke muss nun auch während der HMD Kalibrierung kontinuierlich
gespeichert werden und aktualisiert dabei ständig die gesuchte Verschiebung des Augpunktes
Auge
Δx gegenüber der Referenzposition L_REF
x :
L_REF L
Auge
Δx=x -x (6.58)
Von [ZHU02] wurde die Echtzeitfähigkeit nachgewiesen. Untersuchungen hinsichtlich der
Zuverlässigkeit und Robustheit dieser Methode stehen noch aus. Eine Umsetzung ist für kleine
Verschiebungen (solange die Lidecke im Sichtfeld bleibt) denkbar, wird hier jedoch in
abgewandelter Form nur zur Evaluation der Ergebnisse (Abschnitt 7.5.3) verwendet.
6 Mathematische Modellierung
110
111111
111111
111111
111111
−−−
⎡⎤
⎢⎥
−−−−
⎢⎥
⎢⎥
−−−−−
⎢⎥
⎣⎦
111111
111111
111111
111111
−
−−
⎡
⎤
⎢
⎥
−
−−−
⎢
⎥
⎢
⎥
−
−−−−
⎢
⎥
⎣
⎦
Abbildung 6.11: Korrelationsmasken zur Detektion der Augenwinkel nach [ZHU02]
2) Eine weitere, sehr robuste und zuverlässige Methode ist die Detektion von Blickwinkel bzw.
Pupillenposition, Pupillendurchmesser oder Position des Cornealen Reflexes durch das Eye
Tracking Device [KAISER05]. Jedoch sind diese Merkmale nicht invariant gegenüber einer
Verschiebung und ändern sich auch bei Veränderungen der Blickrichtung.
Ändert sich jedoch die Blickrichtung nicht, ist der Differenzvektor von Pupillenzentrum und des
Cornealen Reflexes invariant gegenüber Kameraverschiebungen. Ähnlich wie bei der Reflexion an
einem Hohlspiegel verhält sich die Bildentstehung des Cornealen Reflexes auf der
Corneaoberfläche (Abbildung 6.12). Bei einem Hohlspiegel kann das Bild einer Lichtquelle 'L
mit Hilfe der Lage von Mittelpunktstrahl und Brennpunktstrahl konstruiert werden. Beim
Hohlspiegel hat der Brennpunkt dabei die Entfernung des halben Radius rvom Mittelpunkt. Bei
der Übertragung des Modells auf das Auge wird davon ausgegangen, dass das Zentrum der Pupille
mit dem Mittelpunkt der Krümmung
M
übereinstimmt. Dies stellt eine Vereinfachung dar,
welche nur für kleine Bewegungen des Auges gilt und die Brechung der Cornea unberücksichtigt
lässt.
Abbildung 6.12: Konstruktion des Cornealen Reflex [KAISER05]
Der Differenzvektor beschreibt die Blickrichtung unabhängig von der Kameraposition. Der
mathematische Zusammenhang von Blickrichtung und Lage des Differenzvektors lässt sich
während der Kalibrierung eines AR Systems herstellen und wird im Folgenden erläutert.
Bei der HMD Kalibrierung fixiert der Anwender das im Display eingeblendete Fadenkreuz und
stellt eine exakte Übereinstimmung mit dem Marker her. Jetzt werden sowohl die
Markerkoordinaten als auch Pupillenzentrum und Reflexposition aus dem Augenbild registriert.
Dabei darf sich die Augenposition während der Kalibrierung nicht verändern, d.h. das Kopfband
darf nicht verrutschen. Jetzt kann ein Zusammenhang zwischen Blickrichtung und Pupilleposition
hergestellt werden.
6 Mathematische Modellierung
111
Folgende Werte werden zusätzlich für jede Fadenkreuzeinblendung gewonnen:
• Pupillenzentrum T
(, )
PP
x
y=
P
x,
• Cornealer Reflex T
(, )
RR
x
y=
R
x und
• Differenzvektor T
(, )
PRPR
x
xy y=− −
D
x.
Nun wird eine Transformation D_P
T gesucht, welche alle Paare des Differenzvektors D
x nach P
x'
(der aktuellen Pupillenposition) überführt. Zur Bestimmung von D
_
P
T werden während der
Kalibrierung mehrere bekannte Werte von D
xund P
x verwendet, welche einen möglichst großen
Sichtbereich abdecken sollten. Ist diese Transformation gefunden, kann nach der Kalibrierung die
Pupillenposition 'P
x aus dem aktuellen Differenzvektor D
x und der Transformationsmatrix D_P
T
berechnet sowie der aktuellen Pupillenposition P
x gegenübergestellt werden:
Berechnung der aktuellen Pupillenposition:
11 12 13
21 22 23
31 32 33 1
D
D
ttt x
ttt y
ttt
⎡⎤⎛⎞
⎜⎟
⎢⎥
⋅≅ ⋅
⎜⎟
⎢⎥
⎜⎟
⎢⎥
⎣⎦⎝⎠
≅
PD_PD
'Txx (6.59)
Die Abweichung der Augposition Au
g
e
Δxergibt sich aus der Differenz von P
xund 'P
x:
PP
Auge
Δx=x-x'
(6.60)
Die lineare Transformationsmatrix D
_
P
T kann mit beliebig vielen Punktpaaren (Mindestanzahl für
jeweilige Transformation beachten) mittels Ausgleichsrechnung erzeugt werden. Hier bestimmt
die Besetzung der Transformationsparameter die Art der Transformation. (s. Tabelle 6.4 im
Abschnitt 6.1.3)
Als optimal erweist sich die Verwendung der Affintransformation [KAISER05]. Sollen
nichtlineare (z.B. projektive) Zusammenhänge berücksichtigt werden, können Polynome höherer
Ordnung verwendet werden. Die Kalibrierungsprozedur verlängert sich entsprechend und es
müssen deutlich mehr Paare von D
x und P
x erfasst werden.
Zusammenfassung
Bei der Kalibrierung werden für alle Blickrichtungen die Differenzvektoren bestimmt. Während
des Tragens des HMD wird der Differenzvektor erfasst. Die zugehörige kalibrierte Blickrichtung
wird ständig mit der aktuellen Blickrichtung verglichen und entspricht dem Maß der Verschiebung
der Augenkamera (und damit des gesamten Kopfbandes) gegenüber dem Auge. Die Abweichung
der Augenposition kann direkt zur laufenden Korrektur der Einblendung der virtuellen Daten im
HMD (Gleichung. 6.57) genutzt werden
7 Implementation und Ergebnisse
113
7 Implementation und Ergebnisse
Die Auswahl der Komponenten eines Augmented Reality Systems für die Leberchirurgie wurde im
Abschnitt 5.5 vorgestellt, nachdem im gesamten Abschnitt 5 eine allgemeine Auswahl von
Komponenten eines Augmented Reality Systems diskutiert wurden. Im Folgenden wird ein Überblick
über Hardware und Software des hier verwendeten komplexen Systems gegeben. Die Abschätzung der
Genauigkeit vermittelt einen Eindruck von der Komplexität und bildet die Grundlage für die
Evaluation der Ergebnisse. Im Anschluss soll auf die konkrete Versuchsdurchführung eingegangen
werden.
7.1 Versuchsaufbau - Hardware
Zur experimentellen Umsetzung eines Nahbereichs See Through Systems wurden folgende
Komponenten ausgewählt (Abschnitt 5.5):
• HMD: Virtual Retinal Display,
• Trackingkamera,
• Eye Tracking Device.
Die technischen Spezifikationen sind in den Tabellen 7.1 bis 7.3 zusammengestellt.
Tabelle 7.1: Technische Daten des verwendeten Head Mounted Display
Head Mounted Display (HMD)
Hersteller Microvision
Modell Nomad
Typ Virtual Retinal Display
Maximale Auflösung 800 × 600
Bildgröße entspricht einem 17” Monitor auf einer Armlänge Entfernung
Blickfeld 23° horizontal, 17° vertikal
Schnittstelle VGA
Tabelle 7.2: Technische Daten der verwendeten Trackingkamera
Tracking Kamera (TK)
Hersteller ALLIED Vision Technologies
Modell MF-046C
Sensor Sony ½“ IT CCD
Bildrate max. 53.Bilder/ Sekunde
Bildgröße 780 × 580.Pixel
Zellengröße 8,3 × 8,3.μm
Schnittstelle IEEE 1394 DCII v1.3
7 Implementation und Ergebnisse
114
Tabelle 7.3: Technische Daten des verwendeten Eye Tracking Devices
Eye Tracking Device (ETD)
Hersteller mtronix - precision measuring instruments
Modell ICPU502P
Sensor CMOS
Bildrate max. 400.Bilder/ Sekunde
Bildgröße 256 × 200
Zellengröße 17 × 17.μm
Schnittstelle PCI, proprietär
Die ausgewählten Komponenten müssen nun technisch und hinsichtlich ihrer geometrischen
Beziehung (Koordinatensysteme) zusammengeführt werden.
Für eine experimentelle Umsetzung eignete sich zur Montage der einzelnen Komponenten das vom
Eye Tracking Device genutzte Kopfgestell der Firma CHRONOS VISON. Hier wurden zusätzlich zur
schon vorhandenen Augenkamera und Leuchtdiode des ETD, eine Trackingkamera und die Laser-
Einheit (Display) des VRDs entsprechend (Abbildung 7.1) angebracht.
Abbildung 7.1: Kopfgestell mit montierten Komponenten von oben (links) und von vorn (rechts)
Dabei war es notwendig eine ausreichende Fixierung aller Komponenten zu erreichen. Verschieben
sich einzelne Komponenten zueinander, sind die Grundannahmen der mathematischen Modellierung
aus dem Abschnitt 6 hinfällig. Für ein erfolgreiches Arbeiten des Gesamtsystems ist jedoch auch eine
Anpassung der Ausrichtung der Komponenten für jeden einzelnen Benutzer erforderlich.
Des Weiteren müssen alle Komponenten entsprechend ihrer Spezifikation mit einem Rechner
verbunden werden. Zum Einsatz kam ein konventioneller Rechner (Pentium IV 2.4.GHz, 512.MB
RAM, ATI Radeon 9800Pro Grafikkarte, IEEE1394 Interface) mit dem Betriebssystem Windows XP.
Als Datenquelle fungieren die Trackingkamera und das Eye Tracking Device. Datensenke ist hingegen
das Virtual Retinal Display, welches über einen zweiten VGA-Ausgang mit dem PC verbunden ist.
Zusätzlich kam ein Scheinwerfer zur Beleuchtung der Marker und die oben schon genannte Infrarot
Lichtquelle (LED Array) für den optimalen Kontrast der Augenbilder zum Einsatz. Zur optimalen
Helligkeitsabstimmung empfiehl sich das Arbeiten ohne Tageslicht, um zusätzliche Infrarotstrahlung
zu vermeiden.
7 Implementation und Ergebnisse
115
Der schematische Versuchsaufbau mit den verwendeten Schnittstellenstandards ist in Abbildung 7.2
aufgeführt.
Abbildung 7.2: Schematischer Versuchsaufbau und verwendete Schnittstellenstandards [KAISER05]
7.2 Software
Die mathematischen Grundlagen der folgenden Umsetzungen sind ausführlich im Abschnitt 6
beschrieben. Aufgrund der Gesamtbreite der Arbeit und der Konzentration auf die
Genauigkeitsanalyse eines solchen komplexen Systems wurde schon zu Beginn der Arbeit nach
geeigneter Software gesucht, welche die Anbindung eines Augmented Reality Systems, im speziellen
eines optischen See Through Systems, erlaubt. Kommerzielle Software war dabei kaum verfügbar und
besitzt den Nachteil, dass Modifikationen schwierig bzw. unmöglich sind. Daher bot sich die Open
Source Software ARToolKit an. [ARTOOLKIT05] ARToolKit wurde erstmals von Dr. Hirokazu Kato
von der Oska Universität in Japan entwickelt und wird vom jeweiligen HITLab (Human Interface
Technology Laboratory) der Universität Washington in den USA und der Universität Canterbury in
Neu Seeland weiterhin betreut. ARToolKit bietet zahlreiche Grundfunktionen eines Augmented
Reality Systems. Ein Anspruch dieser Arbeit bestand in der Erweiterung herkömmlicher AR Systeme
um die Komponente Detektion des Verrutschens des Head Mounted Displays und Korrektur der
zugehörigen HMD Kalibrierung. Hierfür war die Verbindung eines AR Systems mit einem Eye
Tracking Device (ETD) notwendig. Zur Lösung dieser Aufgabe stand die ETD-Software der Firma
mtronix in ihrer Gesamtheit (inklusive Quellen) zur Verfügung. Diese voneinander unabhängigen
Systeme wurden in ein Gesamtkonzept integriert [KAISER05]. Die daraus resultierende Software mit
7 Implementation und Ergebnisse
116
dem Namen „ETDToolKit“ (ETDTK) stellt sowohl die Daten des Eye Trackers, wie auch die
Anbindung an das AR System (Abbildung 7.3), zur Verfügung. Aus praktischen Gründen diente die
ETD-Software als Plattform, in die das ARToolKit integriert wurde.
Abbildung 7.3: ETDTK Software (links) im Online Modus mit Trackingkamera Bild (rechts) mit ETD
Interface Offline Modus und HMD Ausgabe im Fenster
Bei der Softwareentwicklung bestand der Anspruch die allgemeinen Anforderungen hinsichtlich
Effizienz, Erweiterbarkeit und Hardwareunabhängigkeit zu erfüllen. Bezüglich der Nutzerakzeptanz
waren alle Komponenten so umzusetzen, dass sie auch im experimentellen Umfeld intuitiv und
einfach zu bedienen sind. Die Implementierung erforderte die Erfüllung von Echtzeitanforderungen,
da sowohl die AR Komponente mit Objekttracking und HMD Visualisierung, wie auch das Eye
Tracking Device mit dem Augentracking in ihrer Arbeitsweise performant sein müssen. [KAISER05]
Die Flexibilität der Softwarestruktur konnte durch die Verwendung von Skriptsprachen und der
Realisierung einer Plugin-Schnittstelle erreicht werden. Die Performanz (Echtzeitfähigkeit) kann unter
dem gewählten Betriebssystem nur angenähert realisiert werden. Dem wurde durch eine angepasste
Hardwareauswahl und der Softwareentwicklung in C++ (bis auf Erweiterungen von ARToolKit in C)
entsprochen. Nähere Einzelheiten zur Softwareumsetzung, den damit verbundenen Plugin-Konzepten
und den Elementen der grafischen Benutzeroberfläche sind der Arbeit von [KAISER05] zu entnehmen.
Die Softwaredokumentation erfolgt auf der Basis von Unified Modeling Language (UML), um die
Abläufe und Verbindung der Komponenten der komplexen Architektur unabhängig von der
verwendeten Programmiersprache zu veranschaulichen.
Die ETDK Software wurde mit Microsoft Visual Studio .NET 2003 entwickelt. Die resultierende
Solution integriert dabei die eigenständige aber modifizierte Solution von ARToolKit auf der gleichen
Verzeichnisebene. Die ETDK Solution besteht aus sechs Visual C++ Projekten (vgl. [KAISER05]):
1) AEFPlayer,
2) ARToolKitIntegration,
3) ETDInterface,
4) ETDTK,
5) OutputPlugin und
6) Platform.
7 Implementation und Ergebnisse
117
1) AEFPlayer
Der AEFPlayer wandelt eine binäre Bildsequenz in ein Textformat zur weiteren Verarbeitung und
Berechnung um. Hier wird das Auge (inklusive Pupillen- und Glintposition) während der HMD
Kalibrierung getrackt. Zur weiteren Verarbeitung werden Daten für die Ausgleichsrechnung bzw.
zur Eliminierung von Ausreißern zur Verfügung gestellt. Mit dem entwickelten Datenformat
können somit Datenströme für eine offline Auswertung gesichert werden.
2) ARToolKitIntegration
Das Plugin ARToolKitIntegration stellt die wesentlichen Module für eine AR Anwendung zur
Verfügung und ermöglicht durch seine Verbindung zum ETDInterface erstmals die Integration
von Blickbewegungen in einem AR System. Vom ARToolKit wurden die Funktionen zum
optischen Tracking und zur HMD Visualisierung weitgehend übernommen. Über ähnliche
Funktionen wird auf die Trackingkamera zugegriffen. Die Bilddarstellung wurde in ein Fenster
des Workspace umgeleitet. In der Abbildung 7.4 sind die wesentlichen Bausteine und abhängige
Bibliotheken mit Veränderungsmarkierungen dargestellt. Weitere Einzelheiten können der Arbeit
von [KAISER05] und die einzelnen Programmabläufe weiterer Module und Beispielprogramme
von ARToolKit den Arbeiten von [PIETSCHER04, SCHÄFER03] entnommen werden.
Abbildung 7.4: Aufbau des Augmented Reality ToolKit (Version 2.70), Abhängigkeiten
gestrichelt, Modifikationen rot, Erweiterungen grün [KAISER05]
Die ARToolKitIntegration besteht aus verschiedenen Daten- und Visualisierungsklassen. Durch
die Klasse ARTKControlPanel wird eine Oberfläche zur Verfügung gestellt, welche es
ermöglicht, Kalibrierdaten zu laden, die HMD Kalibrierung auszuwählen, zu berechnen und zu
speichern. Auch können Bildsequenzen aufgenommen und Bildverarbeitungsparameter verändert
werden. Im Mittelpunkt der Integration von ARToolKitIntegration steht die Darstellung und
Verarbeitung der Bilddatenströme, realisiert durch die Klassen ImageProcessor und
DataProcessor.
Im DataProcessor wird ein Thread erzeugt, welche die folgenden Schritte in einer Schleife
realisiert:
7 Implementation und Ergebnisse
118
a) Tracking Kamera Bild anfordern,
b) ETD Bild anfordern,
c) Reflex Tracking,
d) Marker Tracking und
e) Tracking Ergebnisse speichern (wenn aktiviert).
Die Darstellung wird aus vier verschiedenen Threads, welche mit den Fenstern (Bild der
Trackingkamera, HMD Visualisierung, verschiedene Visualisierungen der Eye Trackingkamera
Verarbeitung) erzeugt werden, an ImageProcessor delegiert. Hier erfolgt wiederum der
Zugriff auf den DataProcessor. Zur Vermeidung von Synchronisationsproblemen wurde ein
Zustandsautomat für den ImageProcessor eingeführt. Folgende Zustände sind möglich:
1) DEFAULT: keine Einblendung,
2) HMD_CALIB: Einblendung des Kalibrierkreuzes und
3) HMD_OVERLAY: Einblendung des Objektes über den Marker.
Die Auswahl der verschiedenen Kalibriermodelle erfolgt in den Vererbungsklassen von
ARTK_CalibrationModel:
1).ARTKDefault-
CalibrationModel:
SPAAM Verfahren als Entsprechung von
ARToolKit,
2).ARTKETD-
CalibrationModel:
Erweiterung unter Einbeziehung des Eye
Tracking,
3).ARTKIncrementel-
CalibrationModel:
inkrementelles Kalibriermodell analog zur
erweiterten SPAAM Methode (ungetestet).
Die Kalibriermethoden wurden im Abschnitt 5.3.1, bzw. das zugehörige mathematische Modell im
Abschnitt 6.4, erläutert.
Durch die vorliegende Art der Implementierung besteht die Möglichkeit verschiedene (über den
bisherigen Status hinausgehende) Kalibriermodelle zu realisieren, ohne vom HMD Typ oder dem
verwendeten Trackingverfahren abhängig zu sein.
Zur Ansteuerung der verwendeten FireWire Kamera musste eine neue Schnittstelle zur
Einbindung des CMU1394Camera Treibers [CMU1394_05] unter Windows implementiert
werden, da dieser nicht in der Kameraschnittstelle des ARToolKit libARvideo integriert war.
ETDInterface
Dieses Plugin bindet den Eye Tracker in die Software ein. Über die realisierte Oberfläche kann der
Eye Tracker gesteuert und das Bild der Augenkamera überwacht werden. Über eine Extension
kann sofort nach dem Start des Plugins auf die Daten zugegriffen werden. Ist keine Hardware
initialisiert, kann auch auf vorher gespeicherte Bildsequenzen benutzt werden. In diesem Fall
übernimmt ETDFile die Funktionalität von ETDTMInterface und lädt die Bildsequenzen.
Ein lesender Zugriff auf den aktuellen Datenstrom ist durch ETDDataProvider möglich. Diese
Extension liefert Bildsequenznummer, Statusfeld, Pupillenkoordinaten und die rohen
Bilddaten. In der Klasse ETDDataSource ist die Kommunikation mit der Hardware auf
unterster Ebene, unabhängig von den Datenobjekten, umgesetzt. Mit Hilfe des
ETDDataProviderImpl wurden die Abhängigkeiten von den öffentlichen Klassen
ETDataProvider und ETDData zu internen Klassen aufgehoben.
3) - 6) ETDTK, OutputPlugin, Platform
7 Implementation und Ergebnisse
119
Das ETDTK Projekt besteht nur aus dem Loader der Anwendung. Die eigentlichen Klassen der
Anwendung befinden sich im Projekt Platform. Nach dem Kompilieren der Solution befinden sich
sowohl der Loader als auch die Plugins im Platform Projektverzeichnis. In diesem Verzeichnis
wird die Anwendung aus der Entwicklungsumgebung heraus gestartet.
Der allgemeine Aufbau der ETDK Softwarestruktur ist in der Abbildung 7.5 visualisiert.
Abbildung 7.5: Abstrakte ETDTK Softwarestruktur als Schichtenmodell
Datenfluss
In der Abbildung 7.6 ist der Datenfluss der realisierten Software zusammengefasst. Dabei sind die
über ein normales AR System hinausgehenden Komponenten grün gekennzeichnet.
Bei einem AR System werden Bilddaten von der Trackingkamera geliefert. Nach erfolgter
Markerdetektion kann mit Hilfe der Kalibriermatrix der Trackingkamera die jeweilige Lage im Raum
bestimmt werden. Die ermittelten Markerkoordinaten werden zur Registrierung mit den virtuellen
Daten an den HMD Renderer weitergeleitet. Die Registrierung erfolgt mit Hilfe der Projektionsmatrix
aus der HMD Kalibrierung. Ohne Erweiterung würde nun ein Verrutschen des HMD die Kalibrierung
zerstören. Durch den Einsatz eines Eye Trackers wird jedoch diese Verschiebung erkannt und die
HMD Kalibrierung entsprechend korrigiert. Die implementierte Erweiterung liefert ein Augenbild und
damit sowohl Datenströme des Augenbildes selbst und die zugehörigen Pupillenkoordinaten. Mit Hilfe
des Reflex Detektors werden auch die Koordinaten des Cornealen Reflexes zur Verfügung gestellt.
Zur Kontrolle wird das Augenbild mit den berechneten Bildmerkmalen ausgegeben. Es erfolgt die
Berechnung der Augenposition aus den bestimmten Reflex- und Pupillenkoordinaten auf Basis der
Kalibriermatrix der Augenkamera (Abschnitt 6.4.4). Die Veränderung der Augenposition und damit
ihrer Koordinaten steuert die gesuchte Korrektur der HMD Kalibrierung bei möglichen
Verschiebungen. Hinsichtlich der Geschwindigkeit stellt sich die Erweiterung als unkritisch dar, da die
Trackingkamera kombiniert mit dem Marker Tracking Algorithmus wesentlich höhere Latenzen
aufweist.
Soll in die Kalibrierung des VRDs die Verzeichnungskorrektur eingehen, müssen die Parameter der
inneren und äußeren Orientierung des VRDs entsprechend dem mathematischen Modell aus Abschnitt
6.4.3 berechnet werden. Dies entspricht der HMD Kalibrierung mit einer zusätzlichen
Ausgleichsrechnung.
7 Implementation und Ergebnisse
120
Abbildung 7.6: Datenfluss des AR Systems mit Erweiterungen (grün)
7 Implementation und Ergebnisse
121
7.3 Genauigkeitsabschätzung
Im Folgenden wird die Genauigkeitsabschätzung für das vorliegende Gesamtsystem entsprechend des
Versuchaufbaus vorgestellt. Dies ermöglicht prinzipiell, ausgehend von der genutzten Hardware, die
Abschätzung der Genauigkeit des Gesamtsystems bei optimaler Umsetzung und eine Aussage über die
Auswirkung von Veränderungen der Hardwareparameter. Darüber hinaus können die Auswirkungen
von möglichen Verschiebungen im äußeren Weltkoordinatensystem oder Bildkoordinatenfehlern
geschätzt werden. Ergänzend wird nach der Abschätzung der geometrischen bzw. optischen Fehler auf
die Fehler und die Auflösung im Zeitbereich eingegangen.
7.3.1 Optische und geometrische Genauigkeitsabschätzung
Ausgehend von den gewählten Komponenten soll eine Genauigkeitsabschätzung des Gesamtsystems
erfolgen. Die gewählte Grundkonfiguration kann der Abbildung 7.7 entnommen werden. Weitere
Einzelheiten sind bei [KAISER05] dokumentiert. Da eine Vielzahl optischer Parameter und
geometrischer Gegebenheiten einander bedingen, werden Standardparameter zur Beispielrechnung
gewählt.
49°
13,47
6,33
15,82
4
4
15°
Augpunkt
Augen
Kamera
Tracking
Kamera
VRD
Angaben in cm
Abbildung 7.7: Kopfgestell mit beschrifteten Maßen der Komponenten
7 Implementation und Ergebnisse
122
Trackingkamera
Die Trackingkamera stellt den Bezug, der fest miteinander am Kopfband verbundenen weiteren
Komponenten, mit der Außenwelt (Objektkoordinatensystem) her. Hierfür ist eine Kalibrierung der
Kamera erforderlich. Voraussetzung einer solchen Kalibrierung ist die Wahl einer geeigneten Blende
und Fokus. Diese müssen eine ausreichende Schärfentiefe für die gewählte Anwendung zulassen.
Folgende Annahmen bzw. Berechnungen werden getroffen:
• Objektivbrennweite: c= 12.mm,
• Markerdimension: X= 80.mm für jede Seite und eine
• minimale Markergröße im Bild: x'= 16Pixel für jede Seite.
Dann folgt:
• Bildmaßstab:
3
b6
X8010m
m 600
x' 16 8,3 10 m
−
−
⋅
== ≈
⋅⋅
(7.1)
• Max. Aufnahmeentfernung: 3
max b
h m c 600 12 1 .0m 7,2m
−
=⋅= ⋅⋅ =
(7.2)
Diese maximale Aufnahmenentfernung ist dabei wesentlich größer als der typische Aufnahmeabstand.
Da dieser Arbeit ein medizinisches Szenario zugrunde liegt, wird dieser Abstand auf Armlänge
(„operierende Hand“) angenommen:
• typischer Aufnahmeabstand: typ
h= 50.cm
Daraus resultieren der Bildmaßstab und das minimale Bildformat:
• Bildmaßstab:
2
typ
b3
h50 10 m
m41,7
c1210m
−
−
⋅
== ≈
⋅
(7.3)
• Minimales Bildformat:
3
b
X8010m
x ' 1,92 mm 231 Pixel
m41,7 ..
−
⋅
== = ≈
(7.4)
Dies entspricht ungefähr dem Anwendungsszenario, wenn die gewählt Kamera aus dem Abschnitt
7.1.1 zugrunde gelegt wird.
Beachtet werden muss, dass, wenn der Marker durch das HMD erkannt wird, die Ausrichtung der
Trackingkamera auch eine Beobachtung und damit das Markertracking zulässt. Diese Zusammen-
hänge sind in der Tabelle 7.4 zusammengefasst.
7 Implementation und Ergebnisse
123
Tabelle 7.4: Geometrische Zusammenhänge der Trackingkamera (1) für x' 1Pixel
Δ
=,2) für X1mmΔ= )
[Deutungsbeispiel für die erste Zeile, vierte Spalte: „Bei einer Veränderung der Bildkoordinaten
x' 1PixelΔ= ergibt sich eine Ungenauigkeit im Objektbereich von X 346 mΔ= μ]
Kamerakonstante
[mm]
Aufnahmeentfernung
[cm]
Bildmaßstabs-
zahl
1)
X
Δ
[μm]
2)
x'Δ
[Pixel]
12 50 41,7 346 2,89
100 83,3 692 1,45
150 125,0 1040 0,96
200 166,7 1380 0,72
250 208,3 1730 0,58
Tracking Kamera
300 250,0 2080 0,48
Eye Tracker
Die Augenkamera des Eye Trackers ist seitlich befestigt und beobachtet das Auge über einen Spiegel
(s. Abbildung 7.7, rechter Bildrand). Über diesen Versuchsaufbau lassen sich folgende Werte
annehmen:
• Abstand Auge-Augenkamera typ
h=.20.cm (variiert je nach Anwender)
• Objektivbrennweite: c =.40.mm
Über das Bildformat und die verwendete Sensorgeometrie folgt für den Objektbereich:
• Bildmaßstab:
2
typ
b3
h20 10 m
m5
c4010m
−
−
⋅
=
=≈
⋅ (7.5)
• Objektbereich (horizontal): 6
hor hor b
X x ' m 256 17 10 m 5 21,76 mm.
−
=⋅=⋅⋅ ⋅= (7.6)
• Objektbereich (vertikal): 6
vert vert b
X x' m 200 17 10 m.m5 17m
−
=⋅=⋅⋅ ⋅= (7.7)
Die Augenkamera erfasst somit einen Ausschnitt von 22.mm x 17.mm und damit horizontal nur 90%
des Auges. Für das Tracking stellt dies jedoch keine Beeinträchtigung dar. Diese Zusammenhänge
sind in der Tabelle 7.5 zusammengefasst.
Tabelle 7.5: Geometrische Zusammenhänge der Augenkamera (1) für x' 1Pixel
Δ
=,2) für X1mmΔ= )
[Deutungsbeispiel für die erste Zeile, vierte Spalte: „Bei einer Veränderung der Bildkoordinaten
x' 1PixelΔ= ergibt sich eine Ungenauigkeit im Objektbereich von X80,8mΔ= μ]
Kamerakonstante
[mm]
Aufnahmeentfernung
[cm]
Bildmaßstabs-
zahl
1)
X
Δ
[μm]
2)
x'Δ
[Pixel]
40 19,0 4,8 80,8 12,4
19,5 4,9 82,9 12,1
20,0 5,0 85,0 11,8
20,5 5,1 87,1 11,5
21,0 5,3 89,3 11,2
Augen Kamera
21,5 5,4 91,4 10,9
7 Implementation und Ergebnisse
124
Head Mounted Display – Virtual Retinal Display
Das verwendete Virtual Retinal Display hat einen Sichtbereich (s. Abschnitt 7.1) von 23° x 17° mit
einer möglichen und verwendeten Auflösung von 800.Pixel x 600.Pixel. Für den Bildmaßstab gilt
folgender Zusammenhang (Einheit in [mm/Pixel], da für das HMD eine Pixelgröße nur umständlich
und anwenderspezifisch ermittelt werden kann):
• Bildmaßstab:
2
b.
.
X3210m mm
m0,4
x ' 800 Pixel Pixel
−
⋅
== ≈ (7.8)
Bei einer typischen Objektentfernung zum HMD typ
h=.50.cm ergibt sich die Kamerakonstante des
verwendeten HMD:
• VRD Kamerakonstante:
2
typ
3
b
h50 10 m
c 12500 Pixel
m
m0,4 10 Pixel
.
−
−
⋅
== =
⋅
(7.9)
Für typische Entfernungen ist in der Tabelle 7.6 der Zusammenhang zwischen inneren und äußeren
Koordinaten angegeben und der Einfluss von Verschiebungen in Weltkoordinaten auf Display-
koordinaten und umgekehrt zusammengefasst.
Tabelle 7.6: Geometrische Zusammenhänge des HMD - Virtual Retinal Displays (1) für X1mmΔ= )
Kamerakonstante
[Pixel]
Objektentfernung
[cm]
Bildmaßstab
[μm/Pixel]
1)
x'Δ
[Pixel]
12500 12 10 104
50 40 25
100 80 12
150 120 8
200 160 6
VRD - HMD
250 200 5
Verrutschen des Displays – Auswirkungen von Verschiebungen
Mit Hilfe der vorangestellten Überlegungen lässt sich jetzt auch die Auswirkung bei Verschiebung des
Displays schätzen. Hinsichtlich der Genauigkeit soll der Zusammenhang zwischen Bildkoordinaten
des HMD/ der ETD Augenkamera einerseits und dem Objektraum Marker/ Auge andererseits,
beleuchtet werden. Folgende Parameter können hierfür genutzt werden:
Aus den Bilddaten werden zur Verbesserung der HMD Kalibrierung (s. Abschnitt 6.4.6 und Gl. 6.83)
extrahiert:
• Pupillenzentrum: (, )
P
P
x
y
=
P
x,
• Cornealer Reflex: (, )
RR
x
y
=
R
xund resultierend der
• Differenzvektor : (, )
P
RP R
x
xy y
=
−−
D
x.
Die genäherten geometrischen Parameter des Auges sind:
• Radius der Sklera: R=12.mm,
• Blickfeld: 150° (horizontal), 120° (vertikal) und das
• Auflösungsvermögen: 1’.
7 Implementation und Ergebnisse
125
Folgende Blickwinkeländerungen werden durch die Beobachtungen der Pupillenkoordinaten erfasst:
• Blickwinkeländerung 23ΔΘ = ° (horizontal), 17
Δ
Φ= °(vertikal)
Für die kugelförmig angenommene Sklera bedeutet dies eine entsprechende Rotation und kann mit
Hilfe des Radius in eine Rotationsbewegung umgerechnet werden:
3
2 sin 24 10 m sin(11,5 ) 4,78 m.m
2
hor
XR −
ΔΘ
⎛⎞
Δ=⋅⋅ =⋅ ⋅ °=
⎜⎟
⎝⎠ (7.10)
3
2 sin 24 10 m sin(8,5 ) .3,55 mm
2
ver
XR −
ΔΦ
⎛⎞
Δ=⋅⋅ =⋅ ⋅ °=
⎜⎟
⎝⎠ (7.11)
Um eine Aussage über Längenmaße treffen zu können, wird nach [KAISER05] der Normalfall wie
folgt definiert:
Die ETD Bildebene ETD
Πsteht parallel zur Ebene 23
hh. Die Aufnahmerichtung 0
X0 fällt mit der
Achse 1
h zusammen. Die Position und Ausrichtung der Bildebene des HMD erfolgt analog. Für die
nicht abgebildete Trackingkamera gilt lediglich eine Aufnahmerichtung parallel zu 1
h. Sie muss dabei
den Marker vollständig erfassen. Nun lässt sich die Rotationsbewegung im Objektraum in den
Bildraum für eine Aufnahmeentfernung (Auge – Augenkamera) von 20.cm und entsprechenden
Bildmaßstab rechnen:
3
4,78 10 m 0,946 mm 56 P.ix.el
5
hor
hor
b
X
xm
−
Δ⋅
Δ= = = ≈ (7.12)
3
3,55 10 m 0,71 mm 42 Pixel
5..
ver
ver
b
X
xm
−
Δ⋅
Δ= = = ≈ (7.13)
Es gilt dabei oben beschriebener Normalfall: ETD 2 3 0 1
hh X0 h
Π
∧∈& (Abbildung 7.8).
Abbildung 7.8 Normalfallanordnung für die Konfiguration HMD, ETD und Auge (ohne Maßstab)
Durch Hinzunahme des HMD Bildmaßstabes kann auch auf den Markerobjektraum geschlossen
werden. In Tabelle 7.7 lassen sich nun die Auswirkungen von Abweichungen in der Augenkamera des
ETD auf die Bildschirmkoordinaten des VRD (HMD), auf den Objektraum Auge und Objektraum
Marker darstellen. Dem gegenübergestellt werden in Tabelle 7.8 die Auswirkungen von
7 Implementation und Ergebnisse
126
Ungenauigkeiten der Trackingkamera auf die Bildschirmkoordinaten des VRD (HMD) und den
Markerobjektraum.
Tabelle 7.7: Auswirkung von Pixelungenauigkeiten im ETD, auf die VRD Bildebene, Objektraum Auge
und Marker
Bildebene ETD
x'Δ/ y'Δ
[Pixel]
Bildebene VRD
x'Δ y'
Δ
[Pixel] [Pixel]
Objektraum Auge
X
Δ
[μm]
Objektraum Marker
X
Δ
YΔ
[mm] [mm]
0,01 0,14 0,14 0,85 0,06 0,06
0,10 1,42 1,44 8,5 0,57 0,58
1,00 14,21 14,38 85 5,68 5,75
3,00 42,63 57,51 255 17,1 23,0
5,00 71,06 71,88 425 28,4 28,8
10,00 142,12 143,77 850 56,8 57,5
Tabelle 7.8: Auswirkung von Pixelungenauigkeiten in der Trackingkamera, auf die VRD Bildebene und
Objektraum Marker
Bildebene Trackingkamera
x'Δ
[Pixel]
Bildebene VRD
x'
Δ
[Pixel]
Objektraum Marker
XΔ
[mm]
0,1 0,09 0,03
1 0,87 0,30
2 1,74 0,69
3 2,61 1,05
5 4,36 1,74
10 8,72 3,49
Interpretation
Interessant für den Anwender ist letztendlich die Überlagerungsgenauigkeit der virtuellen Daten mit
dem realen Objekt. Beeinflusst wird dies durch die Genauigkeit des Markertracking und der
Genauigkeit des Augentracking des ETD zur Korrektur bei Verschiebungen des Displays. Vergleicht
man Tabelle 7.7 und Tabelle 7.8 so stellt man fest, dass Abweichungen beim Markertracking im
Verhältnis zu Abweichungen beim Augentracking nur geringe Auswirkungen verursachen. So
verursacht eine Abweichung im Markertracking von 3.Pixel eine Abweichung von 1.mm bei der
Überlagerung im Display, wenn der Marker auf Armlänge (50.cm) gehalten wird. Für den gleichen
Fehler reicht bei der Augenkamera schon eine Abweichung von 0,3.Pixel.
Vorhergehende eigene Versuche hinsichtlich des Markertracking [PIETSCHER04] und andere Studien
[MALBEZIN02] bestätigen diese Schätzung. Da Trackingkamera und Augenkamera bereits in
unmittelbarer Nähe des Kopfes montiert sind, lässt sich die Brennweite des Sensors durch räumliche
Annäherung nicht optimieren. Eine Genauigkeitssteigerung kann nur durch einen besser aufgelösten
Sensor erreicht werden.
Softwaretechnisch erreicht man Steigerungen der Genauigkeit durch die Nutzung von
Verzeichnungsmodellen und Subpixel-Algorithmen zur Bildverarbeitung. Kantenbasierte Algorithmen
bei der Merkmalsextraktion steigern das Auflösungsvermögen bis in den Subpixelbereich. Diese
Algorithmen nutzen die Intensitätsverteilung an den Merkmalskanten um die Genauigkeit zu steigern.
7 Implementation und Ergebnisse
127
Die theoretische Auflösungsgrenze für solche Verfahren liegt bei 1⁄1000.Pixel [KAISER05,
LUHMANN00]. Sie ist abhängig von der Anzahl der Quantisierungsstufen des Bildsensors und der zur
Merkmalsbestimmung herangezogenen Pixel. Diese Verfahren wurden sowohl für das Markertracking
wie auch für das Augentracking eingesetzt. Auch die Verzeichnungseffekte (vgl. Abschnitt 6.4.3) der
Kameras wurden einbezogen. Da bei der Augenkamera die experimentell untersuchten Effekte nur im
geringen Maße im Randbereich auftraten und ein geeignetes Kalibrierobjekt (Punktraster mit
2.mm.±.0,2.mm Abstand) für umfangreichere Test schlecht einzubinden war, wurde auf die
nochmalige Bestimmung dieser Verzeichnung während der Messungen verzichtet.
7.3.2 Fehler und Auflösung im Zeitbereich
Weitere Fehler, neben den geometrischen bzw. optischen Fehlern (s. Abschnitt 7.3.1), werden durch
die physikalischen Eigenschaften der Sensoren und durch die Systemarchitektur hervorgerufen. Hierzu
zählen Jittereffekte bzw. Laufzeitunterschiede.
Die existieren Laufzeitunterschiede werden durch die unterschiedliche Systemtreiberstruktur (Eye
Tracker, Markertracking, HMD) hervorgerufen. Alle Komponenten zusammen bilden ein
Multiratensystem mit folgenden Geschwindigkeiten:
• Abtastrate des Eye Trackers: s
f 200 z.H
=
,
• Bildrate der Trackingkamera: s
f' 30 z.H
=
.
Das langsamere Markertracking beschränkt somit die Aktualisierung im HMD. Die
Systemverzögerung wird durch den Weg von der Trackingkamera über den PC zum HMD
hervorgerufen. Bei schnelleren Kopfbewegungen ist ein „Hinterherlaufen“ der Bilder spürbar. Eigene
Tests [SCHÄFER03] haben gezeigt, dass dieser Fehler konstant zur Geschwindigkeit der
Kopfbewegung ist. Somit wäre eine Korrektur durch Prädiktion der Kopfbewegung denkbar
[YOKOKOHJI99]. Bei den zu erwartenden relativ langsamen Kopfbewegungen ist die Geschwindigkeit
von 30.Hz insofern optimiert, dass eine höhere Bildrate und deren Verarbeitung zu Lasten der
Rechenzeit des PC gehen würden.
Bild- und Pupillendatenstrom werden unterabgetastet. Zur Vermeidung von Aliasing-Fehlern wäre
eine vollständige Abtastratenkonversion mit Interpolator, Anti-Alaising Filter und Dezimation
notwendig. Solch eine Umsetzung wäre für die Pupillenkoordinaten möglich, wurde jedoch aufgrund
der hohen benötigten Rechenlast nicht implementiert. Durch Verzicht auf den Interpolator und das
Alaising-Filter muss der entstehende Jitterfehler in Kauf genommen werden. Jedoch wurde ein
Algorithmus gefunden, der die kritischen Datenströme weitgehend synchronisiert. Vom (schnelleren)
Eye Tracker laufen die Bilddatenströme unabhängig von der Geschwindigkeit des PCs ein. Sobald ein
Bild vom Markertracking vorliegt, wird das anliegende Bild vom Eye Tracker angefordert. Dadurch
haben beide Datenquellen quasi die gleiche Abtastrate, jedoch ohne Synchronisation. Gegenüber dem
Fehler der Systemgesamtverzögerung können die Fehler durch fehlende Synchronisation und Jitter
vernachlässigt werden.
Vertiefende Behandlung dieser Fehler und Vorschläge zur Synchronisation bei [KAISER05].
7 Implementation und Ergebnisse
128
7.4 Versuchsdurchführung und Ergebnisse von
Einzelkomponenten
Zur Evaluierung des Gesamtsystems und des Gesamtmodells aus der Genauigkeitsabschätzung in
Abschnitt 7.3.1 wurden mehrere Tests und Versuche zu den Einzelkomponenten durchgeführt. Im
Folgenden wird zur besseren Veranschaulichung die praktische Durchführung von
Kamerakalibrierung und HMD Kalibrierung erläutert. Danach wird auf Versuche und Ergebnisse mit
den Einzelkomponenten eingegangen. Dieser Ablauf vermittelt einen Eindruck von der Genauigkeit,
der Aufwändigkeit und Handhabbarkeit beim Umgang mit einzelnen AR Komponenten. Das
Gesamtsystem und dessen Evaluierung wird im Abschnitt 7.5 vorgestellt.
7.4.1 Kamerakalibrierung
Für die Kamerakalibrierung ist das Messen bekannter Punkte (Passpunkte) erforderlich. Je nach
Aufgabenstellung und Genauigkeitsanforderung werden unterschiedliche Kalibrierobjekte (und damit
Anordnungen der Passpunkte) verwendet. [LUHMANN00, SUTHAU99, WESTER-EBBINGHAUS83]
Ziel der Kamerakalibrierung ist die Bestimmung der inneren Orientierungsparameter der Kamera. Sie
setzen sich aus den Koordinaten des Bildhauptpunktes, der Kamerakonstante, einem Skalierungsfaktor
und den Verzeichnungsparametern zusammen. Die zugehörige mathematische Modellierung wurde
ausführlich in Abschnitt 6.4.2 und 6.2 besprochen. Wenn alle Einstellungen der Kamera (inklusive
Fokus) konstant bleiben, können diese Parameter als statisch angesehen werden und für weitere
Nutzungen der Kamera übernommen werden. Aus praktischen Gründen und um teure und
zeitaufwändige Kalibrierverfahren zu meiden, erfolgt hier eine Unterteilung der Kalibrierprozedur in
Kameravorkalibrierung (Bestimmung der Verzeichnung) und Kamerahauptkalibrierung (restliche
Parameter der inneren Orientierung).
Kameravorkalibrierung
Die verwendete Berechnung der radialen Verzeichnung der Kamera basiert auf einem einfachen
Punktraster (Abbildung 7.9 links). Dieses regelmäßige Raster besteht aus vier Punktreihen mit je sechs
Punkten. Alle Punkte besitzen eine vorgeschriebene Position mit definierten Abständen untereinander.
Für die Berechnung muss dieses Punktraster von mindestens fünf verschiedenen Kamerastandpunkten
aufgezeichnet werden. Für die Kalibrierung wurden neun Kamerastandpunkte gewählt, d.h. die
Kamera wurde horizontal in Rasterhöhe links, mittig und rechts vom Raster aufgestellt. Danach
wurden weitere Standpunkte in gleicher Reihenfolge gewählt, nur mit vertikal nach oben und unten
verschobener Kamera. Diese Prozedur ergibt dann neun Kamerastandpunkte, also auch neun
Aufnahmen des Punktrasters. Nach Berechnung der Verzeichnung kann diese zur Überprüfung
visualisiert werden (Abbildung 7.9 rechts).
Abbildung 7.9: Kameravorkalibrierung; Markierung des Punktrasters und Visualisierung der Berechnung
7 Implementation und Ergebnisse
129
Kamerahauptkalibrierung
Zur Bestimmung der restlichen Parameter der inneren Orientierung wird wiederum ein Punktraster mit
einem regelmäßigen Gitter und das Ergebnis der Vorkalibrierung verwendet. Das Gitter wird in
regelmäßigen (vorher vermessenen) Abständen aufgestellt und auf eine lotrechte Ausrichtung zur
Bildebene (Sensorebene) der Kamera geachtet (s. Abschnitt 6.4.2, Abbildung 6.7). Ebenso sollte das
Raster das Kamerabild nahezu vollständig ausfüllen. Nach Start der Kalibrierung können die
eingeblendeten (vorverzeichneten) Linien mit den Linien des Kalibrierrasters in Übereinstimmung
gebracht werden (Abbildung 7.10). Ist dies für alle Abstände des Rasters erfolgt, kann die Berechnung
gestartet werden, und es erfolgt die Ausgabe der Kalibrierungsparameter.
Abbildung 7.10: Kamerahauptkalibrierung; Registrierung der vorverzeichneten Linien mit dem
Linienraster
7.4.2 HMD Kalibrierung
Bei der Kalibrierung eines Head Mounted Displays (HMD), hier Virtual Retinal Display (VRD),
werden die inneren und äußeren Orientierungsparameter des VRDs berechnet. Dies entspricht der
Realisierung der projektiven Abbildung zwischen dem Projektionszentrum des Auges, der virtuellen
Daten des VRDs (bzw. deren Koordinaten im Displaysystem) und dem Objekt. Der mathematische
Zusammenhang wurde im Abschnitt 6.4.4 diskutiert. Ähnlich der Kamerakalibrierung wird während
der Kalibrierprozedur ein Raster mit bekannten Markerkoordinaten aufgebaut und angemessen. Jedoch
im Unterschied zur Kamerakalibrierung sind die Positionen der Marker nicht per se bekannt, sondern
werden im Moment der Messung durch die Trackingkamera bestimmt.
Abbildung 7.11: HMD (VRD) Kalibrierung; Eingeblendetes virtuelles Kreuz wird in Übereinstimmung
mit Marker gebracht (links), dabei erfasst die Trackingkamera die räumlichen
Koordinaten des Markers (rechts)
7 Implementation und Ergebnisse
130
Ein auf dem VRD eingeblendetes Fadenkreuz muss jeweils mehrmals in zwei unterschiedlichen
Entfernungen mit dem Mittelpunkt des Kalibriermarkers in Übereinstimmung gebracht werden. Im
gleichen Augenblick werden die Markerkoordinaten durch die zuvor kalibrierte Trackingkamera
erfasst. (Abbildung 7.11)
Nach Abschluss der fünfmaligen Prozedur für je zwei Entfernungen startet die Kalibrierberechnung.
Die Güte der Kalibrierung kann schnell subjektiv beurteilt werden. Bei erfolgreicher Kalibrierung
stimmt die Visualisierung virtueller Objekte mit einem entsprechenden Marker gut überein. In
Abbildung 7.12 ist die Sicht durch das VRD und ein Monitorbild im Video See Through Modus
abgebildet.
Abbildung 7.12: Qualitätsüberprüfung der HMD (VRD) Kalibrierung; links: Sicht durch das HMD im
Optical See Through Modus; rechts: Monitorbild im Video See Through Modus
Wie bei Kameras kann auch bei der HMD Kalibrierung die Verzeichnung berücksichtigt werden.
Untersuchungen von [WACKROW04] mit dem hier vorgestellten System ergaben, dass die Fehler der
Verzeichnung des HMD gegenüber der Gesamtgenauigkeit vernachlässigbar sind.
7.4.3 Versuche zu den Einzelkomponenten
Ziel der Versuchsdurchführungen ist es, eine Aussage über die Genauigkeit des Gesamtsystems und
den Einfluss einzelner Komponenten zu erhalten. Der Einfluss einer einzelnen Komponente kann das
Gesamtsystem entscheidend beeinflussen. Als Head Mounted Display kam in jedem Fall das Virtual
Retinal Display (VRD) zum Einsatz. Folgende Komponenten wurden getestet:
• Kameratracking,
• VRD Kalibrierung und
• Betrachtung des VRD Lasers.
Das Verrutschen des Displays, also die Integration eines Eye Tracking Device, kann nur im
Zusammenspiel aller Komponenten (Gesamtsystem) überprüft werden. Die Versuche und die
Evaluierung des Gesamtsystems werden im Abschnitt 7.5 behandelt.
Kameratracking
Der Aufbau zur Bestimmung der Qualität der Positionsbestimmung der Trackingkamera ist ähnlich
dem der Kamera(haupt)kalibrierung (Abschnitt 7.4.1). Auch hier wird eine Ebene mit mehreren
Markern verwendet, welche dann in definierten Abständen verschoben wird (Abbildung 7.13).
7 Implementation und Ergebnisse
131
Abbildung 7.13: Messaufbau zur Genauigkeitsanalyse des Tracking
Nach erfolgter Kamerakalibrierung werden die aufgestellten Marker einzeln durch die
Trackingkamera vermessen. Pro Messung werden von jedem Marker ca. 15 Sekunden lang die
Positionen in eine Protokolldatei geschrieben. Zur Herstellung des festen Bezugs der Kamera zu
bekannten Markerkoordinaten bleibt die Trackingkamera unbeweglich auf einem Stativ installiert. So
ist ein Vergleich zwischen den mit der Trackingkamera gemessenen Koordinaten und den bekannten
Markerkoordinaten gewährleistet. Weitere Einzelheiten des Versuchaufbaus kann [PIETSCHER04]
entnommen werden.
Die Auswertung hat gezeigt, dass bei der für diesen Versuch verwendeten Kamera (SONY DCR-
TRV30E) ein linearer Zusammenhang zwischen der Translation in x-Richtung und der Entfernung zur
Kamera (z-Richtung) nachgewiesen werden konnte. Dies kann beispielsweise durch eine nicht exakte
orthogonale Ausrichtung der Linse zur Sensorebenen verursacht sein und muss durch Hinzuziehen
weiterer Verzeichnungsparameter bei der Kamerakalibrierung ausgeglichen werden.
Bei der Ermittlung der Position des Markers werden die Markerkanten auf Parallelität getestet, um die
Rotation beim Tracking zu berechnen (s. Abschnitt 6.4.1). Dieses Verfahren ermöglicht eine 3D
Bestimmung mit nur einer Kamera, geht jedoch ebenso zu Lasten der Genauigkeit in der Entfernung
(z-Richtung). Diese Ungenauigkeit in z-Richtung wirkt sich bei der Einblendung in einem
monokularen HMD nicht aus. Die Überlagerungsgenauigkeit im HMD wird durch die x- und y-
Richtung bestimmt.
VRD Kalibrierung
Bei der Überprüfung der Qualität der VRD Kalibrierung wurde getestet, wie gut ein virtuelles Objekt
mit einem Marker überlagert werden kann. Das hier vorgestellte Vorgehen basiert auf den
gemeinsamen Arbeiten mit [SCHÄFER03].
Zur Evaluierung der VRD Kalibrierung wurde eine zusätzliche Kamera zur Aufzeichnung des
Ergebnisses verwendet. Diese Kamera ersetzt dabei das Auge des Nutzers und muss entsprechend
angebracht werden. (Abbildung 7.14, links) Auch die Kalibrierung dieses Systems erfolgt mit dieser
Kamera. Nach durchgeführter Gesamtkalibrierung kann dieses „künstliche Auge“ sowohl reale als
auch virtuelle Objekte aufzeichnen bzw. wiedergeben. In diesen Bildern kann dann die Abweichung
der virtuellen Objekte von den realen Objekten über die Kenntnis der entsprechenden Pixelgrößen
direkt ermittelt werden (Abbildung 7.14, rechts).
7 Implementation und Ergebnisse
132
Abbildung 7.14: Überprüfung der VRD Kalibrierung; links: Versuchsaufbau; rechts: Screenshot der
Messung der Abweichungen zwischen realem Objekt (Markerecke) und virtuellem
Objekt (rote VRD Einblendung)
Dadurch wird die Güte der Kalibrierung des VRDs ohne subjektive Einflüsse überprüft, da der Nutzer
bei der normalen Kalibrierung den Marker selbst halten muss und Verwackelungen bzw.
Ungenauigkeiten im Moment der Registrierung nicht ausgeschlossen werden können. Auch sind vom
Nutzer nur subjektive Beurteilungen zur Güte der Kalibrierung zu erhalten.
Zur Messung selbst wird der Marker bei gleichzeitiger Einblendung eines zur Auswertung geeigneten
virtuellen Objektes in verschiedenen Distanzen aufgenommen. So kann eine Aussage zur Genauigkeit
bei verschiedenen Entfernungen getroffen werden.
Die grafische Darstellung in Abbildung 7.15 verdeutlicht ein Resultat der Untersuchung. In dieser
Abbildung werden die Abweichungen im Bild der aufnehmenden Kamera (Augeersatz) dargestellt.
Abw eichungen in Pixel
0,00
5,00
10,00
15,00
20,00
25,00
30,00
0,0 200,0 400,0 600,0 800,0 1000,0 1200,0
[mm]
[Pixel]
Abbildung 7.15: Verlauf der gemittelten Abweichungen für die Markerecken in Pixel
7 Implementation und Ergebnisse
133
Die gleichen Ergebnisse lassen sich durch die Kenntnis der Pixelgröße (Auflösung der Kamera) in den
Objektraum transformieren (Abbildung 7.16).
Abw eichungen in mm
0,00
0,50
1,00
1,50
2,00
2,50
3,00
3,50
4,00
4,50
5,00
0,0 200,0 400,0 600,0 800,0 1000,0 1200,0
[mm]
[mm]
Abbildung 7.16: Verlauf der gemittelten Abweichungen für die Markerecken in mm
Anhand der Grafik lässt sich feststellen, dass die Abweichung bei einer Entfernung unter 400.mm sehr
stark ist. Im hier interessierenden Abstand zwischen 400.mm und 800.mm liegen die gemittelten
Abweichungen deutlich unter 3.mm, jedoch steigen sie mit zunehmender Distanz kontinuierlich an.
Betrachtet man nicht nur den äußeren Bereich des Markers, sondern berechnet aus den
Markerdiagonalen die Mitte des Markers, erhält man eine Aussage, wie genau das virtuelle Objekt auf
dem Zentrum des Markers abgebildet wird. Bei der Entfernung der „arbeitenden“ Hand werden hier
Abweichungen unter 2.mm erreicht (Abbildung 7.17).
Abweichungen in mm
0,00
0,50
1,00
1,50
2,00
2,50
3,00
3,50
4,00
4,50
0,0 200,0 400,0 600,0 800,0 1000,0 1200,0
[mm]
[mm]
Abbildung 7.17: Verlauf der gemittelten Abweichungen für die Markermitte
7 Implementation und Ergebnisse
134
Betrachtung des VRD Lasers
Die Abbildungsgenauigkeit virtueller Daten auf dem VRD Bildschirm ist auch von der Genauigkeit
bzw. Ungenauigkeit des VRD Lasers abhängig. Der Bildaufbau des Lasers erfolgt zeilenweise und
wird durch einen rotierenden Spiegelkörper bestimmt. Die entstehende Ungenauigkeit tritt am Anfang
und am Ende mehrerer untereinander liegender Zeilen auf. In der Detailaufnahme (Abbildung 7.18) ist
ein virtuelles Quadrat abgebildet. Man erkennt deutlich die Unregelmäßigkeiten an den seitlichen
Rändern, vor allem bei der Darstellung vertikaler Linien.
Abbildung 7.18: Detailaufnahme der Laserprojektion eines Quadrates (untere Hälfte)
Die Größe der Unregelmäßigkeiten liegt im Bereich von ca. 1-2.Pixel auf dem VRD oder
entsprechend bis zu 5.Pixel im digitalen Bild (Aufgrund der höheren Auslösung der
Aufnahmekamera). Bei einer Entfernung von 500.mm (Armlänge) und dem zugehörigen Bildmaßstab
(s. Abschnitt 7.3.1 Tabelle 7.6) entspricht dies einer Abweichung von ca. 0,8.mm im Objektraum.
Dieser Fehler ist gerätespezifisch und hat zur Folge, dass ein einzelnes Pixel im VRD nicht mit
Sicherheit angesteuert werden kann. Ebenso kann dieser Fehler durch ein HMD höherer Auflösung
entsprechend vermindert werden.
7.5 Gesamtsystem und Evaluierung
Die Soft- und Hardware waren Thema voriger Abschnitte, so dass nun der Versuchsaufbau und die
Versuchsdurchführung einzelner Komponenten erläutert und auf die Genauigkeitsabschätzung des
Gesamtsystems eingegangen wird. Entsprechend der Genauigkeitsabschätzung verursachen einzelne
Komponenten unterschiedlich starke Auswirkungen auf das Gesamtsystem. In den Tests zum
Kameratracking galt es, Versuchsverfahren zu entwickeln, bei denen der subjektive Faktor des Nutzers
keine Rolle spielt. Allerdings ist dies bei der Anwendung aller AR Komponenten (einschließlich Eye
Tracking) nicht möglich. Dennoch sollen im Folgenden Versuche mit Nutzern vorgestellt und
evaluiert werden. Dies erfolgt auf der Grundlage der mathematischen Modellierung des gesamten
Systems aus Abschnitt 6.4 und der Genauigkeitsabschätzung aus Abschnitt 7.3. Besonders durch die
Einbeziehung des Eye Tracking lässt sich einerseits die Kalibrierung des verwendeten HMD (hier
VRD) kontrollieren, andererseits kann während der Nutzung des HMD festgestellt werden, ob dieses
verrutscht ist. Diese Aussage ist die Grundlage zur entsprechenden Wiederherstellung der (jetzt
zerstörten) Kalibrierung in Echtzeit ohne Wiederholung der gesamten Kalibrierprozedur. Auch ein
mehrmaliges Auf- und Absetzen des HMD ohne nochmalige Kalibrierung ist möglich.
7 Implementation und Ergebnisse
135
7.5.1 Versuchsdurchführung
Im Folgenden werden Versuchsreihen [KAISER05] mit sechs verschiedenen Personen (eine weiblich,
fünf männlich) im Alter von 25 bis 35 Jahren vorgestellt. Dabei unterschied man zwischen Personen
mit und ohne Erfahrung im Umgang mit AR Systemen. Ohne Erfahrung bedeutet, dass die Nutzer
direkt vor dem Versuch erstmals mit dem System konfrontiert wurden. Die Nutzer „mit Erfahrung“
hatten sich hingegen schon vorher mit dem Prozedere vertraut gemacht und schon ca. fünf
Testkalibrierungen absolviert. Pro Person wurden drei bis fünf Kalibrierungen durchgeführt und
jeweils die Qualität der Einblendung beurteilt. Grundlage ist das Vorgehen entsprechend der
Beschreibung der HMD Kalibrierung in Abschnitt 7.4.3 und eine erfolgreiche Kalibrierung der
Trackingkamera (s. Abschnitt 7.4.2).
Die Versuchspersonen durchliefen nachstehenden Testlauf:
Kurze Einführung in die Kalibrierprozedur
Versuchspersonen ohne Vorkenntnisse wurden mit dem Ziel der Versuche und der
Kalibrierprozedur vertraut gemacht.
Anpassen der Einzelkomponenten und Ausrichtung
Das Kopfgestell musste so aufgesetzt werden, dass eine ideale Einblendung des VRDs erfolgen
konnte. Zur Feinjustierung konnte das VRD an einer Schiene entsprechend verschoben werden.
Danach war es notwendig individuell die Eye Trackingkamera, die Infrarotlichtquelle und die
Markertracking Kamera auszurichten. Die Funktionen der Einzelkomponenten, wie
Pupillentracking und Bestimmung des Cornealen Reflexes, konnten online getestet werden. Diese
Ausrichtung der Einzelkomponenten musste dann fixiert werden und darf zur Vergleichbarkeit der
Ergebnisse dann nicht mehr verändert werden (Abbildung 7.19, links).
Kalibrierung
Der Kalibriermarker wird mit dem im Display eingeblendeten Fadenkreuz in Übereinstimmung
gebracht. Diese Übereinstimmung wird einige Sekunden aufgenommen und für die offline
Auswertung gespeichert. Benötigt werden jeweils in Nah- und Ferndistanz fünf verschiedene
Einblendungen im Display (vier Ecken und Mitte) und deren Registrierung mit der
Markerposition.
Subjektive Beurteilung
Verschiedene virtuelle Daten können nach erfolgreicher Kalibrierung am geometrisch festgelegten
Ort in Bezug zum Marker projiziert werden. Zur Beurteilung der Güte der Kalibrierung wurde
dem Marker eine Skala mit Maßeinheiten überblendet. Dadurch konnten eventuelle
Abweichungen besser quantifiziert werden (Abbildung 7.19, rechts).
Abbildung 7.19: Versuchsdurchführung zur Gesamtkalibrierung; links: Kopfgestell während der
Kalibrierung ; rechts: Einblendung mit Skala über den Marker
7 Implementation und Ergebnisse
136
Für die Kalibrierung wurden von jeder Registrierung nicht nur das momentane Ereignis (Fadenkreuz
ist zum Zeitpunkt mit Marker überlagert.), sondern eine Sequenz von einigen Sekunden der
Überlagerung von Fadenkreuz im Display mit dem Marker aufgenommen. Somit lagen zusätzlich zur
vorgegebenen und festen Bildschirmkoordinate im VRD folgende zugehörige Sequenzen vor:
• Bildsequenz der Eye Trackingkamera (Cluster der Position von Pupille und des Cornealen Reflexes)
• Sequenz der Markerpositionen aus der Marker Trackingkamera
7.5.2 Kalibrierungsergebnisse
Bei der Kalibrierung eines HMD werden Fadenkreuze an verschiedenen Positionen des HMD
eingeblendet (Tabelle 7.9) und mit einem (durch die Trackingkamera) hinsichtlich der Position
bekannten Marker registriert. Die Fadenkreuzeinblendungen sind dabei vom Versuch fest vorgegeben.
Bei der Verwendung eines Eye Tracking Device werden zusätzlich die zu den
Fadenkreuzeinblendungen gehörenden Positionen der Pupille und dem Cornealen Reflex registriert
und ergänzen das mathematische Modell entsprechend (Abschnitt 6.4.4).
Tabelle 7.9: Position der Fadenkreuzeinblendungen im HMD (VRD) Bildschirmkoordinatensystem
Bezeichnung HMD (VRD) Koordinaten
x [Pixel] y [Pixel]
links unten 200 150
rechts unten 600 150
Mitte 400 300
links oben 200 450
rechts oben 600 450
Die Hinzunahme von Eye Tracking Daten liefert folgende zusätzliche Informationen:
• Qualitätskontrolle während der Kalibrierung (Ist das HMD während der Kalibrierung
verrutscht?),
• Detektion des Verrutschens des HMD während des Tragens und
• die entsprechende Verbesserung (Korrektur) der positionsgenauen Einblendung im HMD.
Die Positionen der Pupille und des Cornealen Reflexes sind für zwei als Beispiel dienende
Kalibrierungen in der Abbildung 7.20 dargestellt.
70
80
90
100
110
120
100 105 110 115 120 125 130 135 140 145
y [pixel]
x
[p
ixel
]
4.5.2005 - Andreas [2] - Kalibrierung (nah)
links unten
rechts unten
mitte
links oben
rechts oben
60
65
70
75
80
85
90
95
130 140 150 160 170 180
y [pixel]
x
[p
ixel
]
4.5.2005 - Jenny [4] - Kalibrierung (fern)
links unten
rechts unten
mitte
links oben
rechts oben
Abbildung 7.20: Eye Trackingkamera Koordinaten der Pupille ( jeweils links oben) und des Cornealen
Reflexes (jeweils rechts unten) einer gelungenen Kalibrierung (linke Abbildung) und
einer Kalibrierung mit verrutschtem Kopfgestell (rechte Abbildung)
7 Implementation und Ergebnisse
137
Das Bildkoordinaten der Eye Trackingkamera lassen dabei jeweils die beiden Verteilungen erkennen.
Im linken oberen Bereih (höhere Werte von y) sind die Pupillenkoordinaten, im rechten unteren
Bereich (höhere Werte von x) sind die Koordinaten des Cornealen Reflexes (1. Purkinje Bild)
abgebildet. Die verschiedenen Farben dienen der Zuordnung zur entsprechenden Position des HMD
Fadenkreuzes aus Tabelle 7.9. Diese Positionen wurden einige Sekunden ermittelt und bilden die
entsprechenden Punktcluster mit ¥100.Punkten. Dies ermöglicht die Detektion und Eliminierung von
Ausreißern. Die zugehörigen Markerkoordinaten (durch die Trackingkamera bestimmt) werden
ebenfalls einer solchen Mittelung und Entfernung von Ausreißern unterzogen. Durch die leichte
Kippung des Spiegels bzw. der Anordnung der Augenkamera ist der rechteckige Bereich der
Anordnung der Fadenkreuze im HMD leicht verzerrt und gedreht.
Aus den gemittelten Werten des Pupillenzentrums P
x und des Cornealen Reflexes R
x wird der
Differenzvektor D
x ermittelt, um die Transformation D_P
T zu berechnen (s. Abschnitt 6.4.4, Gl. 6.59).
Mit Hilfe der Transformationsmatrix D_P
T kann später die Pupillenposition 'P
x prädiziert werden und
der aktuellen Pupillenposition P
x gegenübergestellt werden. Die resultierende Differenz ist ein Maß
für die Augenverschiebung (Verrutschen des Displays) und kann direkt die Position der Einblendung
im HMD korrigieren (Gl. 6.57).
Die lineare Transformationsmatrix D_P
T kann mit beliebig vielen Punktpaaren mittels einer
Affintransformation berechnet werden. Für jedes Paar D
x, P
xder affinen Abbildung gilt das folgende
inhomogene Gleichungssystem:
PDD
ax by ex⋅+⋅+=
PDD
cx dy fy⋅+⋅+= (7.14)
Zur Bestimmung der affinen Transformationsparameter von D_P
Tgilt:
11 12 13
21 22 23
31 32 33 001
ttt abe
ttt cdf
ttt
⎡⎤⎡⎤
⎢⎥⎢⎥
==
⎢⎥⎢⎥
⎢⎥⎢⎥
⎣⎦⎣⎦
D_P
T (7.15)
Die Berechnung der Transformationsmatrix erfolgte mittels Ausgleichsrechnung [KAISER05]. Der
resultierende Transformationsfehler einiger Messungen kann der Tabelle 7.10 entnommen werden.
Dieser Wert zeigt, wie gut die bestimmte Transformation den mathematischen Zusammenhang
beschreibt. Dabei führt die Affintransformation zu einer guten Näherung bei allen Messungen. Der
Transformationsfehler streut in einem Bereich von 0,8-7.Pixel, liegt jedoch bei erfahrenen Nutzern
unter 2.Pixel. Des Weiteren ist zu beachten, dass zwei Versuchspersonen Brillenträger sind. Die
dadurch auftretenden optischen Effekte, wie Brechung und Reflexion an den Brillengläsern, können
Auswirkungen haben, welche hier nicht weiter untersucht wurden.
Tabelle 7.10: Mittlerer Transformationsfehler der Messungen in Pixel
(# = Berechnung fehlgeschlagen; z.B. VRD während der Kalibrierung verrutscht)
Messung Person_A
[Pixel] Person_B
[Pixel] Person_C
[Pixel] Person_D
[Pixel] Person_E
[Pixel] Person_F
[Pixel]
1 1,56 1,93 3,31 5,70 2,67 2,14
2 2,82 # 2,66 1,66 # 0,85
3 2,07 # 2,78 2,67 7,35 1,50
4 1,82 4,51 0,69
5 2,66 1,72
7 Implementation und Ergebnisse
138
7.5.3 Verifizierung der Kalibrierungsergebnisse
Die Kalibrierungsergebnisse der vorgenommenen Versuche können auf unterschiedliche Weise
verifiziert werden. Dazu gehören:
a) die subjektive Beurteilung der Einblendqualität,
b) die Verschiebung des Augenkoordinatensystem (Augpunktverschiebung),
c) die Auswirkungen im Markerkoordinatensystem (Projektionszentrum) und
d) der Vergleich mit unabhängigen Bildmerkmalen.
a) Subjektive Beurteilung der Einblendqualität
Alle Versuchsteilnehmer wurden gebeten anhand einer eingeblendeten Skala (Abbildung 7.21) die
Registrierungsgenauigkeit zu beurteilen.
Abbildung 7.21: Marker und Einblendung der Messskala, eine Skaleneinheit entspricht 5.mm im
Objektraum; links: ideale Registrierung; rechts: Registrierungsfehler z.B.
Kalibrierung fehlgeschlagen oder HMD verrutscht
Die spezielle Einblendung mit Messmarkierungen erlaubt die direkte Ablesung des Registrierungs-
fehlers im Objektkoordinatensystem (Markerkoordinatensystem). In den meisten Fällen wurde eine
Abweichung von 5.mm angegeben. Dies entspricht etwa den Ergebnissen (Abweichung < 3.mm) aus
Abschnitt 7.4.3. Bei der dort durchgeführten Untersuchung der HMD Kalibrierung wurde das
menschliche Auge durch eine weitere Kamera ersetzt, um objektiv messbare Ergebnisse zu erhalten.
b) Verschiebung des Augenkoordinatensystems (Augpunktverschiebung)
Die Testpersonen wurden während der Versuche gebeten jeweils zwischen zwei Kalibrierungen das
Kopfgestell abzusetzen. Damit wurde bei der neuen Kalibrierung eine neue Augenposition gegenüber
dem VRD (Kopfgestell) erreicht. Die entstandene Verschiebung der Augenposition kann durch
Vergleich der Kalibrierungen im Augenkoordinatensystem berechnet werden. Nach dem Ausschluss
von drei fehlerhaften Kalibrierungen konnten die 20 restlichen Kalibrierungen auf diese Weise
evaluiert werden. Die verglichenen Kombinationen sind in der Tabelle 7.11 aufgeführt.
7 Implementation und Ergebnisse
139
Tabelle 7.11: Vergleich der Messungen untereinander, μ (Mittelwert) gibt die Lageänderung zur
Referenzkalibrierung an, s (Standardabweichung) ist ein Maß für die Qualität der
Schätzung, kleinere Werte entsprechen einer besseren Schätzung (alle Angaben in
Pixel)
Person_A
μ s
[Pixel]
Person_B
μ s
[Pixel]
Person_C
μ s
[Pixel]
Person_D
μ s
[Pixel]
Person_E
μ s
[Pixel]
Person_F
μ s
[Pixel]
32,2
-30,4
2,33
0,46
-27,7
18,4
1,46
5,56
33,4
-46,3
3,03
2,13
-40,9
44,8
2,37
3,52
-23,0
-0,6
5,80
5,35
-0,6
-0,6
0,80
1,54
19,6
-10,2
1,87
1,24
21,5
-61,3
1,16
3,03
X
Δ
YΔ
X
Δ
YΔ
X
Δ
YΔ
23,1
2,3
2,02
1,19
Neben der Größe der Lageveränderung zur Referenzkalibrierung (Größe der Verschiebung in x-und y-
Richtung) wurde die Standardabweichung aufgeführt. Diese ist hierbei ein Maß für die Qualität der
Schätzung. Kleine Werte zeigen, dass das Modell eine gute Näherung zur Berechnung der
Verschiebung ist und unabhängig von der Blickrichtung funktioniert.
Wie schon im Abschnitt 7.5.2 erläutert, zeigen sich Unterschiede zwischen Testpersonen mit und ohne
Erfahrung mit AR Systemen. Erfahrene Anwender erzielen eine Standardabweichung von 1-2.Pixel
und liegen damit im Bereich der Transformationsfehler aus Tabelle 7.10. Offensichtliche Fehler im
Modell der Verschiebungsberechnung erzeugen die optischen Effekte bei Brillenträgern.
Unter der Voraussetzung, dass eine exakte Kalibrierung vorgenommen wurde, stellt das Modell eine
gute Näherung dar. Bei verschiedener Entfernung der Kalibriermarker ergeben sich unterschiedliche
Werte für die Standardabweichung. Verantwortlich ist hierbei das Verhalten der Parallaxen, wie sie in
Abbildung 7.22 illustriert sind.
Abbildung 7.22: Unterschiedliche Parallaxen entsprechend der Entfernung
c) Auswirkungen im Markerkoordinatensystem (Projektionszentrum)
Betrachtet man eine Verschiebung des Kopfgestelles nicht im Augenkoordinatensystem, wie bei b),
sondern im Objektraum (Markerkoordinatensystem), so erhält man für jede neue Position des
Kopfgestelles ein anderes Projektionszentrum (entspricht in etwa der Lage des Auges). Das
Projektionszentrum kann entsprechend der Gl. 6.24 aus Abschnitt 6.2.4 durch Zerlegung der HMD
Projektionsmatrix berechnet werden.
7 Implementation und Ergebnisse
140
Da für jeden vorgegebenen Bildpunkt der Fadenkreuzeinblendung im HMD eine Zeitreihe von
Weltkoordinaten vorliegt, kann zur Optimierung der Orientierungsparameter der genetische
Algorithmus GASAC verwendet werden [RODEHORST04]. Durch systematisches Probieren minimiert
der Algorithmus den euklidischen Abstand der projizierten Markerkoordinaten und kann die Anzahl
der fehlerhaft zugeordneten Punktpaare deutlich verringern.
Die erwartete Lage des Projektionszentrums
()
T
120,60, 80 mm=−
O
X lässt sich aus der Geometrie
der Aufnahmeanordnung (vgl. Abschnitt 7.3.1, Abb.7.7) schätzen. Entsprechend der Genauigkeits-
abschätzung aus Abschnitt 7.3.1 liegt die erwartete Bestimmungsgenauigkeit des Projektionszentrum
bei +/-10.mm in der Lage. Aufgrund der schlechten Schätzung der Tiefeninformation durch die
Trackingkamera ist die Tiefeninformation des Projektionszentrums mit größeren Abweichungen
behaftet. Die berechneten Projektionszentren sind in der Tabelle 7.12 dargestellt und entsprechen den
Versuchen aus Tabelle 7.11.
Tabelle 7.12: Aus der HMD Kalibriermatrix berechnetes Projektionszentrum im
Markerkoordinatensystem (alle Angaben in mm)
Versuch
0
X
[mm]
0
Y
[mm]
0
Z
[mm]
Person_A_1 114,70 63,28 -46,89
Person_A_3 121,22 64,50 -66,13
Person_A_4 117,84 63,69 -27,27
Person_A_6 123,83 56,73 -68,85
Person_B_1 122,36 57,70 -53,57
Person_B_4 122,36 53,38 -20,45
Person_C_1 109,65 62,38 22,17
Person_C_2 130,79 67,84 -34,93
Person_C_3 133,54 55,45 -87,39
Person_D_2 123,70 64,76 -40,72
Person_D_3 115,26 55,45 -87,39
Person_E_1 134,36 67,06 -59,38
Person_E_3 109,68 62,03 2,09
Person_F_2 132,96 58,27 -75,64
Person_F_3 125,29 53,02 -55,86
Person_F_4 136,55 55,62 -62,67
Person_F_5 177,63 55,16 -200,62
Erwartungsgemäß liegen die Projektionszentren einer Testperson relativ dicht beieinander. Verursacht
durch die oben genannten Trackingfehler, welche sich in einer Zerlegung der Projektionsmatrix
fortpflanzen und einer starken Korrelation mit den Diagonalelementen der Kalibriermatrix, streuen die
z-Koordinaten (Tiefe) über einen größeren Bereich.
Insofern liegen alle berechneten Projektionszentren bis auf Person_C_1 und Person_F_5 im
erwarteten Bereich.
Aufgrund der vergleichsweise geringen Genauigkeit des Markertracking lassen sich die
Verschiebungen des Kopfgestells nicht an den Werten einer Versuchsperson nachweisen, da der
Betrag der Verschiebung kleiner als die Unsicherheit der Trackingkamera ist [KAISER05].
7 Implementation und Ergebnisse
141
d) Vergleich mit unabhängigen Bildmerkmalen
Verschiebungen des HMD kann man feststellen, bzw. evaluieren, wenn man einen Bezugspunkt
findet, welcher invariant gegenüber der durch Mimik und Gestik hervorgerufenen Bewegung ist. Eine
Möglichkeit stellen die Lidecken dar. Auf diese Möglichkeit wurde schon im Abschnitt 6.4.6
eingegangen. Hier soll dieses Verfahren zur Evaluierung der Verschiebungsdetektion mittels Tracking
der Pupille und des Cornealen Reflexes verwendet werden.
Zur schnellen und sicheren Umsetzung wurden die Lidecken direkt in den Bildern lokalisiert. Hierfür
wurden die Augenbilder zweier Kalibrierungen (analog zum Vergleich der Kalibrierungen aus Tabelle
7.11) verglichen. Zur praktischen Umsetzung wurden beide Augenbilder übereinander gelegt, wie in
Abbildung 7.23 dargestellt, an den Lidecken ausgerichtet und die Verschiebung direkt abgelesen.
Abbildung 7.23: Bestimmung der Verschiebung des Augpunktes durch Messung der Lidecken
Bis auf Abweichungen, wo die Lidecken nicht innerhalb des Kamerabildes lagen, entsprechen die
gemessenen Werte denen der Bestimmung über Pupillen-Reflex Tracking. Somit beschreibt der
verwendete Ansatz den Vorgang der Verschiebung. Die resultierenden Abweichungen können der
Tabelle 7.13 entnommen werden.
Tabelle 7.13: Vergleich der Messungen anhand der Augenwinkel, Angaben in Pixel und mm mit dem
Bildmaßstab mb = 85.μm
Person_A
[Pixel] [mm] Person_B
[Pixel] [mm] Person_C
[Pixel] [mm] Person_D
[Pixel] [mm] Person_E
[Pixel] [mm] Person_F
[Pixel] [mm]
39 3,31 21 1,78 28 2,38 -53 -4,50 -14 -1,19 -1 -0,08
35 2.97 1 0,08 -43 -3,65 48 4,08 12 1,02 1 0,08
27 2,29 23 1,95 -4 -0,34
11 0,93 -63 -5,35 14 1,19
20 1,70 -2 -0,17
X
Δ
YΔ
X
Δ
YΔ
X
Δ
YΔ 4 0,34 6 0,51
7 Implementation und Ergebnisse
142
Zur Transformation in das ETD Koordinatensystem wurden die gemessenen Werte mit dem
dazugehörigen Bildmaßstab multipliziert. Entsprechend muss die Korrekturmatrix des HMD aus
Abschnitt 6.4.6 Gl.6.84 um den Maßstab zur Überführung in das HMD Koordinatensystem erweitert
werden:
'10
'01
1001 1
M
HMD Auge b
M
HMD Auge b
M
X
xxm
Y
yym
Z
⎛⎞
−Δ ⋅
⎛⎞⎡ ⎤
⎜⎟
⎜⎟
⎢⎥
⎜⎟
≅−Δ⋅
⎜⎟
⎢⎥
⎜⎟
⎜⎟
⎢⎥
⎜⎟
⎝⎠⎣ ⎦
⎜⎟
⎝⎠
HMD
P (7.16)
Mit den in Tabelle 7.13 bestimmten Werten konnten die berechneten Abweichungen auf einem
alternativen Weg bestätigt werden. Die Alternativen unterscheiden sich hauptsächlich durch die
getrackten Merkmale (Pupille/ Reflex und Lidecken). Darüber hinaus stellt das Verfahren der
Bestimmung der Lidecken einen höheren Aufwand dar. Die Untersuchung der Robustheit und
Genauigkeit des Algorithmus steht noch aus.
7.5.4 Interpretation der Kalibrierungsergebnisse
Zur Interpretation der Ergebnisse aus Abschnitt 7.5.3 kann die Unsicherheit der Verschiebung in das
äußere Koordinatensystem umgerechnet werden. Dies basiert auf den Berechnungen aus der
Genauigkeitsabschätzung aus Abschnitt 7.3. Hierfür wird die minimale und maximale
Standardabweichung (min 0,5 el.Pix
σ
=,max .5Pixel
σ
=
) aus Tabelle 7.11 mit den Bildmaßstäben in
HMD Koordinaten umgerechnet. Es folgt der Wert dieser Unsicherheit im HMD:
0,5 Pixel 85 μm
min 1 Pixel
μm
40 Pixel
..
.
HMD
x
⋅
Δ= = (7.17)
5Pixel 85μm
max 11 Pixel
μm
40 Pixel
..
.
HMD
x
⋅
Δ= = (7.18)
Diese Unsicherheit beeinflusst die Überlagerungsgenauigkeit der Einblendung mit dem realen Objekt
je nach Objektentfernung. Im hier interessierenden Nahbereich von ca. 50.cm entsprechen 11.Pixel im
HMD Bildschirmkoordinatensystem einer Abweichung von 4,4.mm im Objektkoordinatensystem.
Dies ist jedoch die größte erzielte Abweichung einer Testperson. Die Werte der erfahrenen Nutzer
liegen bei einer Abweichung von 1-2.mm im Objektkoordinatensystem.
8 Zusammenfassung und Ausblick
143
8 Zusammenfassung und Ausblick
Die vorliegende Arbeit beinhaltet die Grundlage einer praktischen Erweiterung der zurzeit
existierenden Navigation in der viszeralen Leberchirurgie um eine See Through Komponente. Dabei
wurde die positionsgenaue Einblendung virtueller Daten in einem See Through Head Mounted
Display untersucht und bewertet.
Eine Besonderheit der Arbeit stellt die Auswahl der Komponenten für ein komplettes Szenario vor
dem medizinischen Hintergrund dar. Beachtenswert sind dabei die besondere Akzeptanzproblematik
und die hohen Anforderungen an die Genauigkeit und Echtzeitfähigkeit, welche besonders im
operativen Bereich mit der Sicherheit korrelieren. Dies erfordert neben den Hardware-Aspekten die
Auswahl und Evaluierung von geeigneten Algorithmen und Verfahren.
Im Mittelpunkt der Arbeit steht die Kalibrierung eines Optical See Through Head Mounted Display.
Dabei wurden die Besonderheiten des verwendeten Virtual Retinal Displays berücksichtigt. Zum
Aufbau eines gesamten Augmented Reality Systems ist neben dem HMD auch ein Tracking System
notwendig. Beide Teilsysteme müssen fest miteinander verbunden sein, um eine exakte Registrierung
der Einblendung in Abhängigkeit vom Betrachterstandort zu gewährleisten. Mit den bekannten
Koordinaten der Einblendung im HMD und dem Koordinatenbezug der Kamera zum Objekt wird ein
räumlicher Rückwärtsschnitt zur Überführung der Koordinatensysteme berechnet.
Erstmals wurde ein Eye Tracking System in ein Augmented Reality System integriert. Dadurch konnte
ein wesentliches Problem, das Verrutschen des Displays und die einhergehende Zerstörung der
Kalibrierung bei Optical See Through HMD Anwendungen, gelöst werden. Durch die gleichzeitige
Detektion von Pupille und cornealem Reflex wird ein mögliches Verrutschen des HMD erkannt und
die HMD Kalibrierung simultan verbessert. Gleichzeitig ist die Integration beider Systeme die
Voraussetzung dafür, dass pro Nutzer das HMD nur einmalig kalibriert werden muss. Danach kann
das System mehrmals auf- und abgesetzt werden, ohne die Registrierung der Einblendung
einzubüßen.
Alle verwendeten Teilsysteme wurden gemäß dem Schwerpunkt dieser Arbeit vollständig
mathematisch modelliert und hinsichtlich der Genauigkeit evaluiert. Diese Ergebnisse gingen in eine
Genauigkeitsanalyse des Gesamtsystems ein. Es wurde festgestellt, dass der Eye Tracker bereits sehr
geringe Bewegungen §1.mm erfasst. Mit der Trackingkamera wird bei der Nutzung nur eines Markers
der Nahbereich mit einer Unsicherheit von 1.cm aufgelöst. Diese Genauigkeit kann durch den Einsatz
mehrer Marker gesteigert werden. Neben der Ungenauigkeit der Einblendung im HMD selbst
(hervorgerufen durch eine mangelnde Auflösung), ist die präzise Überlagerung des Fadenkreuzes der
HMD Einblendung mit dem Marker während der Kalibrierung ein Schwachpunkt. Wegen der
subjektiven Beeinflussung wurden hier unterschiedliche Ergebnisse je nach Erfahrungsgrad des
Nutzers erzielt. Jedoch führte schon kurzes Training zu signifikant besseren Ergebnissen.
Mit den zurzeit verfügbaren Komponenten kann eine Überlagerungsgenauigkeit von 3.mm im Abstand
der „arbeitenden Hand“ (50cm) gewährleistet werden.
Die erreichten Genauigkeiten und die zugehörigen Modellierungen stellen eine gute Grundlage zur
Abschätzung der klinischen Einsetzbarkeit eines solchen Systems dar. Darüber hinaus sind vielfältige
Anwendungen in anderen Bereichen mit ähnlichen Konstellationen denkbar. Auf dieser Grundlage
müssen die Komponenten dem Laborstadium enthoben und in einem neuen Design zusammengesetzt
werden. Hierzu gehören vor allen die Miniaturisierung der Komponenten und eine möglichst kabellose
Anbindung ohne Verlust an Genauigkeit und Performanz.
Ein weiterer wichtiger Aspekt besteht in der Aufbereitung der virtuellen Daten. Beim Übergang zur
Einblendung komplexerer Grafik in den Blickbereich des Nutzers müssen visuelle, teilweise auch
vestibulare, Effekte berücksichtigt werden Bei der Einblendung virtueller Objekte wird beispielsweise
die Transparenz der virtuellen Daten als störend empfunden. Auf der anderen Seite dürfen die
virtuellen Daten die Realität nicht völlig verdecken und die Informationsaufnahme aus der realen
Umgebung verhindern. Auch andere Fragestellungen spielen eine Rolle. So muss die darzustellende
8 Zusammenfassung und Ausblick
144
Information in geeigneter Größe visualisiert werden, damit diese richtig erkannt, nicht fehlinterpretiert
oder gar übersehen wird. Aufgrund einer verbleibenden Latenz (Zeit zwischen Bewegung des Nutzers
und Visualisierung) müssen die damit verbundenen vestibular-visuellen Konflikte
(Simulatorkrankheit) beachtet werden [OEHME04].
Wünschenswert ist auch eine Erweiterung des Head Mounted Displays auf den Stereofall. Aufgrund
der Besonderheiten ist dies beim VRD schwer möglich, da die Akkommodation beachtet werden muss
[CHINTHAMMIT02, CHINTHAMMIT03]. Jedoch kann durch die Einbeziehung der Blickrichtung aus der
Integration des Eye Tracker eine entsprechende Einblendung in einem binokularen HMD besser
angesteuert werden. Diese Integration lässt auch weitere neuartige Konzepte für bisherige
Bildschirmarbeitplätze zu. So kann beispielsweise die Interaktion mit dem System über den Lidschlag
gesteuert werden. Dies ermöglicht neue Arbeitsweisen für den Operateur. Darüber hinaus können neue
Kommunikationsformen beim Einsatz von Augmented Reality bereitgestellt werden, so dass die Hand
für andere Aufgaben frei wird.
Literaturverzeichnis
145
9 Literaturverzeichnis
[ABDEL-AZIZ71]
Y. Abdel-Aziz, H. M. Karara, Direct linear transformation from comparator coordinates into object
space coordinates in close range photogrammetry. ASP Symposium on Close-Range
Photogrammetry, 1971
[ACKERMANN00]
J. Ackermann, UNC Ultrasound/Medical Augmented Reality Research, http://www.cs.unc.edu/~us/ ,
2000
[AKATSUKA00]
Y. Akatsuka, T. Kawamata, M. Fujii, Y. Furuhashi, A. Saito, T. Shibasaki, H. Iseki, T. Hori, AR
Navigation System for Neurosurgery, Medical Image Computing and Computer-Assisted Intervention
(MICCAI 2000), Springer Verlag, pp.: 833-839, 2000
[ARGOTTI01]
Y. Argotti, L. Davis, J.P. Rolland, V. Outters. Dynamic Superimosition of Synthetic Objects on Rigid
and Simple-deformable real Objects, Proceedings of the IEEE and ACM – International Symposium
on Augmented Reality, pp.: 5-10, 2001
[ARTOOLKIT05]
ARToolKit Webseite: http://www.hitl.washington.edu/artoolkit/, neueste Windows Version unter
http://sourceforge.net/projects/artoolkit/ , Stand: Januar 2005
[ASCHKE03]
M. Aschke, C. R. Wirtz, J. Raczkowsky, H. Wörn, S. Kunze Augmented Reality in Operating
Microscopes for Neurosurgical Interventions. 1st International IEEE EMBS Conference on Neural
Engineering 2003 – Proceedings, Ed.: L.J. Wolf, J. L. Stock, pp.: 652-655, 2003
[ATCHINSON00]
David A. Atchison. Optics of the Human Eye. Butterworth Heinemann, April 2000.
[AZUMA94]
R.T. Azuma, G. Bishop. Improving Static and Dynamic Registration in an Optical See-Through,
HMD. Proceedings of SIGGRAPH '94 (Orlando, FL, 24-29 July 1994), Computer Graphics, Annual
Conference Series, 197-204 + CD-ROM appendix, 1994
[AZUMA01]
R.T. Azuma. Augmented Reality: Approaches and Technical Challenges, Fundamentals of wearable
Computers and Augmented Reality, Woodrow Barfield and Thomas Caubell, editors, Lawrence
Erlbaum Associates, Chapter 2, pp.: 27-63, 2001
[BALUJA94]
S. Baluja, D. Pomerleau, Non-intrusive gaze tracking using artificial neural networks, Tech. Rep.
CMU-CS-94-102, School of Computer Science, CMU, CMU Pittsburgh, Pennsylvania 15213,
January 1994
[BAUER97]
M. Bauer, Vermessung und Ortung mit Satelliten, 4.Auflage, Wichmann, 1997, ISBN 3-87907-309-0
[BECKER84]
N. Becker, R. Frenzel-Beyme, G. Wagner, Krebsatlas der Bundesrepublik Deutschland, Springer
Verlag Berlin, ISBN 0-387-13413-1, 1984
[BEHR99]
J. Behr, A. Hildebrand, S.A. Nam, Med-SanARE-Medical Diagnosis Support System Within a dynamic
Augmented Reality Environment, Computer Graphics topics, Vol. 11 No. 1, pp.: 21-23, 1999
Literaturverzeichnis
146
[BEHR00]
J. Behr, S.M .Choi, S .Großkopf, H. Hong, S.A. Nam, Y. Peng, A. Hildebrand, M.H. Kim, G. Sakas,
Modelling, visualization, and interaction techniques for diagnosis and treatment planning in
cardiology, Computers & Graphics, Vol 24.5, 2000
[BIMBER02]
O. Bimber, Interactive rendering for Projection-Based Augmented Reality Displays, Ph.D.
Dissertation, University of Technology Darmstadt, 2002
[BIRKFELLNER00]
W. Birkfellner, M. Figl, K. Huber, F. Watzinger, F. Wanschitz, R. Hanel, A. Wagner, D. Rafolt,
R. Ewers, H. Bergmann, The Varioscope AR – A Head-Mounted Operating Microscope for
Augmented Reality, Medical Image Computing and Computer-Assisted Intervention (MICCAI 2000),
Springer Verlag, pp.: 869-877, 2000
[BOPP78]
H. Bopp, Photogrammetric Engeneering and Remote Sensing, Vol. 44, pp.: 7-12, S.1191, 1978
[BROCKHAUS90]
Brockhaus-Enzyklopädie in 24 Bd., 19. völlig neubearb. Aufl, Mannheim Brockhaus, Bd. 13, Lah –
Maf , 1990, ISBN 3-7653-1113-8
[BUNGERT05]
Ch.Bungert, HMD/headset/VR-helmet Comparison. URL: http://www.stereo3d.com/hmd.htm#chart
letztmalig am 25.11.2005 aufgerufen
[BURGERT01]
O. Burgert, T. Salb, R. Dillman, Modellierung von Gewebestrukturen und Simualtion
risikominimierender chirurgischer Eingriffe, Workshop Rechner und Sensorgestützte Chirurgie
(RSC), Heidelberg, 2001
[CHINTHAMMIT02]
W. Chinthammit, E.J. Seibel, T.A. Furness, Unique Shared-Aperture Display with Head or Target
Tracking, In Proceedings of IEEE VR 2002, pp.: 235-242, 2002
[CHINTHAMMIT03]
W. Chinthammit, E.J. Seibel, T.A. Furness, A Shared-Aperture Tracking Display for Augmented
Reality, Presence: Teleoperators and Virtual Environments, 12(1), pp.: 1-18, 2003
[CHIOS04]
P. Chios, A.D. Linney, The design process of an autostereoscopic viewing interface for computer-
assisted microsurgery. Systems, Man and Cybernetics, 2004 IEEE International Conference on
Volume 1, 10-13 Oct. 2004 pp.:136 - 143 vol.1
[CLARKE02]
A.H. Clarke, J. Ditterich, K. Drüen, U. Schönfeld, C. Steineke, Using high frame rate CMOS sensors
for three-dimensional eye tracking, Behavior Research methods, Instruments & Computers 34 (4), pp.:
549–560, November 2002
[CMU1394_05]
The Robotics Institute, Carnegie Mellon University, CMU1394 Digital Camera Drive, URL:
http://www-2.cs.cmu.edu/~iwan/1394/ , April 2005
[CORNSWEET73]
T. Cornsweet, H. Crane, Accurate two-dimensional eye tracker using first and fourth purkinje images,
J. Opt. Soc. Am. 63 (8), pp.: 921–928, 1973
[DAVIS02]
L. Davis, Y. Ha, S. Frolich et al, Augmented reality and training for airway management procedures,
In: al JDWe, ed. Medicine Meets Virtual Reality: 10S Press, 2002
Literaturverzeichnis
147
[DEBUCK05]
S. De Buck, F. Maes, J. Ector, J. Bogaert, S. Dymarkowski, H. Heidbuchel, P. Suetens, An augmented
reality system for patient-specific guidance of cardiac catheter ablation procedures. Medical Imaging,
IEEE Transactions on,Volume 24, Issue 11, Nov. 2005, pp.:1512 – 1524
[DEWIT97]
G.C. de Wit, R.A.E.W. Beek, Effects of a small exit pupil in a virtual reality display, Optical
Engineering 36 (8), pp.: 2158–2162, Februar 1997
[DEY00]
D. Dey, P. Slomka, D. Gobbi, T. Peters, Mixed Reality Merging of Endoscopic Images and 3-D
Surfaces, Medical Image Computing and Computer-Assisted Intervention (MICCAI 2000), Springer
Verlag, pp. 796-803, 2000
[DUCHOWSKI02]
A.T. Duchowski, A breadth-first survey of eye-tracking applications, Behav. Res. Methods Instrum.
Comput., 34(4): pp.: 455-70, Nov.2002
[DUCHOWSKI03]
A.T. Duchowski, Eye Tracking Methodology: Theory and Practice, Springer Verlag, Berlin, 2003.
[EDWARDS93]
E.K. Edwards, J.P. Rolland, K.P. Keller, Video-See-through Design for Merging of Real and Virtual
Environments, Virtual Reality Annual International Symposium, 1993 IEEE , pp: 223 –233, 18-22
Sept. 1993
[EDWARDS00]
P.J. Edwards, A.P. King, C.R. Maurer Jr., De D.A. Cunha, D.J. Hawkes, D.L.G. Hill, R.P. Gaston,
M.R. Fenlon, A. Jusczyzck, A.J. Strong, C.L. Chandler, M.J. Gleeson, Design and evaluation of a
system for microscope-assisted guided interventions (MAGI). Medical Imaging, IEEE Transactions
on, Volume: 19 , Issue: 11 , pp.:1082 – 1093, Nov. 2000
[EGGERS05]
G. Eggers, T. Salb, H. Hoppe, L. Kahrs, S. Ghanai, G. Sudra, J. Raczkowsky, R. Dillmann, H. Wörn,
St. Hassfeld, R. Marmulla, Intraoperative Augmented Reality: The Surgeons View. In: Westwood,
James D. (Ed.): Medicine Meets Virtual Reality 2005, Proceedings, IOS Press, pp.: 123-125, 2005
[ELGNER02]
St. Elgner, Anwendungen von Augmented Reality in der Medizin, Seminararbeit, TU Berlin,
Fachgebiet Photogrammetrie und Kartographie, unveröffentlicht, 2002
[ELIAS52]
H. Elias, D. Petty, Gross anatomy of the blood vessels and ducts within the human liver, Am. J.
Anat.:59–111, 1952
[ELIAS69]
H. Elias, J. Sherrick, Morphology of the liver, New York, Academic Press, pp.: 268-270, 1969
[ENGELMANN00]
U. Engelmann, A. Schröter, M. Schwab, U. Eisenmann, M.L. Bahner, S. Delorme, A PACS project
based on Intel, Linux and CHILI, Radiology Vol. 217, pp.: 537, 2000.
[EST05]
EST, Engineering Systems Technologies GmbH & Co. KG; VR Hardware http://www.est-kl.com/
letztmalig am 25.11.2005 aufgerufen
[EVERS98]
H. Evers, A. Mayer, U. Engelmann, A. Schröter, U. Baur, K. Wolsiffer, H.-P. Meinzer, Volume
Visualization and Interactive Tools Plugged into a Teleradiology System, In: Kim, Mun (Eds): Proc
SPIE Conference on Medical Imaging, San Diego, 100-108, 1998
Literaturverzeichnis
148
[FAUGERAS01]
O.D. Faugeras, Q.T. Luong, The Geometry of Multiple Images, The MIT Press, Cambridge,
Massachusetts, ISBN: 0-262-06220-8, pp.: 644, 2001
[FERLAY98]
J. Ferlay, D. Parkin, P. Pisani, I. Globocan, Cancer Incidence and Mortality, WHO. ISBN: 9241
545127, Lyon, 1998
[FIGL01]
M. Figl, W. Birkfellner, J. Hummel, R. Hanel, P. Homolka, F. Watzinger, F. Wanschitz, R. Ewers, H.
Bergmann, Current Status of the Varioscope AR, a head-mounted operating microscope for computer-
aided surgery, Proceedings of the IEEE and ACM – International Symposium on Augmented Reality,
pp.: 20-29, 2001
[FIGL05]
M. Figl, C. Ede, J. Hummel, F. Wanschitz, R. Ewers, H. Bergmann, W. Birkfellner, A fully automated
calibration method for an optical see-through head-mounted operating microscope with variable
zoom and focus.Medical Imaging, IEEE Transactions on Volume 24, Issue 11, Nov. 2005 pp.: 1492 -
1499
[FISCHER03]
L. Fischer, M. Thorn, P. Chiu, L. Grenacher, H.P. Meinzer, W. Lamade, Virtuelle Operationsplanung
in der Leberchirurgie, Chir. Praxis, 61, pp.: 459–466, 2003
[FOLEY03]
J. Foley; Andries Van Dam Computer Graphics:Principles and Practice in C, (International Edition),
2nd ed paperback, Pearson Higher Education, ISBN0-321-21056-5, 2003
[FRANTZ03]
D.D. Frantz, A.D. Wiles, S.E. Leis, S.R. Kirsch, Accuracy assessment protocols for electromagnetic
tracking systems, Phys. Med. Biol., 48: pp.: 2241–2251, 2003
[FRIEDRICH00]
W. Friedrich, ARVIKA Augmented Reality for Development, Production, and Service, Tagungsband
des Informationsforum Virtuelle Produktentstehung (IVIP), 11.5.2000
[FUCHS98]
H. Fuchs, M.A. Livingston, R. Raskar, D. Colucci, K. Keller, A. State, J.R. Crawford, P. Rademacher,
S.H. Drake, A.A. Meyer, MD, Augmented Reality Visualization for Laparoscopic Surgery, To appear
in Proceedings of First International Conference on Medical Image Computing and Computer-
Assisted Intervention (MICCAI '98), Massachusetts Institute of Technology, Cambridge, MA, USA,
11.-13.October 1998
[FUHRMANN99]
A. Fuhrmann, D. Schmalstieg, W. Purgathofer, Fast Calibration for Augmented Reality, Proceedings
of ACM Virtual Reality Software & Technology '99 (VRST'99), pp.: 166-167, London, December 20-
22. 1999
[FURNESS95]
T.A. Furness, J. Kollin, Virtual Retinal Display, US Patent #5467104, issued Nov 14. 1995
[GENC00]
Y. Genc, F. Sauer, F. Wenzel, M. Tuceryan, N. Navab, Optical see-through HMD calibration: a
stereo method validated with a video see-through system, Augmented Reality, (ISAR 2000).
Proceedings. IEEE and ACM International Symposium on, pp.:165 – 174, 5-6 Oct. 2000
[GENC01]
Y. Genc, M Tuceryan, A. Khamene, N. Navab, Optical see through Calibration with vision based
Trackers - propagation of projection matrices, Augmented Reality, 2001, Proceedings, IEEE and
ACM International Symposium on , pp.: 147 –156, 29-30 Oct. 2001
Literaturverzeichnis
149
[GENC02]
Y. Genc, M. Tuceryan, N. Navab, Practical solutions for calibration of optical see-through devices.
Mixed and Augmented Reality, ISMAR 2002. Proceedings. International Symposium on , pp.:169 –
175, 30 Sept.-1 Oct. 2002
[GERBES97]
A. Gerbes, H. Krämling, R. Zachoval, H. Hornung, G. Paumgartner, F. Schildberg, Die
Interdisziplinäre Arbeitsgruppe Lebertransplantation (1997), Ergebnisse der Lebertransplantation bei
kontroversen Indikationen: Patienten mit chronischer Hepatitis C-Virusinfektion bzw. athyltoxischer
Zirrhose, Gastroenterol 35:78–97, 1997
[GIBSON02]
S. Gibson, J. Cook, T. Howard, R. Hubbold, D. Oram, Accurate camera calibration for off-line, video-
based augmented reality, Mixed and Augmented Reality, ISMAR 2002. Proceedings. International
Symposium on, pp.:37 – 46, 30 Sept.-1 Oct. 2002
[GLENSTRUP95]
A. Glenstrup, T. Engell-Nielsen, Eye controlled media: present and future state, Minor thesis,
University of Copenhagen DIKU (Institute of Computer Science), Universitetsparken 1 DK-2100
Denmark, June 1995
[GLOMBITZA99]
G. Glombitza, W. Lamade, A. Demiris, M. Göpfert, A. Mayer, M. Bahner, H.-P. Meinzer, G. Richter,
T. Lehner, C. Herfarth, Virtual planning of liver resections: image processing, visualization and
volumetric evaluation, Int. Journal of Medical Informatics, 53, pp.: 225–37, 1999
[GOEBBELS02]
G. Goebbels, K. Troche, M. Braun, A. Ivanovic, A. Grab, K.v. Lübtow, H.F. Zeilhofer, R. Sader, F.
Thieringer, K. Albrecht, K. Praxmarer, E. Keeve, N. Hanssen, Z. Krol, F. Hasenbrink, ARSyS-
Tricorder - Entwicklung eines Augmented Reality Systems für die intraoperative Navigation am
Beispiel des individuellen Transplantatdesigns in der Mund-Kiefer-Gesichtschirurgie, Proceedings der
BMBF Statustagung, Leipzig, Germany, 05. -06.11.2002
[GOEBBELS03]
G. Goebbels, K. Troche, M. Braun, A. Ivanovic, A. Grab, K.v. Lübtow, R. Sader, F. Zeilhofer, K.
Albrecht, K. Praxmarer, ARSyS-Tricorder - Entwicklung eines Augmented Reality Systems für die
intraoperative Navigation in der MKG Chirurgie, 2. Jahrestagung der Deutschen Gesellschaft für
Computer- und Roboterassistierte Chirurgie e.V., Nürnberg, 4.-7.11.2003.
[GOLDSMITH57]
N. Goldsmith, R. Woodbume, The surgical anatomy pertaining to liver resection, Surg. Gynecol.
Obstet., 105: pp.: 310–318, 1957
[GÖPFERT98]
M.R. Göpfert, G. Glombitza, A.M. Demiris, W. Lamade, H.-P. Meinzer, Trennung von Gefäßbäumen
in medizinischen Schichtbildserien am Beispiel der Leber, In Lehmann, T. et al. (Hrsg.):
Bildverarbeitung für die Medizin: Algorithmen, Systeme, Anwendungen, Informatik Aktuell, 264-268,
Berlin – Heidelberg, Springer, 1998
[GPS05]
Navigation Center - Internet-Portal zu GPS unter http://www.gps.gov/, letztmalig am 25.11.2005
aufgerufen
[GRIMSON98]
E. Grimson, M. Leventon, G. Ettinger, A. Chabrerie, F. Ozlen, S. Nakajima, H. Atsumi, R. Kikinis, P.
Black, Clinical Experience with a High Precision Image-Guided Neurosurgery System, Proceedings of
First International Conference on Medical Image Computing and Computer-Assisted Intervention
(MICCAI'98), Springer Verlag, pp.: 63-73, 1998
Literaturverzeichnis
150
[HARTLEY97]
R. Hartley, In defense of eight-point algorithm, IEEE T-PAMI, Bd.19, Nr.6, S.580-593, Okt. 1997
[HARTLEY00]
R. Hartley, A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press,
ISBN: 0-521-62304-9, pp.: 607, 2000.
[HASSENPFLUG00]
P. Hassenpflug, G. Glombitza, C. Cárdenas, I. Wolf, A. Benner, H.-P. Meinzer, Komponenten zur
Unterstützung der automatischen Bildsegmentierung von CT-Daten der Leber, In: A. Horsch, T.
Lehmann (eds), Bildverarbeitung für die Medizin, Heidelberg, Springer, pp.:101-105, 2000.
[HASSENPFLUG01A]
P. Hassenpflug, M.Vetter, M.Thorn, C. Cárdenas, G. Glombitza, W.Lamadé, G.M. Richter and H.-P.
Meinzer, Navigation in liver surgery – requirement analysis and possible solutions, Proceedings of the
Fifth Korea-Germany Joint Workshop on Advanced Medical Image Processing, M.H. Kim and H.-P.
Meinzer, Ewha Womans University, Seoul, Korea, May 15th/16th, 2001
[HASSENPFLUG01B]
P. Hassenpflug, M. Vetter, C. Cárdenas, M. Thorn and H.-P. Meinzer, Navigation in liver surgery -
results of a requirement analysis. Computer Assisted Radiology and Surgery, CARS 2001 -
Proceedings of the 15th International Congress and Exhibition, H. U. Lemke, M. W. Vannier,K.
Inamura, A. G. Farman and K. Doi (eds), Berlin, June 27 - 30,, Elsevier, Amsterdam, vol. ICS 1230
(2001) 1162.
[HASTENTEUFEL01]
M. Hastenteufel, C. Cárdenas C, Giess, G. Glombitza, P. Hassenpflug, H.-P. Meinzer, Evaluierung
von interaktiven, texturanalytischen Segmentierungsverfahren, In: T. Lehmann, H. Handels (Eds).
Informatik Aktuell – Bildverarbeitung in der Medizin 2001 – Algorithmen, Systeme, Anwendungen.
Berlin, Heidelberg, New York, Springer, 2001.
[HAWKS01]
D. J. Hawks, P. J. Edwards, L. G. Johnson, A. King, D. de Cunha, T. Strong, M. Gleeson, Microscope
Assisted Guided Interventions (MAGI) – An Application of Augmented Reality in ImageGuided
Surgery, Proceedings of the IEEE and ACM – International Symposium on Augmented Reality, p. 1,
2001
[HERFARTH02]
C. Herfarth, W. Lamade, L. Fischer, P. Chiu, C. Cardenas, M. Thorn, M. Vetter, L. Grenacher, H.-P.
Meinzer, The effect of virtual reality and training on liver operation planning, Swiss Surg, 8: pp.: 67–
73, 2002
[HEUEL04]
St. Heuel, The Uncertain Projective Geometry: Statistical Reasoning for Polyhedral Object
Reconstruction, Lecture Notes in Computer Science, Publisher: Springer Berlin / Heidelberg, 2004,
ISSN: 0302-9743
[HEUEL04]
St. Heuel, The Uncertain Projective Geometry: Statistical Reasoning for Polyhedral Object
Reconstruction, Lecture Notes in Computer Science, Publisher: Springer Berlin / Heidelberg, 2004,
ISSN: 0302-9743
[HÖPCKE80]
W. Höpcke, Fehlerlehre und Ausgleichsrechnung.Walter de Gruyter, 1980
[HOLMGREN92]
D. E. Holmgren, Design and Construktion of a 30-Degree See-Through Head.Mounted Display, UNC
Chapel Hill Department of Computer Science technical report TR92-030, Juli 1992
Literaturverzeichnis
151
[HUA01]
Hong Hua, Chunyu Gao, L.D. Brown, N. Ahuja, J.P.Rolland, Using a head-mounted projective
display in interactive augmented environments Augmented Reality, 2001. Proceedings. IEEE and
ACM International Symposium on, pp.:217 - 223, 29-30 Oct. 2001
[HUA02]
Hong Hua, Chunyu Gao, N. Ahuja, Calibration of a head-mounted projective display for augmented
reality systems, Mixed and Augmented Reality, 2002. ISMAR 2002. Proceedings. International
Symposium on, pp.:176 - 185, 30 Sept.-1 Oct. 2002
[HUA03]
Hong Hua, Development of Head-Mounted Projective Display and Its Application for Collaborative
Environments, Robotics and Vision Workshop, 2003
[HUA04]
Hong Hua, L.D. Brown, Chunyu Gao, Scape: supporting stereoscopic collaboration in augmented and
projective environments, Computer Graphics and Applications, IEEE , Volume: 24 , Issue: 1, pp.:66 -
75, Jan-Feb 2004
[ISEKI03]
H. Iseki, Y. Muragaki, K. Naemura, M. Hayashi, T. Hori, K. Takakura, Clinical application of
augmented reality in neurosurgical field Computer Graphics International, ISSN: 1530-1052, 2003.
Proceedings, 9-11 July 2003, pp.: 44 - 49
[JANIN93]
A.L. Janin, D.W. Mizell, T.P. Caudell, Calibration of head-mounted displays for augmented reality
applications, Virtual Reality Annual International Symposium, 1993., 1993 IEEE, pp.: 246 -255, 18-
22 Sept. 1993
[KAISER05]
A. Kaiser, Integration eines Eye-Trackers in ein Augmented Reality System, Diplomarbeit, TU Berlin,
Fachgebiet Computer Vision & Remote Sensing, unveröffentlicht, August 2005
[KATO99]
H. Kato, M. Billinghurst, Marker tracking and HMD calibration for a video-based augmented reality
conferencing system, Augmented Reality, (IWAR '99) Proceedings. 2nd IEEE and ACM International
Workshop on, pp.: 85 -94, 1999
[KAUFMAN93]
A.E. Kaufman, A. Bandopadhay, B.D. Shaviv, An eye tracking computer user interface. Virtual
Reality, 1993. Proceedings., Digital Object Identifier 10.1109/VRAIS.1993.378254, IEEE 1993
Symposium on Research Frontiers in 25-26 Oct. 1993, pp.:120 – 121, 1993
[KINDRATENKO00]
V. Kindratenko, A survey of electromagnetic position tracker calibration techniques, In Virtual
Reality: Research, Development, and Applications, vol.5, no.3, pp.: 169—182, 2000
[KLEWENO01]
C.P. Kleweno, E.J. Seibel, E.S. Viirre, J.P. Kelly, T.A. Furness, The Virtual Retinal Display as an
Alternative Low Vision Computer Interface, Pilot Study. Journal of Rehabilitation Research and
Development, 38(4), pp.: 431-442, 2001
[KÖCKERLING99]
F. Köckerling, H. Waclwiczek, Leberchirurgie, Johann Ambrosius Barth Verlag Heidelberg, Leipzig,
ISBN 3830404719, 1999
[KRAUS96]
K. KRAUS, Photogrammetrie, Band 2. 3. Auflage, Dümmler Verlag, Bonn, S.105, 1996
[KRENGEL98]
U. Krengel, Einführung in die Wahrscheinlichkeitstheorie und Statistik, 4.erweiterte Auflage, Vieweg
Verlag, 1998
Literaturverzeichnis
152
[KUNERT01]
T. Kunert, M. Heiland, H.-P. Meinzer, Interaktive Segmentierung von zweidimensionalen Datensätzen
mit Hilfe von aktiven Konturen, In: T. Lehmann, H. Handels (Eds). Informatik Aktuell – Bildver-
arbeitung in der Medizin 2001 – Algorithmen, Systeme, Anwendungen. Berlin, Heidelberg, New
York: Springer, 2001.
[LAPEER03]
R.J. Lapeer, A.C. Tan, A. Linney, G. Alusi, Stereo depth assessment experiment for microscope-based
surgery. Mixed and Augmented Reality, 2003. Proceedings. The Second IEEE and ACM International
Symposium on,7-10 Oct. 2003, pp.:272 - 273
[LEEBMANN02A]
J. Leebmann, A stochastic analysis of the calibration problem for augmented reality systems with see-
through head-mounted displays. ISPRS Journal of Photogrammetry and Remote Sensing, Special
Issues on Challenges in Geospatial Analysis and Visualization, accepted, 2002.
[LEEBMANN02B]
J. Leebmann, Analysis of different calibration models for see-through head-mounted displays used
for augmented reality applications. Proceedings of the ISPRS Commission V Symposium Close-
Range Imaging, Long-Range Vision, Corfu, Greece, September 2002, In: The International Archives
of the Photogrammetry, Remote Sensing And Spatial Information Sciences, Volume XXXIV, Part 5,
Commission V, 2002.
[LEWIS98]
M. Lewis, Designing for human agent interaction, AI Mag. 19 (2), pp.: 67–78, 1998
[LIN03]
S.-K. V. Lin, E.J. Seibel, T.A. Furness, Virtual Retinal Display as a Wearable Low Vision Aid.
International Journal of Human-Computer Interaction, 15(2), pp.: 245-263, 2003
[LIPPERT00]
Lippert, Lehrbuch Anatomie, 5. Auflage, Urban und Fischer, ISBN 3-437- 42360-6, 2000
[LONGUET81]
H.C. Longuet-Higgins, A computer algorithm for reconstructing a scene from two projections,
Nature 293, pp.: 133-135, Sep. 1981
[LUHMANN00]
T. Luhmann, Nahbereichsphotogrammetrie: Grundlagen, Methoden und Anwendungen, Heidelberg:
Wichmann, ISBN 3-87907-321-X, 2000
[MA03]
Ma Yi, St. Soatto, J. Koseck, S. Shankar Sastry, An Invitation to 3-D Vision - From Images to
Geometric Models 1, Ed. Springer New York, ISBN 0-387-00893-4, pp.: 526, 2003
[MALBEZIN 02]
P. Malbezin, W. Piekarski, B.H. Thomas, Measuring ARTootKit accuracy in long distance tracking
experiments, Augmented Reality Toolkit, The First IEEE International Workshop, Digital Object
Identifier 10.1109/ART.2002.1107000, 29 Sept. 2002
[MASAMUNE 00]
K. Masamune, Y. Masutani, S. Nakajima, I. Sakuma, T. Dohi, H. Iseki, K. Takakura, Three-
Dimensional Slice Image Overlay System with Accurate Depth Perception for Surgery, Lecture Notes
in Computer Science Vol. 1935 Proc. MICCAI2000, Pittsburgh, pp.: 395-402, 2000
[MASAMUNE 02]
K. Masamune, G. Fichtinger, A. Deguet, D. Matsuka, R. Taylor, An Image Overlay System with
Enhanced Reality for Percutaneous Therapy Performed Inside CT Scanner, Lecture Notes in
Computer Science Vol. 2489, Proc. MICCAI2002, Tokyo,pp.: 77-84, 2002
Literaturverzeichnis
153
[MCGARRITY99]
E. McGarrity, M. Tuceryan, A method for calibrating see-through head-mounted displays for AR
Augmented Reality, (IWAR '99) Proceedings. 2nd IEEE and ACM International Workshop on, pp.: 75
–84, 20-21 Oct. 1999
[MCGARRITY01]
E. McGarrity, Y. Genc, M. Tuceryan, C. Owen, N. Navab, A new system for online quantitative
evaluation of optical see-through augmentation Augmented Reality, Proceedings, IEEE and ACM
International Symposium on, pp.:157 - 166, 29-30 Oct. 2001
[MCPEAKE93]
J. McPeake, J. O’Grady, S. Zaman, B. Portmann, D. Wight, K. Tan, R. Calne, Liver transplantation
for primary hepatocellular carcinoma: tumor size and number determine outcome,
J Hepatol, 18: pp.: 226–234, 1993
[MCQUAIDE02A]
S.C. McQuaide, Three-Dimensional Virtual Retinal Display using a Deformable Membrane Mirror,
Master's Thesis, University of Washington, 2002
[MCQUAIDE02B]
S.C. McQuaide, E.J. Seibel, R. Burstein, T.A. Furness, Three-Dimensional Virtual Retinal Display
using a Deformable Membrane Mirror, Society for Information Display Digest of Technical Papers,
33(2), pp.: 1324-1327, 2002
[MELLOR95]
J.P. Mellor, Enhanced Reality Visualization in a Surgical Environment, A.I. Technical Report No.
1544, 1995
[MENOZZI01]
M. Menozzi, Human Factors in "Augmented Reality": Nutzbarkeit der Knotenpunktabbildung in ein
sogenanntes "Virtual Retinal Display", In: A. Seeber, M. Schäper (Editoren), Arbeitsplatzgestaltung
Flexibilisierung Kompetenzentwicklung. S. 63 – 66, GfA Press, Dortmund, 2001
[MIKHAIL01]
E. Mikhail, et al, Introduction to Modern Photogrammetry, John Wiley & Sons, Inc., NY USA, Kap.
9.3.2, pp.: 251, 2001
[MILGRAM94]
P. Milgram, H. Takemura, A. Utsumi, F. Kishino, Augmented reality: aclass of displays on the reality-
virtuality continuum, In Proceedings of Telemanipulator and Telepresence Technologies, (pp.: 282-
292): SPIE., 1994
[MITSCHKE00]
M. Mitschke, A. Bani-Hashemi, N. Navab. Interventions under Video-Augmented X-Ray Guidance:
Application to Needle Placement, Medical Image Computing and Computer-Assisted Intervention
(MICCAI 2000), Springer Verlag, pp.: 858-868, 2000
[MOR98]
E. Mor, R. Kaspa, P. Sheiner, M. Schwartzu, Treatment of hepatocellular carcinoma associated with
cirrhosis in the era of liver transplantation,
Ann Intern Med, 129, pp.: 643–653, 1998
[MORIMOTO99]
C.H. Morimoto, D. Koons, A. Amit, M. Flickner, S. Zhai. Keeping an eye for HCI. Computer
Graphics and Image Processing, 1999. Proceedings. XII Brazilian Symposium on 17-20 Oct. 1999
pp.:171 – 176, Digital Object Identifier 10.1109/SIBGRA.1999.805722
[MORIMOTO05]
C. H. Morimoto, M.R.M. Mimica, Eye gaze tracking techniques for interactive applications. In
Computer Vision and Image Understanding, Special Issue on Eye Detection and Tracking, Edited by
Q. Ji, Elsevier, pp.: 4-24, April 2005
Literaturverzeichnis
154
[NAKAJIMA00]
S. Nakajima, S. Orita, K. Masamune, I. Kasuma, T. Dohi, K. Nakamura, Surgical Navigation System
with Intuitive Three-Dimensional Display, Medical Image Computing and Computer-Assisted
Intervention (MICCAI 2000), Springer Verlag, pp.: 403-411, 2000
[OEHME04]
O. Oehme, Ergonomische Untersuchung von kopfbasierten Displays für Anwendungen der erweiterten
Realität in Produktion und Service, Shaker Verlag , ISBN 3-8322-2633-8, 2004
[OVEJERO98]
A. F. Ovejero, M. Negri, Physiologie des Menschen, Neuer Kaiser Verlag, Seite 56, 1998
[OWEN04]
C.B. Owen, Ji Zhou, A. Tang, Fan Xiao, Display-relative calibration for optical see-through head-
mounted displays, Mixed and Augmented Reality, ISMAR 2004, pp.: 70 – 78, Digital Object
Identifier 10.1109/ISMAR.2004.28, Third IEEE and ACM International Symposium on 2-5 Nov. 2004
[PANDYA05]
A. Pandya, G. Auner, Simultaneous augmented and virtual reality for surgical navigation.Fuzzy
Information Processing Society, 2005. NAFIPS 2005. Annual Meeting of the North American, 26-28
June 2005 pp.:429 - 435
[PALOC04]
C. Paloc, E. Carrasco, I. Macia, R. Gomez, I. Barandiaran, J.M. Jimenez, O. Rueda, J. Ortiz de Urbina,
A. Valdivieso, G. Sakas, Computer-aided surgery based on auto-stereoscopic augmented reality,
Information Visualisation, 2004, IV 2004, Proceedings, pp.: 189 – 193, Eighth International
Conference on , 14-16 July 2004
[PIEKARSKI02]
W. Piekarski, B.H. Thomas, Using ARToolKit for 3D Hand Position Tracking in Mobile Outdoor
Environments, In 1st Int’l Augmented Reality Toolkit Workshop, Darmstadt, Germany, Sep 2002
[PIETSCHER04]
S. Pietscher, Tracking für Augmented Reality, Diplomarbeit, TU Berlin, Fachgebiet Photogrammetrie
und Kartographie, unveröffentlicht, Februar 2004
[PICHNAYR94]
R. Pichnayr, A. Weimann, B. Ringe, Indications for liver transplantationin hepatobiliary malignancy,
Hepatology, 20:33–40, 1994
[RICHARDSON04]
D.C. Richardson, M.J. Spivey, Eye-Tracking: Characteristics and Methods, In Encyclopedia of
Biomaterials and Biomedical Engineering, Februar 2004.
[ROBINSON63]
D.A. Robinson, A method of measuring eye movement using a scleral search coil in a magnetic field,
IEEE Trans. Bio-Medical Electronics, vol. BME-IO, pp. 137-145, October 1963.
[ROBINSON68]
D.A. Robinson, The oculomotor control system: A review, Proceedings of the IEEE Volume 56, Issue
6, pp.:1032 - 1049, June 1968
[RODEHORST04]
V. Rodehorst, Photogrammetrische 3D-Rekonstruktion im Nahbereich durch Auto-Kalibrierung mit
projektiver Geometri, Dissertation, Wissenschaftlicher Verlag Berlin, ISBN 3-936846-83-9, 2004
[ROLLAND00]
J. P. Rolland, H. Fuchs, Optical Versus Video-See-Through Head Mounted Displays in Medical
Visualization, Presence, Band 9, Heft 3, pp.: 290-292, 2000
Literaturverzeichnis
155
[ROLLAND01]
J.P. Rolland, H. Fuchs, Optical versus Video See-Through Head-Mounted Displays
Fundamentals of wearable Computers and Augmented Reality, Woodrow Barfield and Thomas
Caudell, editors, Lawrence Erlbaum Associates, Chapter 4, pp.: 113-156, 2001
[ROLLAND02]
J. Rolland, C. Meyer, L. Davis, F. Hamza-Lup, J. Norfleet, C. Imielinska, K.F. Kerner, Merging
augmented reality and anatomically correct 3D models in the development of a training tool for
endotracheal intubation. Biomedical Imaging, 2002. Proceedings. 2002 IEEE International
Symposium on.7-10 July 2002, pp.:895 - 898
[ROLLAND03]
J.P. Rolland, F.G. Hamza-Lup, Artificial Reality Center (ARC), Robotics and Vision Workshop, 2003
[RUST00]
C. Rust, H. Rau, A. Gerbes, G. Pape, M. Haller, Z. Krämling, F. Schildberg, G. Paumgartner,
U. Betters, Liver transplantation in primary biliary cirrhosis: risk assessment and 11-year follow-up,
Digestion, 62:38–43, 2000
[SANTHANAM04]
A.P. Santhanam, C. Fidopiastis, B. Hoffman-Ruddy, J.P. Rolland, PRASAD: an augmented reality
based non-invasive pre-operative visualization framework for lungs, Virtual Reality, Proceedings.
IEEE, pp.:253 - 254, 27-31 March 2004
[SBW99]
(ED) SBW Statistisches Bundesamt Wiesbaden, Statistisches Jahrbuch 1999 für die Bundesrepublik
Deutschland. Metzler-Poeschel Stuttgart, ISBN 382460602X, September 1999
[SAUER01]
F. Sauer, A. Khamene, B. Bascle, L. Schimmang, F. Wenzel, S. Vogt.
Augmented Reality Visualization of Ultrasound Images: System Description, Calibration, and
Features, Proceedings of the IEEE and ACM – International Symposium on Augmented Reality, pp.:
30-39, 2001
[SCHÄFER03]
H. Schäfer, Kalibrierungen für Augmented Reality, Diplomarbeit, TU Berlin, Fachgebiet
Photogrammetrie und Kartographie, unveröffentlicht, Oktober 2003
[SCHEUERING01]
M. Scheuering, C. Rezk-Salama, H. Barfuss, K. Barth, A. Schneider, G. Greiner, G. Wessels,
H. Feussner, Intra-operative Augmented Reality(AR) mit magnetischer Navigation und multitextur-
basiertem Volume Rendering in der minimal-invasiven Chirurgie, Rechner u. Sensorgestützte
Chirurgie, Heidelberg, pp.: 83-91, 2001
[SCHEUERING02]
M. Scheuering, C. Rezk-Salama, H. Barfuss, A. Schneider, G. Greiner, Augmented Reality Based On
Fast Deformable 2D-3D Registration For Image Guided Surgery, SPIE Medical Imaging 2002, 2002
[SCHNAIDER03]
M. Schnaider, B. Schwald, H. Seibert, T.Weller, Medarpa - A Medical Augmented Reality System for
Minimal-Invasive Interventions, In: Westwood, James D. (Ed.): Medicine Meets Virtual Reality 2003,
Proceedings, NextMed, Health Horizon, Amsterdam , IOS Press, Ohmsha, pp.: 312-314, 2003
[SCHNEIDER01]
M. Schneider, U. Eckelt, V. Hietschold, Genauigkeitsanalyse zur navigationsgestützten Planung und
Insertion von dentalen Implantaten in Unterkieferkunststoffmodelle, In Rechner- und sensorgestützte
Chirurgie. Proceedings zum Worksphop 19.-10.Juli 2001. Edited by H Wörn, J Mühling, C Vahl and
H.-P. Meinzer. Heidelberg, GI-Editon, pp.: 236-242 , 2001
Literaturverzeichnis
156
[SCHÖBINGER02]
M. Schöbinger, M. Thorn, M. Vetter, P. Hassenpflug, C. Cárdenas, I. Wolf, H.-P. Meinzer,
Analysis of vascular structures using skeletonization, Proceedings of the Sixth Korea-Germany Joint
Workshop on Advanced Medical Image Processing, Deutsches Krebsforschungszentrum, Heidelberg,
Germany, May 2nd / 3rd, 2002.
[SCHUHMACHER03]
T. Schuhmacher, Ausgleichungsansätze in der Projektiven Geometrie. Diplomarbeit, TU Berlin,
Fachgebiet Photogrammetrie und Kartographie, unveröffentlicht, Juni 2003
[SEO00]
Yongduek Seo, Ki-Sang Hong, Weakly calibrated video-based augmented reality: embedding
andrendering through virtual camera, in: Augmented Reality, 2000. (ISAR 2000). Proceedings. IEEE
and ACM International Symposium on, 2000 pp.: 129-136, Location: Munich, Germany, ISBN: 0-
7695-0846-4 , Meeting Date: 10/05/2000 - 10/06/2000
[SHIMIZU04]
A.. Shimizu, S. Nawano, C, Preliminary report of competition for liver region extraction algorithms
from three dimensional CT images Computer Assisted Radiology and Surgery, CARS 2004 -
Proceedings of the 18th International Congress and Exhibition, H. U. Lemke, M. W. Vannier, K.
Inamura, A. G. Farman, K. Doi and J.H.C. Reiber (eds), Berlin, June 23 - 26,, Elsevier, Amsterdam,
vol. ICS 1268 (2004) 1361.
[SIEWERT00]
J. Siewert, Chirurgie, Springer Verlag Berlin, Heidelberg, New York, ISBN 3-540-67409-8, 2000
[SILVERMAN03]
N.L. Silverman, B.T. Schowengerdt, J.P. Kelly, E.J. Seibel, Engineering a Retinal Scanning Laser
Display with Integrated Accommodative Depth Cues, Society for Information Display Technical
Digest, 34(2), pp.: 1538-1541, 2003
[SOBOTTA88]
Sobotta, Atlas der Anatomie des Menschen, 19. Auflage, Urban und Schwarzenberg, ISBN 3-541-
02829-7, 1988
[SOFERMAN98]
Z. Soferman, D. Blythe, N. W. John, Advanced Graphics Behind Medical Virtual Reality: Evolution of
Algorithms, Hardware and Software Interfaces, Proceedings of the IEEE, Vol. 86, No. 3,
pp.: 531-554, 1998
[STATE01]
A. State, J. Ackerman, G. Hirota, J. Lee, H. Fuchs, Dynamic virtual convergence for video see-
through head-mounted displays: maintaining maximum stereo overlap throughout a close-range work
space, Augmented Reality, 2001. Proceedings. IEEE and ACM International Symposium on, pp.:137 -
146, 29-30 Oct. 2001
[STETTEN01]
G. Stetten, V. Chib, D. Hildebrandt, J. Bursee, Real Time Tomographic Reflection: Phantoms for
Calibration and Biopsy, Proceedings of the IEEE and ACM – International Symposium on
Augmented Reality, pp.: 11-19, 2001
[STRICKER99]
D. Stricker, N. Navab, Calibration propagation for image augmentation, Augmented Reality, 1999.
(IWAR '99) Proceedings. 2nd IEEE and ACM International Workshop on, pp.:95 – 102, 20-21 Oct.
1999
[SUTHAU99]
T. Suthau, Photogrammetrische Vermessung von superelastischen Drähten mit CCD-Kameras,
Diplomarbeit, TU Berlin, Fachgebiet Computer Vision & Remote Sensing, unveröffentlicht, 02/1999
Literaturverzeichnis
157
[SUTHERLAND68]
I.E. Sutherland, A Head-Mounted Three-Dimensional Display, In: Proceedings of the Fall Joint
Computer Conference, S. 757-764; mit dt. Übers. abgedruckt in: Gottfried Hattinger (Hrsg.), ars
electronica 1990, Bd. 2, Linz (1990): 123-137 , 1968
[SUZUKI98]
N. Suzuki, A. Hattori, S. Takatsu, T. Kumanu, A. Ikemoto, Y. Adachi, A. Uchiyama, Virtual Surgery
System Using Deformable Organ Models and Force Feedback System with Three Fingers,
Proceedings of First International Conference on Medical Image Computing and Computer-Assisted
Intervention (MICCAI'98), Springer Verlag, pp.: 397-403, 1998
[SUZUKI04]
S. Suzuki, N. Suzuki, A. Hattori, A. Uchiyama, S. Kobayashi, Sphere-filled organ model for virtual
surgery system. Medical Imaging, IEEE Transactions on Volume 23, Issue 6, June 2004 pp.:714 -
722
[TANG03]
A. Tang, Ji Zhou, C. Owen, Evaluation of calibration procedures for optical see-through head-
mounted displays, Mixed and Augmented Reality, 2003. Proceedings. The Second IEEE and ACM
International Symposium on, pp.:161 - 168, 7-10 Oct. 2003
[THORN99]
M. Thorn, S. Sonntag, G. Glombitza, W. Lamadé, H.-P. Meinzer, Ein interaktives Tool für die
Segmenteinteilung der Leber in der chirurgischen Operationsplanung, In: H. Evers, G. Glombitza, T.
Lehmann, H.-P. Meinzer (Eds.) Tagungsband zum Workshop »Bildverarbeitung für die Medizin
1999«, Heidelberg, Springer Verlag (1999) 155-159, März 1999
[TIAN00]
Ying-li Tian; T. Kanade, J.F. Cohn, Dual-state parametric eye tracking, Automatic Face and Gesture
Recognition, 2000. Proceedings. Fourth IEEE International Conference on 28-30 March 2000
pp.:110–115, Digital Object Identifier 10.1109/AFGR.2000.840620,
[TONET00]
O. Tonet, G. Megali, S. D’Attanasio, P. Dario, M. Carozza, M. C. Marcacci, S. Martelli,
P.F. La Palombara, An Augmented Reality Navigation System for Computer Assisted Arthroscopic
Surgery of the Knee, Medical Image Computing and Computer-Assisted Intervention (MICCAI 2000),
Springer Verlag, pp.: 1158-1162, 2000
[TUCERYAN00]
M.Tuceryan, N. Navab, Single point alignment method for optical see- through HMD calibration for
AR( SPAAM) for optical see-through HMD calibration for AR, Proceedings of IEEE International
Symosium on Augmented Reality (ISAR), pp.: 149-158, München, IEEE CS Press , 2000
[TUCERYAN02]
M. Tuceryan, Y. Genc, N. Navab, Single point active alignment method (SPAAM) for optical see-
through HMD calibration for augmented reality, Presence: Teleoperotors and Virtual Environments,
11(3): pp.: 259-276, June 2002.
[TURNER02]
S.L. Turner, Coupling Retinal Scanning Displays to the Human Visual System: Visual System
Response and Engineering Considerations, Doctoral Thesis, Air Force Institute of Technology,
University of Washington, Wright-Patterson AFB, OH. (DTIC No. ADA405084) , 2002
[VETTER01]
M. Vetter, P. Hassenpflug, C. Cárdenas, M. Thorn, G. Glombitza, H.-P. Meinzer, Navigation in der
Leberchirurgie - Ergebnisse einer Anforderungsanalyse, In: Lehmann T, Handels H (Eds). Informatik
Aktuell – Bildverarbeitung in der Medizin 2001 – Algorithmen, Systeme, Anwendungen. Berlin,
Heidelberg, New York: Springer, 2001.
Literaturverzeichnis
158
[VETTER02]
M .Vetter, P. Hassenpflug, M. Thorn, C. Cárdenas, L. Grenacher, G.M. Richter, W. Lamadé, M.W.
Büchler, H.-P. Meinzer: Auto-Stereoscopic Visualization for Image-Guided Liver Surgery.
Proceedings of the Sixth Korea-Germany Joint Workshop on Advanced Medical Image Processing,
Deutsches Krebsforschungszentrum, Heidelberg, Germany, May 2nd / 3rd, 2002.
[VETTER03]
M. Vetter, I. Wolf, P. Hasenpflug, M. Hastenteufel, R. Ludwig, L. Grenacher, G. Richter, W. Uhl,
M. Büchler, H.-P.Meinzer, Navigation aids and Real-time deformation modeling for open liver
surgery, Proceedings SPIE, Conference Medical Imaging, San Diego, CA, USA, 5029:58–68, 2003
[VETTER04]
M. Vetter, Konzeption eines bildgestützten Navigationssystems für die offene Leberchirurgie -
Aufrechterhaltung des initial hergestellten Registrierungszustands der Leber mittels Navigationshilfen
und Verformungsmodellierung, Universitätsbibliothek Heidelberg, URL: http://www.ub.uni-
heidelberg.de/archiv/4880, Dissertation der Medizinischen Fakultät Heidelberg, Deutsches Krebs-
forschungszentrum (DKFZ), 2004
[VIIRRE98]
E. Viirre, H. Pryor, S. Nagata, T.A. Furness, The Virtual Retinal Display: A New Technology for
Virtual Reality and Augmented Vision in Medicine, Proceedings of Medicine Meets Virtual Reality,
San Diego, California, USA, pp. 252-257, Amsterdam: IOS Press and Ohmsha, 1998
[VOGT03]
S. Vogt, A. Khamene, F. Sauer, A. Keil, H. Niemann, A high performance AR system for medical
applications, Mixed and Augmented Reality, 2003, Proceedings, The Second IEEE and ACM
International Symposium on. 7-10 Oct. 2003, Page(s):270 - 271
[WACKROW04]
R. Wackrow, Berechnung und Korrektur der Verzeichnung eines Head Mounted Display,
Diplomarbeit, TU Berlin, Fachgebiet Computer Vision & Remote Sensing, unveröffentlicht, 08/ 2004
[WARFIELD02]
S. K. Warfield, F. Talos, A. Tei, A. Bharatha, A. Nabavi, M. Ferrant, P. McL. Black, F. A. Jolesz, and
R. Kikinis, Real-Time Registration of Volumetric Brain MRI by Biomechanical Simulation of
Deformation during Image Guided Neurosurgery. Comput Visual Sci, 5:3-11, 2002.
[WATSON95]
A.B. Watson, F.L.Hodges, Using Texture Maps to Correct for Optical Distortion in Head-Mounted
Displays Graphics, Visualization & Usability Center, College of Computing, Georgia Inst.
Technology, Atlanta GA 30332 USA, VRAIS 1995
[WELSCH00]
W. Welsch, O. Heunecke, H. Kuhlmann, Handbuch Ingenieurgeodäsie – Auswertung geodätischer
Überwachungsmessung. Wichmann Verlag, 2000
[WESTER-EBBINGHAUS83]
W. Wester – Ebbinghaus, Einzelstandpunkt-Selbstkalibrierung – Ein Beitrag zur Feldkalibrierung
von Aufnahmekammern, Dissertationen bei der Deutschen Geodätischen Kommission, Heft Nr.289,
München 1983
[WÖRN05]
H. Wörn, M. Aschke, L. Kahrs, New augmented reality and robotic based methods for head surgery,
International Journal of Medical Robotics and Computer Assisted Surgery, Ed.: C. Loughlin, pp.: 49-
56, 2005
[WOO99]
M. Woo, J. Neider, T. Davis, et al, OpenGL Programming Guide: The Official Guide to Learning
OpenGL 1.2, Addison Wesley, 1999.
Literaturverzeichnis
159
[YAMAMONTO99]
J. Yamamonto, S. Iwatsuki, T. Kosuge, I. Dvorchik, K. Shimada, J. Marsh, Should hepatomas be
treated with hepatic resection oi transplantation? Cancer, 86:1151–1158, 1999
[YOKOKOHJI99]
Y. Yokokohji, Y. Sugawara, T. Yoshikawa, Accurate image overlay on head-mounted displays using
vision and accelerometers, Robotics and Automation, 1999.Proceedings. 1999 IEEE International
Conference on Volume 4, pp.: 3243-3248 vol.4 Digital Object Identifier 10.1109/ROBOT.1999.
774092, 10-15 May 1999
[YOUNG75]
L. Young, D. Sheena, Methods & designs: survey of eye movement recording methods, Behav. Res.
Methods Instrum. 7 (5) , pp.397–429., 1975
[ZHU02]
Jie Zhu; Jie Yang; Subpixel eye gaze tracking, Automatic Face and Gesture Recognition, Proceedings.
Fifth IEEE International Conference on 20-21 May 2002 pp.:124 – 129, Digital Object Identifier
10.1109/AFGR.2002.1004144, 2002
