Universität Ulm | 89069 Ulm | Germany Fakultät für
Ingenieurwissenschaften,
Informatik und
Psychologie
Institut für Datenbanken
und Informationssysteme
Entwicklung von Interaktionsszenarien
für multimodale Informationssysteme
Masterarbeit an der Universität Ulm
Vorgelegt von:
Andreas Alzner
Gutachter:
Prof. Dr. Manfred Reichert
Dr. Rüdiger Pryss
Betreuer:
Michael Stach
2018
Fassung 29. Oktober 2018
c
2018 Andreas Alzner
This work is licensed under the Creative Commons. Attribution-NonCommercial-ShareAlike 3.0
License. To view a copy of this license, visit http://creativecommons.org/licenses/by-nc-sa/3.0/de/
or send a letter to Creative Commons, 543 Howard Street, 5th Floor, San Francisco, California,
94105, USA.
Satz: PDF-L
A
TEX2ε
Kurzfassung
Durch die wachsende Investition in die Einführung von Industrie 4.0 und die Digitalisie-
rung der Unternehmen, steigt die Vernetzung der verwendeten internettauglichen Geräte.
Dadurch werden verschiedene Maschinen und Sensoren in das Netzwerk eingebunden
und Daten können über das Internet abgerufen und angezeigt werden. Dabei steigt die
Anzahl der verschiedenen Eingabe- und Ausgabegeräte, die in einem Unternehmen
Verwendung finden. Zusätzlich schreitet die Technologie in den Bereichen Augmented
Reality und Virtual Reality voran und der Verwendungszweck dieser Technologien brei-
tet sich aus. Gleichzeit steigt mit Informationssystemen die Vernetzung der Eingabe-
und Ausgabegeräte untereinander und eine nahtlose Interaktion unter den Geräten
wird immer wichtiger. Die Verwendung der multimodalen Eingabe durch verschiedene
Eingabegeräte erhöht die Interaktionsmöglichkeiten in einem modernen, multimodalen
Informationssystem. Deshalb ist die Verwendung von Interaktionsszenarien, zur Be-
schreibung der Interaktion der Eingabe- und Ausgabegeräte, ein wichtiger Bestandteil
bei der Betrachtung von multimodalen Informationssystemen.
Das Ziel dieser Arbeit ist die Entwicklung von Interaktionsszenarien, unter der Betrach-
tung verschiedener Eingabe- und Ausgabemodalitäten, anhand eines Anwendungs-
beispieles zur Darstellung der Interaktionen in einem Unternehmen. Dabei werden
Interaktionspatterns entwickelt, die anschließend in den Interaktionsszenarien Anwen-
dung finden, welche die Zusammenarbeit der Eingabe- und Ausgabegeräte unter einem
bestimmten Aspekt beschreiben.
iii
Danksagung
An dieser Stelle bedanke ich mich an alle Personen, die während der Anfertigung dieser
Arbeit mir zur Seite standen, mich motiviert und unterstützt haben.
Zunächst möchte ich mich bei Herrn
Dr. Rüdiger Pryss
für die Begutachtung der Arbeit
und die Unterstützung während meines Studiums bedanken. Dabei bedanke ich mich
auch für die Projekte, die ich während meines Studiums durchführen durfte. Mein Dank
gilt auch
Johannes Schobel
, der mich bei der Durchführung des Projektes begleitet hat.
Ganz herzlich möchte ich mich bei Herrn
Michael Stach
für die Begleitung und Begut-
achtung dieser Arbeit bedanken. Ohne diese Unterstützung wäre die Durchführung in
der kurzen Zeit nicht möglich gewesen.
Abschließend bedanke ich mich bei meinen Eltern und bei meiner Schwester, die mir
erst mein Studium ermöglicht und mich auf meinem Werdegang unterstützt haben.
v
Inhaltsverzeichnis
1 Einleitung 1
1.1 Motivation.................................... 1
1.2 Problemstellung ................................ 2
1.3 Zielsetzung ................................... 3
1.4 StrukturderArbeit ............................... 3
2 Grundlagen 5
2.1 Process-Aware Information System (PAIS) . . . . . . . . . . . . . . . . . . 5
2.2 Business Model Process and Notation . . . . . . . . . . . . . . . . . . . . 6
2.3 Worklists .................................... 16
2.3.1 Worklist-Item.............................. 16
3 Multimodale Benutzerschnittstellen 19
3.1 MultimodaleSysteme ............................. 19
3.2 Verschiedene Eingabe- und Ausgabegeräte . . . . . . . . . . . . . . . . . 20
3.2.1 Sprachsteuerung und Sprachassistent . . . . . . . . . . . . . . . . 21
3.2.2 Gestensteuerung............................ 22
3.2.3 IoT und Workstations . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2.4 Smartphone, Tablet, Laptop/PC und Smartwatch . . . . . . . . . . 23
3.2.5 AR-Brille ................................ 24
3.2.6 SmartDisplays............................. 25
4 Interaktionspatterns mit Worklist-Items 27
4.1 Kommunikation zwischen Informationssystem und multimodalen Geräten 27
4.1.1 Pull-Variante.............................. 27
4.1.2 Push-Variante............................. 29
4.1.3 Worklist-Items ............................. 32
4.2 Interaktionspattern zur Worklist Übersicht . . . . . . . . . . . . . . . . . . 32
4.2.1 Interaktionsdiagramm - Notation . . . . . . . . . . . . . . . . . . . 33
4.2.2 Vorgeschlagene Worklist-Items anzeigen . . . . . . . . . . . . . . 36
vii
Inhaltsverzeichnis
4.2.3 Meine Worklist-Items anzeigen . . . . . . . . . . . . . . . . . . . . 39
4.2.4 Alle Worklist-Items anzeigen . . . . . . . . . . . . . . . . . . . . . 41
4.2.5 Worklist-Item Details anzeigen . . . . . . . . . . . . . . . . . . . . 42
4.2.6 Worklist-Item reservieren . . . . . . . . . . . . . . . . . . . . . . . 48
4.2.7 Worklist-Item freigeben . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2.8 Worklist-Item delegieren . . . . . . . . . . . . . . . . . . . . . . . . 56
4.3 Interaktionspattern zur Worklist-Item Manipulation . . . . . . . . . . . . . 58
4.3.1 Worklist-Item starten . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.3.2 Worklist-Item pausieren . . . . . . . . . . . . . . . . . . . . . . . . 61
4.3.3 Worklist-Item beenden . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.3.4 Worklist-Item abbrechen . . . . . . . . . . . . . . . . . . . . . . . . 69
5 Interaktionsszenarien 75
5.1 Rollen in den Beispiel-Szenarien . . . . . . . . . . . . . . . . . . . . . . . 77
5.1.1 Produktionsarbeiter . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.1.2 Lagerist................................. 79
5.1.3 Sachbearbeiter............................. 80
5.2 Anwendungsszenarien anhand Anwendungsbeispielen . . . . . . . . . . 81
5.2.1 Anwendungsbeispiel: Produktionsarbeiter . . . . . . . . . . . . . . 81
5.2.2 Anwendungsbeispiel: Lagerist . . . . . . . . . . . . . . . . . . . . 88
5.2.3 Anwendungsbeispiel: Sachbearbeiter . . . . . . . . . . . . . . . . 93
6 Zusammenfassung und Ausblick 97
6.1 Zusammenfassung............................... 97
6.2 Ausblick..................................... 98
viii
1
Einleitung
Dieses Kapitel motiviert zuerst, dass Unternehmen mit verschiedenen Eingabe- und
Ausgabegeräten interagieren müssen und dadurch neue Interaktionsmöglichkeiten ent-
stehen. Anschließend wird beschrieben, welche Problemstellung für die Interaktion mit
verschiedenen Eingabe- und Ausgabegeräten existieren und welche Ziele mit dieser
Arbeit verfolgt werden. Zuletzt folgt der Aufbau dieser Arbeit.
1.1 Motivation
Die Digitalisierung und das Voranschreiten der Industrie 4.0 ermöglichen eine Einbin-
dung von verschiedenen Internet-Technologien und Smart-Geräte, die mit dem Internet
verbunden sind. Dadurch ist ein fundamentaler Wechsel zur Einbindung neuer vernetzter
Technologien in der Industriellen Herstellung entstanden. Einige wichtige Eigenschaften
der Industrialisierung sind Beispielsweise
kürzere Entwicklungszeiten
,
Individualisierung
auf Nachfrage,Flexibilität und Dezentralisierung. [1]
Deshalb ist die Investition in Industrie 4.0 in Deutschland mit den Jahren gestiegen
und wird laut einer Statistik (siehe Abbildung 1.1) bis 2020 auf 2.62 Milliarden steigen.
Anhand dieser Statistik ist es ersichtlich, dass die Unternehmen mehr in die Einbettung
von Industrie 4.0 investiert und dadurch die Einbindung neuer und unterstützender
Eingabe- und Ausgabegeräte ermöglichen. Die Verwendung von Augmented Reality
ermöglicht zusätzlich neue Möglichkeiten zur Interaktion mit Maschinen und Kunden
und bietet neue Interaktionsmöglichkeiten mit etablierten Eingabe- und Ausgabegeräten
in einem Unternehmen.
1
1 Einleitung
Abbildung 1.1: Prognose zu den Ivestition in die Industrie 4.0 in Deutschland [2]
Ein weiterer Schritt zur allgegenwärtigen Wartung (Vergleich [
3
]) sind Informationssyste-
me, die unterschiedliche Eingabe- und Ausgabegeräte unterstützen und dadurch multi-
modale Interaktionen ermöglichen. Dabei kommunizieren Eingabe- und Ausgabegeräte
mit den verfügbaren Schnittstellen des Informationssystems. Dadurch sind Interakti-
onspatterns und Interaktionsszenarien, unter Verwendung verschiedener Eingabe- und
Ausgabegeräten, wichtig für die Einbettung eines multimodalen Informationssystems.
1.2 Problemstellung
Durch das Integrieren von Industrie 4.0 werden viele Geräte im Unternehmen über das
eigene Netzwerk und das Internet verbunden und ermöglichen dadurch Interaktionen
2
1.3 Zielsetzung
untereinander. Deshalb ist es wichtig, dass ein multimodales Informationssystem die ver-
schiedenen Eingabe- und Ausgabegeräten und IoT Geräte unterstützt, registrieren und
verwalten kann. Dabei können nur die Geräte in einem Unternehmen miteinander kom-
munizieren, die über das multimodale Informationssystem miteinander verknüpft sind.
Des Weiteren ist es wichtig, dass Änderungen und Durchführungen auf den verschiede-
nen Ausgabegeräten synchronisiert werden. Um die Interaktionen der verschiedenen
Eingabe- und Ausgabegeräten untereinander zu definieren werden Interaktionspattern
benötigt. Diese Interaktionspatterns beschreiben die Interaktionsketten der unterschiedli-
chen Eingabe- und Ausgabegeräten.
1.3 Zielsetzung
Ziel dieser Arbeit ist die Entwicklung von Interaktionspatterns zur Darstellung der Interak-
tion verschiedenen Eingabe- und Ausgabegeräten. Dabei sollen die Interaktionspatterns
beispielhaft darstellen, welche Geräte untereinander kommunizieren und auf welcher
Art die Daten anschließend dargestellt werden können. Das Ziel der Interaktionspattern
ist, die Interaktionen zu definieren und die Möglichkeiten darzustellen. Die Interakti-
onspatterns, die in dieser Arbeit aufgelistet werden, sind nur ein Teil aller möglichen
Interaktionsvariationen. Zusätzlich sollen neben den Interaktionspatterns auch Inter-
aktionsszenarien erstellt werden, welche die Interaktion in einem Unternehmen und
in einem konkreten Fall darstellen. Hierbei sollen einige Rollen generiert werden und
anschließend die Anwendungsszenarien beschrieben werden.
1.4 Struktur der Arbeit
Die vorliegende Arbeit gliedert sich in sechs aufeinander aufbauende Kapitel. In Kapitel
2 werden die Grundlagen definiert, die für das Verständnis dieser Arbeit benötigt werden.
Dabei wird zunächst
BPMN
definiert und die verschiedenen Symbole und Mechanismen
erklärt. Nachfolgend wird der Begriff
Process-Aware Information System
näher erläutert
und anschließend werden Worklist-Items beschrieben.
3
1 Einleitung
Im folgenden Kapitel 3 werden
multimodale Systeme
erklärt und genauer definiert.
Anschließend werden die
verschiedenen Eingabe- und Ausgabegeräte
, die in dieser
Arbeit verwendet werden, erläutert. Dabei werden die Eigenschaften der Geräte einzeln
beschrieben und die Verwendung erläutert.
Das Kapitel 4 widmet sich anschließend den
Interaktionspatterns
, die zur Kommunikation
mit einem Informationssystem erstellt werden. Dabei wird einerseits auf die Kommu-
nikation zwischen Informationssystem und multimodalen Geräten eingegangen und
andererseits werden die Interaktionspatterns aufgelistet und die Interaktionsvariationen
beschrieben.
Anhand der erstellten Interaktionnspatterns wird in Kapitel 5
Interaktionsszenarien
er-
stellt. Hierbei werden zunächst die Rollen für die Interaktionsszenarien definiert und
anschließend werden die Anwendungsszenarien dargestellt und beschrieben.
Zuletzt schließt das Kapitel 6 mit einer Zusammenfassung und einem Ausblick auf
zukünftige Erweiterungen der Interaktionspatterns diese Arbeit ab.
4
2
Grundlagen
2.1 Process-Aware Information System (PAIS)
Ein Process-Aware Information System ist ein Softwaresystem, welches ausführbare Pro-
zesse verwaltet, ausführt und dabei Benutzer, Anwendungen und Informationsquellen auf
der Basis von Prozessmodellen einbezieht [
4
]. Das Interesse und die Verwendung von
Process-Aware Information Systeme ist gestiegen, dennoch arbeiten viele Unternehmen
noch manuell und mit handlich bearbeiteten Dokumenten, anstatt die Ausführung der
Prozesse durch ein Prozessmanagementsystem durchzuführen [
5
]. Dabei unterstützt ein
Process-Aware Information System die Verwaltung und Ausführung von Geschäftsmo-
dellen und bringt folgende Gründe für die Einführung von PAIS in einem Unternehmen:
Eine aktive Prozessunterstützung, die den Mitarbeitern oder Bearbeitern eine Aufga-
benliste und ein Ablaufschema bereitstellt. Diese Aufgaben können zudem von den
Mitarbeitern ausgeführt werden.
Teilaufgaben und Teilprozesse können automatisiert werden, dadurch müssen nicht alle
Aufgaben manuell vollzogen werden. Ändern sich außerdem die Gegebenheiten oder
der Markt eines Unternehmens können die Prozessmodelle schnell und flexibel an die
neuen Abläufe angepasst werden. Zusätzlich lassen sich Prozesse besser überwachen
und Fehler oder Probleme können leichter nachvollzogen werden. Zur Überwachun-
gen stehen zudem noch Performance-Daten zur Verfügung, wie beispielsweise die
durchschnittliche Ausführungszeit eines Prozesses.
Zusätzlich wird von einem Process-Aware Information System die Möglichkeit der belie-
bigen Verknüpfung von Anwendungsfunktionen (Services und Dienste) erwartet. Außer-
5
2 Grundlagen
dem sollten Process-Aware Information System Flexibilität zur Entwurfszeit, Flexibilität
zur Ausführungszeit und Prozessschemaevolution bieten [5].
•Flexibilität zur Entwurfszeit
Dies bedeutet, dass man rasch neue Prozessmodelle erstellen kann und diese
Modelle nachbearbeitet werden können. Dies ist bei den meisten Prozessmanage-
mentsystemen grafisch gelöst worden.
•Flexibilität zur Ausführungszeit
Dabei geht es um die Bearbeitbarkeit auf Prozessinstanzebene. Hierbei kann das
Modell während der Ausführung erweitert und bearbeitet werden. Dadurch können
bestimmte Instanzen zur Laufzeit individualisiert werden.
•Prozessschemaevolution
Dies ist die Fähigkeit eines Prozessmanagementsystems laufende Prozessinstan-
zen an ein geändertes Prozessmodell bzw. Schema zu migrieren. Dies ist nur
möglich soweit eine Prozessinstanz nicht zu vorangeschritten ist.
2.2 Business Model Process and Notation
Eine grafische Modellierung von Geschäftsprozessen wird unter anderem durch die
Notation BPMN 2.0 ermöglicht. Ein Prozessmodell ist dabei eine zeitliche Abfolge von
Aktivitäten oder Tätigkeiten. Zusätzlich lassen sich BPMN-Prozessmodelle mit anderen
Modellierungs- und Beschreibungssprachen kombinieren und erweitern. Dabei ist die
Frage, welche Personen an einem Geschäftsprozess beteiligt sind, bei der Entwicklung
von BPMN-Prozessmodellen wichtig.
Im Folgenden werden die einzelnen Prozesselemente von BPMN 2.0 eingeführt und
anhand von Prozessmodellbeispielen erläutert.
6
2.2 Business Model Process and Notation
BPMN Kernelemente
BPMN beinhaltet eine große Menge an grafischen Elementen, mit deren Hilfe ein Pro-
zessmodell erstellt werden kann. Für einige Prozesselemente existieren verschiedene
Typen und Varianten, mit denen ein Prozessmodell präziser modelliert werden kann.
Abbildung 2.1: BPMN Kernelemente im Überblick [6]
Mithilfe der Kernelemente bei der Modellierung mit BPMN 2.0 können Prozessmodelle
zusammengefasst werden. Dabei lassen sich die Kernelemente in den Gruppen Teil-
nehmer, Artefakte, Fluss-Objekte und den verbindenden Objekten zusammenfassen
(siehe Abbildung 2.1). Hierbei bilden die Fluss-Objekte die wichtigste Grundlage zur
Modellierung, da diese Elemente die Aktivitäten und Ereignisse in einem Prozessmodell
beschreiben. Die Fluss-Objekte, die in der Abbildung 2.1c) dargestellt sind, beinhaltet
die Elemente Aktivität, Ereignis und Gateway. Dabei beschreiben Aktivitäten Elemen-
te, die in einem Prozessmodell durchgeführt werden müssen. Deshalb repräsentieren
Aktivitäten die eigentlichen Tätigkeiten in einem Prozessmodell. Dabei kann es vorkom-
men, dass Aktivitäten nur unter bestimmten Bedingungen ausgeführt werden. Damit
diese Bedingungen beschrieben und dargestellt werden können werden Gateways ver-
wendet. Dabei beschreiben Ereignisse ein bestimmtes Geschehen im Prozessmodell,
wie beispielsweise der Start des Prozesses oder das Ende eines Prozesses. Damit
der Ablauf eines Prozessmodelles abgebildet werden kann werden Elemente aus der
7
2 Grundlagen
Kategorie verbindenden Objekte verwendet. Unter verbindenden Objekten werden Se-
quenzfluss, Nachrichtenfluss und Assoziation gruppiert. Flussobjekte werden innerhalb
eines Pools (bzw. einer Lane) durch Sequenzflüsse verbunden. Geht eine Verbindung
über Poolgrenzen hinweg, dann werden Nachrichtenflüsse verwendet. Artefakte, die
keinen Einfluss auf die Reihenfolge der Flussobjekte haben, werden mit Assoziationen
an Fluss-Objekten gebunden. Beispiele wurden in Abbildung 2.1d) abgebildet. Hierbei
können durch verschiedene Teilnehmer bestimmte Aktivitäten und Ereignisse ausge-
löst oder ausgeführt werden. Dabei repräsentiert eine
Lane
einen Teilnehmer in einem
Prozessmodell. Ein Beispiel für einen
Pool
und einer Lane ist in Abbildung 2.1a). Dabei
kann ein Teilnehmer entweder eine bestimmte Rolle oder ein bestimmter Mitarbeiter
sein. Durch einen Pool werden diese Teilnehmer gruppiert und zusammengefasst. Bei-
spielsweise können in einem Pool mit den Namen ’Enterprise’ die Lanes ’Buchhaltung’,
’Lager’ und ’Geschäftsführung’ vorhanden sein. Unter den Artefakten (siehe Abbildung
2.1b ) stehen die Elemente Datenobjekte, Gruppierung und Anmerkung. Um bestimmte
Datenflüsse zu kennzeichnen werden Datenobjekte verwendet. Mithilfe der Gruppierun-
gen lässt sich eine Anzahl von Elementen zu einer Gruppe zusammenfassen und durch
Anmerkungen lassen sich Kommentare oder textuelle Anmerkungen verfassen (Bps.
später für komplexe Gateways verwendet).
Als Beispiel wurde ein einfaches Prozessmodell in Abbildung 2.2 modelliert. Dabei
werden nur Blanko-Ereignisse verwendet.
Abbildung 2.2: Bestellung eines Artikels als Prozessmodell mit Blanko-Ereignissen [6]
Im Modell (siehe Abbildung 2.2) wird der Prozess über die Bestellung eines Artikels gest-
artet. Anschließend wird nach der Bestellung des Artikels ein Blanko-Zwischenereignis
an die Buchhaltung übermittelt. Die Buchhaltung bucht die Bestellung und leitet den
Versand an das Lager weiter. Nachfolgend verarbeitet das Lager die Bestellung und
versendet das Paket. Dieser Prozess wird durch die Annahme des versendeten Pa-
kets beendet. Das Modell beschreibt die einfachste Darstellung einer Bestellung, dabei
8
2.2 Business Model Process and Notation
wurden einige Aktivitäten (Bezahlung, Artikel verpacken usw.) wegen der einfachen
Lesbarkeit weggelassen.
Um eine große Variation an Prozessmodellen mit individuellen Abläufen modellieren zu
können werden verschiedene Gateways und Ereignisse in BPMN 2.0 definiert. Diese
werden in den nachfolgenden Abschnitten 2.2 und 2.2 aufgelistet und näher definiert.
Gateways
In BPMN gibt es eine vielzahl an verschiedenen Gateways. In Abbildung 2.3 wurden nur
die am häufigsten verwendeten Gateways aufgelistet und nachfolgend beschrieben.
Abbildung 2.3: Verschiedene Arten von Gateways
Dabei handelt es sich beim exklusiven Gateway um eine Bedingung bei der anschließend
ein Pfad gewählt wird. Ein exklusives Gateway ist in Abbildung 2.3a abgebildet. Hierbei
wird immer nur ein Pfad ausgewählt. Wichtig ist, dass die Bedingungen an denen die
Pfade gerichtet sind alle Möglichkeiten abdecken. Wie in der Abbildung 2.3 im Linken
Standard XOR-Gateway 2 Pfade mit Bedingungen definiert sind. Falls eine Zahl als
9
2 Grundlagen
Bedingung verwendet wird, so müssen alle Bedingungen gemeinsam alle Zahlen abde-
cken oder ein vordefinierter Standardzweig gewählt werden. Dabei ist es wichtig, dass
die Bedingungen der Pfade disjunktiv sind. Beispielsweise könnte der erste Pfad alle
Zahlen <0 und der zweite Pfad alle Zahlen >= 0 abdecken. Bei einem inklusiven Gateway
können sowohl ein, kein als auch mehrere Pfade gewählt werden. Dabei müssen die
Bedingungen dieses Gateways nicht alle Möglichkeiten abdecken, da falls keine Bedin-
gung eintrifft kein Pfad gewählt wird und die nächste Aktivität ausgeführt wird. Treffen
mehrere Bedingungen zu werden alle Pfade der zutreffenden Bedingungen aktiviert.
Dargestellt wird ein inklusives Gateway, wie in Abbildung 2.3c gezeigt, durch eine Route
mit einem Kreis in der Mitte. In Abbildung 2.3b handelt es sich um ein Gateway bei denen
alle Pfade angesteuert werden können, allerdings wird erst dann fortgesetzt, wenn alle
Pfade beendet wurden. Dadurch können parallele Aktivitäten abgebildet werden. Falls
ein Verhalten geforder wird, welches mit den anderen Gateways alleine nicht modelliert
werden kann, dann findet das komplexe Gateway dort Anwendung (siehe Abbildung
2.3d ). Ein Beispiel hierbei wäre: Wir befragen 5 Gutachter zu einem Unfall und möchten
unsere Entscheidung treffen sobald 3 Meinungen der Gutachter eingegangen sind. Das
Problem ist, mit einem OR-Gateway oder einem AND-Gateway lässt sich dieses Verhal-
ten nicht realisieren, da beide Gateways anschließend auf die Beendigung aller Pfade
(aller 5 Gutachter) warten. Deswegen benötigen wir nun das komplexe Gateway, hier
können wir als Bedingung hinzufügen 3 von 5, das Bedeutet bei 3 Meinungen wird der
Prozess fortgeführt und alle weiteren Meinungen werden nicht mehr weiter betrachtet
(Siehe Abb.2.3 Beispiel Komplexes-Gateway) [6].
Ereignisse
Ein Geschehen, wie der Eingang einer Nachricht, wird durch ein Ereignis dargestellt,
welches vor, während oder am Ende eines Prozesse stattgefunden hat [
6
]. Dabei definiert
BPMN viele verschiedene Ereignisse und im Beispiel (Abb.2.2) wurden Startereignis,
Zwischenereignis und Endereignis verwendet. Eine Liste ausgewählter Ereignisse ist in
Abbildung 2.4 dargestellt.
10
2.2 Business Model Process and Notation
Abbildung 2.4: Liste an eine Auswahl von Ereignissen aus BPMN 2.0
Das
Startereignis
(siehe Abbildung 2.4a ) beschreibt den Start eines Prozesses. Anhand
dieses Ereignisses kann der Grund für den Start eines Prozesses abgelesen werden.
Ein
Zwischenereignis
(siehe Abbildung 2.4b ) wird verwendet um einen Zustand oder ein
Status in einem Prozess festzuhalten. Zwischenereignisse werden jedoch selten verwen-
det. Das Ende eines Prozesses oder eines Prozesspfads wird durch ein Endereignisse
dargestellt (siehe Abbildung 2.4c ). Durch ein
Nachrichtenereignis
(siehe Abbildung 2.4d
) lassen sich Kommunikationen in einem Prozess abbilden. Dabei beschränkt sich der
Begriff Nachricht nicht nur auf Briefe, E-Mails oder Anrufe. Zeitabhängige Ereignisse
lassen sich mit einem
Zeitereignis
(siehe Abbildung 2.4e ) generieren. Ein Zeitereignis
als Startereignis kann als Intervall (Bsp. alle 2 Stunden), Regelmäßigkeit (Bps. Mo-Fr
um 8:00 Uhr) oder einmalig zu einem bestimmten Zeitpunkt (Bps. Am 22.12 um 10:00
Uhr) verwendet werden.
Zeitereignisse als Zwischenereignisse können als Timer zu einem bestimmten Zeitpunkt
(Bsp. bis 18 Uhr), Timer zu einer Zeitspanne (Bsp. 14:30 Uhr bis 16 Uhr) oder zu ei-
nem Timer nach einer Aktivität (Bsp. nach 30 Minuten inaktivität) verwendet werden.
Taucht in einem Prozess ein Fehler (Exception) auf oder wird ein Fehler geworfen, dann
können Fehlerereignisse (siehe Abbildung 2.4f ) in BPMN, durch einen Blitz dargestellt,
11
2 Grundlagen
verwendet werden. Fehler werden in BPMN nicht genauer definiert oder spezifiziert.
Durch die Verwendung einer Bedingungsereignises (siehe Abbildung 2.4g ) wir ein
Ereignis gewählt, bei dem ein Prozess nur dann fortgesetzt oder gestartet werden kann,
wenn die Bedingung erfüllt ist. Diese Bedingung kann unabhängig vom Prozess erfüllt
werden. Beispiel: Im Prozess (Abb.2.2) kann ein Artikel nur versendet werden, falls
alle Teile verfügbar sind. Deshalb könnte man eine Bedingung ’Alle Artikel verfügbar’
einfügen, der erfüllt werden muss. Das
Signalereignis
(siehe Abbildung 2.4h ) ist dem
Nachrichtenereignis sehr ähnlich, allerdings besteht der Unterschied darin, dass das
Nachrichtenereignis einem bestimmten Empfänger zugeordnet ist, wohingegen das
Signalereignis ungerichtet ist. Ein
Linkereignis
(siehe Abbildung 2.4i ) ist keiner spe-
ziellen Bedeutung zugeordnet und stellt ein Sonderfall dar. Mithilfe des Linkereignis
lassen sich Brücken in einem Prozessmodell bauen, damit sich Sequenzflüsse oder
Nachrichtenflüsse nicht schneiden. Bei einem
Kompensationsereignis
(siehe Abbildung
2.4j ) geht es um Aktivitäten und Abläufe in einem Prozess, die bei einer bestimmten
Bedingung Rückgängig gemacht werden müssen. Beispiel aus Abbildung 2.2: Wird die
Bestellung des Artikels während der Bearbeitung im Lager storniert, so kann mithilfe
der Verwendung des Kompensationsereignisses die Reservierung der Artikel rückgän-
gig gemacht werden und die Bestellung storniert werden. Bei einem
Mehrfachereignis
(siehe Abbildung 2.4k ) lassen sich mehrere Ereignisse gleichzeitig auslösen oder emp-
fangen. Beispielsweise kann ein Mehrfachereignis sowohl das Ereignis eines Timers
zum Abbruch als auch das Nachrichtenereignis zum abbrechen entgegennehmen. Die
Terminierung (siehe Abbildung 2.4l ) wird in Prozessen verwendet, in denen mehrere
Pfade gleichzeitig aktiviert werden, allerdings der Prozess bei der Beendigung eines be-
stimmten Pfades oder unter einer bestimmten Bedingung beendet werden soll. Erreicht
eine Prozessinstanz eine Terminierung so wird der ganze Prozess beendet. Tritt während
der Ausführung einer Aktivität (siehe Abbildung 2.4m ) ein Zwischenereignis auf, so
wird die laufende Aktivität unterbrochen und die Abhandlung des Ereignisses gestartet.
Solange das Ereignis behandelt wird betrifft dies die laufende Aktivität als auch all ihre
nachfolgenden Aktivitäten, da die laufende Aktivität nicht beendet wird. Aktivitäten mit
dieser Eigenschaft werden Aktivität mit eintretendes Zwischenereignis genannt. Oftmals
kann das Verhalten des eintretenden Zwischenereignisses bei einer Aktivität, durch
12
2.2 Business Model Process and Notation
die Beendigung der Aktivität, zu Problemen führen. Deswegen kann in BPMN 2.0 das
Symbol des nicht-unterbrechende angeheftete Zwischenergebnis (siehe Abbildung 2.4n
) verwendet werden. Hierbei wird die laufende Aktivität nicht unterbrochen sobald das
Zwischenereignis eintritt und zeitgleich die Abhandlung des Zwischenereignisses parallel
gestartet werden [6].
Teilprozesse
Um Übersicht zu gewinnen kann ein Prozessmodell durch mehrere Teilprozesse reprä-
sentiert werden. Zusätzlich können Teilprozesse in verschiedenen Prozessmodellen
wiederverwendet werden [6].
In der Abbildung 2.5 wurden Aktivitäten zu Teilprozesse zusammengefasst. Dabei wurde
das Beispiel des einfachen Prozesses (siehe Abbildung 2.2) um einen Pool und den
verschiedenen Teilnehmern Lieferant, Buchhaltung, Lager und Lieferant erweitert. Zu-
sätzlich wird nun beim Versand der Bestellung aus dem Lager zum Lieferanten und vom
Lieferanten zum Käufer Nachrichtenereignisse verwendet um den Versand des Paketes
besser darzustellen.
Abbildung 2.5: Beispiel einer Bestellung mit Teilprozessen zur einfacheren Darstellung
Bestimmte Aktivitäten werden durch die Teilprozesse in Abbildung 2.5 zusammengefasst.
Der Gesamtprozess ist in Abbildung 2.6 dargestellt.
13
2 Grundlagen
•Artikel bestellen:
Dieser Teilprozess fasst den Ablauf der Artikelbestellung zusam-
men. Hierbei kann der Käufer mehrere Artikel in den Warenkorb legen (Loop).
Er kann sich bei jeder Iteration für ’weiter einkaufen’, ’fertig’ und ’abbrechen’ ent-
scheiden. Die Aktivitäten zur Bearbeitung des Warenkorbs und der Entfernung
von Artikeln aus dem Warenkorb wurden hierbei vernachlässigt. Wählt der Käufer
abbrechen aus, so wird der gesamte Prozess beendet. Ist der Käufer mit seinen
Artikeln fertig so kann er den Warenkorb erneut betrachten. Anschließend wird der
Kunde zur Kasse gebeten und die Bestellung abgeschlossen.
•Bestellung buchen:
Dieser Teilprozess fasst die Aktivität Bestellung buchen zusam-
men. Zunächst verarbeitet die Buchhaltung die bestellten Artikel und erstellt die
Rechnung parallel zur Reservierung der Artikel. Nachdem die Rechnung erstellt
wurde wird die Rechnung zum Kunden Versand und auf die Zahlung des Kunden
gewartet. Nachdem die Zahlung abgeschlossen wurde und die Artikel reserviert
wurden wird der Versand der Artikel an das Lager weitergeleitet.
•Bestellung verarbeiten:
In diesem Teilprozess wird die Lieferung vorbereitet, dabei
werden parallel die Artikel verpackt und die Lieferung vorbereitet und der Lie-
fertermin festgelegt. Nachdem kann die Lieferung des Artikels an den Kunden
weitergeleitet werden.
14
2.2 Business Model Process and Notation
Abbildung 2.6: Beispiel einer Bestellung ohne Teilprozessen 15
2 Grundlagen
2.3 Worklists
Während der Verwendung eines Process-Aware Information System, wie in Abschnitt
2.1 definiert, werden Benutzer und Teilnehmer zu Prozessmodellen und Aktivitäten zuge-
ordnet. Dabei besitzt jeder Benutzer und das System selbst eine Worklist. Während der
Ausführung eines Prozessmodells werden Aufgaben erstellt und diese in den Worklists
der Benutzer und des Systems hinzugefügt. Daher ist eine Worklist eine Ansammlung
an Aufgaben (in dieser Arbeit als Worklist-Items genannt). Die Worklist verwaltet die
Worklist-Items. Die Darstellung der Worklist wird meistens als Liste präsentiert, wodurch
der Benutzer eine Übersicht über seine Worklist-Items, die er bearbeiten kann, bekommt.
[7, 8, 9]
2.3.1 Worklist-Item
Wird ein Prozessmodell ausgeführt, so wird eine Prozessinstanz erstellt. Ein Worklist-
Item spiegelt eine Aufgabe in einer Prozessinstanz wieder. Führt der Benutzer dieses
Worklist-Item aus, so wird die Aktivität als beendet markiert und die Prozessinstanz wird
fortgesetzt. Jedes Worklist-Item besitzt Informationen, anhand dessen die Festlegung
der Reihenfolge zur Abarbeitung wichtig ist [
10
,
11
]. Die Attribute sind in der Tabelle
2.3.1 aufgelistet [10, 12].
Ein Worklist-Item kann in verschiedenen Zuständen, siehe Abbildung 2.7, sein [
12
].
Zunächst ist das Worklist-Item im Zustand
Not_Activated
. Nachfolgend wird das Worklist-
Item durch das Aktivieren in den Zustand
Activated
transferiert. Aus diesem Zustand
aus kann der Benutzer einerseits das Worklist-Item reservieren und dadurch in den
Zustand
Selected
bringen oder andererseits direkt starten und in den Zustand
Started
führen. Anschließend wird das Worklist-Item verarbeitet und beendet. Dann befindet
sich das Worklist-Item im Zustand
Completed
. Zusätzlich lässt sich ein Worklist-Item
aus dem Zustand Started in die Zustände Suspended,Skipped und Failed bringen.
16
2.3 Worklists
Name Beschreibung
Identifikationsnummer
Dadurch wird eine eindeutige Kennzeichnung des Worklist-
Items gesichert
Titel
Der Name des Worklist-Items ist im Titel gespeichert. In den
meisten Fällen spiegelt der Titel den Namen der Aktivität im
Prozessmodell wieder
Beschreibung
Zusätzlich kann eine Beschreibung zum Worklist-Item hinzu-
gefügt werden
Typ des Worklist-Items
Der Type eines Worklist-Items wird durch die Zuordnung zur
Aktivität festgelegt
Potentielle Bearbeiter
Je nach Qualifikation und Zuordnung enthält dieses Attribut
eine Auflistung von möglichen Benutzern
Status
Je nach Bearbeitungsfortschritt und Zustand kann der Bear-
beitungsstatus aus diesem Attribut gelesen werden
Priorität
Dieses Attribut definiert die Wichtigkeit und Dringlichkeit des
Worklist-Items
Aufgabenzuordnung Prozessschrittzugehörigkeit eines Worklist-Items
Erstelldatum Datum an dem das Worklist-Item erstellt wurde
Startdatum
Datum und Zeitpunkt an dem die Bearbeitung des Worklist-
Items gestartet wurde
Fälligkeitsdatum
Datum an dem das Worklist-Item spätestens beendet sein
muss
Abschlussdatum
Datum und Zeitpunkt an dem das Worklist-Item als beendet
markiert wurde
Anmerkungen
Falls Notizen abgelegt werden sollen können diese unter An-
merkungen hinzugefügt werden.
17
2 Grundlagen
Activated
Selected
T3
T4
Not_Activated
T2 T1
Started
T6
Suspended
T7 T8
Skipped
T11 Completed
T10
Failed
T5
T12
T9
WAITING RUNNING TERMINATED
T1: Enable | T2: Disable | T3: Select | T4: Deselect | T5: Start | T6: Start | T7: Suspend |
T8: Resume | T9: Skip | T10: Abort | T11: Finish | T12: Skip
Abbildung 2.7: Worklist-Item Zustände und Übergänge [12]
18
3
Multimodale Benutzerschnittstellen
In diesem Kapitel wird zunächst der Begriff
Multimodale Systeme
näher erläutert und
anschließend die verschiedenen Eingabe- und Ausgabegeräte näher beschrieben.
3.1 Multimodale Systeme
Ein multimodales System unterstützt die Kommunikation zwischen Benutzer und Sys-
tem auf verschiedenen Modalitäten wie Sprache, Gesten, Gaze-Control und direkter
Finger- oder Stifteingabe. Hierbei kann der Benutzer in einem multimodalen System über
verschiedene Kommunikationskanäle interagieren. Das System erkennt anschließend
die Bedeutung der Eingaben über die verschiedenen Kommunikationskanäle automa-
tisch. Dabei kann beobachtet werden, dass sowohl multimediale Systeme als auch
multimodale Systeme verschiedene Kommunikationskanäle verwenden. Allerdings ist
ein multimodales System in der Lage über ein hohes Level der Abstraktion die Informa-
tionen automatisch zu modellieren und zu analysieren. Dabei analysiert das Systeme
verschiedene Kommunikationskanäle gleichzeitig. [13]
Die Interaktion des Benutzers mit einem multimodalen System kann dabei auf einem
oder mehreren Kommunikationskanälen gleichzeitig durchgeführt werden. Wenn die
Verwendung der Eingabetechnik frei wählbar ist verwenden viele Benutzer ein multimo-
dales System mit verschiedenen Kommunikationskanälen, wie Sprache und Gesten.
Allerdings ist zu beachten, dass Benutzer nicht alle Interaktionen in einem multimodalen
System multimodal durchführen. Je nach Anweisung und Aufgabe vermischen die Be-
nutzer unimodale und multimodale Eingaben [
14
]. Laut einer Studie aus 1997 werden
lediglich 20% der Benutzereingaben multimodal durchgeführt. Alle weiteren Eingaben
19
3 Multimodale Benutzerschnittstellen
fanden über Sprache oder Texteingabe statt [
15
]. Die Verwendung von mehreren Kom-
munikationskanälen gleichzeitig ist sowohl abhängig von der Aufgabe als auch von der
verwendeten Eingabe [
14
]. Verwendet ein Benutzer sein Smartphone zur Eingabe so
wird er mit hoher Wahrscheinlichkeit nicht gleichzeitig die Sprachsteuerung verwenden.
In dieser Arbeit werden verschiedene Interaktionsszenarien unter Verwendung verschie-
dener Eingabe- und Ausgabegeräten betrachtet. Die unterschiedlichen Kommunikations-
möglichkeiten werden im nachfolgenden Abschnitt beschrieben.
3.2 Verschiedene Eingabe- und Ausgabegeräte
Um mit einem multimodalen Informationssystem kommunizieren zu können werden ver-
schiedene Eingabe- und Ausgabegerät benötigt. Dabei gibt sind die Geräte in Eingabe,
Ausgabe und Ein-/Ausgabe kategorisiert. Die Gerätekategorien, die in den Interaktionss-
zenarien verwendet werden, sind in Abbildung 3.1 aufgelistet.
Speechassistant
Input: Input / Output:
Smartphone
Tablet
Laptop
Smartwatch
Output:
Big Screen
Gesture
AR Brille
(Holo-Lens)
IOT
Connected
machine or
Workstation
Others:
Server
Abbildung 3.1:
Eingabe- und Ausgabegeräte für die Interaktion mit einem multimodalen
Informationssystem
20
3.2 Verschiedene Eingabe- und Ausgabegeräte
In der Abbildung 3.1 werden die Eingabegeräte Sprachassistent (Speechassistant),
Gesten-Steuerung (Gesture), IoT und Workstation (Connected machine or Workstation)
aufgelistet. Mithilfe dieser Geräte können Anfragen an das multimodale Informationssys-
tem gesendet werden.
Neben den Eingabegeräten gibt es Smartphone, Tablet, Laptop/PC, Smartwatch sowie
die AR-Brille (Mixed-Reality-Brille) als Eingabe- und Ausgabegerät. Diese Geräte bieten
die Möglichkeit Daten einzugeben und wichtige Informationen anzuzeigen.
Letztlich gibt es auch Geräte, die nur als Ausgabegeräte dienen. Diese Geräte können
wichtige Informationen anzeigen, allerdings besitzen sie keine Eingabemöglichkeit. In
dieser Kategorie befinden sich große Displays, die Informationen zu einzelnen Personen
oder ganzen Teams anzeigen können.
3.2.1 Sprachsteuerung und Sprachassistent
Bei der Sprachsteuerung handelt es sich um die Eingabemöglichkeit über die natürliche
Sprache. Dabei werden die Anfragen über Sprachbefehle erkannt und ausgeführt. Zum
Beispiel lassen sich damit Befehle wie
Musik lauter
oder
Navigation starten
in Fahrzeu-
gen realisieren. Darüber hinaus führt ein Sprachassistent ein Dialog mit dem Benutzer
um eine bestimmte Aufgabe oder Anforderung durchzuführen. Bekannte Sprachassisten-
ten sind Amazaon Alexa [
16
], Google Home [
17
] und Microsoft Cortana [
18
]. Man kann
zum Beispiel mithilfe der Entwicklung von Alexa Skills die Kommunikation mit einem
multimodalen Informationssystem realisieren. [19]
Der Amazon Echo Dot (siehe Abbildung 3.2) ermöglicht die Eingabe über Spracherken-
nung und die Verarbeitung des Gesagten mithilfe der Definition eines Endpoints. Dieser
Endpoint kann zum Beispiel ein Python Skript sein, welches mit dem multimodalen
Informationssystem kommuniziert (siehe [19]).
Die Sprachassistenten wie der Echo Dot ermöglichen die Kommunikation und helfen
einen Dialog zu führen. Bestimmte Antworten und Inhalte können durch den Lautspre-
cher wiedergegeben werden. Allerdings gibt es zur Zeit keine Möglichkeit Informationen
über den Echo Dot auszugeben ohne das der Benutzer den Dialog initialisiert. Daher
21
3 Multimodale Benutzerschnittstellen
zählt der Sprachassistent in dieser Arbeit als reines Eingabegerät, da kein Ausgabe von
Informationen gepusht werden können.
Abbildung 3.2: Alexa Echo Dot 2. Generation [20]
3.2.2 Gestensteuerung
Eine Vielzahl von Gesten mit Fingerzeichen, Hand-, Körper- oder Kopfbewegungen wer-
den verwendet um Informationen zwischen Menschen zu transportieren. Daher können
Gesten als ein natürlicher Kommunikationskanal berücksichtigt werden. Diese Gesten
können zum Beispiel durch kleine kabellose Geräte über einen Beschleunigungssensor
erfasst werden. Eine weitere Möglichkeit zur Erkennung von Gesten ist eine Kamera-
basierte Gesten-Erkennung. [
21
] Die Gesten-Erkennung lässt sich zum Beispiel mithilfe
einer Smartwatch oder einer Mixed-Reality Brille (AR-Brille) erkennen.
3.2.3 IoT und Workstations
Im Internet of Things (IoT) Paradigma wird davon ausgegangen, dass viele Objekte
die uns umgeben mit dem Netzwerk beziehungsweise dem Internet kommunizieren.
Mit der wachsenden Netzwerkabdeckung durch WiFi, 4G-LTE und weiteren drahtlosen
22
3.2 Verschiedene Eingabe- und Ausgabegeräte
Internetzugangspunkten wird die Anbindung von IoT Geräten immer leichter [
22
]. Bei-
spielsweise können Sensoren, Parkautomaten oder Fertigungsmaschinen IoT Geräte
sein, die Informationen über das Netzwerk zugänglich machen. Die in dieser Arbeit
aufgefassten Workstation beschreiben ein Gerät oder eine Maschine, die unabhängig
mit dem multimodalen Informationssystem oder einem anderen Informationssystem
kommuniziert. Dabei verhält sich die Maschine wie ein IoT Gerät, welches Informationen
an das Informationssystem sendet. Eine Workstation könnte zum Beispiel eine Abgas-
Messeinrichtung in einer Produktionsfirma sein. Die Daten der Abgas-Messeinrichtung
werden an das Informationssystem gesendet und können anschließend von anderen
Geräten abgefragt und verwendet werden.
3.2.4 Smartphone, Tablet, Laptop/PC und Smartwatch
Smartphones und Tablets gehören zu den mobilen Eingabe- und Ausgabegeräte. Durch
die einfache Eingabe über einen Touchscreen können verschiedene Anwendungen
ausgeführt werden. Die Unterstützung der Installation von Apps ermöglicht die Entwick-
lung einer Applikation, die mit einem multimodalen Informationssystem kommunizieren
kann. Zusätzlich bieten Smartphones und Tablets die Möglichkeit der Verwendung der
eingebauten Kamera und Sensoren wie Acceleration Sensor und GPS-Standort.
Der Laptop und PC gehören zu den verbreitetsten Geräten in Büros und ermöglichen
den Benutzern eine Vielzahl von Funktionalitäten und Programmen. Der Laptop zählt
auch zu einem mobilen Gerät und kann auch zu anderen Orten transportiert werden.
Ein weiteres mobiles Gerät ist die Smartwatch. Dieses Gerät wird am Arm des Benut-
zers getragen und bietet einen kleinen Display zur Anzeige von Informationen. Mithilfe
einer Smartwatch können Benachrichtigungen direkt an den Benutzer gesendet und
mit einer kleinen Handbewegung gelesen werden. Zusätzlich lässt sich der Eingang
einer Benachrichtigung über die Vibrationsfunktion der Smartwatch realisieren. Dadurch
können Benachrichtigung geräuschlos empfangen werden.
23
3 Multimodale Benutzerschnittstellen
3.2.5 AR-Brille
Die Augmented Reality (AR) ist eine Variation der Virtal Reality (VR). Bei der Virtual
Reality wird der Benutzer in eine virtuelle Umgebung getaucht, dabei kann der Benutzer
die reale Welt nicht mehr sehen. Die Augmented Reality hingegen ermöglicht es dem
Benutzer die reale Welt zu sehen, in der virtuelle Objekte projiziert werden. Daher kann
man sagen, dass die Augmented Reality die Realität erweitert anstatt sie komplett zu
ersetzen. [23]
Real
Environment Augmented
Realitiy Augmented
Virtuality Virtual
Reality
Mixed Reality
Abbildung 3.3: Verschiedene Arten der Mixed Reality [24]
Sowohl die Virtual Reality als auch die Augmented Reality gehören zu der Kategorie
Mixed Reality, wie in der Abbildung 3.3 dargestellt. In dieser Abbildung sind die Mixed
Reality Arten Augmented Reality, Augmented Virtuality und Virtual Reality neben der
realen Welt abgebildet. In der Augmented Virtuality werden zur virtuellen Realität Ob-
jekte der realen Welt projiziert [
24
]. Es gibt Head-worn Displays (HWD), dass heißt die
Benutzer tragen eine Brille oder Helm. Die Brille projiziert anschließend die virtuellen
Objekte in das Sichtfeld des Benutzers. Mithilfe einer App auf dem Smartphone und der
Verwendung der Kamera kann AR auf einem mobilen Gerät verwendet werden. Diese
AR-Art nennt man Handheld Displays. [24]
Mithilfe der Augmented Reality lassen sich wichtige Informationen in die reale Welt bezie-
hungsweise in die Blickrichtung des Benutzers projizieren. Diese Informationen könnten
zum Beispiel Baupläne oder Anleitungen sein, die jeden Arbeitsschritt dokumentieren.
24
3.2 Verschiedene Eingabe- und Ausgabegeräte
Die Umsetzung der Augmented Reality werden zum Beispiel durch die Google Glass
und der Microsoft HoloLens vorangetrieben. Beispielsweise besitzt die HoloLens 2 HD
Displays für die Projektion der virtuellen Objekte, 4 Kameras zur Umgebungserkennung,
1 Kamera zur Erkennung der Tiefe und 4 Mikrofone zur Spracherkennung. Dadurch
unterstützt die HoloLens Gaze-Tracking, Gestenerkennung und Spracherkennung. [
25
]
3.2.6 Smart Displays
Smarte Displays gehören zu der Kategorie Ausgabegeräte und bieten dem Benutzer
keine direkten Eingabemöglichkeiten. Allerdings können diese Displays verschiedene
Größen besitzen und für verschiedene Anwendungszwecke verwendet werden. Bei-
spielsweise kann ein großer Bildschirm in einem Büro für eine Team-Übersicht verwendet
werden. Ein weiterer Verwendungszweck wäre die Verwendung des Displays für die
Darstellung von Anleitungen oder Informationen zu einer bestimmten Arbeit.
25
4
Interaktionspatterns mit Worklist-Items
In diesem Kapitel werden die verschiedenen Interaktionspatterns beschrieben mit denen
Benutzer mit einem multimodalen Informationssystem arbeiten können. Zunächst wird im
folgenden Abschnitt auf die Kommunikation zwischen den Eingabe- und Ausgabegeräten
mit einem Informationssystem beschrieben. Anschließend werden die verschiedenen
Interaktionspatterns zur Worklist Übersicht und Worklist-Item Manipulation definiert.
4.1 Kommunikation zwischen Informationssystem und
multimodalen Geräten
In diesem Abschnitt wird die Kommunikation zwischen den Eingabe- und Ausgabegerä-
ten mit einem multimodalen Informationssystem beschrieben. Dabei werden die Daten
zwischen den Geräten und dem Informationssystem ausgetauscht und gegeben falls
geupdated. Wird ein Worklist-Item beispielsweise beendet und fertig gestellt, so wird
diese Änderung live an den verfügbaren Geräten gesendet und angezeigt. In dieser
Arbeit werden die Daten entweder durch eine Pull-Variante bezogen oder durch die
Push-Variante benachrichtigt.
4.1.1 Pull - Variante
Die Pull-Variante ist die Standardmöglichkeit Daten aus dem multimodalen Informati-
onssystem zu beziehen. Dabei werden die Anfragen durch die Geräte an das System
gesendet und eine Antwort wird generiert und zurück gesendet. Die Abbildung 4.1 zeigt
die Kommunikation der verschiedenen Geräte mit dem Informationssystem.
27
4 Interaktionspatterns mit Worklist-Items
PC / Smartphone / Tablet PAIS
Wireless or wired
Request Data
Pull - Data
Return Data
1. Request Data
Wireless
PAIS
2. Request Data
3. Return Data
4. Return Data
Smartwatch Smartphone or Tablet
Abbildung 4.1:
Kommunikation der verschiedenen Eingabe- und Ausgabegeräten mit
einem multimodalen Informationssystem
In der Abbildung 4.1 ist aufgezeichnet, dass PC beziehungsweise Laptop über LAN
oder WLAN mit einem Netzwerk verbunden sind und die Daten über eine Anfrage an
das Informationssystem beziehen. Sowohl Smartphone sowie das Tablet sind über eine
drahtlose Verbindung mit einem Netzwerk verbunden und können mit dem gleichen
Verfahren Daten zu beziehen. Die Anwendungen können auf dem PC/Laptop über den
Webbrowser abrufbar sein oder eine eigene Anwendung kann verwendet werden. Bei
den mobilen Geräten wie Smartphone und Tablet kann eine Anwendungsspezifische
App oder eine mobile Seite im Webbrowser verwendet werden. Die Anfragen an das
Informationssystem können über eine REST-Schnittstelle oder eine SOAP-Schnittstelle
abgefragt werden, dies ist allerdings abhängig vom verwendeten Informationssystem.
IoT und Workstations sind entweder drahtlos oder kabelgebunden an ein Informations-
system gebunden. Einige IoT Sensoren geben nur Daten zurück beziehungsweise Daten
können abgefragt werden, deshalb müssen nicht alle IoT Geräte mit einem Informations-
system kommunizieren. Alle Workstations die mit einem Informationssystem verbunden
sind können Daten senden und empfangen. Dennoch wird es Workstations geben, die
nicht mit einem Informationssystem kommunizieren.
28
4.1 Kommunikation zwischen Informationssystem und multimodalen Geräten
Der Sprachassistent kann sowohl kabellos als auch kabelgebunden mit einem Informati-
onssystem kommunizieren. Beispielsweise werden die Sprachkommandos bei Amazon
Echo Dot an einen Endpunkt weitergeleitet. Dieser Endpunkt, der z.B. mit Python entwi-
ckelt wurde, kann anschließend Anfragen an das Informationssystem senden und mit
den empfangenen Daten eine Antwort generieren.
Die Smartwatch ist mit Bluetooth mit einem Smartphone oder einem Tablet verbunden.
Die Daten werden über das Smartphone oder Tablet abgefragt und anschließend über
Bluetooth an die Smartwatch weitergeleitet. Dadurch werden Informationen vor dem
Senden an die Smartwatch gefiltert und vorbereitet. Es gibt Smartwatches mit einge-
bauten WLAN-Modul, diese Geräte können sich dann selbstständig mit einem Netzwerk
verbinden und Daten selbst abfragen.
Die Augmented Reality Brille kann einerseits als eigenständiges Gerät, als AR-Brille mit
integrierter Gesten-Erkennung und als AR-Brille die mit einem PC/Laptop, Smartphone
oder Tablet über Bluetooth verbunden ist vorkommen. Die eigenständige AR-Brille kann
Daten vom multimodalen Informationssystem über Anfragen direkt abfragen. Auf der
anderen Seite kann die über Bluetooth verbundene AR-Brille Anfragen über das verbun-
dene Gerät absenden. Zusätzlich werden die Daten, die der PC/Laptop, Smartphone
oder das Tablet empfangen, direkt an die AR-Brille weitergeleitet.
4.1.2 Push - Variante
Die Push-Variante bietet eine Möglichkeit, um die Datenabfrage über das multimodale
Informationssystem anzustoßen. Deshalb sendet das Informationssystem eine Nachricht
und diese wird von einem Gerät empfangen und verarbeitet. Dabei bemerkt das Gerät,
dass diese Nachricht einen Befehl besitzt und kann diese falls nötig ausführen. Die
Abbildung 4.2 zeigt den Anstoß einer Push-Benachrichtigung von einem Eingabegerät
zum multimodalen Informationssystem. Dabei wird zum Beispiel eine Nachricht vom
PC oder Smartphone an das Informationssystem gesendet und das System erkennt,
dass diese Nachricht an weitere Geräte weitergeleitet werden soll. Anschließend sendet
29
4 Interaktionspatterns mit Worklist-Items
das multimodale Informationssystem eine Push-Benachrichtigung mit einem Befehl zum
Abgreifen einer bestimmten Ressource oder zum Anzeigen einer Information.
PC / Smartphone / Tablet
PAIS
Wireless or wired
Request Data
Push - Data
Return Data
Big Screen
Push command (request data)
Push command (request data)
AR glass
Abbildung 4.2:
Benachrichtigung verschiedener Ausgabegeräte zur Abfrage von Daten
Je nach Einstellung des Informationssystems wird die Push-Benachrichtigung an alle
verbundenen Geräten, welche zum Benutzer oder zur Arbeitsgruppe des Benutzers
gehören, gesendet. In Abbildung 4.3 ist die Abfrage der detaillierten Ansicht eines
Worklist-Items abgebildet.
Die Interaktion wird durch das Eingabegerät AR-Brille mit eingebauter Gestenerken-
nung gestartet. Die initiale Anfrage ist eine Detailansicht eines Worklist-Items und wird
über die Funktion
getDetailsOfTask(12580)
, wie in Abbildung 4.3 abgebildet, an das
multimodale Informationssystem gesendet. Anschließend generiert das multimodale In-
formationssystem eine Antwort mit den detaillierten Eigenschaften eines Worklist-Items
und sendet diese Daten an die AR-Brille zurück. Nachfolgend sendet das Systeme eine
Push-Benachrichtigung an die Ausgabegeräte PC, Smartphone, Tablet, großes Display
und Smartwatch.
30
4.1 Kommunikation zwischen Informationssystem und multimodalen Geräten
multimodal Information
System
AR glasses with integrated
gesture recognition
getDetailsOfTask(12580)
DetailedTask
Big Screen
Push Command - showDetailsOfTask with ID 12580
getDetailsOfTask(12580)
DetailedTask
PC / Smartphone / Tablet
Push Command - showDetailsOfTask with ID 12580
getDetailsOfTask(12580)
DetailedTask
Smartwatch
Push Command - showDetailsOfTask with ID 12580
Abbildung 4.3:
Abfrage der detaillierten Ansicht eines Worklist-Items mit Push-
Benachrichtigung
Zur Unterstützung der Benutzer versuchen die Ausgabegeräte großes Display, Smartpho-
ne, Tablet und PC die Informationen des Worklist-Items anzuzeigen, deshalb wird eine
Anfrage zu den detaillierten Daten explizit von den Geräten an das Informationssystem
gesendet. Bei dieser Anfrage muss die Referenz auf die Push-Benachrichtigung mitge-
sendet werden, damit das multimodale Informationssystem diese Anfrage von einer nor-
malen Anfrage unterscheiden kann. Würde die Referenz auf die Push-Benachrichtigung
nicht mitgesendet werden, dann würde das Informationssystem nach jeder
getDetail-
sOfTask(12580)
Anfrage eine Push-Benachrichtigung an alle anderen verfügbaren Aus-
31
4 Interaktionspatterns mit Worklist-Items
gabegeräten senden. Die Referenz auf die Push-Benachrichtigung kann beispielsweise
im Header der Anfrage mitgesendet werden. Anschließend zeigen die Ausgabegeräte
nach empfangen des detaillierten Worklist-Items diese Daten je nach Ausgabegerät und
Einstellungen unterschiedlich an.
Zusätzlich wird die Smartwatch über eine Push-Benachrichtigung informiert, dass eine
detaillierte Ansicht des Worklist-Items angezeigt werden soll. Allerdings ist es für die klei-
ne Anzeige der Smartwatch nicht nötig die Informationen des Worklist-Items anzuzeigen,
deshalb wird diese Push-Benachrichtigung von der Smartwatch ignoriert. Welche Geräte
mit einer Push-Benachrichtigung benachrichtigt werden ist einerseits abhängig von der
Abfrage und vom Gerät, welches die Anfrage sendet. So kann es vorkommen, dass eine
Anfrage, die von einem Tablet gesendet wurde, nicht an andere Geräte weitergeleitet
wird, da die Bedienung auf einem Tablet einfach ist und die Verwendung anderer Geräte
nicht notwendig ist. Zusätzlich kann Beispielsweise im Header einer Anfrage angegeben
werden, ob weitere Geräte und welche Geräte benachrichtigt werden sollen.
4.1.3 Worklist-Items
Die Verwendung eines Process-Aware Information System, wie in Abschnitt 2.1 erläutert,
unterstützt die Durchführung von Arbeitsschritten in einem Unternehmen und tragen
zur Strukturierung bei. Dabei werden Worklist-Items, wie in Abschnitt 2.3 beschrieben,
erzeugt und den Rollen und Benutzern des PAIS zugeschrieben. Deshalb werden die
Interaktionspatterns in Kapitel 4 und die Anwendungsszenarien in Kapitel 5 anhand von
Worklist-Items und Listen definiert.
4.2 Interaktionspattern zur Worklist Übersicht
In diesem Abschnitt werden die verschiedenen Interaktionspatterns in Kombination mit
Worklist-Items und Übersichten definiert und beschrieben. Dabei wird dargestellt, welche
Eingabe- und Ausgabegeräte durch welche Interaktionen mit dem multimodalen Infor-
mationssystem kommunizieren und wie diese Daten durch Push-Benachrichtigungen
auf die verschiedenen Geräte verteilt werden. Nachfolgend wird eine Beschreibung der
32
4.2 Interaktionspattern zur Worklist Übersicht
Notation beschrieben und anschließend werden die Patterns zur Worklist-Übersicht
vorgestellt.
4.2.1 Interaktionsdiagramm - Notation
Die beschriebenen Interaktionsdiagramme verwenden Elemente der BPMN 2.0, siehe
dazu Abschnitt 2.2. Dabei werden die Gateways für
Exclusive-OR
,
Inclusive OR
und
AND verwendet um den Interaktionsfluss darzustellen.
Mithilfe der Interaktionsdiagramme kann der Ablauf der Interaktionen zwischen den
Eingabe- und Ausgabegeräten grafisch aufgefasst werden. Dabei wird ersichtlich, wel-
ches Eingabe- oder Ausgabegerät durch die Ausführung einer Interaktion benachrichtigt
wird und dabei eine eigene Interaktion oder Informationsdarstellung startet.
Exclusive-OR JOIN und SPLIT
Die zwei Varianten des Exclusive-OR sind
JOIN
und
SPLIT
. Dabei können diese Ele-
mente wie in Abbildung 4.4 dargestellt vorkommen. Dabei bilden die Pfeile in den
Diagrammen den Interaktionsfluss dar. Das bedeutet, dass nach einer Interaktion von
einem Gerät eine Interaktion auf einem anderen Gerät gestartet wird. Als Beispiel kann
ein Sprachkommando durch den Sprachassistenten eine Anzeige auf einer Smartwatch
starten.
Das Exclusive-OR JOIN, aus der Abbildung 4.4 links, wird in diesem Fall wie folgt gele-
sen: Die Interaktion entweder an der AR-Brille oder dem Sprachassistenten startet die
Interaktion auf der Smartwatch. Sobald eine Interaktion vor dem Gateway ausgeführt
wird, dann wird die Interaktion auf dem folgendem Gerät durchgeführt.
Das Exclusive-OR SPLIT, aus der Abbildung 4.4 rechts, wird folgendermaßen gelesen:
Nach der Interaktion des Sprachassistenten wird entweder eine Interaktion an der Smart-
watch oder an der AR-Brille ausgeführt. Das bedeutet, dass nach der Interaktion mit
dem Sprachassistenten der Interaktionsfluss entweder durch die Smartwatch oder durch
die AR-Brille fortgeführt wird.
33
4 Interaktionspatterns mit Worklist-Items
Exclusive-OR JOIN:
interaction either on AR-Glass or
Speechassistant triggers interaction on
Smartwatch
Exclusive-OR SPLIT:
After interaction on Speechassistant a
interaction is triggered either on
Smartwatch or AR-Glass
Interactionflow Dataflow
Abbildung 4.4: Interaktionsdigramm: Exclusive-OR JOIN und SPLIT
Inclusive-OR JOIN und SPLIT
Das Inclusive-OR kommt in den Interaktionsdiagrammen sowohl als JOIN,SPLIT oder
als Kombination vor. Dabei wird das Inklusive-OR wie in Abbildung 4.5 dargestellt.
Das Inclusive-OR JOIN, aus der Abbildung 4.5 links, kann dabei wie folgt interpretiert
werden: Bei einer Interaktion durch den Sprachassistenten oder der AR-Brille oder
beiden wird die Interaktion auf der Smartwatch gestartet. Dabei kann das Gateway
entweder durch einen oder mehreren Pfaden gleichzeitig durchlaufen werden.
Wichtig:
Im Vergleich zu BPMN 2.0 muss im Interaktionsdigramm mindestens ein Pfad vor dem
Inclusive-OR Gateway durchgeführt werden.
Das Inclusive-OR SPLIT, aus der Abbildung 4.5 rechts, stellt die Interaktion nach dem
Gateway dar und kann folgendermaßen gelesen werden: Nach der Ausführung der
Interaction über den Sprachassistenten wird die Interaktion auf der Smartwatch, der AR-
Brille oder beidem durchgeführt. Dabei wird das OR-SPLIT Gateway oft zur Darstellung
des Begriffes die Interaktion wird auf allen verfügbaren Geräten gestartet verwendet.
34
4.2 Interaktionspattern zur Worklist Übersicht
OR JOIN:
Interaction on AR-Glass or
Speechassistant or both triggers
interaction on Smartwatch
OR SPLIT:
After interaction on Speechassistant a
interaction is triggered on Smartwatch or
AR-Glass or both. Interaction is triggered
on each available device
Interactionflow Dataflow
Abbildung 4.5: Interaktionsdigramm: Inclusive-OR JOIN und SPLIT
Datenfluss und AND SPLIT
Neben den Interaktionsflüssen können im Interaktionsdigramm auch Datenflüsse ver-
wendet werden. Dabei wird der Datenfluss über einen Pfeil, der gestrichelt und gepunktet
ist, dargestellt. Der Datenfluss Pfeil ist in Abbildung 4.6 dargestellt. Ein Beispiel für einen
Datenfluss ist in der Abbildung 4.6 links abgebildet. Dabei kann diese Interaktion auf fol-
genden Weißen interpretiert werden: Die Smartwatch bezieht Daten vom IoT-Gerät oder
das IoT-Gerät sendet Daten an die Smartwatch. Beide Leserichtungen funktionieren.
Das AND SPLIT ist in der Abbildung 4.6 rechts dargestellt. Dabei lässt sich das folgender-
maßen lesen: Nach der Interaktion durch einen Sprachassistenten wird eine Interaktion
auf der Smartwatch und an der AR-Brille gestartet. Nach einem AND-Gateway werden
alle folgenden Interaktionen ausgeführt. Das AND JOIN wird in dieser Arbeit in den
Interaktionsdiagrammen nicht verwendet.
35
4 Interaktionspatterns mit Worklist-Items
Dataflow:
Smartwatch is getting data and information
of IoT-Device
AND SPLIT:
After interaction on Speechassistant the
interaction is triggered on Smartwatch and
AR-Glass
Interactionflow Dataflow
Abbildung 4.6: Interaktionsdigramm: Datenfluss und AND SPLIT
4.2.2 Vorgeschlagene Worklist-Items anzeigen
Dieser Abschnitt befasst sich mit der Interaktion zur Anzeige der vorgeschlagenen
Worklist-Items. Die Eingabe- und Ausgabegeräte PC, Tablet und Smartphone können
die Listen der vorgeschlagenen Worklist-Items unabhängig von anderen Geräten einse-
hen und es bedarf keine Push-Benachrichtigung zu den anderen verfügbaren Geräten,
da die Bedienung bei diesen Geräten einfach und übersichtlich ist. Allerdings gibt es
die Eingabe- und Ausgabegeräte Sprachsteuerung und AR-Brille, die bei der Anzeige
von Worklist-Items eine Push-Benachrichtigung erzeugen, um die Worklist-Items auf
anderen Geräten gleichzeitig anzuzeigen. Dieses Interaktionspattern ist in Abbildung 4.7
dargestellt.
Wie in Abbildung 4.7 dargestellt, kann die vorgeschlagenen Worklist-Items einmal durch
einen Sprachbefehl, wie beispielsweise durch das Kommando ’
Zeige meine vorgeschla-
genen Worklist-Items
’, oder durch das Menü über die AR-Brille. Dabei muss bei der
AR-Brille zunächst das Menü geöffnet werden und anschließend kann auf den Menü-
36
4.2 Interaktionspattern zur Worklist Übersicht
punkt geschaut und ausgewählt werden. Da der Sprachassistent selbst keine Anzeige
zur Darstellung der Liste hat und die Ausgabe der Liste über ein Sprachdialog erfolgt,
ist es einfacher die Anzeige auf andere Geräte mit einer Push-Benachrichtigung wei-
terzuleiten. Die AR-Brille kann die Liste in den Raum projizieren und dadurch die Liste
sichtbar machen, allerdings kann es sein, dass man während der Arbeit ein AR-Anleitung
abspielen lässt und deshalb den Inhalt auf einem weiteren Gerät, wie beispielsweise das
große Display, anzeigen lässt. Wie in Abschnitt 3.2.5 beschrieben kann die AR-Brille eine
eingebaute Sprachsteuerung besitzen, dadurch kann die Abfrage gleichzeitig mit beiden
Eingabegeräten durchgeführt werden. Zum Beispiel
Menü öffnen
und
Vorgeschlagene
Worklist-Items werden gesprochen, aber der Menüpunkt wird gleichzeitig angeschaut.
Abbildung 4.7:
Interaktionspattern Vorgeschlagene Worklist-Items anzeigen: Anzeigen
durch Sprachsteuerung und AR-Brille
Nachdem die Push-Benachrichtigung an die Ausgabegeräte großer Display, Smartpho-
ne, Tablet, PC und AR-Brille gesendet wurde, werden die Informationen geräteabhängig
angezeigt. Dabei zeigt das große Display die Informationen einmal als vorgeschlagene
Worklist-Items und in einer anderen Spalte alle weiteren Worklist-Items oder einmal
nur auf der linken Hälfte die vorgeschlagenen Worklist-Items und auf der anderen Hälf-
te werden Gruppen-Aktivitäten wie aktive Worklist-Items und Gesamtdauer angezeigt.
Die Geräte Tablet und PC zeigen die Listen
vorgeschlagene Worklist-Items
und
weite-
37
4 Interaktionspatterns mit Worklist-Items
re Worklist-Items
zwei-gespalten auf, wohingegen das Smartphone die beiden Listen
nacheinander auflistet, beginnend mit
vorgeschlagenen Worklist-Items
. Die AR-Brille
projiziert die Liste abhängig von der Blickrichtung in den Raum und wird dadurch visuali-
siert.
Durch Listen navigieren
Die resultierenden Listen können allerdings mehr Worklist-Items besitzen als direkt
angezeigt werden kann. Während über das Smartphone und Tablet die Listen über
Touch-Eingaben durchgeblättert werden können, kann beim PC die Liste über Scroll-
Bewegungen durchsucht werden. Bei der Verwendung der AR-Brille oder durch Sprach-
steuerung und der Anzeige über ein großes Display muss eine andere Möglichkeit
eingeführt werden um in den Listen blättern zu können.
Abbildung 4.8:
Interaktionspattern Vorgeschlagene Worklist-Items anzeigen: Durch Lis-
ten blättern
Die Interaktion zum Blättern der Listen ist in Abbildung 4.8 abgebildet. Die Eingabegeräte
bei der Interaktion zum Blättern der Listen sind Sprachsteuerung, Gestensteuerung und
Gaze-Control. Bei der Sprachsteuerung kann der Listeninhalt durch Sprachbefehle wie
Nächste Seite anzeigen
,
Vorherige Seite anzeigen
und
Gehe zu Seite n
durchgeblättert
werden. Dabei muss zur Orientierung die aktuelle Seite bei der Sprachsteuerung im
38
4.2 Interaktionspattern zur Worklist Übersicht
Endpoint-Service gespeichert werden und bei Anfragen muss die aktuelle Seite mitge-
schickt werden und gegeben falls merken sich Geräte wie großer Display, Smartphone,
Tablet und PC die aktuelle angezeigte Seite. Mit der Gestensteuerung kann eine Scroll-
Geste ausgeführt werden. Diese Gesten könnten beispielsweise
links wischen
um die
nächste Seite anzuzeigen und
rechts wischen
um die vorherige Seite anzuzeigen sein.
Bei der AR-Brille sind bei der projizierten Liste ein Button für
nächste Seite
und
vorheri-
ge Seite
verfügbar, dadurch kann der Seitenwechsel über Gaze-Control durchgeführt
werden. Die AR-Brille kann dabei sowohl Sprachsteuerung sowie Gestensteuerung
beinhalten und dadurch kombinierte Interaktionsmöglichkeiten bieten. Zum Beispiel
kann die Liste angeschaut werden, über Sprachsteuerung
Gehe zu Seite 3
und ein
links
wischen über die Gestensteuerung direkte Seitenwechsel bieten.
4.2.3 Meine Worklist-Items anzeigen
In diesem Abschnitt wird die Interaktion
Meine Worklist-Items anzeigen
betrachtet. Da-
bei werden die Worklist-Items gesucht, die für einen Benutzer als reserviert markiert
oder einem Benutzer zugewiesen wurden. Die Eingabegeräte in dieser Interaktion sind
AR-Brille, Sprachsteuerung und eine zusätzliche Möglichkeit die aktuelle Liste auf allen
anderen Geräten über das Smartphone zu synchronisieren. Die Synchronisierungs-
funktion kann verwendet werden, falls ein bestimmten Inhalt auf einem größeren oder
gemeinsam genutzten Bildschirm dargestellt werden soll. Das Smartphone kann dabei
einerseits mit einem Sprachassistenten über Bluetooth verbunden werden und der Inhalt
kann über den Sprachbefehl
Bildschirm teilen
auf andere Geräte gespiegelt werden.
Andererseits kann die Push-Benachrichtigung über den Header-Tag in der Anfrage
durchgeführt werden. Die Eingabegeräte AR-Brille und Sprachsteuerung verhalten sich
wie in Abschnitt 4.2.2. Die Interaktion ist in Abbildung 4.9 dargestellt.
Wie in Abbildung 4.9 lassen sich die eigenen Worklist-Items über Sprachsteuerung und
dem Sprachkommando
Meine Aufgaben anzeigen
aufrufen. Dabei wird die Antwort einer-
seits über die Sprachausgabe und auf der anderen Seite über Push-Benachrichtigungen
an die verfügbaren Ausgabegeräte wie großer Display, AR-Brille, Smartphone, Tablet und
PC gesendet. Dadurch wird an den verfügbaren Geräten die Liste ebenfalls angezeigt.
39
4 Interaktionspatterns mit Worklist-Items
Mit der AR-Brille lässt sich ähnlich wie in Abschnitt 4.2.2 über ein projiziertes Menü und
der Menüeintrag
meine Worklist-Items anzeigen
die Liste in das Blickfeld des Benutzers
projizieren und die Informationen werden auf verschiedene Geräte zusätzlich angezeigt.
Da das Lesen von Inhalten und das Bedienen langer Listen für die Verwendung mit der
AR-Brille umständlich sind, wird der Inhalt auf anderen Ausgabegeräten wiedergegeben.
Show my Tasks
Highest Prio
A
D
All
A
D
H
Highest
Prio
A
D
All
Highest Prio
A
D
A
G
H
All
Highest Prio
A
D
A
G
H
All
Click on My
Tasks
(Smartphone,
Tablet and
PC)
Share my
screen
Look at Menu
and choose
My Tasks
Abbildung 4.9:
Interaktionspattern Meine Worklist-Items anzeigen: Anzeigen über
Sprachsteuerung, AR-Brille oder Synchronisierungsfunktion
Dadurch wird eine höhere Flexibilität bei der Verwendung verschiedener Eingabe- und
Ausgabegeräte. Neben der Eingabe über Sprachsteuerung und AR-Brille wurde mit
der
Bildschirm spiegeln
Funktion eine weitere Möglichkeit hinzugefügt, um Inhalte auf
verschiedenen Geräten anzeigen zu lassen. Dabei können die Eingabegeräte Smartpho-
ne, Tablet und PC entweder eine Push-Benachrichtigung über den Header der Anfrage
erzwingen oder über die Verbindung zu einem Sprachassistenten mit Bluetooth, wie
in Abbildung 4.9 dargestellt. Dabei wird die zu spiegelnde Information im Smartphone,
Tablet oder PC ausgewählt. Anschließend wird über den Sprachbefehl
Bildschirm teilen
die Information des Inhalts vom verbunden Gerät abgefragt und eine Anfrage an das mul-
timodale Informationssystem gesendet. Das Informationssystem sendet anschließend
eine Push-Benachrichtigung an die verschiedenen Ausgabegeräten.
40
4.2 Interaktionspattern zur Worklist Übersicht
4.2.4 Alle Worklist-Items anzeigen
Dieser Abschnitt behandelt das Interaktionspattern um alle verfügbaren Worklist-Items
anzuzeigen. Während im Abschnitt 4.2.2 die vorgeschlagenen Worklist-Items angezeigt
werden, die dem Benutzer anzeigen, dass diese Worklist-Items die höchste Prioritäten
besitzen oder ein nahe Deadline besitzen und im Abschnitt 4.2.3 alle Worklist-Items an-
gezeigt werden, die einem zugeteilt oder reserviert wurden, wird in dieser Interaktion alle
verfügbaren Worklist-Items angezeigt. Diese lassen sich in den Listen
Worklist-Items für
mich
und
Alle Worklist-Items
. In der Liste
Worklist-Items für mich
werden alle Worklist-
Items aufgelistet, die entweder direkt an den aktuellen Benutzer gerichtet sind oder an
eine Arbeitsgruppe des Benutzers. Die Eingabegeräte für dieses Interaktionspattern
sind AR-Brille, Sprachsteuerung und Spiegeln von Bildschirmen. Die Interaktion ist in
Abbildung 4.10 dargestellt.
Show all Tasks
For you
A
D
All
A
D
HF
For You
A
D
F
For You
A
D
A
D
H
All
F
For You
A
D
A
D
H
All
Click on All
Tasks
(Smartphone,
Tablet and
PC)
Share my
screen F
Look at Menu
and choose
All Tasks
Abbildung 4.10:
Interaktionspattern alle Worklist-Items anzeigen: Anzeigen über Sprach-
steuerung, AR-Brille oder Synchronisierungsfunktion
Die in Abbildung 4.10 aufgelisteten Eingabegeräte verhalten sich wie in Abschnitt 4.2.3
beschrieben. Hierbei können über Sprachbefehl oder über den Menüeintrag der AR-Brille
die Worklist-Items abgefragt werden und ausgegeben werden. Anschließend werden die
Inhalte über Push-Benachrichtigung auf Geräte wie großes Display, Smartphone, Tablet
und PC angezeigt. Zusätzlich lässt sich der Bildschirm von Smartphone, Tablet und PC
41
4 Interaktionspatterns mit Worklist-Items
auf anderen Ausgabegeräten synchronisieren.
Die zwei Listen
Worklist-Items für mich
und
Alle Worklist-Items
werden im großen Dis-
play, Tablet und PC auf zwei Spalten dargestellt und der Benutzer kann sich durch beide
Listen navigieren. Die Worklist-Items, die in der Liste
Worklist-Items für mich
aufgelistet
sind, sind in der Liste
Alle Worklist-Items
ebenfalls enthalten. Auf dem Smartphone
werden die beiden Listen nacheinander aufgelistet.
4.2.5 Worklist-Item Details anzeigen
In diesem Abschnitt wird das Interaktionspattern
Worklist-Item Details anzeigen
be-
schrieben. Bei diesem Pattern werden die detaillierten Informationen eines Worklist-
Items angezeigt und gegeben falls an verschiedene Geräten ausgegeben. Dabei können
die detaillierten Informationen in den Worklist-Items Daten von Sensoren oder anderen
IoT-Geräten beinhalten. Die Eingabegeräte in dieser Interaktion sind Sprachsteuerung,
AR-Brille, AR-Brille mit eingebauter Gestenerkennung und PC, Tablet oder Smartphone
mit einer AR-Brille, die über Bluetooth verbunden ist.
Falls ein großer Bildschirm verfügbar ist und die aktuelle Arbeitsumgebung des Be-
nutzers keine Geräte wie Smartphone, Tablet oder PC ermöglicht, wie beispielsweise
in einer Werkstatt, können die Eingaben einerseits über Sprachsteuerung oder AR-
Brille und Gaze-Control oder andererseits über AR-Brille und Gestensteuerung getätigt
werden. Dabei benötigt der Benutzer keine weiteren Geräte zur Hand und kann mit
einer einhändigen Geste oder über Sprachsteuerung die Details eines Worklist-Items
anzeigen und betrachten. Bei der Kombination einer AR-Brille und einem über Bluetooth
verbunden Gerät wie Smartphone, Tablet oder PC lassen sich zusätzlich kombinierte
Interaktion ausführen. Dadurch wird, während der Benutzer ein Worklist-Item betrachtet,
ein spezielles Menü auf dem verbunden Gerät angezeigt.
Interaktion mit AR-Brille, Sprachsteuerung und Gestenerkennung
Die unterschiedlichen Interaktionsmöglichkeiten sind in Abbildung 4.11 dargestellt. Hier-
bei kann über die Sprachsteuerung und den Sprachbefehl
Zeige Details von Task A
die
detaillierte Ansicht eines Worklist-Items wiedergegeben und auf verschiedenen Geräten,
42
4.2 Interaktionspattern zur Worklist Übersicht
wie dem großen Display, angezeigt werden. Über die AR-Brille kann die Detail-Ansicht
beispielsweise über Gaze-Control erreicht werden. Dabei muss der Benutzer das an-
zuzeigenden Worklist-Item 5 Sekunden ansehen. Dadurch erkennt das System, dass
dieses Item ausgewählt werden soll. Diese Interaktionsmöglichkeit ist notwendig, wenn
keine Gestensteuerung, Sprachsteuerung und mobiles Gerät verfügbar ist. Falls die
AR-Brille eine eingebaute Gestensteuerung besitzt, kann mit einer Kombination beider
Eingabemöglichkeiten interagiert werden. Hierbei schaut der Benutzer das Worklist-Item
an, das angezeigt werden soll und führt eine
Ziehen Geste
aus. Diese Geste könnte
aussehen als ob man ein Objekt greifen würde und anschließend zu sich zieht.
Eine weitere Interaktionsmöglichkeit bietet die Kombination aus AR-Brille und PC, Smart-
phone oder Tablet. Dabei sind beide Geräte über Bluetooth miteinander verbunden und
Push-Benachrichtigungen können von der AR-Brille zum verbundenen Geräte gesendet
und empfangen werden. Somit schaut sich der Benutzer ein projiziertes Worklist-Item
an und bekommt auf dem verbundenen Gerät ein Menü eingeblendet um mit diesem
Worklist-Item zu interagieren. In diesem Menü kann der Benutzer anschließend den
Menüeintrag Worklist-Item Details anzeigen auswählen.
Nachdem ein Worklist-Item als Detailansicht ausgewählt wurde wird eine Push- Benach-
richtigung an die Ausgabegeräte AR-Brille, großes Display, PC, Smartphone, Tablet und
Smartwatch gesendet. Die Geräte PC, Tablet und Smartphone zeigen detaillierte Infor-
mationen über ein Worklist-Item an. Diese Informationen könnten beispielsweise Titel,
Beschreibung und Deadline sein. Zusätzlich können zu einem Worklist-Item Dokumente,
AR-Anleitungen und IoT-Informationen verlinkt sein. Werden IoT-Informationen verlinkt,
dann werden die Daten der IoT-Geräte direkt angezeigt. In Abbildung 4.11 werden zum
Beispiel Sensoren für Temperatur und Luftdruck angezeigt.
Das große Display kann entweder zum Benutzer bezogenen Inhalt und die detaillierten
Informationen zu einem Worklist-Item anzeigen oder nur einen Teil des Bildschirmes
verwenden um die detaillierten Inhalte anzuzeigen. Die Ausgabe am großen Display ist
abhängig von der Einstellung und Verwendungszweck des Displays. Die Smartwatch
zeigt dabei nur die verlinkten IoT-Informationen an, da die detaillierten Informationen wie
Beschreibung und Deadline für die kleine Anzeige der Smartwatch ungeeignet wäre.
43
4 Interaktionspatterns mit Worklist-Items
Abbildung 4.11:
Interaktionspattern Worklist-Item Details anzeigen: detaillierte Informa-
tionen eines Worklist-Items anzeigen
44
4.2 Interaktionspattern zur Worklist Übersicht
Zusätzlich könnte es wichtig sein, dass der Benutzer bei der Arbeit mit einer kleinen
Handbewegung die zuvor betrachteten Temperatur und Luftdruckwerte ansehen kann
ohne erneut eine Interaktion mit einem Eingabegerät zu tätigen.
Interaktion mit Smartphone, Tablet und PC
Neben der Interaktion über die zuvor genannten Eingabegeräte ist es möglich über das
Smartphone, Tablet und PC die detaillierte Ansicht eines Worklist-Items anzuzeigen
und gleichzeitig auf anderen Geräten wie großes Display, AR-Brille und Smartwatch zu
spiegeln. Die Abbildung 4.12 zeigt die Interaktion ausgehend vom Smartphone, Tablet
und PC.
Abbildung 4.12:
Interaktionspattern Worklist-Item Details anzeigen: detaillierte Informa-
tionen über PC, Tablet und Smartphone anzeigen
Wie in Abbildung 4.12 dargestellt werden die detaillierten Informationen eines Worklist-
Items anschließend auf den verfügbaren Ausgabegeräten großes Display, Smartwatch
und AR-Brille ausgegeben. Diese Funktionalität kann einem Benutzer bei der Arbeit
unterstützen die Informationen leichter einzusehen, da die Informationen auf dem großen
Display, Smartwatch und AR-Brille weiterhin dargestellt werden während der Benutzer
einer anderen Tätigkeit verfolgt. Hierbei kann die Spiegelung einerseits über eine direkte
Bluetooth Verbindungen mit den anderen Geräten stattfinden, wie in Abbildung 4.12
dargestellt und andererseits kann die Spiegelung mithilfe eines Header-Tags bei der
Anfrage an das multimodale Informationssystem erreicht werden.
45
4 Interaktionspatterns mit Worklist-Items
Anzeigen verknüpfter Inhaltselemente
Ein weiterer Aspekt bei der Verwendung einer AR-Brille ist die Möglichkeit wichtige In-
formationen in den Raum zu projizieren, die dem Benutzer bei der Tätigkeit unterstützen
und weiterhelfen können. Dabei kann in der detaillierten Anzeige eines Worklist-Items
eine AR-Anleitung hinterlegt sein, die eine Unterstützung für die auszuführende Arbeit
bietet. Deshalb ist es notwendig, dass der Benutzer diese AR-Anleitung über die ver-
schiedenen Eingabegeräte starten kann.
In Abbildung 4.13 wird dargestellt, wie mithilfe der Eingabemöglichkeiten AR-Brille,
Sprachsteuerung, PC, Tablet und Smartphone eine AR-Anleitung gestartet werden kann.
Dabei kann, während die detaillierte Darstellung eines Worklist-Items angezeigt wird,
der Sprachbefehl
Zeige Augmented Reality Anleitung
verwendet werden um die AR-
Anleitung Interaktion zu starten. Zusätzlich lässt sich die Interaktion über Gaze-Control
starten. Dabei muss der Benutzer, während die detaillierte Darstellung eines Worklist-
Items angezeigt wird, auf den Button
AR-Anleitung
ungefähr 5 Sekunden schauen.
Anschließend wird die AR-Anleitung Interaktion gestartet. Darüber hinaus lässt sich
die Interaktion zusätzlich über den Button
AR-Anleitung
in den Geräten PC, Tablet und
Smartphone starten.
Nachdem die Interaktion gestartet wurde wird der Benutzer aufgefordert in die Richtung
zu schauen in der die Anleitung anschließend projiziert werden soll. Dies ist notwendig,
da nicht jede AR-Anleitung direkt im Arbeitssichtfeld des Benutzers projiziert werden
kann, da die projizierten Objekte die Arbeit stören könnten. Deshalb kann der Benutzer
bestimmen in welcher Blickrichtung die AR-Anleitung angezeigt werden soll. Dabei hat
der Benutzer, je nach verfügbaren Geräten, die Möglichkeit mithilfe von Sprachsteuerung,
PC, Smartphone, Tablet und Smartwatch die AR-Anleitung zu starten. Hierbei kann er
die AR-Anleitung über den Sprachbefehl
Augmented Reality Anleitung starten
oder über
den Button
Start AR-Anleitung
auf den Geräten PC, Smartphone, Tablet und Smart-
watch starten. Dabei ist zu beachten, dass der Befehl zum starten der AR-Anleitung nicht
direkt von der Smartwatch an das multimodale Informationssystem oder der AR-Brille
gesendet wird sondern an das verbundene Smartphone gesendet wird und anschließend
wird der Befehl an das Informationssystem oder an die AR-Brille weitergeleitet.
46
4.2 Interaktionspattern zur Worklist Übersicht
Abbildung 4.13:
Interaktionspattern Worklist-Item Details anzeigen: AR-Anleitung starten
47
4 Interaktionspatterns mit Worklist-Items
Allerdings kann es vorkommen, dass in gewissen Arbeitsgebieten die Smartwatch eine
direkte Verbindung mit einem multimodalen Informationssystem und einer AR-Brille
benötigen, da ein Smartphone unter Umständen nicht mitgetragen werden kann.
4.2.6 Worklist-Item reservieren
In diesem Abschnitt wird das Interaktionspattern
Worklist-Item reservieren
genauer
betrachtet. Dabei kann der Benutzer verschiedene Worklist-Items als reserviert kenn-
zeichnen. Anschließend werden alle anderen Benutzer benachrichtigt beziehungsweise
es wird auf ihrer Liste dargestellt, dass ein Worklist-Item reserviert wurde und von
einem anderen Benutzer ausgeführt wird. Dieser Vorgang der Reservierung ist zum
Beispiel für Manager und Projektleiter wichtig, da daraus abgelesen werden kann wel-
che Worklist-Items zur Ausführung geplant sind. Ein Worklist-Item kann dabei von den
Eingabemodalitäten Sprachsteuerung, AR-Brille mit eingebauter Gestenerkennung,
Smartphone, Tablet und PC reserviert werden.
Benutzer am Sprachassistenten registrieren
Bei diesem Interkationspattern muss der Sprachassistent eine direkte Verbindung zum
Benutzer aufbauen oder speichern können, da die Reservierung eines Worklist-Items
auf einen Benutzer stattfindet. Dabei kann der Benutzer einerseits in den Einstellungen
seines Sprachassistenten den Benutzer einstellen, dabei ist der Sprachassistent nur für
diesen Benutzer verwendbar oder andererseits kann der Benutzer an einem Sprachas-
sistenten gewechselt werden.
In Abbildung 4.14 wird dargestellt wie ein Wechsel des Benutzers an einem Sprachas-
sistenten durchgeführt werden kann. Um den Benutzer zu wechseln kann der Benutzer
den Sprachbefehl
Benutzerwechsel zu Max Mustermann
verwenden. Anschließend wird
vom Endpoint-Service des Sprachassistenten eine Anfrage an das multimodale Infor-
mationssystem gesendet, die überprüft ob ein
Token
, der die Verbindung zwischen
Assistent und User wieder spiegelt, existiert. Falls kein Token existiert muss eine Anfrage
zur Verbindung des Assistenten an ein verfügbares Gerät wie Smartphone, Tablet, PC
oder Smartwatch gesendet werden. Folgend wird auf dem Display der Geräte eine
48
4.2 Interaktionspattern zur Worklist Übersicht
Nachricht, wie beispielsweise
Verbindung mit Sprachassistent n annehmen?
, angezeigt.
Nachdem der Benutzer die Verbindung akzeptiert hat wird der aktuelle Benutzer des
Sprachassistenten umgestellt und Interaktionen über den Sprachassistenten können für
den Benutzer ausgeführt werden.
Change
User to Max
Mustermann Look for
Assistant-Token
Assistant-User-
Tokens
Accept Connection to
Speechassistant n
Not
Found
Send Connection
Message to
Devices
Accept Connection to
Speechassistant n
Set User to Max
Mustermann
User
Changed
Abbildung 4.14: Benutzerwechsel an einem Sprachassistenten
Interaktion über AR-Brille, Sprachsteuerung und Gestenerkennung
Zusätzlich kann die Interaktion zum Reservieren eines Worklist-Items über die AR-Brille
und der eingebauten Gestensteuerung realisiert werden.
Wie in Abbildung 4.15 dargestellt wird kann die Interaktion zum Reservieren eines
Worklist-Items einerseits über den Sprachbefehl
Task A reservieren
oder andererseits
über die AR-Brille und der eingebauten Gestensteuerung realisiert werden. Bei der AR-
Brille betrachtet der Benutzer die detaillierte Ansicht eines Worklist-Items und kann über
eine
Greifen Geste
und anschließendes
heranziehen
die Reservierung des Worklist-
Items starten. Anschließend wird, nach dem Sprachbefehl oder durch die Interaktion mit
der AR-Brille, eine Bestätigungsmeldung an verfügbare Geräte, wie Sprachassistent,
AR-Brille, Smartphone, Tablet, PC und Smartwatch, gesendet. Hierbei verwendet der
Benutzer entweder den Sprachbefehl
Reservierung bestätigen
, eine
Akzeptieren Geste
,
wie beispielsweise Daumen-Hoch oder bestätigt die Reservierung über den Button
Bestätigen
auf den Geräten Smartphone, Tablet, PC oder Smartwatch. Nachfolgend
49
4 Interaktionspatterns mit Worklist-Items
wird die Reservierung des Worklist-Items durch den Benutzer, falls verfügbar, über das
große Display durch eine Meldung angezeigt.
Abbildung 4.15:
Interaktionspattern Worklist-Item reservieren: Reservierung eines
Worklist-Items über Sprachassistent oder AR-Brille
Synchronisation der Listeneinträge
Während Benutzer die Worklist-Items in einer Liste betrachten wird über eine Push-
Benachrichtigung die reservierten Worklist-Item zeitgleich synchronisiert, wie in Abbil-
dung 4.16 dargestellt. In Abbildung 4.16 wird auf der linken Seite dargestellt wie sich die
Liste verändert, falls ein anderer Benutzer die Aufgabe reserviert. Dabei wird die Liste
zunächst normal angezeigt, anschließend bekommt das Gerät die Meldung, dass ein an-
derer Benutzer ein Worklist-Item reserviert hat, das ebenfalls in der Liste des Benutzers
steht. Nachfolgend wird dieses Worklist-Item mit einem
Ausrufezeichen
als reserviert
markiert. Zusätzlich informiert die Smartwatch, dass das Worklist-Item reserviert wurde,
während sich der Benutzer in den detaillierten Informationen des Worklist-Items befindet.
Auf der rechten Seite in Abbildung 4.16 wird die Veränderung der Liste dargestellt,
während der Benutzer sich ein Worklist-Item über ein anderes Eingabegerät reserviert.
Dabei wird das Worklist-Item in der Liste mit einem
Haken
markiert und die Smartwatch
informiert den Benutzer, dass ein Worklist-Item reserviert wurde.
50
4.2 Interaktionspattern zur Worklist Übersicht
Wird auf dem Smartphone, Tablet oder PC ein Worklist-Item reserviert so wird die
Reservierung über eine Push-Benachrichtigung an allen anderen verfügbaren Geräten
gesendet und korrespondierend angezeigt.
Abbildung 4.16:
Interaktionspattern Worklist-Item reservieren: Zeitgleiche Darstellung
der Reservierung in der Listenansicht
Abbildung 4.17:
Interaktionspattern Worklist-Item reservieren: Darstellung der Reservie-
rung auf verschiedenen Geräten
51
4 Interaktionspatterns mit Worklist-Items
In Abbildung 4.17 wird dargestellt, wie die Reservierung des Worklist-Items über Smart-
phone, Tablet oder PC an die verfügbaren Geräten weitergeleitet wird. Hierbei markieren
die Geräte großes Display, Smartphone, Tablet und PC die reservierten Worklist-Items
mit einem
Haken
-Symbol um die Reservierung zu kennzeichnen. An der Smartwatch
wird, wie in Abbildung 4.16 ebenfalls dargestellt, die Meldung
Du hast Task A reserviert
dargestellt.
4.2.7 Worklist-Item freigeben
In diesem Abschnitt wird das Interaktionspattern
Worklist-Item freigeben
dargestellt
und beschrieben. Dabei können die vom Benutzer reservierten Worklist-Items wieder
zur Reservierung freigegeben werden. Das kann vorkommen, falls der Benutzer das
Worklist-Item nicht mehr durchführen möchte oder ihm die Zeit zur Durchführung fehlt.
Nachdem der Benutzer das Worklist-Item freigegeben hat wird es allen anderen Benut-
zern zum Beispiel über das große Display mitgeteilt, dass ein Worklist-Item freigegeben
wurde. Bei diesem Muster werden die Eingabemodalitäten Sprachsteuerung, AR-Brille
mit Gestensteuerung, Smartphone, Tablet und PC zum Starten der Interaktion verwen-
det.
Interaktion mit AR-Brille, Sprachsteuerung und Gestenerkennung
Wie in Abbildung 4.18 dargestellt wird kann der Benutzer die Interaktion zur Freigabe
eines Worklist-Items über den Sprachbefehl
Task A freigeben
oder mithilfe der AR-Brille
und der integrierten Gestenerkennung starten. Wird die AR-Brille verwendet, so muss
der Benutzer das Worklist-Item, welches freigegeben werden soll, ansehen und anschlie-
ßend eine
Verwerfen Geste
ausführen. Die
Verwerfen Geste
kann ein Wedeln mit der
Hand darstellen. Nachfolgend wird eine Bestätigungsmeldung an verfügbare Geräte
wie Smartphone, Tablet, PC und Smartwatch gesendet. Zusätzlich lässt sich die Bestä-
tigung durch Gestensteuerung und Sprachsteuerung durchführen. Diese Bestätigung
ist notwendig, damit der Benutzer bei falscher Auswahl das Worklist-Item nicht ohne
Bestätigung freigibt.
Die Bestätigung der Freigabe wird über den Sprachbefehl
Freigabe bestätigen
durch
52
4.2 Interaktionspattern zur Worklist Übersicht
eine
Akzeptierende Geste
oder durch die Betätigung des Buttons
Bestätigen
am Smart-
phone, Tablet, PC oder Smartwatch durchgeführt. Anschließend wird die Freigabe, falls
verfügbar, über eine Meldung am großen Display angezeigt.
Abbildung 4.18:
Interaktionspattern Worklist-Item freigeben: Freigabe über Sprachsteue-
rung und AR-Brille
Synchronisierung der Listen
Nachdem ein Worklist-Item freigegeben wurde wird eine Push-Benachrichtigung an allen
anderen verfügbaren Geräten versendet um die Freigabe des Worklist-Items mitzuteilen.
Die Freigabe ist in Abbildung 4.19 dargestellt. Wie in Abbildung 4.19 dargestellt wird der
Haken
am Worklist-Item durch die Push-Benachrichtigung gelöscht und eine Meldung
auf der Smartwatch des Benutzer, der die Freigabe des Worklist-Items durchgeführt
hat, wird angezeigt. In Abbildung 4.20 wird gezeigt wie die Freigabe des Worklist-Items
D
die Benachrichtigung an andere verfügbaren Geräte sendet und der
Haken
von
Worklist-Item Dentfernt wird.
53
4 Interaktionspatterns mit Worklist-Items
Abbildung 4.19:
Interaktionspattern Worklist-Item freigeben: Freigabe des Worklist-Items
in der Liste
54
4.2 Interaktionspattern zur Worklist Übersicht
Abbildung 4.20:
Interaktionspattern Worklist-Item freigeben: Worklist-Item D wird freige-
geben
55
4 Interaktionspatterns mit Worklist-Items
4.2.8 Worklist-Item delegieren
Dieser Abschnitt befasst sich mit dem Interaktionspattern
Worklist-Item delegieren
. Hier-
bei ist es möglich einem anderen Benutzer ein Worklist-Item zu delegieren. Das kann
nötig sein, wenn sich die Deadline eines Worklist-Items nähert, allerdings das Worklist-
Item nicht reserviert wurde. Des Weiteren kann es vorkommen, dass eine dringende
Tätigkeit durchgeführt werden muss und diese Tätigkeit einem anderen Benutzer zur
Ausführung delegiert wird. Dabei kann die Delegation einerseits über die direkte Eingabe
über Smartphone, Tablet und PC geschehen und andererseits stehen die Eingabemodali-
täten Sprachsteuerung und AR-Brille mit Gestensteuerung zur Verfügung. Die Abbildung
4.21 zeigt die Interaktion über Sprachsteuerung und AR-Brille mit eingebauter Gestener-
kennung.
Zunächst kann die Interaktion über den Sprachbefehl
Task A delegieren
gestartet wer-
den. Alternativ lässt sich die Interaktion über die AR-Brille und der Gestensteuerung
starten. Dabei muss der Benutzer zunächst das Worklist-Item ansehen und führt an-
schließend eine
Ziehen Geste
aus um die detaillierte Ansicht des Worklist-Items zu
bekommen. Nachfolgend muss der Benutzer die Interaktion der Delegation über eine
Zeigende Geste
starten. Bei der
Zeigenden Geste
zeigt der Benutzer mit seinem Zeige-
finger in Richtung der detaillierten Ansicht des Worklist-Items. Anschließend muss der
Benutzer einen anderen Benutzer auswählen, der die delegierte Aufgabe übernehmen
soll. Dabei kann der Benutzer zwischen den Eingabegeräten Sprachassistent, AR-Brille
mit Gestensteuerung, Tablet, Smartphone oder PC auswählen. Wählt der Benutzer eine
Person über Smartphone, Tablet oder PC aus so wird das Worklist-Item direkt an diesen
Benutzer delegiert. Verwendet der Benutzer den Sprachbefehl
An Max Mustermann
delegieren
oder die AR-Brille mit der Gestensteuerung, dann muss der Benutzer die
Delegation bestätigen. Bei der AR-Brille muss der Benutzer die Person aus der Liste an
Personen ansehen und anschließend über die Greifen Geste auswählen.
56
4.2 Interaktionspattern zur Worklist Übersicht
Abbildung 4.21:
Interaktionspattern Worklist-Item delegieren: Delegation über Sprach-
steuerung und Gestensteuerung
57
4 Interaktionspatterns mit Worklist-Items
Die Delegation kann der Benutzer anschließend über den Sprachbefehl
Delegation
bestätigen
, die
Akzeptierende Geste
oder übder den Button
Bestätigen
auf der Smart-
watch bestätigen. Nachfolgend, falls vorhanden, wird die Delegation am großen Display
angezeigt und der Benutzer, an der das Worklist-Item delegiert wurde, wird benachrich-
tigt.
4.3 Interaktionspattern zur Worklist-Item Manipulation
In diesem Abschnitt werden die Patterns für die Manipulation von Worklist-Item definiert
und beschrieben. Dadurch lassen sich Worklist-Items mithilfe unterschiedlicher Eingabe-
und Ausgabegeräte vom Benutzer starten, pausieren, beenden oder abbrechen. Die
Verwendbarkeit verschiedener Eingabemodalitäten ermöglicht dem Benutzer die Verar-
beitung einzelner Worklist-Items während seiner Tätigkeit oder Arbeit zu tätigen. Dabei
kann der Benutzer unabhängig von einem PC oder Laptop seine Tätigkeiten beispiels-
weise starten oder beenden. Die verschiedenen Interaktionspatterns sind
Worklist-Item
starten,Worklist-Item pausieren,Worklist-Item beenden und Worklist-Item abbrechen.
4.3.1 Worklist-Item starten
Dieser Abschnitt befasst sich mit dem Interaktionspattern
Worklist-Item starten
. Hierbei
kann der Benutzer ein Worklist-Item, das er reserviert hat oder aus der Liste von Worklist-
Items kennt, starten. Dabei wird der Startzeitpunkt des Worklist-Items gespeichert und
das Worklist-Item als laufend markiert. Ein Worklist-Item kann über die Eingabemög-
lichkeit Sprachsteuerung, Tablet, Smartphone oder PC gestartet werden. Zusätzlich
wäre die Verwendung einer AR-Brille über das projizierte Menü und der detaillierten
Übersichtsseite eines Worklist-Items möglich, allerdings ist für die Interaktion mit der
AR-Brille mehrere Interaktionsschritte nötig, deswegen wurde diese Eingabemodalität in
Abbildung 4.22 nicht abgebildet.
58
4.3 Interaktionspattern zur Worklist-Item Manipulation
Abbildung 4.22:
Interaktionspattern Worklist-Item starten: Starten eines Worklist-Items
über die Sprachsteuerung
59
4 Interaktionspatterns mit Worklist-Items
Interaktion mit Sprachsteuerung
Die Sprachsteuerung bildet dabei eine einfache Eingabemöglichkeit für den Benutzer,
da er dabei seine Tätigkeit nicht unterbrechen und zusätzlich keine Hand frei haben
muss. Die Sprachsteuerung kann dadurch in Werkstätten und in Bereichen verwendet
werden, bei der physikalisch keine Möglichkeit besteht jederzeit ein Smartphone, Tablet
oder PC griffbereit zu haben. Wie in Abbildung 4.22 abgebildet kann die Interaktion über
den Sprachbefehl
Starte Task A
gestartet werden. Anschließend muss der Start des
Worklist-Items bestätigt werden. Hierbei stehen dem Benutzer die Eingabemöglichkeiten
Sprachsteuerung, Gestensteuerung, Smartphone, Tablet, PC und Smartwatch zur Verfü-
gung. Die Smartwatch bietet neben der Sprachsteuerung ebenfalls, durch das Tragen
am Handgelenk, eine hohe Flexibilität. Zusätzlich lässt sich die Smartwatch mit wenig
Interaktionen durch den Touchscreen oder über Handbewegungen bedienen.
Der Start des Worklist-Items kann über den Sprachbefehl
Start bestätigen
, über die
Akzeptierenden Geste
oder über den
Bestätigen
Button an den Geräten Smartphone,
Tablet, PC und Smartwatch bestätigt werden. Nachfolgend wird das Worklist-Item gest-
artet und alle verfügbaren Geräte werden über die Push-Benachrichtigung informiert.
Steht ein großes Display zur Verfügung, so wird der Start über eine Meldung am großen
Display angezeigt und je nach angezeigten Informationen werden die Listen zu Worklist-
Items angepasst.
Interaktion über Smartphone, Tablet und PC
Worklist-Items lassen sich auch über Smartphone, Tablet und PC starten, wie in Ab-
bildung 4.23 dargestellt. Dabei kann der Start des Worklist-Items direkt an den Ein-
gabegeräten Smartphone, Tablet und PC, ohne Bestätigung, durchgeführt werden.
Anschließend werden alle anderen verfügbaren Geräte, wie bei der Sprachsteuerung,
über eine Push-Benachrichtigung benachrichtigt.
60
4.3 Interaktionspattern zur Worklist-Item Manipulation
Abbildung 4.23:
Interaktionspattern Worklist-Item starten: Starten eines Worklist-Items
über Smartphone, Tablet oder PC
4.3.2 Worklist-Item pausieren
Dieser Abschnitt befasst sich mit dem Interaktionspattern
Worklist-Item pausieren
. Da-
bei kann der Benutzer den Zustand eines Worklist-Items von
Running
in den Zustand
Suspended
ändern und damit die Bearbeitung des Worklist-Items unterbrechen. Dies
kann während der Arbeit nützlich sein, falls der Benutzer während der Ausführung eines
Worklist-Items auf ein Ereignis warten muss.
Das Pausieren kann über die Eingabegeräte Sprachassistenten, Smartphone, Tablet
oder PC gestartet beziehungsweise durchgeführt werden. Zusätzlich lässt sich ein laufen-
des Worklist-Item durch die Verwendung einer AR-Brille pausieren. Um ein Worklist-Item
mithilfe der AR-Brille zu Pausieren muss zunächst die eigene Worklist-Items Liste auf-
gerufen werden. Dies kann über das Menü der AR-Brille geschehen oder über die
61
4 Interaktionspatterns mit Worklist-Items
Verwendung anderer möglichen Eingabegeräten wie Sprachsteuerung. Nachfolgend
kann über die Liste das laufende Worklist-Item in die detaillierte Ansicht gebracht werden.
Damit das Worklist-Item pausiert werden kann muss auf den projizierten Button
Pausie-
ren
für 5 Sekunden geschaut werden. Da diese Interaktion mehrere Schritte benötigt
wurde sie nicht in Abbildung 4.24 dargestellt.
Interaktion über Sprachsteuerung
Das Pausieren kann über den Sprachbefehl
Task A pausieren
pausiert werden. An-
schließend muss das Pausieren der Aufgabe bestätigt werden, damit ein Fehler bei
der Erkennung des Sprachbefehls ausgeschlossen werden kann. Die Bestätigung kann
über die Eingabemodalitäten Sprachassistent, Gestensteuerung, Smartphone, Tablet,
Smartwatch oder PC durchgeführt werden. Die Bestätigung über den Sprachassistenten
lässt sich über den Sprachbefehl
Pausieren bestätigen
realisieren. Wird eine Geste
verwendet, so ist es notwendig, dass eine Gestensteuerung am Arbeitsplatz des Benut-
zers verfügbar ist. Hierbei kann auch eine AR-Brille mit integrierter Gestenerkennung
verwendet werden. Um die Bestätigung über die Gestensteuerung zu realisieren muss
eine
Akzeptierende Geste
verwendet werden. Zusätzlich lässt sich die Bestätigung über
den Button
Bestätigen
auf den Geräten Smartphone, Tablet, PC oder Smartwatch durch-
führen.
Nachdem das Pausieren bestätigt wurde wird, wie in Abbildung 4.24 dargestellt, die Infor-
mation auf allen verfügbaren Geräten synchronisiert. Dabei wird eine Push-Benachrichtigung
versendet. Anschließend wird das Worklist-Item an den Ausgabegeräten als pausiert
markiert.
62
4.3 Interaktionspattern zur Worklist-Item Manipulation
Abbildung 4.24:
Interaktionspattern Worklist-Item pausieren: Pausieren von Worklist-
Items über Sprachsteuerung
63
4 Interaktionspatterns mit Worklist-Items
Interaktion über Smartphone, Tablet und PC
Zusätzlich lässt sich ein Worklist-Item über die Eingabegeräte Smartphone, Tablet und
PC direkt, ohne Bestätigung, pausieren, wie in Abbildung 4.25 dargestellt. Dabei kann die
Liste aller laufenden Worklist-Items auf den Geräten aufgerufen werden. Anschließend
lässt sich dann das laufende Worklist-Item auswählen und pausieren. Die Information,
dass ein Worklist-Item pausiert wurde, wird anschließend auf allen anderen verfügbaren
Geräten durch eine Push-Benachrichtigung angezeigt. Beispielsweise zeigt das große
Display einerseits eine Benachrichtigung, dass ein Worklist-Item pausiert wurde und
andererseits werden angezeigte Listen aktualisiert.
Abbildung 4.25:
Interaktionspattern Worklist-Item pausieren: Pausieren von Worklist-
Items über Smartphone, Tablet oder PC
Trägt der Benutzer eine Smartwatch, so werden ihm Informationen über die Veränderung
von Worklist-Items, die der Benutzer ausführt oder reserviert hat, als Benachrichtigung
an die Smartwatch gesendet. Dadurch wird der Benutzer, falls die Änderung eines
Worklist-Items von einem anderen Benutzer durchgeführt wird, benachrichtigt.
64
4.3 Interaktionspattern zur Worklist-Item Manipulation
4.3.3 Worklist-Item beenden
Dieser Abschnitt beschreibt das Interaktionspattern
Worklist-Item beenden
. Dabei kann
der Benutzer ein Worklist-Item als
Finished
markieren. Nachdem ein Worklist-Item als
beendet markiert wurde wird das Beendigungsdatum mit abgespeichert um anschlie-
ßend die Durchführungszeit eines Worklist-Items zu berechnen. Als Eingabegeräte
stehen dem Benutzer bei diesem Interaktionspattern der Sprachassistent, Smartphone,
Tablet und PC zur Verfügung. Zusätzlich lässt sich ein Worklist-Item über eine AR-
Brille beenden. Neben den zuvor aufgelisteten Eingabegeräten kann ein Worklist-Item
über eine Workstation, die mit dem modalen Informationssystem verbunden ist bezie-
hungsweise mit dem Informationssystem kommunizieren kann, oder über ein IoT-Gerät
beendet werden.
Interaktion mit Sprachsteuerung
Die Interaktion mithilfe der Sprachsteuerung kann einerseits mit einem unabhängigen
Sprachassistenten, wie beispielsweise dem Amazon Echo Dot, oder über eine eingebau-
te Sprachsteuerung getätigt werden. Dabei kann die Sprachsteuerung in einer AR-Brille
integriert sein. Die Interaktion ist in Abbildung 4.26 dargestellt. Um ein Worklist-Item
zu beenden wird der Sprachbefehl
Task A beenden
verwendet. Da die Erkennung der
Eingabe über Sprachsteuerung nicht fehlerfrei erkannt wird muss eine Bestätigung der
Eingabe erfolgen. Diese Bestätigung lässt sich über die Eingabemodalitäten Sprach-
steuerung, Gestensteuerung, Smartphone, Tablet, PC oder Smartphone durchführen.
Zur Bestätigung mithilfe der Sprachsteuerung kann der Sprachbefehl
Beendigung bestä-
tigen
verwendet werden. Des Weiteren lässt sich die Bestätigung über die Gestensteue-
rung und der
Akzeptierenden Geste
bestätigen. Zusätzlich lässt sich die Bestätigung
über den Button
Bestätigen
bei den Geräten Smartphone, Tablet, PC oder Smartwatch
durchführen.
65
4 Interaktionspatterns mit Worklist-Items
Abbildung 4.26:
Interaktionspattern Worklist-Item beenden: Worklist-Item mithilfe der
Sprachsteuerung beenden
66
4.3 Interaktionspattern zur Worklist-Item Manipulation
Anschließend wird das Worklist-Item als beendet markiert und eine Push-Benachrichtigung
wird an verfügbare Geräte gesendet. Dadurch werden beendete Worklist-Items in den
Listen der Worklist-Items der verfügbaren Geräte als beendet markiert. Zusätzlich wird
eine Benachrichtigung an die Smartwatch gesendet. Ist ein großes Display verfügbar,
dann lässt sich neben der Meldung, dass ein Worklist-Item beendet wurde, in einer
Übersicht die Durchschnittszeiten eines Worklist-Items anzeigen.
Interaktion über Smartphone, Tablet und PC
Ein Worklist-Item lässt sich zusätzlich über Smartphone, Tablet oder PC beenden.
Dies ist in Abbildung 4.27 dargestellt. Dabei kann über eine Liste im Smartphone alle
laufenden Worklist-Items angezeigt werden.
Abbildung 4.27:
Interaktionspattern Worklist-Item beenden: Beenden von Worklist-Items
über Smartphone, Tablet oder PC
Anschließend kann der Benutzer ein laufendes Worklist-Item über die detaillierte Ansicht
oder direkt über die Liste als beendet markieren. Wird ein Worklist-Item beendet, dann
wird eine Push-Benachrichtigung an verfügbare Geräte gesendet und die Listen der
Worklist-Items werden auf diesen Geräten aktualisiert und als beendet markiert. Zu-
sätzlich wird eine Benachrichtigung bei einem großen Display und bei der Smartwatch
angezeigt.
67
4 Interaktionspatterns mit Worklist-Items
Abbildung 4.28:
Interaktionspattern Worklist-Item beenden: Beenden von Worklist-Items
durch Workstation oder IoT
68
4.3 Interaktionspattern zur Worklist-Item Manipulation
Interaktion durch Workstation oder IoT-Gerät
In Abbildung 4.28 wird dargestellt wie ein Worklist-Item über eine Workstation oder ein
IoT-Gerät beendet wird. Neben den Eingabegeräten wie Smartphone, Tablet und PC
gibt es in vielen Arbeitsfeldern spezielle Geräte, die für eine bestimmte Tätigkeit gebaut
wurden. Dies könnten zum Beispiel Abgasuntersuchungsanlagen oder Testwerkzeuge
sein. Falls diese Geräte nicht mit dem multimodalen Informationssystem kommunizieren
können, kann die Beendigung des Worklist-Items über andere Eingabegeräte getätigt
werden. Andernfalls können diese Geräte mit einem Informationssystem verbunden sein.
Diese verbundenen Geräte werden in dieser Arbeit als Workstations bezeichnet. Neben
den Workstations können auch IoT-Geräte in einem Unternehmen mit einem Informati-
onssystem kommunizieren. Ein IoT Gerät könnte beispielsweise ein Paketscanner bei
den Lageristen sein.
Sobald die Workstation oder das IoT-Gerät ein Worklist-Item beendet wird die Be-
endigung an das Informationssystem gesendet, siehe Abbildung 4.28. Nachfolgend
bearbeitet das Informationssystem die Beendigung des Worklist-Items und sendet an
alle anderen verfügbaren Geräte eine Push-Benachrichtigung. Die Worklist-Item Listen
werden anschließend an den verfügbaren Geräten aktualisiert und als beendet markiert.
Zusätzlich wird eine Benachrichtigung an die Smartwatch des Benutzers gesendet.
4.3.4 Worklist-Item abbrechen
Dieser Abschnitt befasst sich mit dem Interaktionspattern
Worklist-Item abbrechen
. Bei
dieser Interaktion kann der Benutzer ein Wokrlist-Item abbrechen und damit den Zustand
von
Running
oder
Suspended
in den Zustand
Skipped
ändern. Dies kann notwendig
sein, falls eine Tätigkeit überflüssig ist und nicht mehr durchgeführt werden muss. Dann
kann der Benutzer eine Tätigkeit als abgebrochen markieren. Die Interaktion lässt sich
einerseits mithilfe der Sprachsteuerung starten und andererseits über Smartphone,
Tablet oder PC durchführen. Neben diesen Eingabemöglichkeiten ist es auch möglich,
dass eine Workstation oder ein IoT-Gerät ein Worklist-Item abbricht. Die Interaktion über
die Sprachsteuerung ist in Abbildung 4.29 dargestellt.
69
4 Interaktionspatterns mit Worklist-Items
Abbildung 4.29:
Interaktionspattern Worklist-Item abbrechen: Abbrechen eines Worklist-
Items mithilfe der Sprachsteuerung
70
4.3 Interaktionspattern zur Worklist-Item Manipulation
Interaktion durch Sprachsteuerung
Dabei kann das Abbrechen eines Worklist-Items über den Sprachbefehl
Task A ab-
brechen
gestartet werden. Um das versehentliche Abbrechen eines Worklist-Items zu
unterbinden muss die Interaktion anschließend bestätigt werden. Hierfür stehen die
Eingabemodalitäten Sprachsteuerung, Gestensteuerung, Smartphone, Tablet, PC und
Smartwatch zur Verfügung. Die Bestätigung kann dabei mithilfe der Sprachsteuerung
und dem Sprachbefehl
Abbrechen bestätigen
durchgeführt werden. Des Weiteren kann
mithilfe der Gestensteuerung, die beispielsweise in der AR-Brille integriert sein kann,
und der
Akzeptierenden Geste
eine Bestätigung herbeigeführt werden. Zusätzlich lässt
sich die Bestätigung über den Button
Bestätigen
an den Geräten Smartphone, Tablet,
PC und Smartwatch durchführen. Nachdem der Abbruch bestätigt wurde werden alle
verfügbaren Geräte über eine Push-Benachrichtigung informiert und die Worklist-Items
Listen werden an den Geräten aktualisiert. Sowohl das große Display als auch die
Smartwatch zeigen eine Benachrichtigung des Abbruchs.
Interaktion durch Smartphone, Tablet und PC
Die Interaktion kann zusätzlich über Smartphone, Tablet und PC durchgeführt werden
und ist in Abbildung 4.30 dargestellt. Hierbei wird der Abbruch des Worklist-Items über die
Listenansicht der eigenen Worklist-Items oder über die detaillierte Ansicht eines Worklist-
Items angestoßen und durchgeführt. Anschließend wird eine Push-Benachrichtigung an
verfügbare Geräte gesendet mit der Information, dass ein Worklist-Item abgebrochen
wurde. Nachfolgend werden die angezeigten Worklist-Items Listen an den Geräten
aktualisiert und die Smartwatch so wie das große Display zeigen eine Meldung zum
Abbruch des Worklist-Items.
71
4 Interaktionspatterns mit Worklist-Items
Abbildung 4.30:
Interaktionspattern Worklist-Item abbrechen: Abbrechen eines Worklist-
Items über Smartphone, Tablet und PC
Interaktion durch Workstation und IoT-Gerät
Allerdings kann ein Worklist-Item über eine Workstation oder ein IoT-Gerät abgebrochen
werden, siehe Abbildung 4.31.
Abbildung 4.31:
Interaktionspattern Worklist-Item abbrechen: Workstation oder IoT-Gerät
brechen ein Worklist-Item ab
72
4.3 Interaktionspattern zur Worklist-Item Manipulation
Hierbei kann eine Workstation oder ein IoT-Gerät bei einem Fehler oder bei einer unnö-
tigen Durchführung ein Worklist-Item abbrechen. Dabei senden Workstation oder IoT-
Gerät eine Meldung mit dem Abbruch eines Worklist-Items an das multimodale Informa-
tionssystem. Das Informationssystem sendet anschließend eine Push-Benachrichtigung
an allen verfügbaren Ausgabegeräten, die Worklist-Items des Benutzers oder eine
Worklist-Items Übersicht anzeigen. Die Worklist-Items Übersichten werden anschließend
an den Geräten aktualisiert. Zusätzlich wird eine Benachrichtigung an der Smartwatch
und am großen Display angezeigt.
73
5
Interaktionsszenarien
In diesem Kapitel werden Interaktionsszenarien vorgestellt, die den Arbeitsablauf eines
Mitarbeiters unter Verwendung multimodaler Eingabe- und Ausgabegeräte darstellt.
Dabei werden in diesem Kapitel zunächst die unterschiedlichen Mitarbeiterrollen mit
den verwendeten Eingabe- und Ausgabegeräten für ein
Anwendungsbeispiel
aufgefasst
und anschließend werden die Anwendungsszenarien anhand Anwendungsbeispielen
beschrieben. Die Anwendungsszenarien werden einerseits Grafiken beinhalten, die an
die BPM-Notation angelehnt sind, sowie auch Grafiken, die den Interaktionsdiagrammen
in Kapitel 4 nachempfunden sind. Dabei stellen die BPMN Diagramme den Tagesablauf
und Arbeitsablauf eines Mitarbeiters dar, wohingegen die Interaktionsdiagramme die
Darstellung und die Push-Benachrichtigung an den Ausgabegeräten anzeigt. Dabei
basieren die Interaktionsdiagramme auf Patterns aus Kapitel 4.
Interaktionsszenarien und Rollen anhand eines Beispiel-Szenario:
Die Interaktionsszenarien und Rollen wurden anhand des Beispiels BPMN Diagramms
in Abbildung 5.1 entwickelt. Bei diesem BPMN Diagramm sind die Beteiligten Hersteller
(
Manufacturer
), Zwischenhändler (
Middleman
), Lieferant (
Supplier
) und der Special
Carrier dargestellt. Der Großhändler (
Bulk Buyer
) gibt eine Bestellung beim Hersteller
ab. Nachfolgend wird der Bedarf berechnet und anschließend wird eine Bestellung beim
Zwischenhändler abgegeben. Die Bestellung wird beim Zwischenhändler verarbeitet
und zum Lieferanten weitergeleitet, zusätzlich wird ein Transport beim Special Carrier
angefragt. Der Lieferant stellt die Produkte für die Bestellung zusammen und bereit
den Transport vor. Anschließend werden die Details zur Lieferung erstellt und der
Wegtransport mit einem Frachtbrief bereitgestellt. Nachdem der Special Carrier den
Frachtbrief erhalten hat wird die Bestellung an den Hersteller geliefert.
75
5 Interaktionsszenarien
Bulk Buyer
Manufacturer
receive
order
Calculate
demand
place
order receive
order report
start of
production
Produce
deliver
product
Middleman
receive
order forward
order order
transport
Special Carrier
receive
order request
details receive
details receive
waybill deliver
order
Supplier
recieve
order
Produce Prepare
Transport
receive
Request provide
details provide
waybill
Abbildung 5.1:
BPMN Prozess zur Abwicklung einer Bestellung für einen Großhändler
[26]
76
5.1 Rollen in den Beispiel-Szenarien
Nachfolgend wird der Großhändler über den Start der Produktion benachrichtigt und die
Produktion der Bestellung des Großhändlers kann durchgeführt werden. Nachdem die
Produktion für den Großhändler abgeschlossen ist wird die Bestellung ausgeliefert.
Im nachfolgenden Abschnitt werden die Rollen aufgelistet, die in diesem Prozess beteiligt
sind. Zusätzlich werden zu den Rollen die verwendeten Eingabe- und Ausgabegeräte
aufgelistet.
5.1 Rollen in den Beispiel-Szenarien
Dieser Abschnitt beschreibt die Rollen, die in den Interaktionsszenarien aus dem An-
wendungsbeispiel verwendet werden und deren Tätigkeiten innerhalb des Beispiel-
Prozesses in Abbildung 5.1 durchgeführt werden. Die Rollen repräsentieren dabei
Berufe innerhalb der beteiligten Unternehmen im Beispiel-Prozess. Die Rollen sind in
der Tabelle 5.1 aufgelistet.
Kürzel Kennzeichnung Abschnitt
R1 Produktionsarbeiter (Production Worker) 5.1.1
R2 Lagerist (Storeman) 5.1.2
R3 Sachbearbeiter (Editor) 5.1.3
5.1.1 Produktionsarbeiter
Der Produktionsarbeiter ist ein Arbeiter in einem Unternehmen, der Produkte oder Teile
eines Produktes zusammenbaut. Dabei arbeitet der Produktionsarbeiter mit körperlichen
Einsatz und hat während der Durchführung der Arbeit nicht beide oder keine Hand frei.
In einer Fertigungshalle ist es dem Produktionsarbeiter zusätzlich nicht möglich ein
Smartphone oder ein Tablet mitzutragen. Die Hauptarbeit eines Produktionsarbeiters ist
es Produkte oder Teile eines Produktes nach Bauplan und Anleitung zusammenzubauen.
Deshalb stehen folgende Eingabe- und Ausgabegeräte für den Produktionsarbeiter in
der Tabelle 5.1.1 zur Verfügung.
77
5 Interaktionsszenarien
Kürzel Bezeichnung Begründung
AR AR-Brille mit eingebau-
ter Sprachsteuerung
und Gestenerkennung
•
Freihändige Bedienung über Sprach-
steuerung
•
Unterstützung von Gesten (Einhand
Bedienung)
•
Inhalte und Anleitungen können proji-
ziert werden
GD Großes Display •
Informationen anzeigen (Stückzahl, Ar-
beitsschritte, Bauplan)
•
großes Display für Lesbarkeit aus der
Distanz möglich
•Inhalt steuerbar über AR
SW Smartwatch •Anzeigen von Benachrichtigungen
•
Akzeptierende Eingaben kann über
Smartwatch getätigt werden
PC PC oder Laptop •
Zu Beginn des Arbeitstages Auswahl
über PC möglich
•
Während der Tätigkeit nicht verwend-
bar
Nicht verwendete Eingabe-/Ausgabegeräte
Die Eingabegeräte Tablet und Smart-
phone findet beim Produktionsarbeiter keine Verwendung, da die Interaktion, die der
Produktionsarbeiter durchführen muss, durch das herausnehmen oder tragen eines
Smartphones und Tablets von der eigentlichen Arbeit ablenkend ist. Die Verwendung
der AR-Brille bietet dem Produktionsarbeiter eine einfache und bequeme Art mit dem
78
5.1 Rollen in den Beispiel-Szenarien
multimodalen Informationssystem zu interagieren, die dem Produktionsarbeiter weniger
von der Arbeit ablenkt.
5.1.2 Lagerist
Der Lagerist hat während seiner Arbeit im Unternehmen ein Gabelstapler zur Hand
und bedient diesen um bestimmte Produkte und Pakete von einem Ort zum anderen
zu transportieren. Dabei besitzt der Gabelstapler eine Fahrerkabine in dem es Platz
und Möglichkeiten bietet ein Tablet mitzutragen. Da die Arbeit unter Verwendung eines
Gabelstaplers eine komfortable Möglichkeit bietet ein Gerät während der Fahrt oder bei
Stillstand zu bedienen stehen dem Lagerist folgende Eingabe- und Ausgabegeräte in
der Tabelle 5.1.2 zur Verfügung.
Kürzel Bezeichnung Begründung
AR AR-Brille mit eingebau-
ter Sprachsteuerung
und Gestenerkennung
•Sprach- und Gestensteuerung
•
Inhalte und Anleitungen können proji-
ziert werden
TB Tablet •einfache Bedienung
•leichte Lesbarkeit
•kann im mitgeführt werden
SW Smartwatch •Anzeigen von Benachrichtigungen
•
Akzeptierende Eingaben kann über
Smartwatch getätigt werden
WI Workstation und IoT-
Geräte •Verwendung von Scanner
•
Direkte Interaktion mit Informations-
system
79
5 Interaktionsszenarien
Nicht verwendete Eingabe-/Ausgabegeräte
Die Eingabegeräte Smartphone und PC finden beim Lageristen keine Verwendung, da
das Display vom Smartphone zu klein für die dauerhafte Verwendung ist und der PC
beziehungsweise der Laptop unkomfortabel zu verwenden ist. Da der Lagerist während
seiner Arbeit an verschiedenen Orten im Unternehmen ist, ist die Verwendung eines
großen Displays nicht zum Vorteil des Arbeiters, da der Arbeiter die Informationen an
verschiedenen großen Displays und an verschiedenen Orten synchronisieren müsste.
Des Weiteren ist es nicht möglich an jedem Lagerstand ein großes Display zu platzieren.
Deshalb kommt ein großes Display beim Lageristen nicht zur Verwendung.
5.1.3 Sachbearbeiter
Der Sachbearbeiter verarbeitet ankommende Aufträge und leitet diese an die Produkti-
onsfirmen oder Lieferanten weiter. Dabei muss der Sachbearbeiter die Aufträge öffnen,
überprüfen und die notwendigen Schritte zur Verarbeitung durchführen. Dabei besitzt
der Sachbearbeiter einen festen Arbeitsplatz im Unternehmen und hat einen vorinstal-
lierten PC zur Verfügung deshalb werden folgende Eingabe- und Ausgabegeräte aus
der Tabelle 5.1.3 verwendet.
Kürzel Bezeichnung Begründung
PC PC oder Laptop •Büroplatz
•Hauptarbeitsgerät
TB Tablet •zusätzlicher Display
•mobiles Arbeitsgerät
SW Smartwatch •Anzeigen von Benachrichtigungen
GD Großes Display •Scrumboard
80
5.2 Anwendungsszenarien anhand Anwendungsbeispielen
Nicht verwendete Eingabe-/Ausgabegeräte
Die Verwendung eines Smartphones wäre durchaus mögliche, dennoch ist das Dis-
play für die Verwendung einerseits zu klein und andererseits bietet die Verwendung
des PCs und des Tablets eine komfortablere Verwendung, da der Sachbearbeiter an
seinem Arbeitsplatz direkten Zugriff auf diese Geräte besitzt. Des Weiteren bietet die
Verwendung einer AR-Brille keinen Vorteil für den Sachbearbeiter, da er jederzeit die
Informationen auf dem Display des PCs oder Tablets zur Verfügung hat und seinen
Blick nicht in verschiedene Richtungen lenken muss. Zusätzlich bietet die Verwendung
der Sprachsteuerung in einem Büro keinen Vorteil, da mehrere Mitarbeiter in einem
Büro arbeiten und dadurch die Sprachsteuerung negative Effekte bringt. Dabei kann ein
Sprachbefehl beispielsweise mehrere Sprachassistenten aktivieren und dadurch andere
Mitarbeiter stören.
5.2 Anwendungsszenarien anhand Anwendungsbeispielen
In diesem Abschnitt werden die verschiedenen Anwendungsszenarien beschrieben, die
Anhand der in Abschnitt 5.1 Rollen auftreten und deren BPMN-Ablaufpläne aus dem
Beispiel-Prozess aus dem Kapitel 5 stammen. Dabei werden die Szenarien mithilfe von
Diagrammen, die an die BPM-Notation angelehnt sind, dargestellt.
5.2.1 Anwendungsbeispiel: Produktionsarbeiter
Das Anwendungsbeispiel für den Produktionsarbeiter ist ein Beispiel, dass die Tätigkeit
Produce
im Beispiel-Process aus Abbildung 5.1 in der Lane
Manufacturer
genauer
beschreibt. Das Anwendungsbeispiel des Produktionsarbeiters ist anhand eines BPMN-
ähnlichen Diagramms in Abbildung 5.2 abgebildet. Dabei sind im Diagramm zu den
Eingabegeräten zusätzlich noch die Aktivitäten aufgelistet, die der Arbeiter durchführt
ohne eine Eingabemodalität zu verwenden.
81
5 Interaktionsszenarien
Beginning
of work
Showing my tasks
Show my
tasks
Show task A
Speech controlled selection
Looking at task and grab
task
Start Task A
Confirm task
Accept Gesture
Confirm task starting
Selecting Task Start Task
Preparing
parts
Show me
plan.pdf
parts missing
Get missing parts
all parts available
Start AR
manual
Perform
instruction
Show next
step
next step available
Finish task
Product
finished
Abbildung 5.2:
BPMN ähnliches Diagramm zur Darstellung des Anwendungsszenarios
eines Produktionsarbeiters unter Verwendung verschiedener Eingabe-
modalitäten
82
5.2 Anwendungsszenarien anhand Anwendungsbeispielen
Hierbei verwendet der Produktionsarbeiter die Eingabegeräte AR-Brille mit eingebauter
Sprachsteuerung und Gestenerkennung sowie ein PC zu Beginn des Arbeitstages.
Das Diagramm aus Abbildung 5.2 lässt sich in die Interaktionsabschnitte
Worklist-
Item auswählen und starten
sowie
AR-Anleitung starten und bedienen
aufteilen. Des
Weiteren wird noch ein Interaktionsabschnitt
dringendes Worklist-Item Benachrichtigung
beschrieben.
Worklist-Item auswählen und starten
Zu Beginn des Tages möchte der Produktionsarbeiter seine Worklist-Items ansehen,
reservieren und starten. Dazu begibt sich der Produktionsarbeiter entweder an einem
PC oder verwendet die AR-Brille mit eingebauter Sprachsteuerung, wie in Abbildung 5.2
dargestellt.
Patternzuordnung:
Dieser Teil des BPMN-Prozesses lässt sich mithilfe der Patterns
meine Worklist-Items
anzeigen
aus Abschnitt 4.2.3,
Worklist-Item Details anzeigen
aus Abschnitt 4.2.5 und
Worklist-Item starten
aus Abschnitt 4.3.1 durchführen. Die Kombination der Patterns
und die Schnittmenge der Eingabe- und Ausgabegeräte ist im Interaktionsdiagramm in
Abbildung 5.3 abgebildet. Dabei kann der Benutzer am PC die Liste der Worklist-Items
aufrufen und ein bestimmtes Worklist-Item auswählen. Anschließend kann er die Details
des Worklist-Items am großen Bildschirm anzeigen in dem der Produktionsarbeiter
auf den
Worklist-Item spiegeln
Button klickt. Diese Interaktion ist in der Abbildung 5.3
im unteren startenden Ablauf abgebildet. Anschließend wird am PC Bildschirm, am
großen Bildschirm und über die AR-Brille die Informationen des Worklist-Items angezeigt.
Nachfolgend kann der Benutzer den Start des Worklist-Items über den
Starten
Button
starten. Alternativ kann der Produktionsarbeiter die Liste aller Worklist-Items über die
AR-Brille und der eingebauten Sprachsteuerung und Gestensteuerung aufrufen und
anzeigen. Dies kann vorkommen, falls der PC in der Werkstatt oder im Aufenthaltsraum
von einem anderen Mitarbeiter verwendet wird. Nachfolgend kann das Worklist-Item
über den Sprachbefehl
Task A starten
gestartet werden. Allerdings muss der Start über
die Sprachsteuerung mithilfe eines Sprachbefehls, einer Geste oder der Smartwatch
bestätigt werden, siehe Abbildung 5.3.
83
5 Interaktionsszenarien
Abbildung 5.3:
Anwendungsszenario: Produktionsarbeiter startet Worklist-Item zu Be-
ginn des Tages
84
5.2 Anwendungsszenarien anhand Anwendungsbeispielen
AR-Anleitung starten und bedienen
Nachdem ein Worklist-Item gestartet wurde bereitet der Produktionsarbeiter alle Teile
für den Bau des Produktes vor. Anschließend will der Produktionsarbeiter den verlinkten
Plan überprüfen und die verlinkte AR-Anleitung starten, siehe Abbildung 5.2.
Patternzuordnung:
Dieser Teil des BPMN-Prozesses lässt sich durch die Verwendung des Pattern
Worklist-
Item Details anzeigen - Anzeigen verknüpfter Inhatselemente
in Abschnitt 4.2.5
durchführen. In Abbildung 5.5 wurde das Pattern für das Anzeigen und für die Darstel-
lung der AR-Anleitung zu einem Interaktionsdiagramm komprimiert und zusammenge-
fasst. Um den Plan aufzurufen verwendet der Produktionsarbeiter den Sprachbefehl
Plan.pdf anzeigen
. Nachfolgend wird der Plan am großen Display, wie in Abbildung
5.5 dargestellt, angezeigt. Anschließend überprüft der Produktionsarbeiter ob alle nöti-
gen Teile zur Verfügung stehen. Damit die AR-Anleitung gestartet wird verwendet der
Produktionsarbeiter den Sprachbefehl
AR-Anleitung starten
. Die Sprachsteuerung wird
verwendet, da der Produktionsarbeiter einerseits andere Tätigkeiten währenddessen
durchführen kann und andererseits kein Gerät zur Hand nehmen muss. Hierbei wird die
AR-Anleitung anschließend projiziert und eine Meldung an der Smartwatch angezeigt.
Da die Anleitung Schrittweise abgearbeitet werden kann, kann der Produktionsarbeiter
entweder über den Sprachbefehl
nächster Schritt anzeigen
oder, falls Hände frei sind,
die Schritte über die Smartwatch wechseln, siehe dazu Abbildung 5.5.
Sobald der Benutzer mit der Durchführung der Tätigkeiten fertig ist und das Produkt
damit fertigstellt wurde wird das Worklist-Item beendet.
Dringendes Worklist-Item Benachrichtigung
Allerdings kann es vorkommen, dass währen der Durchführung eines Worklist-Items
ein anderes dringendes Worklist-Item zur Verarbeitung ankommt. Die Interaktion des
Produktionsarbeiters mit einem dringenden Worklist-Item ist in Abbildung 5.4 darge-
stellt. Dieses Interaktionsdiagramm verwendet und fasst folgende Patterns zusammen:
Worklist-Item Details anzeigen
aus Abschnitt 4.2.5,
Worklist-Item pausieren
aus Ab-
schnitt 4.3.2 und Worklist-Item starten aus Abschnitt 4.3.1.
Hierbei bekommt der Produktionsarbeiter eine Benachrichtigung über ein dringendes
Worklist-Item auf die Smartwatch, oberer Teil in Abbildung 5.4. Anschließend kann der
85
5 Interaktionsszenarien
Produktionsarbeiter die Details des Worklist-Items über den Klick auf die Smartwatch
oder über den Sprachbefehl
Task D anzeigen
anzeigen. Anschließend werden die Infor-
mationen auf dem großen Display und der AR-Brille angezeigt.
Falls sich der Produktionsarbeiter entscheidet das dringende Worklist-Item zu starten,
dann pausiert der Produktionsarbeiter Task A und startet anschließend Task D mithilfe
der Sprachsteuerung, siehe unterer Teil in Abbildung 5.4.
Abbildung 5.4: Anwendungsszenario: Verarbeitung eines dringenden Worklist-Items
86
5.2 Anwendungsszenarien anhand Anwendungsbeispielen
Abbildung 5.5:
Anwendungsszenario: Produktionsarbeiter öffnet verlinkten Plan und die
verlinkte AR-Anleitung
87
5 Interaktionsszenarien
5.2.2 Anwendungsbeispiel: Lagerist
Dieses Anwendungsbeispiel ist ein Beispiel für die Rolle Lagerist und ist aus dem
Beispiel-Prozess in Abbildung 5.1 und beschreibt die Tätigkeit
Prepare Transport
aus
der Lane
Supplier
genauer. Im Anwendungsbeispiel wird zunächst ein Worklist-Item
gestartet und anschließend werden die Produkte für die Lieferung gesammelt und zum
Lieferfahrzeug gebracht. Dabei verwendet der Lagerist die Eingabegeräte Tablet und
AR-Brille mit eingebauter Sprachsteuerung und Gestenerkennung. Der Ablauf ist in
Abbildung 5.6 dargestellt. Dabei beginnt der Ablauf einerseits mit der Auswahl eines
Worklist-Items und anschließend mit der Navigation, dem Scannen und dem Befüllen
des Lieferwagens.
Worklist-Item auswählen und starten
Zunächst betrachtet der Lagerist seine Worklist-Items indem er die Liste seiner Worklist-
Items aufruft. Dabei kann der Lagerist auf das verfügbare Tablet oder auf die Sprach-
steuerung der AR-Brille zurückgreifen, wie in Abbildung 5.6.
Patternzuordnung:
Dieser Teil des BPMN-Prozesses lässt sich mithilfe der Patterns
meine Worklist-Items
anzeigen
aus Abschnitt 4.2.3,
Worklist-Item Details anzeigen
aus Abschnitt 4.2.5 und
Worklist-Item starten
aus Abschnitt 4.3.1 durchführen. Dabei wurden die Interaktionen
der einzelnen Pattern in ein Interaktionsdiagramm zusammengefasst und nur die verfüg-
baren Geräte in Abbildung 5.7 abgebildet.
Verwendet der Lagerist den Sprachbefehl
Zeige meine Worklist-Items
, dann wird die
Liste der Worklist-Items einerseits an der AR-Brille angezeigt und andererseits auf dem
Tablet, da das Ablesen einer Liste auf dem Tablet angenehmer ist als die projizierte
Liste in der AR-Brille. Nachfolgend kann der Lagerist die Details des Worklist-Items über
den Sprachbefehl
Task A anzeigen
, über die Kombination von AR-Brille und Gesten-
steuerung oder über den direkten Klick auf dem Tablet anzeigen. Anschließend wird das
Worklist-Item über die Sprachsteuerung oder dem Tablet gestartet.
88
5.2 Anwendungsszenarien anhand Anwendungsbeispielen
Start of
work
Showing my tasks
Show my
tasks
Selecting Task
Show task A
Looking at task and grab
task
Start Task A
Start Task
Confirm task
Accept Gesture
Confirm task starting
Navigate to
station 1
Find package
scanning package with
scanner
Start navigation
Scanning package with
tablet
Put package into
trailer
Navigate to
next station
Looking at station and grab
it
Navigate to
station 6
Start navigation to station 6
drive to delivery
truck Grab package
scanning package in
delivery truck
more packages
last package
prepare
transportation
finished
Abbildung 5.6:
Anwendungsszenario: Lagerist verarbeitet Auftrag und befüllt den Liefer-
wagen
89
5 Interaktionsszenarien
Abbildung 5.7:
Anwendungsszenario: Lagerist verarbeitet Auftrag und befüllt den Liefer-
wagen
90
5.2 Anwendungsszenarien anhand Anwendungsbeispielen
Navigation starten und Lieferfahrzeug befüllen
Nachdem ein Worklist-Item gestartet wurde muss der Lieferant die notwendigen Produk-
te und Pakete einsammeln.
Patternzuordnung:
Für diese Interaktionen wurde einerseits das Pattern
Worklist-Item beenden - Interak-
tion durch Workstation oder IoT-Gerät
in Abschnitt 4.28 verwendet und andererseits
wurden zusätzliche arbeitsspezifische Interaktionen in das Interaktionsdiagramm aus
Abbildung 5.8 hinzugefügt.
Dazu startet der Lieferant die Navigation entweder über den Sprachbefehl
Navigiere zu
Station 1
oder über die Eingabe am Tablet, siehe Abbildung 5.6. Anschließend wird die
Navigation sowohl an der AR-Brille als auch am Tablet angezeigt, siehe Abbidung 5.8.
Nachdem die Navigation zum Paket abgeschlossen ist muss das Paket gescannt werden.
Dies kann der Lagerist entweder mithilfe des Tablets oder mit dem eingebauten Scanner
durchführen. Nachfolgend werden das erfolgreiche Scannen sowie der Fortschritt an der
Smartwatch angezeigt.
Anschließend kann der Lagerist zum nächsten Paket navigieren. Dazu verwendet der
Lagerist entweder das Tablet oder den Sprachbefehl
zur nächsten Station navigieren
.
Falls ein Sprachbefehl verwendet wird, dann wird dem Lagerist eine Liste auf der AR-
Brille projiziert und kann anschließend die nächste Station über ein Sprachbefehl oder
über eine Kombination aus AR-Brille und Geste ansteuern.
Sobald der Lagerist alle Pakete gesammelt hat begibt er sich zum Lieferwagen und
kann anschließend mithilfe des Scanners am Lieferwagen die Pakete am Lieferwagen
registrieren. Nachfolgend wird der Erfolg der Registrierung an der Smartwatch mitgeteilt.
91
5 Interaktionsszenarien
While working
Navigate to
station 1
navigation to package
start navigation
navigate to package
navigation on tablet scanning package with
tablet
scanning package with
scanner
Package scanned
(Progress displayed)
Navigate to
next station
get next package
start navigation for next
station
Looking at next station and
grab it
Navigate to
station 6
select next station
navigate to package
navigation on tablet
Get package to
delivery truck
scanning package in
delivery truck
Message that package was
put in delivery truck
Abbildung 5.8: Anwendungsszenario: Lagerist navigiert und befüllt Lieferfahrzeug
92
5.2 Anwendungsszenarien anhand Anwendungsbeispielen
5.2.3 Anwendungsbeispiel: Sachbearbeiter
Das Anwendungsbeispiel für den Sachbearbeiter beschreibt die Tätigkeiten
receive or-
der
und
forward order
in der Lane
Middleman
aus dem Beispiel-Prozess in Abbildung
5.1. Der Sachbearbeiter bearbeitet Aufträge der Kunden und stellt die Liste der Lieferan-
ten zusammen. Der Ablauf eines Sachbearbeiters ist in Abbildung 5.9 dargestellt. Dabei
verwendet der Arbeiter die Eingabegeräte PC oder Laptop und ein Tablet. Zusätzlich
zeigt das große Bildschirm im Büro die Scrum- und Gruppenübersicht des Teams an.
Patternzuordnung:
In Abbildung 5.10 ist das Interaktionsdiagramm zum Anwendungsbeispiel des Sachbe-
arbeiters dargestellt. Dabei beinhaltet dieses Interaktionsdiagramm folgende Patterns:
Worklist-Item Details anzeigen
aus Abschnitt 4.2.5,
Worklist-Item reservieren
aus
Abschnitt 4.2.6,
Worklist-Item starten
aus Abschnitt 4.3.1 und
Worklist-Item beenden
aus Abschnitt 4.3.3.
Das Interaktionsdiagramm lässt sich wie folgt beschreiben: Der Sachbearbeiter bekommt
zunächst eine Benachrichtigung über ein neues Worklist-Item auf der Smartwatch, am
Tablet und am PC. Zusätzlich wird eine Meldung am großen Display über ein neues
Worklist-Item für das Team angezeigt. Dabei kann der Sachbearbeiter die detaillierten
Informationen über das Worklist-Item über den Klick am Tablet oder an der Smartwatch
am Tablet betrachten. Zusätzlich kann der Sachbearbeiter das Worklist-Item am PC
ansehen, reservieren und starten. Nachdem das Worklist-Item gestartet wurde wird
eine Benachrichtigung über den Start an der Smartwatch angezeigt und das Team wird
über das große Display darüber informiert. Nachfolgend verarbeitet der Sachbearbeiter
den Auftrag und stellt die Liste für die Lieferanten zusammen. Anschließend kann die
Liste über das Tablet oder über den PC an die Lieferanten versendet werden. Anschlie-
ßend wird der Sachbearbeiter über das erfolgreiche Beenden des Worklist-Items an der
Smartwatch informiert und das Team bekommt über das große Display eine Meldung
angezeigt.
93
5 Interaktionsszenarien
New
Order
income
Getting details of
new order
Displaying details of task
Displaying details of task
Claim task and start
Claim task and start
Create list for
supplier Prepare order
Sending order to supplier
Sending order to supplier
Order
send to
supplier
Abbildung 5.9:
Anwendungsszenario: Sachbearbeiter verarbeitet Auftrag und benach-
richtigt Lieferanten
94
5.2 Anwendungsszenarien anhand Anwendungsbeispielen
While working
Getting notification of new
order
New order notification
Getting notification of new
order
Displaying of incoming new
order
Displaying details of task Claim task and start
Create list for
supplier
Displaying start of task
Displaying details of task Claim task and start
Start task notification
Sending order to supplier
Sending order to supplier
showing completed task
Complete task notification
Abbildung 5.10:
Anwendungsszenario: Sachbearbeiter interagiert mit unterschiedlichen
Eingabe- und Ausgabegeräten
95
6
Zusammenfassung und Ausblick
Dieses Kapitel fasst abschließend die Zielsetzung der Interaktionsszenarien und der
Interaktionspatterns sowie die Ergebnisse zusammen. Unter der Betrachtung der Pro-
blemstellung befasst sich Abschnitt 6.1 mit der Zusammenfassung der Arbeit und der
Ergebnisse. Abschließend folgt in Abschnitt 6.2 ein Ausblick auf zukünftige Erweiterun-
gen.
6.1 Zusammenfassung
Die Zielsetzung dieser Arbeit war die Erstellung von Interaktionsszenarien unter der
Berücksichtigung der Verwendung eines multimodalen Informationssystems. Zunächst
wurde das multimodale Informationssystem beziehungsweise die multimodalen Benut-
zerschnittstellen betrachtet. Daraus ergaben sich verschiedene Eingabe- und Ausgabe-
geräte, die zur Interaktion mit einem multimodalen Informationssystem zur Verfügung
stehen und verwendet werden können. Diese Eingabe- und Ausgabegeräte wurden
anschließend genauer betrachtet und beschrieben.
Nachfolgend wurden Interaktionspatterns entwickelt, die als Grundlage für die Interak-
tionsszenarien stehen. Da das verwendete multimodale Informationssystem in dieser
Arbeit auch ein Process-Aware Information System ist, wurden die Interaktionspattern
anhand von Worklist-Items definiert und erstellt. Daraus ergaben sich Interaktionspat-
terns, die für die Worklist-Übersicht zuständig sind als auch Interaktionspatterns, die für
die Manipulation von Worklist-Items notwendig sind.
97
6 Zusammenfassung und Ausblick
Abschließend wurde ein Beispiel-Prozess für die Interaktionsszenarien entworfen. Dieser
Beispiel-Prozess beschreibt eine Möglichkeit der Durchführung von Interaktionen mit
einem multimodalen Informationssystem. Aus diesem Beispiel-Prozess wurden Rollen
für die Anwendungsbeispiele entworfen und beschrieben. Anschließend wurden Anwen-
dungsbeispiele mit einem Anwendungsszenario beschrieben und Interaktionsdiagramme
unter Verwendung der Interaktionspatterns entwickelt.
6.2 Ausblick
Bereits während der Entwicklung von Interaktionspatterns wurde deutlich, dass die Men-
ge der Interaktionspattern einen Umfang besitzt, die nicht in einer Arbeit allein vollständig
aufgeführt werden können. Deshalb wurde in dieser Arbeit nur der Aspekt der Worklist-
Items in Betracht gezogen. In Zukunft soll der Aspekt der Interaktionspatterns auf die
Fähigkeiten des Process-Aware-Information Systems erweitert werden um die komplette
Funktionalität unter Verwendung verschiedener Eingabe- und Ausgabemöglichkeiten
zur Verfügung zu stellen. Dabei sollen zukünftig Interaktionspattern zur Abfrage von
Performance-Daten und Überwachungsfunktionen des PAIS entwickelt werden.
Des Weiteren sollen Interaktionsszenarien entwickelt werden, die enger an der realen
Durchführung von Prozessen liegen. Dabei sollen Business-Prozesse und Prozessmo-
delle aus Erfahrungen von Unternehmen herbei gezogen werden und die Interaktionss-
zenarien anhand dieser Prozesse abgebildet werden.
98
Literaturverzeichnis
[1]
Lasi, Heiner and Fettke, Peter and Kemper, Hans-Georg and Feld, Thomas and
Hoffmann, Michael: Industry 4.0. Business & Information Systems Engineering
6
(2014) 239–242
[2] Statista - Das Statistik-Portal: Bitkom. (n.d.). Investition in Industrie 4.0 in
Deutschland in den Jahren 2013 bis 2020 (in Milliarden Euro) (2018)
[3]
Weiser, Mark: The computer for the 21 st century. Scientific american
265
(1991)
94–105
[4]
Dumas, Marlon and Van der Aalst, Wil M and Ter Hofstede, Arthur H: Process-Aware
Information Systems: Bridging People and Software Through Process Technology.
John Wiley & Sons (2005)
[5]
Peter Dadam, Manfred Reichert: Prozessmanagementsysteme - Nur ein wenig
Flexibilität wird nicht reichen. Springer-Verlag (2010)
[6]
Jakob Freund, Bernd Rücker, Thomas Henninger: Praxishandbuch BPMN. Carl
Hanser Verlag München (2010)
[7]
Brown, Ross and Paik, Hye-young: Resource-Centric Worklist Visualisation. In:
OTM Confederated International Conferences “On the Move to Meaningful Internet
Systems“, Springer (2005) 94–111
[8]
Hollingsworth, David and Hampshire, UK: Workflow Management Coalition: The
Workflow Reference Model. Document Number TC00-1003 19 (1995) 16
[9]
Weske, Mathias: Business Process Management Architectures. In: Business
Process Management. Springer (2012) 333–371
[10] Panzer, Barbara: Worklist 2.0–Konzepte und Lösungsvorschläge für eine
kontextsensitive Arbeitslistenverwaltung. Diploma thesis, Ulm University (2015)
99
Literaturverzeichnis
[11]
Michael Stach and Tim Mohring and Rüdiger Pryss and Manfred Reichert: Towards
a Beacon-based Situational Prioritization Framework for Process-Aware Information
Systems. In: 15th International Conference on Mobile Systems and Pervasive
Computing (MobiSPC 2018). Number 134 in Procedia Computer Science, Elsevier
Science (2018) 153–160
[12]
Rüdiger Pryss: Robuste und kontextbezogene Ausführung mobiler Aktivitäten in
Prozessumgebungen. PhD thesis, Ulm University (2015)
[13]
Nigay, Laurence and Coutaz, Joëlle: A Design Space for Multimodal Systems:
Concurrent Processing and Data Fusion. In: Proceedings of the INTERACT ’93
and CHI ’93 Conference on Human Factors in Computing Systems. CHI ’93, New
York, NY, USA, ACM (1993) 172–178
[14]
Oviatt, Sharon: Ten Myths of Multimodal Interaction. Commun. ACM
42
(1999)
74–81
[15]
Oviatt, Sharon and DeAngeli, Antonella and Kuhn, Karen: Integration and Syn-
chronization of Input Modes During Multimodal Human-computer Interaction. In:
Referring Phenomena in a Multimedia Context and Their Computational Treatment.
ReferringPhenomena ’97, Stroudsburg, PA, USA, Association for Computational
Linguistics (1997) 1–13
[16] Amazon.com: Alexa Alexa (2018)
[17]
Google LLC: Google Home - Intelligenter Lautsprecher und Home Assistant (2018)
[18] Microsoft: Cortana - Die persönliche Intelligente Assistentin (2018)
[19] Amazon.com: Alexa Python Tutorial (2018)
[20] Cichosz, P.: Amazon Echo Dot (2018)
[21]
Kela, Juha and Korpipää, Panu and Mäntyjärvi, Jani and Kallio, Sanna and Savino,
Giuseppe and Jozzo, Luca and Marca, Di: Accelerometer-based Gesture Control
for a Design Environment. Personal Ubiquitous Comput. 10 (2006) 285–299
100
Literaturverzeichnis
[22]
Gubbi, Jayavardhana and Buyya, Rajkumar and Marusic, Slaven and Palaniswami,
Marimuthu: Internet of Things (IoT): A Vision, Architectural Elements, and Future
Directions. Future generation computer systems 29 (2013) 1645–1660
[23]
Azuma, Ronald T: A Survey of Augmented Reality. Presence: Teleoperators &
Virtual Environments 6(1997) 355–385
[24]
Azuma, Ronald and Baillot, Yohan and Behringer, Reinhold and Feiner, Steven
and Julier, Simon and MacIntyre, Blair: Recent Advances in Augmented Reality.
Technical report, NAVAL RESEARCH LAB WASHINGTON DC (2001)
[25] Microsoft: HoloLens hardware details (2018)
[26]
Mendling, Jan and Weber, Ingo and Aalst, Wil Van Der and Brocke, Jan Vom and
Cabanillas, Cristina and Daniel, Florian and Debois, Søren and Ciccio, Claudio Di
and Dumas, Marlon and Dustdar, Schahram and Gal, Avigdor and García-Bañuelos,
Luciano and Governatori, Guido and Hull, Richard and Rosa, Marcello La and
Leopold, Henrik and Leymann, Frank and Recker, Jan and Reichert, Manfred and
Reijers, Hajo A. and Rinderle-Ma, Stefanie and Solti, Andreas and Rosemann,
Michael and Schulte, Stefan and Singh, Munindar P. and Slaats, Tijs and Staples,
Mark and Weber, Barbara and Weidlich, Matthias and Weske, Mathias and Xu, Xiwei
and Zhu, Liming: Blockchains for Business Process Management - Challenges and
Opportunities. ACM Trans. Manage. Inf. Syst. 9(2018) 4:1–4:16
101
Abbildungsverzeichnis
1.1 Prognose zu den Ivestition in die Industrie 4.0 in Deutschland [2] . . . . . 2
2.1 BPMN Kernelemente im Überblick [6] . . . . . . . . . . . . . . . . . . . . 7
2.2 Bestellung eines Artikels als Prozessmodell mit Blanko-Ereignissen [6] . 8
2.3 Verschiedene Arten von Gateways . . . . . . . . . . . . . . . . . . . . . . 9
2.4 Liste an eine Auswahl von Ereignissen aus BPMN 2.0 . . . . . . . . . . . 11
2.5 Beispiel einer Bestellung mit Teilprozessen zur einfacheren Darstellung . 13
2.6 Beispiel einer Bestellung ohne Teilprozessen . . . . . . . . . . . . . . . . 15
2.7 Worklist-Item Zustände und Übergänge [12] . . . . . . . . . . . . . . . . . 18
3.1
Eingabe- und Ausgabegeräte für die Interaktion mit einem multimodalen
Informationssystem .............................. 20
3.2 Alexa Echo Dot 2. Generation [20] . . . . . . . . . . . . . . . . . . . . . . 22
3.3 Verschiedene Arten der Mixed Reality [24] . . . . . . . . . . . . . . . . . . 24
4.1
Kommunikation der verschiedenen Eingabe- und Ausgabegeräten mit
einem multimodalen Informationssystem . . . . . . . . . . . . . . . . . . . 28
4.2 Benachrichtigung verschiedener Ausgabegeräte zur Abfrage von Daten . 30
4.3
Abfrage der detaillierten Ansicht eines Worklist-Items mit Push-Benachrichtigung
31
4.4 Interaktionsdigramm: Exclusive-OR JOIN und SPLIT . . . . . . . . . . . . 34
4.5 Interaktionsdigramm: Inclusive-OR JOIN und SPLIT . . . . . . . . . . . . 35
4.6 Interaktionsdigramm: Datenfluss und AND SPLIT . . . . . . . . . . . . . . 36
4.7
Interaktionspattern Vorgeschlagene Worklist-Items anzeigen: Anzeigen
durch Sprachsteuerung und AR-Brille . . . . . . . . . . . . . . . . . . . . 37
4.8
Interaktionspattern Vorgeschlagene Worklist-Items anzeigen: Durch Lis-
tenblättern ................................... 38
4.9
Interaktionspattern Meine Worklist-Items anzeigen: Anzeigen über Sprach-
steuerung, AR-Brille oder Synchronisierungsfunktion . . . . . . . . . . . . 40
4.10
Interaktionspattern alle Worklist-Items anzeigen: Anzeigen über Sprach-
steuerung, AR-Brille oder Synchronisierungsfunktion . . . . . . . . . . . . 41
103
Abbildungsverzeichnis
4.11
Interaktionspattern Worklist-Item Details anzeigen: detaillierte Informatio-
nen eines Worklist-Items anzeigen . . . . . . . . . . . . . . . . . . . . . . 44
4.12
Interaktionspattern Worklist-Item Details anzeigen: detaillierte Informatio-
nen über PC, Tablet und Smartphone anzeigen . . . . . . . . . . . . . . . 45
4.13 Interaktionspattern Worklist-Item Details anzeigen: AR-Anleitung starten . 47
4.14 Benutzerwechsel an einem Sprachassistenten . . . . . . . . . . . . . . . 49
4.15
Interaktionspattern Worklist-Item reservieren: Reservierung eines Worklist-
Items über Sprachassistent oder AR-Brille . . . . . . . . . . . . . . . . . . 50
4.16
Interaktionspattern Worklist-Item reservieren: Zeitgleiche Darstellung der
Reservierung in der Listenansicht . . . . . . . . . . . . . . . . . . . . . . 51
4.17
Interaktionspattern Worklist-Item reservieren: Darstellung der Reservie-
rung auf verschiedenen Geräten . . . . . . . . . . . . . . . . . . . . . . . 51
4.18
Interaktionspattern Worklist-Item freigeben: Freigabe über Sprachsteue-
rungundAR-Brille ............................... 53
4.19
Interaktionspattern Worklist-Item freigeben: Freigabe des Worklist-Items
inderListe ................................... 54
4.20
Interaktionspattern Worklist-Item freigeben: Worklist-Item D wird freigegeben
55
4.21
Interaktionspattern Worklist-Item delegieren: Delegation über Sprach-
steuerung und Gestensteuerung . . . . . . . . . . . . . . . . . . . . . . . 57
4.22
Interaktionspattern Worklist-Item starten: Starten eines Worklist-Items
über die Sprachsteuerung . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.23
Interaktionspattern Worklist-Item starten: Starten eines Worklist-Items
über Smartphone, Tablet oder PC . . . . . . . . . . . . . . . . . . . . . . 61
4.24
Interaktionspattern Worklist-Item pausieren: Pausieren von Worklist-Items
überSprachsteuerung............................. 63
4.25
Interaktionspattern Worklist-Item pausieren: Pausieren von Worklist-Items
über Smartphone, Tablet oder PC . . . . . . . . . . . . . . . . . . . . . . 64
4.26
Interaktionspattern Worklist-Item beenden: Worklist-Item mithilfe der Sprach-
steuerungbeenden............................... 66
4.27
Interaktionspattern Worklist-Item beenden: Beenden von Worklist-Items
über Smartphone, Tablet oder PC . . . . . . . . . . . . . . . . . . . . . . 67
104
Abbildungsverzeichnis
4.28
Interaktionspattern Worklist-Item beenden: Beenden von Worklist-Items
durch Workstation oder IoT . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.29
Interaktionspattern Worklist-Item abbrechen: Abbrechen eines Worklist-
Items mithilfe der Sprachsteuerung . . . . . . . . . . . . . . . . . . . . . . 70
4.30
Interaktionspattern Worklist-Item abbrechen: Abbrechen eines Worklist-
Items über Smartphone, Tablet und PC . . . . . . . . . . . . . . . . . . . 72
4.31
Interaktionspattern Worklist-Item abbrechen: Workstation oder IoT-Gerät
brechen ein Worklist-Item ab . . . . . . . . . . . . . . . . . . . . . . . . . 72
5.1
BPMN Prozess zur Abwicklung einer Bestellung für einen Großhändler [
26
]
76
5.2
BPMN ähnliches Diagramm zur Darstellung des Anwendungsszenarios
eines Produktionsarbeiters unter Verwendung verschiedener Eingabemo-
dalitäten..................................... 82
5.3
Anwendungsszenario: Produktionsarbeiter startet Worklist-Item zu Beginn
desTages.................................... 84
5.4 Anwendungsszenario: Verarbeitung eines dringenden Worklist-Items . . . 86
5.5
Anwendungsszenario: Produktionsarbeiter öffnet verlinkten Plan und die
verlinkteAR-Anleitung............................. 87
5.6
Anwendungsszenario: Lagerist verarbeitet Auftrag und befüllt den Liefer-
wagen...................................... 89
5.7
Anwendungsszenario: Lagerist verarbeitet Auftrag und befüllt den Liefer-
wagen...................................... 90
5.8 Anwendungsszenario: Lagerist navigiert und befüllt Lieferfahrzeug . . . . 92
5.9
Anwendungsszenario: Sachbearbeiter verarbeitet Auftrag und benach-
richtigtLieferanten ............................... 94
5.10
Anwendungsszenario: Sachbearbeiter interagiert mit unterschiedlichen
Eingabe- und Ausgabegeräten . . . . . . . . . . . . . . . . . . . . . . . . 95
105
Name: Andreas Alzner Matrikelnummer: 754211
Erklärung
Ich erkläre, dass ich die Arbeit selbstständig verfasst und keine anderen als die angege-
benen Quellen und Hilfsmittel verwendet habe.
Ulm,den .............................................................................
Andreas Alzner
