Control de robots con realidad mixta multimodal: Programación a través del guiado manual de gemelos digitales

Uni e sidad del País Vasco / Euskal He iko Unibe si a ea (UPV/EHU)
Tesis Doc o al
Con ol de Robo s con Realidad Mix a
Mul imodal: P og amación a a és del Guiado
Manual de Gemelos Digi ales
Andoni Ri e a Pin o
1. Supe iso Johan Kildal Okiñena
2. Supe iso a Elena Lazkano O ega
2025
Andoni Ri e a Pin o
Con ol de Robo s con Realidad Mix a Mul imodal: P og amación a a és del Guiado Manual
de Gemelos Digi ales
28 de eb e o de 2025
Supe iso es: Johan Kildal Okiñena y Elena Lazkano O ega
Uni e sidad del País Vasco (UPV/EHU)
Facul ad de In o má ica de San Sebas ián
Ciencia de la Compu ación e In eligencia A i icial
Manuel La dizabal pasealekua, 1
20018, Donos ia - San Sebas ián
(cc) 2025 Andoni Ri e a Pin o (cc by-sa 4.0)
Resumen
En es a memo ia se p esen a el abajo de in es igación sob e el uso de ealidad
mix a y gemelos digi ales pa a la p og amación de obo s colabo a i os, p oponiendo
un en oque que busca supe a los desa íos ac uales en la p og amación de b azos
obó icos en en o nos indus iales. El abajo explo a cómo la in eg ación de ec-
nologías inme si as, ales como disposi i os de ealidad mix a y e oalimen ación
háp ica, puede acili a la p og amación in ui i a de obo s median e el guiado
manual de sus gemelos digi ales holog á icos. Es a in es igación cons a de 3 ases
expe imen ales en las que se e alúa desde la manipulación básica de holog amas
has a la p og amación de obo s ísicos a a és de gemelos digi ales en con ex os de
abajo colabo a i o.
Los expe imen os ealizados abo dan cues iones cla e, como la iabilidad de u iliza
in e aces de ealidad mix a pa a de ini ayec o ias y poses obó icas, el impac o de
la e oalimen ación ác il en la pe cepción de con ol y isicalidad, y las limi aciones
en la p ecisión alcanzable en compa ación con mé odos adicionales. Los es udios
de usua io indican una mejo a en la pe cepción de con ol con e oalimen ación
háp ica, pe o ambién e elan e os impo an es elacionados con la p ecisión y la
adap ación a en o nos complejos.
Las conclusiones sugie en que la ealidad mix a iene un g an po encial pa a educi
la complejidad de la p og amación obó ica, haciendo posible que ope a ios sin
expe iencia écnica a anzada p og amen obo s de mane a e ec i a. Po o a pa e,
se iden i ican á eas pa a u u as in es igaciones, incluyendo la op imización de la
in eg ación háp ica y la mejo a en la iden i icación de obs áculos del en o no eal y
su ep esen ación en el en o no i ual.
iii
Ag adecimien os
Quie o comenza exp esando mi más since o ag adecimien o a mis di ec o es de
esis, Johan y Elena, po guia me a lo la go de odo el p oceso del doc o ado. Más
allá de las co ecciones habi uales, han sido una uen e cons an e de inspi ación en
los momen os cla e de la in es igación y me han ayudado a supe a los bloqueos
con una paciencia que, en muchos momen os, me ha al ado.
A Teknike , ambién, po b inda me la opo unidad de desa olla es a esis jun o a
su equipo, donde he ap endido la mayo pa e de lo que hoy sé sob e in e acción,
obó ica y en o nos i uales.
Quie o ag adece p o undamen e a mis pad es, cuyo apoyo incondicional me ha
dado ue zas du an e odo es e eco ido. Su espaldo ha sido undamen al pa a mi
c ecimien o pe sonal. A mi he mano, po se siemp e una e e encia pa a mí, no
solo en lo académico, sino ambién en los aspec os más pe sonales y emocionales de
es e p oceso.
A mis compañe os de abajo, quienes han sido una uen e cons an e de ap endizaje,
apoyo y mo i ación. G acias po compa i su conocimien o y expe iencia, y, sob e
odo, po hace el día a día más ameno.
Finalmen e, pe o no menos impo an e, a la cuad illa y al es o de mis amigos,
que du an e es e p oceso han sido los mejo es aliados pa a desconec a y eca ga
ene gías pa a lle a a cabo es e abajo.

Índice gene al
I In oducción 1
1 In oducción 3
1.1 Mo i ación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Realidad Mix a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Obje i o gene al . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4 Resul ados de la in es igación . . . . . . . . . . . . . . . . . . . . . . 7
1.5 En o no de in es igación . . . . . . . . . . . . . . . . . . . . . . . . . 8
II Ac i idad In es igado a y apo ación cien í ica 11
2 Es ado del a e 13
2.1 Robo s colabo a i os . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 Realidad Vi ual, Mix a y Aumen ada . . . . . . . . . . . . . . . . . . 14
2.3 Realidad Vi ual, Mix a y Aumen ada en la indus ia . . . . . . . . . 16
3
Impac o de un sis ema de ealidad mix a mul imodal pa a el guiado
manual de un holog ama de cobo 23
3.1 Disposi i os y ecnología u ilizada . . . . . . . . . . . . . . . . . . . . 24
3.2 Con igu ación de los disposi i os . . . . . . . . . . . . . . . . . . . . 25
3.3 Escena de en enamien o: “Labo a o io i ual” . . . . . . . . . . . . 26
3.4 Escena de guiado manual del obo holog á ico . . . . . . . . . . . . 27
3.5 Es udio de usua io . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.6 Resul ados del es udio . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.7 Discusión de los esul ados . . . . . . . . . . . . . . . . . . . . . . . . 32
3.8 Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4
Un en o no de ealidad mix a pa a p og ama un obo a a és de su
gemelo digi al 35
4.1 Requisi os de la aplicación . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2 Disposi i os y ecnología u ilizada . . . . . . . . . . . . . . . . . . . . 36
4.3 Con igu ación y comunicación del sis ema . . . . . . . . . . . . . . . 38
4.4 Diseño de la in e acción y la aplicación . . . . . . . . . . . . . . . . . 38
4.4.1 De inición de la ayec o ia del ex emo del obo . . . . . . . 40
4.4.2 De inición de la pose obje i o del obo . . . . . . . . . . . . . 42
ii
4.4.3 Escaneo del espacio ci cundan e . . . . . . . . . . . . . . . . 43
4.5 Es udiodeusua io ............................ 44
4.6 Resul ados del es udio . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.7 Discusión de los esul ados . . . . . . . . . . . . . . . . . . . . . . . . 48
4.8 Conclusiones ............................... 49
5
En o no de ealidad mix a pa a eleope a un obo ísico en una a ea
de inspección de ale ones 51
5.1 Requisi os del sis ema . . . . . . . . . . . . . . . . . . . . . . . . . . 51
5.2 Disposi i os y ecnología u ilizada . . . . . . . . . . . . . . . . . . . . 52
5.3 Con igu ación y comunicación del sis ema . . . . . . . . . . . . . . . 53
5.4 Diseño de la in e acción y la aplicación . . . . . . . . . . . . . . . . . 54
5.5 P ocedimien o de p og amación del obo pa a la a ea . . . . . . . . 55
5.6 Es udiodeusua io ............................ 59
5.7 Análisis y discusión de los esul ados . . . . . . . . . . . . . . . . . . 60
5.8 Conclusiones ............................... 61
6 Conclusiones y abajo u u o 63
6.1 T abajoFu u o .............................. 64
Bibliog a ía 67
III A ículos publicados 73
7
Mul imodal Mixed Reali y Impac on a Hand Guiding Task wi h a
Holog aphic Cobo 75
8
Towa d P og amming a Collabo a i e Robo by In e ac ing wi h I s
Digi al Twin in a Mixed Reali y En i onmen 97
9
Collabo a i e Robo Teleope a ion in Mixed Reali y En i onmen o
Inspec ion Tasks 111
iii
Índice de igu as
1.1
Rep esen ación del con inuo de i ualidad con los dis in os amos de
losquees ácompues o. .......................... 6
2.1 P ime iso de ealidad aumen ada c eado po I an Su he land. . . . 15
3.1
Disposi i o de ealidad mix a HoloLens 1. Pe mi e mos a holog amas
sob e el mundo eal e in e ac ua con ellos. . . . . . . . . . . . . . . . 24
3.2
Disposi i o háp ico que unciona a a és de emiso es de ul asonidos y
una cáma a que pe mi e i ualiza la pose de la mano. . . . . . . . . . 25
3.3 Con igu ación de los dis in os disposi i os u ilizados en el desa ollo. . 26
3.4
Vis a gene al de la escena de p ueba pa a conoce las posibilidades de
la ecnologíau ilizada............................ 27
3.5
Pun o de is a del usua io de la escena de ealidad mix a du an e la
manipulación de un b azo obó ico holog á ico. En la esquina in e io
de echa se mues a la pe spec i a del en o no eal. . . . . . . . . . . . 28
4.1 Segunda e sión del disposi i o de ealidad mix a HoloLens 2. . . . . . 37
4.2
Esquema del lujo de comunicación en e la aplicación de HoloLens 2 y
ROS...................................... 38
4.3
De izquie da a de echa, la e olución en el diseño del holog ama que
pe mi e de ini la pose del ex emo del obo . Pin ado en na anja el
núcleo del obje o que de ine la posición obje i o y en colo ojo la pa e
que de ine la o ien ación. . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.4
Vis a en p ime a pe sona del modo de p og amación desc ibiendo la
ayec o ia. ................................. 41
4.5
Diseños de las es e as del obo que pe mi en de ini el pun o inicial y
inal obje i o del ex emo del gemelo digi al del obo . . . . . . . . . . 42
4.6
Holog ama del gemelo digi al en su posición ac ual, jun o al holog ama
que mues a la plani icación del la ayec o ia. . . . . . . . . . . . . . . 43
4.7 Imagen del mallado del en o no eal que ealiza HoloLens 2. . . . . . . 44
5.1
Esquema de la comunicación en e los dis in os elemen os y se icios
delaaplicación................................ 53
5.2
Placa de calib ación u ilizada pa a ob ene la pose del ale ón con
espec o a la cáma a colocada jun o al ex emo del b azo obó ico. . . 56
ix
Fig. 1.1:
Rep esen ación del con inuo de i ualidad con los dis in os amos de los que es á
compues o.
1.3 Obje i o gene al
Es e abajo ha enido como p opósi o p incipal da espues a a la p egun a de
in es igación p esen ada con an e io idad: ¿Es posible p og ama un b azo obó ico
eal a a és de un p og ama de ealidad mix a?
Es po ello que se ha ealizado un es udio de ecnologías de ealidad mix a pa a
la p og amación de un b azo obó ico a a és de su gemelo digi al. Den o de
las ecnologías de ealidad mix a, se ha e aluado ambién el impac o del uso de
disposi i os háp icos en la manipulación de elemen os holog á icos.
Todo el p oceso de in es igación ealizado se ha di idido en es pa es. Cada pa e
enía un obje i o o hi o que son los siguien es:
1.
Explo a la posibilidad de mo e un b azo obó ico i ual median e guiado
manual haciendo uso de su ep esen ación holog á ica en un en o no de
ealidad mix a. E alua el impac o del uso de disposi i os háp icos en la
manipulación de holog amas.
2.
Explo a la posibilidad de p og ama un b azo obó ico i ual a a és de su
gemelo digi al en un en o no de ealidad mix a.
3.
P og ama un obo eal a a és su gemelo digi al en un con ex o colabo a i o
de inspección de un ale ón usando ecnología de ealidad mix a.
Re omando la p egun a p incipal, en caso de que la espues a sea posi i a, se á
posible ealiza es a a ea mien as el obo que se p e ende p og ama se encuen a
6Capí ulo 1 In oducción

ealizando o a a ea. Además, pod ía ace ca es e ipo de labo a abajado es que
ca ecen de conocimien os de p og amación.
1.4 Resul ados de la in es igación
A pa i del abajo ealizado en el con ex o de la esis se han publicado los siguien es
a ículos en e is as indexadas:
1.
Ri e a Pin o A, Kildal J., Lazkano E. Mul imodal Mixed Reali y Impac on a
Hand Guiding Task wi h a Holog aphic Cobo . Mul imodal Technologies and
In e ac ion. 2020; 4(4):78. (Fac o de impac o: 2.4; Cua il: Q3; Núme o de
ci as: 14)
2.
Ri e a Pin o A., Kildal J., Lazkano E. Towa d P og amming a Collabo a i e
Robo by In e ac ing wi h I s Digi al Twin in a Mixed Reali y En i onmen . In-
e na ional Jou nal o Human–Compu e In e ac ion. 2023;0(0):1-13. (Fac o
de impac o: 3.4; Cua il: Q1; Núme o de ci as: 14)
3.
Ri e a Pin o A., Ace a C., Kildal J., Fe nández I., Lazkano E., Collabo a i e
Robo Teleope a ion in Mixed Reali y En i onmen o Inspec ion Tasks. PRE-
SENCE: Vi ual and Augmen ed Reali y, 2025; 1-31. (Fac o de impac o: 0.4;
Cua il: Q4; Núme o de ci as: 0)
Cada publicación p esen ada co esponde a un hi o de la sección an e io espec i a-
men e.
En elación al p ime a ículo, p e io a su publicación se p esen ó un "La e B eaking
Repo ":
Ri e a Pin o A., Kildal J., Visuo-Tac ile Mixed Reali y o O line Cobo P o-
g amming. In: Companion o he 2020 ACM/IEEE In e na ional Con e ence
on Human-Robo In e ac ion. HRI ’20. Associa ion o Compu ing Machine y;
2020:403-405.
En e la p ime a y segunda publicación de e is as indexadas se publica un a ículo
desc ibiendo los siguien es pasos dados as habe analizado los esul ados y las
conclusiones de la p ime a.
Ri e a Pin o A., Kildal J., & Lazkano E. Análisis de una expe iencia mul imodal
de ealidad mix a pa a la p og amación de un cobo a a és de su gemelo
1.4 Resul ados de la in es igación 7
digi al. Re is a de la Asociación In e acción Pe sona O denado (AIPO). 2021;
2(2), 19-33.
Es e a ículo ue publicado a a és de la in i ación ecibida as la pa icipación en
el cong eso de In e acción Pe sona-O denado (IPO), que ue pa e del Cong eso
Español de In o má ica (CEDI 20/21), y as habe ganado el p emio a mejo abajo
de in de más e en la emá ica de in e acción o o gado po la Asociación In e acción
Pe sona-O denado (AIPO).
El e ce a ículo ue esc i o en el con ex o del p oyec o COGILE que es un p oyec o
del p og ama ELKARTEK, que iene como obje i o p omo e p oyec os de in es i-
gación con al o po encial indus ial con el in de mejo a la compe i i idad en los
ámbi os de la indus ia in eligen e, las ene gías más limpias y la salud pe sonaliza-
da2.
1.5 En o no de in es igación
Es a in es igación ha sido lle ada a cabo en Teknike , un cen o de in es igación y
desa ollo que se encuen a en Eiba y que o ma pa e del Basque Resea ch and
Technology Alliance (BRTA). Cuen a con dis in os campos de especialización en e
los cuales se encuen a la obó ica y la in e acción pe sona- obo . Teknike en oca su
ac i idad en la gene ación de conocimien o y ans e encia a la indus ia en o ma de
soluciones ecnológicas. De hecho, como cen o de in es igación si e a una amplia
a iedad de sec o es como son los de máquina-he amien a, ab icación, ene gías
eno ables, ae onáu ica y espacial, biomedicina o au omoción en e o os.
Sis emas Au ónomos e In eligen es: La unidad de Sis emas Au ónomos e In-
eligen es (SAI) cuen a con una amplia expe iencia en el desa ollo de sis emas
in eligen es con un al o ni el de au onomía. La unidad cuen a con es líneas de
abajo p incipales:
Robó ica: La unidad lide a la línea de especialización en obó ica de Teknike ,
de iniendo y coo dinando las ac i idades de o os g upos de in es igación
elacionadas con es e campo. La in es igación en obó ica se cen a en do a
a los obo s de in eligencia pa a la na egación de pla a o mas mó iles y la
ejecución de ayec o ias en b azos obó icos así como p opo ciona a es os
úl imos la capacidad de manipula obje os.
2h ps://www.sp i.eus/es/ayudas/elka ek/
8Capí ulo 1 In oducción
Visión po compu ado : Su ac i idad se cen a p incipalmen e en la inspección
y con ol de calidad de elemen os, aunque ambién apo a un alo impo an e
en la línea de obó ica pa a múl iples a eas como pueden se la calib ación
en e disposi i os o la de ección de obje os.
In e acción pe sona-máquina: Es a línea de abajo iene como obje i o
mejo a la comunicación bidi eccional en e las pe sonas y los obo s o máqui-
nas haciendo uso de ecnología que acili e la ansmisión, ep esen ación e
in e p e ación de la in o mación emi ida an o po la máquina como po el
usua io.
El p incipal p opósi o de Teknike es apo a c ecimien o y bienes a a a és de la
I+D+i al conjun o de la sociedad, con ibuyendo de mane a sos enible a la compe-
i i idad del ejido emp esa ial. El in e és de Teknike en el desa ollo de écnicas
de in e acción en e pe sonas y obo s en en o nos indus iales, ha p opiciado es e
abajo de in es igación, además de p opo ciona el en o no adecuado pa a ello.
1.5 En o no de in es igación 9
Pa e II
Ac i idad In es igado a y apo ación
cien í ica

2
Es ado del a e
En el con ex o de la cua a e olución indus ial, impulsada po ecnologías como
la analí ica de da os, la in eligencia a i icial y el in e ne de las cosas, los p ocesos
indus iales deben adap a se con inuamen e a las demandas especí icas de cada a ea,
ap o echando es as he amien as pa a op imiza su endimien o y lexibilidad. Es as
ans o maciones ambién han in oducido nue as dinámicas en la in e acción en e
humanos y obo s en el en o no labo al. Po ejemplo, en algunos casos, es necesa io
que los ope a ios colabo en di ec amen e en cie os p ocedimien os mien as el
obo ealiza una a ea. Sin emba go, es e ipo de colabo ación no es iable con la
obó ica adicional, que depende de ba e as ísicas pa a ga an iza la segu idad.
2.1 Robo s colabo a i os
Los obo s colabo a i os ( ambién conocidos como cobo s) son obo s capaces de
abaja en colabo ación con el abajado de una mane a segu a [47]. Pa a que un
obo pueda se denominado cobo debe cumpli unos equisi os:
Segu idad: Los cobo s deben ene ca ac e ís icas de segu idad in eg adas
como son senso es de ue za, sis emas de de ección de colisiones y pa adas
au omá icas en caso de en a en con ac o con un humano. No malmen e sus
diseños cuen an con bo des edondeados, ma e iales sua es o que abso ben
impac os pa a educi daños en caso de colisión.
In e acción con humanos: Los cobo s deben se capaces de in e ac ua de
o ma in ui i a con los ope ado es, lo cual supone que puedan se p og amados
di ec amen e po el usua io (guiado manual) o a a és de in e aces de ácil
comp ensión.
Limi ación de ue za y elocidad: Así se e i a causa daños en caso de con ac o
con una pe sona. Es os pa áme os se ajus an en unción a la p oximidad con
los ope a ios.
13
De ección del en o no: Deben inco po a senso es pa a ecoge in o mación
del en o no y eacciona an e cambios en el mismo. Es e ac o es c ucial en
una a ea colabo a i a donde obo y ope a io compa en el espacio de abajo.
Es os equisi os pe mi en que los obo s y los abajado es puedan coexis i en el
mismo en o no de abajo sin necesidad de con a con jaulas de segu idad o ba e as
ísicas.
La capacidad de los cobo s pa a se p og amados ácilmen e po abajado es sin
conocimien os écnicos es un equisi o impo an e pa a su ácil adopción po pa e
de las indus ias manu ac u e as [33]. El guiado manual [44] es la écnica que
pe mi e p og ama un obo mo iéndolo lib emen e con la mano al ededo de su
campo de abajo. La acción de p og ama un b azo obó ico de iniendo su compo -
amien o a a és de un guiado manual ambién es conocido como p og amación
po demos ación [13]. Mo e un b azo obó ico de o ma manual es in ui i o pa a
los abajado es que, de es a o ma pueden ans e i su conocimien o del abajo a
desempeña sin la necesidad de con a con un conocimien o écnico de p og amación
ni de la cinemá ica del obo .
2.2 Realidad Vi ual, Mix a y Aumen ada
La p og amación po demos ación es un mé odo de p og amación de b azos o-
bó icos muy in e esan e debido a que educe conside ablemen e la di icul ad que
supone p og ama un b azo obó ico. Es o se debe a que el ope a io ansmi e su
conocimien o al obo o sis ema. Además, se consigue educi el iempo empleado
en la p og amación ya que no equie e de esc ibi código como se hace a a és
de la p og amación adicional. Como se ha dicho an e io men e, es el mé odo de
p og amación adecuado pa a aplicaciones en en o nos dinámicos. Sin emba go, es e
mé odo de p og amación ambién iene limi aciones. Po un lado, el b azo obó ico
equie e de su manipulación ísica. Po o o lado, las ayec o ias gene adas po
demos ación pueden no se las más e icien es o segu as, ya que no se op imizan
au omá icamen e.
Pa a conoce la iabilidad de la p og amación po demos ación a a és de dispo-
si i os de ealidad i ual y mix a, se debe conoce a qué ipo de ecnología hacen
e e encia es os concep os y la ecnología exis en e que pe mi a al usua io abaja
con el gemelo digi al [17] de un b azo obó ico pa a pode p og ama lo.
La ealidad i ual es un concep o ela i amen e nue o en la e a ecnológica. Fue en
1994 cuando Paul Milg am y Fumio Kishino acuña on el concep o de con inuo de la
14 Capí ulo 2 Es ado del a e
i ualidad[48]. Es e concep o desc ibe un espec o con inuo donde los ex emos
de inen expe iencias comple amen e eales y comple amen e i uales. En la zona
in e media se encuen an aquellas expe iencias que no son pu amen e eales ni
pu amen e i uales. Toda esa egión del con inuo se denomina ealidad mix a.
Pa a en onces ya habían sido c eados dis in os disposi i os y expe iencias de ealidad
i ual. Una de las p ime as expe iencias es Senso ama [24], que ue c eada po
Mo on Heiling en 1962. Es e disposi i o o ecía al usua io una expe iencia isual
es e eoscópica, sonido es é eo, sensación de ien o, e ec os ol a i os y mo imien o
del asien o.
En cuan o al p ime iso de ealidad aumen ada (Fig. 2.1), ue en 1968 cuando
I an Su he land c eó un disposi i o que mos aba dibujos en o ma de malla sob e
el mundo eal [71].
Fig. 2.1: P ime iso de ealidad aumen ada c eado po I an Su he land.
En 2002, se in odujo la ealidad i ual isual en la medicina [2, 21, 23, 67] con el
in de en ena y mejo a las habilidades de los ci ujanos.
La ecnología de cascos de isión de ealidad i ual y aumen ada ha e olucionado
len amen e has a que en la década pasada esu gió con cie a ue za. En 2012
Google p esen ó un p o o ipo a anzado de sus ga as de ealidad aumen ada. El
p opósi o de Google con es e disposi i o e a que se in eg ase como una he amien a
más en la sociedad. En los siguien es años le siguie on o os disposi i os simila es
pe o de ealidad i ual como son Oculus Ri [39], PlayS a ion VR o HTC Vi e
pe mi iendo la inme sión en simulaciones de en o nos ealis as. Es os disposi i os se
desa olla on p incipalmen e con un p opósi o lúdico.
Los disposi i os de ealidad ex endida no sólo es án des inados a o ece una ex-
pe iencia isual. También exis en disposi i os que o ecen in o mación al usua io
a a és de o o sen idos. Los disposi i os háp icos [57] pe mi en una expe iencia
2.2 Realidad Vi ual, Mix a y Aumen ada 15

3
Impac o de un sis ema de
ealidad mix a mul imodal pa a el
guiado manual de un holog ama
de cobo
En es e capí ulo se desc ibe el p ime paso de in es igación ealizado pa a es udia
si es posible p og ama un b azo obó ico a a és del guiado manual u ilizando
disposi i os de ealidad mix a. Pa a ello, en es e p ime hi o el obje i o p opues o
consis e en la manipulación de un modelo simple de obo .
Haciendo un análisis de los dis in os disposi i os de ealidad mix a exis en es, consi-
de amos que lo ideal se ía pode o ece al usua io una expe iencia inme si a que
le pe mi a pe cibi una isión es e eoscópica del obo que se p e ende ep esen a .
Además, la manipulación di ec a del obo en luga del uso de coo denadas y cua-
e niones de o ación busca da acceso al desempeño de es a a ea a pe sonas que
ca ecen de es os conocimien os écnicos. Po úl imo, una de las mayo es ca encias
de la ealidad mix a isual es la ausencia de pe cepción de angibilidad al in e ac-
ua con holog amas. El uso de disposi i os háp icos puede sol en a esa al a de
sensación de es a manipulando un holog ama.
Conc e ando el obje i o de es a p ime a ase, o mulamos dos p egun as de in es i-
gación:
¿Es posible p og ama un b azo obó ico po guiado manual usando disposi i-
os ac uales de ealidad mix a?
¿Qué impac o iene el disposi i o háp ico en el guiado manual?
Pa a pode da espues a a es as dos p egun as se p e ende desa olla una aplicación
p o o ipo que pe mi a el guiado manual de un obo holog á ico mien as que
el usua io sea capaz de pe cibi la sensación de es a ocando ísicamen e esa
ep esen ación holog á ica del obo .
23
A a és de un es udio de usua io es posible medi la iabilidad de es e ipo de
a eas median e el uso de ecnologías de ealidad mix a además de la opinión de los
usua ios.
3.1 Disposi i os y ecnología u ilizada
T as ealiza un análisis de los dis in os disposi i os de ealidad mix a en el es ado
del a e, conside amos u iliza los siguien es disposi i os:
HoloLens: Es un iso de ealidad mix a es e eoscópico que pe mi e p oyec a
holog amas sob e el mundo eal e in e ac ua con ellos haciendo uso de ges os
que pe mi en aslada los, o a los y escala los. Po o o lado, el disposi i o
cuen a con al a oces que pe mi en ep oduci sonidos espaciales que, a a és
de la HRTF consigue que el oído pe ciba que el sonido p ocede de un pun o
conc e o en el espacio (Fig. 3.1).
Fig. 3.1:
Disposi i o de ealidad mix a HoloLens 1. Pe mi e mos a holog amas sob e el
mundo eal e in e ac ua con ellos.
Ul ahap ics S a os: Es un disposi i o háp ico que u iliza ul asonidos pa a
gene a sensaciones ác iles en el ai e. La en aja p incipal de es a ecnología es
que no se equie e po a el disposi i o. Se coloca en una supe icie y es capaz
de emi i sensaciones ác iles en un espacio de has a 70cm. Es e disposi i o
cuen a a su ez con Leap Mo ion, un disposi i o que es capaz de analiza la
posición de la mano con g an p ecisión y a a és del cual es posible i ualiza
la pose de la mano de una mane a más p ecisa que con HoloLens (Fig. 3.2). A
di e encia de o os disposi i os háp icos, és e no eje ce ue zas de esis encia
al mo imien o de la mano del usua io.
24 Capí ulo 3 Impac o de un sis ema de ealidad mix a mul imodal pa a el guiado manual de
un holog ama de cobo
Fig. 3.2:
Disposi i o háp ico que unciona a a és de emiso es de ul asonidos y una cáma a
que pe mi e i ualiza la pose de la mano.
En e el so wa e que se ha necesi ado pa a lle a a cabo el abajo desa ollado se
encuen an los siguien es p og amas y lib e ías:
Uni y
1
: Es un mo o g á ico cuyo p opósi o p incipal es el de c ea ideojuegos.
Además, es posible hace uso de él pa a c ea en o nos g á icos 3D cuyo
p opósi o no sea lúdico (como es el caso de es a aplicación o aplicaciones
de simulación en e o os). Una de las en ajas de es e mo o g á ico es
que pe mi e compila p og amas pa a múl iples pla a o mas en e las que se
encuen a “Uni e sal Windows Pla o m” que es compa ible con HoloLens.
Mic oso MRTK: Es una lib e ía que pe mi e con igu a el en o no desa olla-
do en Uni y pa a pode desplega lo en HoloLens además de agiliza cie os
p ocesos del desa ollo como son el uso de comandos de oz o la in e acción
con los holog amas en e o os.
Ki s de desa ollo de Ul ahap ics y Leap Mo ion: So wa e especí ico que
pe mi e con ola y ecibi in o mación de es os disposi i os.
3.2 Con igu ación de los disposi i os
Pa a pode hace uso simul áneo de ambos disposi i os, se ha p epa ado la con igu-
ación que se mues a en la Fig. 3.3. Un PC es el enca gado de ejecu a la aplicación
de Uni y. A dicho PC se encuen a conec ado el disposi i o Ul ahap ics S a os
ía USB pa a pode ecibi in o mación de Leap Mo ion (disposi i o que pe mi e
cap a la pose de las manos) y ep esen a la en el en o no i ual, al igual que
1h ps://uni y.com/
3.2 Con igu ación de los disposi i os 25
en ia in o mación a Ul ahap ics con el in de gene a zonas ác iles en su á ea de
ac uación.
Fig. 3.3: Con igu ación de los dis in os disposi i os u ilizados en el desa ollo.
Po o o lado, HoloLens se comunica con la aplicación al PC ía WiFi pa a pode
mos a dis in os elemen os en el en o no. HoloLens pe mi e ins ala las aplicaciones
di ec amen e en el disposi i o, lo cual hace que exis a una meno la encia en e
las acciones del usua io y la espues a de la aplicación. Sin emba go, debido a que
es necesa io comunica HoloLens con Ul ahap ics y Leap Mo ion, se man u o es a
con igu ación.
3.3 Escena de en enamien o: “Labo a o io
i ual”
Como abajo p e io al p o o ipo plan eado, se desa olló una escena con la que
pode conoce las posibilidades y limi aciones de los disposi i os u ilizados (Fig.
3.4). Es a aplicación cuen a con dis in os elemen os con los que el usua io puede
in e ac ua a a és de ambos disposi i os. El disposi i o háp ico debe de alinea se
con la escena holog á ica pa a pode isualiza la ep esen ación de las manos en
el en o no de ealidad mix a supe pues as a las manos eales del usua io. Es a
alineación se hacía de o ma manual colocando las HoloLens en una posición ija
p ede inida ela i a a Ul ahap ics S a os.
La escena cons a de dis in os elemen os con dis in as uncionalidades. Pa a pode
in e ac ua con un elemen o, el usua io debe cen a su mi ada (que si e como
cu so del iso HoloLens) en el obje o y u iliza el comando de oz “mo e ” pa a
desplaza au omá icamen e dicho obje o al cen o de la escena, que es donde se
encuen a la ep esen ación i ual de Ul ahap ics S a os. Los dis in os elemen os
in e ac uables son los siguien es:
26 Capí ulo 3 Impac o de un sis ema de ealidad mix a mul imodal pa a el guiado manual de
un holog ama de cobo
Fig. 3.4:
Vis a gene al de la escena de p ueba pa a conoce las posibilidades de la ecnología
u ilizada.
Es e a: Una bola con la que el usua io puede in e ac ua aga ándola y sol án-
dola en la zona de de ección de Leap Mo ion. Cuando el usua io se encuen a
suje ando la es e a, el disposi i o háp ico emi e ul asonidos gene ando al
usua io la sensación de es a suje ando una es e a.
P oduc os químicos: Consis en en dos asos de p ecipi ado los cuales con ienen
un líquido en su in e io . La demos ación consis e en indica a a és de
sensaciones que el p oduc o con enido en el aso es pelig oso. Además de
gene a zonas isuales indicando el pelig o cuando el usua io ap oxima su
mano al aso, se p oducen dis in as sensaciones pa a ad e i al usua io del
iesgo.
Mezcla química: La mezcla química se ealiza a pa i de los dos p oduc os
químicos desc i os p e iamen e. T as su mezcla, el p oduc o esul an e es un
líquido bu bujean e cuyas pompas pueden se explo adas con la palma de la
mano del usua io.
3.4 Escena de guiado manual del obo
holog á ico
T as analiza las capacidades de los disposi i os u ilizados median e la escena del
labo a o io i ual, se diseñó y desa olló la escena que cons a de un pequeño b azo
obó ico ic icio de 6 g ados de libe ad y que no cuen a con es icciones de gi o en
ninguno de sus ejes. Es e aspec o no es un p oblema pa a esponde a las p egun as
de in es igación plan eadas, aunque sí es un de alle a ene en cuen a de ca a a
u u os diseños e implemen aciones. Como se mues a en la Fig. 3.5, en el ex emo
3.4 Escena de guiado manual del obo holog á ico 27

del obo (en azul) se encuen a pegada una es e a (que es á siendo suje ada po el
usua io) igual que en la escena de en enamien o, que pe mi e mo e el obo a una
posición obje i o. En el cen o de la escena se puede dis ingui la ep esen ación
del disposi i o háp ico sob e la cual es posible mo e el b azo obó ico al igual que
los obje os en la escena an e io . Po o o lado, en la escena ambién hay una caja
de he amien as (obje o ama illo) que se i á como pun o obje i o pa a ealiza el
guiado manual.
Fig. 3.5:
Pun o de is a del usua io de la escena de ealidad mix a du an e la manipulación
de un b azo obó ico holog á ico. En la esquina in e io de echa se mues a la
pe spec i a del en o no eal.
Cuando el usua io coloca su mano den o de la zona de in e acción de Ul ahap ics
S a os se mues a una e sión holog á ica de la mano supe pues a sob e su mano
eal. Es o indica que el disposi i o Leap Mo ion de ec a co ec amen e la mano de
la pe sona. En caso de no apa ece la mano i ual, signi ica que no es capaz de
econoce la pose de la mano. Una ez la mano i ual apa ece en la escena, el
usua io, al igual que en la escena an e io , puede suje a la es e a que se encuen a en
el ex emo del obo y mo e la po la zona de acción del disposi i o de seguimien o
de la mano. Mien as se mue e dicha es e a, el obo calcula la cinemá ica in e sa
pa a ep esen a los segmen os del obo de o ma adecuada pa a que pueda llega
a su pose obje i o. Po o o lado, el disposi i o háp ico ansmi e la sensación de
ene una es e a sob e la palma de la mano. Po úl imo, en la pa e delan e a de la
ep esen ación del disposi i o háp ico se mues a un con ol deslizan e que pe mi e
o a en el eje e ical la pinza del obo .
La in e acción del usua io con la escena no se limi a al uso de ges os. También se ha
implemen ado el uso de comandos de oz, acili ando la ejecución de ó denes en e
al uso de menús que, además de hace más complicada la in e acción con ellos en
ealidad mix a, equie e que el usua io des íe la mi ada de la egión de in e és de la
28 Capí ulo 3 Impac o de un sis ema de ealidad mix a mul imodal pa a el guiado manual de
un holog ama de cobo
escena pa a selecciona una opción. Median e el comando de oz “mos a ayuda”
el sis ema mues a la lis a de comandos de oz disponibles en la aplicación que
pe mi en de ene el mo imien o del obo (s op obo ) o desbloquea la opción de
mo e el obo ( esume obo ).
Se puede e la aplicación de ealidad mix a en uncionamien o en el co espondien e
ideo2.
3.5 Es udio de usua io
Pa a pode con es a las p egun as de in es igación que han dado pie al desa ollo
del p o o ipo p esen ado en es e capí ulo, se ha lle ado a cabo un es udio de usua io.
Las p egun as de in es igación que se plan ea on en un inicio son:
¿Es posible p og ama un b azo obó ico po guiado manual usando disposi i-
os ac uales de ealidad mix a?
¿Qué impac o iene el disposi i o háp ico en el guiado manual?
El es udio de usua io ha con ado con la colabo ación de 16 pe sonas sin expe iencia
en ealidad mix a ni en p og amación de b azos obó icos. La mayo ía de pa ici-
pan es se encon aban en el ango de edad de en e 18 y 30 años, 2 pa icipan es
en e 31 y 50 años y o os 2 pa icipan es en e 51 y 65 años de edad. An es de
comenza el es udio de usua io, odos los pa icipan es ue on in o mados de la
ecolección anónima de in o mación du an e el es udio de usua io y que e an lib es
de abandona el es udio en cualquie momen o y que, en al caso, se desca a ía oda
la in o mación ecogida en su ejecución. No obs an e, ningún pa icipan e decidió
abandona el es udio.
La es uc u a del es udio de usua io es la siguien e:
Cumplimen ación del cues iona io demog á ico: En el cues iona io se p e-
gun a po dis in os da os demog á icos además de su expe iencia p e ia con
disposi i os de ealidad i ual, mix a y aumen ada.
En enamien o en ealidad mix a: Los pa icipan es lle a on a cabo un en e-
namien o de 15 minu os en el "labo a o io i ual". En él ap endie on cómo
in e ac ua con los disposi i os y la escena pa a pode desen ol e se con mayo
comodidad en la a ea expe imen al.
2h ps://you u.be/caq8G CCW U
3.5 Es udio de usua io 29
Ejecución de la a ea expe imen al: La a ea expe imen al se lle ó a cabo
en la “escena de guiado manual del obo holog á ico” donde los usua ios
debían coloca el b azo obó ico holog á ico pinzando la caja de he amien as
holog á ica. Es a a ea debían ealiza la seis eces, es con el disposi i o
háp ico conec ado y o as es sin el disposi i o háp ico.
Cues iona io de e aluación: En e ejecuciones los usua ios espondían al cues-
iona io SEQ que ex endimos con la p egun a ace ca de la sa is acción as
la ejecución de la a ea. El cues iona io SEQ pe mi e al usua io exp esa con
simplicidad y apidez la di icul ad pe cibida en una a ea. Al se una única p e-
gun a, es ideal pa a medi la expe iencia inmedia a as comple a la ejecución
de una a ea. Pa a conclui el es udio de usua io los usua ios ellena on dos
cues iona ios. El p ime o es el NASA-TLX que ue ex endido con dos p egun as
adicionales en elación a la sensación de con ol del obo y la “ isicalidad”
del expe imen o. A a és de es e cues iona io se p e ende e alua la ca ga
cogni i a pe cibida du an e la ealización de la a ea. Es ideal pa a ealiza una
compa ación en e las di e en es condiciones de in e acción p esen adas en
es e abajo. Po o o lado, ambién pe mi e iden i ica los ac o es especí icos
que a ec an a la ca ga cogni i a. El segundo cues iona io es aba o mado po
4 a i maciones. Los pa icipan es debían esponde cuán o de acue do o en
desacue do es aban con ellas a a és de una escala de ipo Like de 7 pun os.
La p ime a p egun a de in es igación se á espondida a pa i de la ejecución
de la a ea po pa e de los pa icipan es. Sin emba go, iden i ica el impac o
del disposi i o Ul ahap ics S a os en el desa ollo de la a ea, sí equie e un
p ocedimien o especial pa a no comp ome e el esul ado del es udio. Du an e el
es udio de usua io, como se ha desc i o p e iamen e, los usua ios han ealizado
dos ejecuciones iguales con la di e encia de que en una de ellas no hubo sensación
angible du an e el mo imien o del obo . Haciendo que la mi ad de los usua ios
comiencen ejecu ando la a ea en una de las condiciones y la o a mi ad de los
usua ios la o a, queda balanceada la posible in luencia de habe expe imen ado
an es una condición en e a la o a.
3.6 Resul ados del es udio
Los da os ecogidos se pueden clasi ica en cuan i a i os ( ecogidos de las ejecuciones
de los usua ios en la aplicación de ealidad mix a) y cuali a i os ( ecogidos a a és
de los cues iona ios).
30 Capí ulo 3 Impac o de un sis ema de ealidad mix a mul imodal pa a el guiado manual de
un holog ama de cobo
Pa a da espues a a la segunda p egun a de in es igación, hemos analizado los
esul ados ob enidos con e oalimen ación háp ica y sin ella. Al con a con da os
pa eados, se aplicó el es de Wilcoxon [74] o el - es [69] (en unción si los da os
ecogidos seguían una dis ibución no mal o no) pa a comp oba si exis e una
di e encia signi ica i a. En es e es udio hemos conside ado que exis e una di e encia
signi ica i a cuando el alo p esul an e es in e io a 0.05.
Den o de los esul ados cuan i a i os se encuen an las siguien es a iables:
Dis ancia de e o : Es la dis ancia en e el pun o obje i o y el de inido po el
usua io. Los esul ados ([(M
V+H
=2.706 mm, SD
V+H
=2.351 mm);( M
V
=2.259
mm, SD
V
=1.998 mm)]) no mos a on una di e encia signi ica i a en e la
ejecución con e oalimen ación háp ica (V+H) y sin ella (V).
Tiempo o al: Es el iempo o al dedicado a ealiza una ejecución. Desde que
el usua io comienza la a ea has a que de ine la o ien ación de la pinza. En
es e caso, los esul ados ([(M
V+H
=24.027 s, SD
V+H
=21.483 s);( M
V
=26.614
s, SDV=27.473 s)]) ampoco mos a on una di e encia signi ica i a
Tiempo mo iendo el obo holog á ico: Es a segunda a iable empo al ecoge
el iempo acumulado de odos los momen os en los que el usua io se encon-
aba suje ando la es e a del ex emo del cobo holog á ico. Al igual que en el
caso an e io , los da os ([(M
V+H
=16.338 s, SD
V+H
=12.638 s);( M
V
=16.242 s,
SDV=11.747 s)]) no mues an una di e encia signi ica i a.
Relación de iempo mo iendo el holog ama: En an o po uno, se ha ecogi-
do la elación del iempo que ha es ado el usua io mo iendo el holog ama
con espec o al iempo o al dedicado a la a ea. Los da os ([(M
V+H
=0.748,
SD
V+H
=0.165);( M
V
=0.715, SD
V
=0.197)]) sugie en una simili ud en e am-
bas dis ibuciones. A a és del - es se puede obse a que no exis e una
di e encia signi ica i a en e ambas dis ibuciones.
Pé didas de la es e a: Po úl imo se ha ecogido cuán as eces el usua io ha
sol ado acciden almen e la es e a del ex emo del holog ama (dejando pa ado
el holog ama has a que uel e a suje a lo de nue o). Nue amen e, los da os
([(M
V+H
=6.681, SD
V+H
=7.553);( M
V
=7.319, SD
V
=8.577)]) no mues an
una di e encia signi ica i a.
Po o o lado, las p egun as del SEQ sob e la opinión de los pa icipan es espec o a
la di icul ad de la a ea y la sa is acción con el esul ado, no e ela on una di e encia
signi ica i a, aunque los esul ados ue on posi i os ( a ea sencilla y al a sa is acción
con el esul ado ob enido). Sin emba go, en el cues iona io NASA-TLX ex endido, la
3.6 Resul ados del es udio 31
4.3 Con igu ación y comunicación del sis ema
La con igu ación del sis ema cons a de dos pa es comunicadas en e sí. Po un lado,
se encuen a la aplicación desa ollada pa a HoloLens 2, mien as que en el o o
lado se encuen a odo el sis ema de ROS. Ambos lados se comunican a a és de la
lib e ía ROS# (que ha sido in eg ada en la aplicación pa a HoloLens 2) y a a és de
websocke s del módulo osb idge de ROS.
Fig. 4.2: Esquema del lujo de comunicación en e la aplicación de HoloLens 2 y ROS.
Como se mues a en la Fig. 4.2, la comunicación comienza en el lado de Uni y
donde se publican las coo denadas de la pose de inida pa a el ex emo del obo .
Pos e io men e, un nodo en ROS es enca gado de plani ica la ayec o ia pa a log a
mo e el ex emo del b azo obó ico al obje i o y, desde la aplicación de Uni y se
lee un “ opic” de ROS que mues a en iempo eal la o ación de cada eje del obo
pa a ac ualiza el es ado del gemelo digi al holog á ico de la aplicación de ealidad
mix a.
Pa a es e p o o ipo, se a a abaja con el gemelo digi al del obo colabo a i o
UR10 que cuen a con 7 g ados de libe ad y una longi ud de 1300 mm.
4.4 Diseño de la in e acción y la aplicación
El diseño de la in e acción y de la aplicación en su conjun o juega un papel unda-
men al en el desa ollo del sis ema. De es e diseño depende que el usua io pueda
comp ende de mane a in ui i a cómo in e ac ua y cómo exp esa sus in enciones
38 Capí ulo 4 Un en o no de ealidad mix a pa a p og ama un obo a a és de su gemelo
digi al

pa a que el gemelo digi al ejecu e co ec amen e la ope ación deseada. Pa a ello
se han enido en cuen a algunos de los p incipios especí icos de las in e aces 3D
de inidos en [5]. De en e los dis in os p incipios que se de inen, se ha enido en
cuen a p incipalmen e el de la simplicidad en la in e acción. De es e modo, el usua io
no eque i á de un la go p oceso de ap endizaje que pueda p o oca al usua io un
echazo a la aplicación.
Es c ucial encon a el equilib io en e pone disponibles las he amien as y elemen-
os necesa ios pa a desempeña la a ea a a és del disposi i o de ealidad mix a y,
a su ez, no sa u a de elemen os el en o no i ual. Si el escena io no es á comple o,
no se puede ealiza la a ea, y si se sa u a de elemen os, puede con undi al usua io
y di icul a la ealización de la a ea.
Con la ausencia de la e oalimen ación háp ica, su ge la necesidad de u iliza o os
canales de in e acción, an o pa a que el usua io eciba in o mación como pa a
que exp ese su in ención a la aplicación. En es e caso, se ha hecho uso del canal
audi i o pa a alida la ejecución de acciones como son aga a y sol a el ex emo
del obo .
Se han desa ollado dos en oques p incipales pa a p og ama el b azo obó ico:
1. De inición de la pose obje i o del ex emo del b azo obó ico.
2. De inición de la ayec o ia del ex emo del b azo obó ico.
El usua io puede selecciona qué mé odo de p og amación u iliza a a és del menú
p incipal. Po o o lado, a a és del mismo menú, se puede accede al módulo pa a el
análisis del en o no con el in de limi a los mo imien os del b azo holog á ico pa a
e i a colisiones. Es e módulo debe u iliza se an es de inicia la p og amación.
Los dos escena ios que pe mi en la p og amación del b azo obó ico cuen an con
elemen os en común. Uno de ellos es el holog ama que le si e al usua io pa a de ini
la pose a la que quie e que llegue el ex emo del b azo obó ico. Es e holog ama
ha pasado po a ios diseños i e a i os con el obje i o de acili a su comp ensión.
El elemen o cen al en odos los diseños es una es e a, elegida po su asociación
in ui i a con la acción de se aga ada. A con inuación, se de allan las es e siones
p incipales del diseño que se mues an en la Fig. 4.5:
P ime a e sión: Una es e a p incipal acompañada de un p isma ec angula
ala gado que indica la di ección deseada pa a o ien a el ex emo del obo .
4.4 Diseño de la in e acción y la aplicación 39
T as una e aluación in e na, se concluyó que el p isma no apo aba cla idad y
se desca ó.
Segunda e sión: Se sus i uye el p isma po una es e a que o bi a al ededo
de la es e a p incipal, ep esen ando el sen ido del ex emo del obo . A a és
de es e diseño, la de inición de la pose se ealiza ía en dos pasos. Es e diseño
p esen ó di icul ades en la selección p ecisa de la es e a o bi an e debido a su
amaño.
Ve sión inal: Se eg esa al diseño inicial, pe o eemplazando el p isma po
una lecha idimensional que indica el sen ido del ex emo del obo . Es a
geome ía, po su o ma in ui i a, acili a la comp ensión del usua io sob e el
p opósi o del holog ama.
Fig. 4.3:
De izquie da a de echa, la e olución en el diseño del holog ama que pe mi e de ini
la pose del ex emo del obo . Pin ado en na anja el núcleo del obje o que de ine
la posición obje i o y en colo ojo la pa e que de ine la o ien ación.
La in e acción con el holog ama se basa en ges os na u ales. El ope a io puede
ealiza un ges o de aga e simulando suje a una es e a ísica. Mien as man iene
el aga e, cualquie mo imien o de la mano se e leja en el desplazamien o del
holog ama. Además, la o ación de muñeca hace que el holog ama ealice una
o ación equi alen e, pe mi iendo una p og amación in ui i a.
En cuan o a la p og amación, el usua io puede elegi en e dos mé odos pa a de ini
el compo amien o del b azo obó ico. Las siguien es secciones desc iben es as dos
al e na i as.
4.4.1 De inición de la ayec o ia del ex emo del obo
Es e mé odo pe mi e de ini al usua io la ayec o ia que quie e que el ex emo del
b azo obó ico holog á ico siga. Pa a ello, el usua io debe de ini an o la posición
obje i o como los pun os in e medios a eco e . La o ma de egis a esos pun os
40 Capí ulo 4 Un en o no de ealidad mix a pa a p og ama un obo a a és de su gemelo
digi al
es suje ando la es e a. Con una ecuencia de 3 Hz, el sis ema g aba la pose del
holog ama que ep esen a el ex emo del obo . En onces, se dibuja una es e a
ama illa semi anspa en e en esa posición pa a indica que se ha g abado la pose
como se puede ap ecia en la Fig. 4.4. Cada pose es á compues a po una posición
3D y una o ación en o ma de cua e nión.
Fig. 4.4: Vis a en p ime a pe sona del modo de p og amación desc ibiendo la ayec o ia.
A a és de comandos de oz, ambién es posible de ini un pun o en el espacio. Pa a
ello, el usua io coloca el dedo índice de la mano p e iamen e de inida en el menú
de con igu ación en la posición deseada y señalando en el sen ido al que quie e
que se o ien e el ex emo del b azo obó ico holog á ico y u iliza el comando de
oz “posiciona bola”. En caso de que una pose obje i o se ma que ue a del ango
máximo que alcanza el b azo obó ico, la aplicación lo pin a á di ec amen e en colo
ojo semi anspa en e indicando que no es posible alcanza dicha pose. Si las poses
obje i o se encuen an den o del ango de alcance máximo del b azo obó ico, se
ecogen en un nodo de ROS que se enca ga de calcula a a és de “Mo eI !” si es
posible llega a esos pun os obje i o o no.
Du an e la ejecución del mo imien o del gemelo digi al, el ex emo del obo deja
una es ela (en o ma de pequeños cubos na anjas) que ep esen a la ayec o ia
seguida po el ex emo del obo . Es a ayec o ia puede se limpiada a a és del
comando de oz “limpia ayec o ia”.
Los comandos de oz disponibles es an es son:
Menú: Vuel e al menú p incipal.
4.4 Diseño de la in e acción y la aplicación 41
Calib a: Desbloquea la posición del gemelo digi al y mo e lo a o a posición
del espacio que odea al usua io.
Bloquea: Bloquea el holog ama del gemelo digi al en la posición en la que se
encuen a ubicada.
4.4.2 De inición de la pose obje i o del obo
La segunda o ma de p og ama el gemelo digi al del b azo obó ico es de iniendo
únicamen e la pose inicial y inal del ex emo del b azo obó ico.
Fig. 4.5:
Diseños de las es e as del obo que pe mi en de ini el pun o inicial y inal obje i o
del ex emo del gemelo digi al del obo .
En es e caso, la escena holog á ica cuen a con dos es e as (Fig. 4.5): la es e a na anja
con la lecha oja que de ine la pose inicial y la es e a e de con lecha azul que
ep esen a la pose obje i o del b azo obó ico. El usua io puede mo e las es e as
al igual que en el modo de p og amación an e io . Debido a que las dos es e as
pueden es a a una dis ancia conside ablemen e la ga, el usua io puede plani ica
la ayec o ia y p e isualiza la an es de ejecu a la. Po o o lado, el usua io puede
o dena di ec amen e que se mue a al pun o de des ino en caso de que sea posible
sin mos a la p e isualización. Si el usua io decide p e isualiza la ayec o ia,
apa ece á un an asma del obo en la misma posición en la que se encuen a el
gemelo digi al. En el caso de que “Mo eI !” alcance una solución, el an asma del
obo se pin a á de colo blanco (Fig. 4.6). En cambio, si no consigue calcula una
solución, el obo se e á de colo ojo.
Es e mé odo de p og amación y el que consis e en la de inición de la ayec o ia del
ex emo del b azo obó ico cuen an con comandos de oz en común (menú, calib a ,
bloquea y limpia ayec o ia). Po o o lado, ambién cuen a con sus comandos de
42 Capí ulo 4 Un en o no de ealidad mix a pa a p og ama un obo a a és de su gemelo
digi al
Fig. 4.6:
Holog ama del gemelo digi al en su posición ac ual, jun o al holog ama que
mues a la plani icación del la ayec o ia.
oz especí icos que son: “empieza” pa a mo e el b azo obó ico a la pose de inicio
si es posible; “mo e ” pa a mo e el b azo obó ico a la pose obje i o si es posible;
“plani ica” pa a plani ica la ayec o ia a segui en e los dos pun os de inidos y
p e isualiza dicha plani icación; y “ejecu a” pa a ejecu a el plan.
4.4.3 Escaneo del espacio ci cundan e
Con el in de que la solución p opues a po Mo eI ! sea compa ible con el en o no
eal, el sis ema necesi a conoce qué obs áculos hay p esen es. Pa a ello, se ha
añadido una opción en la aplicación en la que el usua io debe posiciona el obo
holog á ico en la posición donde se ubica á el obo eal. Después, el usua io da la
o den de escanea a a és del comando “escanea”. Du an e el análisis, el usua io
isualiza á un mensaje indicando que debe espe a a que inalice el análisis. A a és
de la u ilidad “spa ial awa eness” que o ece HoloLens 2, que c ea una malla que
cub e odos los elemen os del en o no ce canos al usua io como se ap ecia en la Fig.
4.7, el p og ama en ía la in o mación de cada é ice de la malla al plani icado
de Mo eI ! a a és de un se icio de ROS y c ea un cubo de 5 cen íme os de lado
como obs áculo pa a plani ica la escena.
Es e mé odo de escaneo se p esen a como una al e na i a a la de inición manual de
la zona de abajo al ededo del obo , o eciendo una p ime a ap oximación hacia
la au oma ización de es a a ea. T as analiza su desempeño, hemos cons a ado que
esul a adecuado pa a escena ios donde no es imp escindible conside a pequeños
de alles del en o no. No obs an e, a medida que aumen a la complejidad del á ea
4.4 Diseño de la in e acción y la aplicación 43

Fig. 4.7: Imagen del mallado del en o no eal que ealiza HoloLens 2.
de abajo, se uel e más desa ian e log a una ep esen ación su icien emen e
p ecisa.
En el co espondien e enlace
3
se puede e un ídeo con el sis ema en uncionamien-
o.
4.5 Es udio de usua io
Se lle ó a cabo un es udio de usua io pa a alida el diseño e implemen ación de
las dos écnicas de p og amación (de iniendo la ayec o ia o de iniendo el pun o
inicial y inal) desde la pe spec i a de usua ios que no con aban con expe iencia en
la p og amación de b azos obó icos.
Los 14 pa icipan es que o ma on pa e de es e es udio ecibie on una explicación
sob e el uncionamien o de HoloLens 2 independien emen e de su expe iencia con
disposi i os de ealidad mix a. Además, an es de comenza con la pa e p incipal del
es udio, los pa icipan es pudie on in e ac ua unos minu os con un escena io de
en enamien o con el in de habi ua se al uso de es a ecnología y la in e acción con
los holog amas. La in e acción más ele an e en es a escena ue con la ep esen ación
holog á ica del ex emo del obo . Los usua ios podían p oba de qué mane a e a la
mejo pa a suje a y mo e los holog amas po oda la escena.
Se decidió lle a a cabo el es udio en un en o no indus ial con el in de sabe
ambién el compo amien o del disposi i o bajo condiciones de uido y donde el
3h ps://you u.be/Ee8JChQE6zk
44 Capí ulo 4 Un en o no de ealidad mix a pa a p og ama un obo a a és de su gemelo
digi al
econocimien o de oz pudiese e se a ec ado. De es a mane a, se podía e alua el
uncionamien o del disposi i o en un en o no de abajo ealis a.
El es udio es aba compues o po las dos escenas desc i as p e iamen e. En la p ime a
escena, los usua ios enían que de ini la pose deseada del ex emo del obo hacien-
do uso de la es e a con la lecha. El obje i o pa a cada ejecución es aba ma cado
con un pequeño cubo ojo i ual. La a ea del pa icipan e consis ía en desplaza el
b azo obó ico holog á ico haciendo uso de la ep esen ación del ex emo del obo
a los cubos ojos i uales. El pa icipan e debía ealiza es ejecuciones colocan-
do el ex emo del obo en los cubos que se encon aban en posiciones dis in as
den o del alcance del obo . En la segunda escena, el usua io debía “dibuja ” la
ayec o ia comple a a ealiza po el ex emo del b azo obó ico. Al igual que en
la an e io escena, el usua io enía como obje i o ap oxima el b azo obó ico al
obje i o ep esen ado po un cubo ojo.
Se ecogie on dos ipos de in o mación en el es udio de usua io. El p ime ipo
de in o mación e a cuan i a i o y es á elacionado con el endimien o del usua io
(ob enida a a és de las acciones que ealiza el usua io den o de la aplicación). El
segundo e a cuali a i o y el obje i o e a conoce la opinión subje i a del usua io.
Pa a ello se pidió a los usua ios que espondie an 2 p egun as en una escala de 7
pun os de ipo Like :
SEQ: En gene al, ¿cómo de ácil e ha esul ado la a ea?
¿Cómo de sa is echo has quedado con el esul ado?
En la p ime a p egun a, cuan o mayo sea el alo , más sencillo es ealiza la a ea
pa a el usua io. Del mismo modo, en la segunda p egun a, cuan o mayo sea el alo ,
mayo es la sa is acción del usua io con el esul ado ob enido en la p og amación.
Es as dos p egun as ue on o muladas as cada ejecución ob eniendo así un o al
de 6 espues as po usua io. T as inaliza el es udio, los usua ios espondían el
cues iona io SUS que consis e en 10 p egun as que miden la usabilidad de un sis ema
o p og ama. Pa a conclui , los pa icipan es ue on en e is ados con el in de ecoge
su opinión.
4.6 Resul ados del es udio
Como se ha adelan ado en la sección an e io , el es udio se lle ó a cabo con 14
pa icipan es de los cuales 8 e an homb es y 6 muje es. 11 de ellos enían en e 26
4.6 Resul ados del es udio 45
y 30 años, 2 pa icipan es enían en e 31 y 35 años y una sola pe sona es aba en
el ango de 41 a 45 años. Todos habían comple ado es udios uni e si a ios en las
siguien es á eas: in o má ica, elec ónica, au oma ización e ingenie ía indus ial.
Aunque 4 de los pa icipan es u iesen expe iencia con ga as de ealidad i ual
en ideojuegos, ninguno de los pa icipan es enía expe iencia con disposi i os de
ealidad mix a.
El análisis compa a i o en e las dos o mas de p og amación u o como obje o de
análisis las siguien es a iables: iempo mo iendo el ex emo del obo , iempo sin
mo e el ex emo del obo y dis ancia a la posición obje i o.
La media de iempo empleado pa a mo e el ex emo del obo ue meno de iniendo
la ayec o ia (M=10.2 s, IC
95 %
=[8.2 s, 12.2 s]) que únicamen e de iniendo la pose
obje i o (M=12.41 s, IC95 %=[11.22 s, 13.6 s]).
El p omedio de iempo compu ado de inac i idad ( iempo en el que el pa icipan e
e lexionaba sob e el mo imien o a ealiza , iempo de cálculo eque ido po Mo eI !
o po el p ocesamien o de los comandos de oz, e in e alos en los que el obo es á
en mo imien o) ue meno en la opción de p og ama el obo median e la pose
inal (M=28.39 s, CI95 %=[24.84 s, 31.94 s]) en e a la p og amación median e la
de inición de la ayec o ia (M=30.87 s, CI95 %=[25.82 s, 35.92 s]).
Respec o al e o de ap oximación come ido, la media ob enida en la de inición
del pun o obje i o (M=10.988 mm, CI
95 %
=[9.58 mm, 12.4 mm]) ue meno que
cuando se de inía la ayec o ia (M=15.036 mm, CI
95 %
=[13.13 mm,16.94 mm]).
También se analiza on los cues iona ios espondidos po los usua ios. Los cues iona-
ios seleccionados ayudan a comp ende la acilidad o di icul ad que supone u iliza
es e ipo de aplicaciones desde el pun o de is a subje i o del usua io.
Todas las espues as ecogidas en el SEQ pa a los dos casos e aluados ue on de
6 y 7, es deci , en ambos casos los pa icipan es pensa on que la a ea e a sencilla
de comple a . La media ue lige amen e supe io en el caso de ene que de ini el
pun o inal (6.86) en e al de aza la ayec o ia (6.71). En la p egun a de qué de
sencillo e a ealiza la a ea, la media ue la misma en ambos casos (6.52).
Po úl imo, es a aplicación ob u o una pun uación de 87.68 en el cues iona io SUS,
lo que signi ica que es a ía en el ango ‘B’ de la escala de Bango [7], 2.32 pun os
po debajo de la ma ca más al a. Es a pun uación si úa a la aplicación sob e el 98 %
de las aplicaciones e aluadas a a és de es e cues iona io. Las p egun as 4 y 10
en ocan su in e és en conoce la acilidad con la que el usua io es capaz de ap ende
46 Capí ulo 4 Un en o no de ealidad mix a pa a p og ama un obo a a és de su gemelo
digi al
el uncionamien o de la aplicación. El alo medio en las espues as con una escala
del 0 al 4 ue on un 3.36 y un 3.5, espec i amen e.
El es udio concluía con una en e is a semies uc u ada. El obje i o e a ecoge
in o mación y comen a ios que pudie an ayuda a in e p e a las espues as de los
cues iona ios. Cualquie comen a io sob e la aplicación y el es udio e a bien enido,
aunque se les suge ía que diesen su opinión ace ca de los siguien es aspec os:
El sis ema y la aplicación como mé odos de p og amación de obo s.
Su expe iencia in e ac uando con un sis ema de ealidad mix a.
Di icul ad en la in e acción con holog amas.
Di icul ad en ap ende a u iliza el disposi i o de ealidad mix a y la aplicación.
Aspec os que se echan en al a o que pueden se mejo ados.
La mayo ía de los usua ios comen a on que la aplicación e a sencilla de usa y la
in e acción in ui i a, lo que hacía que la cu a de ap endizaje u ie a un c ecimien o
muy ápido. El co o pe iodo de p ác ica que u ie on an es del es udio de usua io
ue su icien e pa a pode in e ac ua con la escena du an e el es udio. El p incipal
p oblema pa a los pa icipan es e a la p ime a ez que in en aban aga a un
holog ama ya que no les pa ecía sencillo has a habe lo in en ado unas cuan as eces.
Po o o lado, los pa icipan es dije on que el uso de comandos de oz encajaba bien
en es e ipo de aplicaciones. También coincidie on en que e a posible p og ama un
b azo obó ico a a és de es a aplicación sin eque i conocimien os de obó ica
ni de p og amación. Además, e a posible agiliza la mane a de de ini una pose
obje i o en e a hace lo a a és de écnicas ac ualmen e u ilizadas en la indus ia
(ej., usando el “ each pendan ”). Sin emba go, los pa icipan es cues iona on la
p ecisión que se puede llega a alcanza a a és de la aplicación de ealidad mix a.
Dependiendo de la a ea a ealiza , es a solución pod ía no se lo su icien emen e
p ecisa como pa a sa is ace los equisi os de un escena io eal. Como solución
a es e p oblema, algunos pa icipan es sugi ie on la posibilidad de aumen a la
zona obje i o con el in de mejo a la p ecisión de posicionamien o. En elación
al mé odo de p og amación po dibujado de la ayec o ia, algunos pa icipan es
sugi ie on habili a la posibilidad de modi ica poses in e medias as de ini las, en
luga de ene que ol e a dibuja la ayec o ia en e a. Po o o lado, pese a que los
comandos de oz e an sencillos de eco da , bajo condiciones de un uido ambien e
ele ado, algunos pa icipan es u ie on que epe i a ias eces los comandos pa a
que ue an de ec ados po el sis ema. Además, cie os comen a ios apun a on a la
al a de in o mación del es ado de la aplicación du an e el iempo de cálculo de
4.6 Resul ados del es udio 47
En el lado de ROS se encuen an los dis in os nodos que o ecen se icios elaciona-
dos al mo imien o del obo y el p oceso de calib ación del ale ón con espec o al
obo , y ópicos que o ecen in o mación con espec o al es ado del obo . Además,
ambién es á el nodo enca gado de comunica se con el con olado del obo . A
a és del con olado , es posible manda comandos de posición al obo y lee el
es ado de cada uno de sus a iculaciones, que se i á pa a ac ualiza el es ado del
gemelo digi al en la escena de ealidad mix a.
5.4 Diseño de la in e acción y la aplicación
La in e acción con los dis in os holog amas sigue siendo a a és de los ges os que
pe mi e el disposi i o escogido (HoloLens 2) pa a la aplicación. El holog ama de
p e isualización de la plani icación de la ayec o ia mues a dis in os colo es en
unción al es ado en el que se encuen e. Du an e el iempo en el que el sis ema
calcula la ayec o ia, el holog ama se mues a pin ado de colo blanco. Una ez
haya inalizado la plani icación, en caso de que “Mo eI !” haya conseguido halla
una ayec o ia álida, el holog ama se e á de colo e de mos ando la ayec o ia
calculada. En caso de no consegui calcula una ayec o ia álida, el colo que
mues e el holog ama se á el ojo y se queda á en es á ico.
Po o o lado, el holog ama de la he amien a que el usua io u iliza pa a indica la
pose obje i o pa a el b azo obó ico ue modi icado. Aho a, su o ma es igual que la
he amien a eal. Pese a que la o ma es é ica de la base del diseño an e io (Fig.
4.3) pueda esul a más indica i a de obje o mo ible, haciendo uso de la geome ía
de la he amien a se puede ayuda al usua io a de ini con una mayo p ecisión en
qué posición quie e que es a se si úe con espec o al obje i o a alcanza .
También se sus i uyó el sis ema de comandos de oz an e io po un sis ema de
diálogo con el que el usua io puede exp esa de una mane a más de allada y comple a
sus in enciones. El usua io debe u iliza el comando de oz “KUKA” pa a habili a el
econocimien o de la ase hablada, que se da á po e minada con un silencio de
1 segundo. El audio g abado es en iado al se icio de AZURE Speech- o-Tex que
de uel e su ansc ipción. T as ecibi en o ma de ex o la ansc ipción del mensaje
del usua io, se p ocesa su mensaje a a és del sis ema de diálogo KIDE4I. El sis ema
de diálogo cuen a con a ios módulos: el enca gado de ex ae elemen os cla e y la
pola idad de la ase, el enca gado del conocimien o (on ología) y el enca gado de
ges iona el diálogo. G acias a su modula idad es posible sus i ui cualquie a de sus
módulos po o a al e na i a. Como ejemplo, el módulo de ex acción de elemen os
cla e y pola idad puede es a basado en eglas o en “La ge Language Models” (LLMs).
El p ocesamien o de la ase acaba cuando el sis ema de diálogo de uel e como
54 Capí ulo 5 En o no de ealidad mix a pa a eleope a un obo ísico en una a ea de
inspección de ale ones

espues a una acción iden i icada, jun o a in o mación complemen a ia en caso de
que uese necesa ia. Las dis in as acciones que el diálogo puede p ocesa en es e
con ex o son las siguien es:
Calib a: Comienza el p oceso de calib ación pa a coloca el ale ón co ec a-
men e con espec o al b azo obó ico. Ejemplo: Calib a el ale ón con espec o al
obo .
Recoloca : Desbloquea la posición de los holog amas de al o ma que el
usua io pueda mo e la escena a o a posición del mundo eal. Ejemplo:
Recoloca la escena.
Bloquea : Bloquea la posición de los holog amas impidiendo que el usua io
pueda mo e los de su posición. Ejemplo: Bloquea la escena.
Plani ica : Manda una señal al nodo de ROS enca gado de plani ica una
ayec o ia a la pose obje i o. Ejemplo: Plani ica la ayec o ia a la pose obje i o.
Ejecu a : Ejecu a una ayec o ia p e iamen e plani icada. Ejemplo: Ejecu a el
plan calculado.
Posiciona : Coloca el holog ama de la he amien a en una posición p ede inida
y plani ica la ayec o ia desde la posición ac ual del obo . Ejemplo: Posiciona
la he amien a en el ne io A.
5.5 P ocedimien o de p og amación del obo pa a
la a ea
La a ea asociada a es e desa ollo consis e en una inspección colabo a i a de un
ale ón en e el obo y el usua io. Cada uno se encuen a en uno de los ex emos del
ale ón e i án mo iendo sus espec i as he amien as con el in de inspecciona los
ne ios en busca de alguna posible obs ucción en ellos.
An es de comenza con la p og amación del b azo obó ico, el usua io debe calib a
la pose del ale ón con espec o al b azo obó ico. Es a calib ación se ealiza de
o ma manual y pa a ello debe coloca la cáma a si uada a un lado del ex emo
del obo mi ando hacia la placa de calib ación si uada en el sopo e del ale ón. La
calib ación se ha lle ado a cabo usando el so wa e de isión HALCON y la cáma a
IDS UI-5240CP enca ando una placa de calib ación de 100mm de ancho y al o (Fig.
5.2).
5.5 P ocedimien o de p og amación del obo pa a la a ea 55
Fig. 5.2:
Placa de calib ación u ilizada pa a ob ene la pose del ale ón con espec o a la
cáma a colocada jun o al ex emo del b azo obó ico.
P e io a es a calib ación, ambién se ha enido que ealiza o a calib ación en e
la placa y el ale ón. Pa a ello, se ha colocado la placa de calib ación en la posición
deseada y, a a és de una cáma a 3D se ha ob enido la nube de pun os del ale ón y
la placa. Teniendo los modelos 3D de cada uno de los elemen os, a a és de una
unción de ma ching, se puede conoce la elación exis en e en e ambos elemen os
de una mane a p ecisa (e o de posición del o den de 1 mm).
Teniendo en cuen a el e o que se puede come e con el sis ema de calib ación y
iendo las dimensiones de la he amien a y las dimensiones de los ne ios del ale ón,
se puede obse a que es iable el uso de es e sis ema. Po el lado de la he amien a,
las dimensiones a ene en cuen a son 30 mm de ancho y 70 mm de al o. Po pa e
de los ne ios del ale ón, el ne io más pequeño cuen a con 80 mm de al u a y 45
mm de anchu a.
Conociendo la elación de pose en e la placa y el ale ón, la pose de la cáma a con
espec o a la base del obo y calculando la elación en e la cáma a y la placa de
calib ación a a és del nodo de calib ación, el sis ema calcula la elación que exis e
en e la base del obo y el ale ón. De es e modo, el sis ema es capaz de coloca
co ec amen e el ale ón holog á ico con espec o al gemelo digi al del b azo obó ico.
Además, es a in o mación ambién se ca ga á en el plani icado de “Mo eI !” pa a
pode ene en cuen a las es icciones de mo imien o del obo .
56 Capí ulo 5 En o no de ealidad mix a pa a eleope a un obo ísico en una a ea de
inspección de ale ones
T as comple a la con igu ación de la escena, el usua io lanza la aplicación de
ealidad mix a en HoloLens 2. En ella se pueden e el gemelo digi al del b azo
obó ico jun o a la ep esen ación holog á ica de la he amien a y el ale ón.
A a és del sis ema de diálogo, el usua io puede ealiza las dis in as acciones
an e io men e desc i as den o de la escena. Pa a ello, p e iamen e debe ac i a el
sis ema de diálogo a a és del comando de oz “KUKA” y espe a a que se ep oduzca
un sonido que es el que indica que, a pa i de ese momen o, la ase que diga a
a és del mic ó ono se á p ocesada po el sis ema de diálogo. Cuando el usua io
se queda en silencio du an e 1 segundo, el sis ema de diálogo en ende á que ha
e minado la ase y p ocesa á la in o mación ecogida.
El p ime paso de la p og amación consis e en la ap oximación del b azo obó ico
a uno de los ne ios del ale ón. Pa a ello, el usua io debe suje a la he amien a
holog á ica con la mano y desplaza la has a un pun o ce cano del ne io obje i o.
Una ez haya ap oximado el holog ama, el usua io debe á indica que quie e
plani ica una ayec o ia a a és del sis ema de diálogo.
Fig. 5.3:
Holog ama semi anspa en e de colo blanco que indica que se es á calculando
una ayec o ia álida a la pose obje i o.
Du an e el iempo de cálculo de la ayec o ia, apa ece á un holog ama semi anspa-
en e de colo blanco como se puede obse a en la Fig. 5.3 en la misma posición
que el gemelo digi al. Si la plani icación de la ayec o ia esul a exi osa y se ob iene
una ayec o ia álida, la aplicación cambia el colo del holog ama a e de (Fig. 5.4)
y ep oduce el mo imien o calculado con el obje i o de p e isualiza la ayec o ia
que es posible ealiza , de al o ma que el usua io pueda analiza la an es de su
ejecución. En caso con a io, es deci , si la plani icación no ob iene una ayec o ia
álida, la aplicación cambia el colo del holog ama a ojo como se mues a en la Fig.
5.5 y se man end á es á ico indicando que no se ha log ado una ayec o ia álida.
5.5 P ocedimien o de p og amación del obo pa a la a ea 57
Fig. 5.4:
Holog ama semi anspa en e de colo e de que indica que se ha podido calcula
la ayec o ia a la pose obje i o de inida po el usua io.
Una ez el usua io consigue plani ica una ayec o ia álida, puede ejecu a la a
a és del sis ema de diálogo. El holog ama de p e isualización de la ayec o ia
desapa ece á y, an o el gemelo digi al como el obo eal se mo e án de mane a
sinc onizada.
Fig. 5.5:
Holog ama semi anspa en e de colo ojo que indica que no ha sido posible
calcula la ayec o ia a la pose obje i o de inida po el usua io.
Finalmen e, el obo debe in oduci la he amien a en uno de los ne ios. Pa a ello,
se han de inido unas poses ijas ela i as a la he amien a (una pose po cada ne io
disponible). A a és del sis ema de diálogo, el usua io posiciona la he amien a en
uno de los ne ios y se lanza una llamada a la plani icación de la ayec o ia has a
ese pun o. Del mismo modo que an es, el holog ama semi anspa en e indica á el
esul ado de la plani icación.
58 Capí ulo 5 En o no de ealidad mix a pa a eleope a un obo ísico en una a ea de
inspección de ale ones
A a és del enlace1a pie de página se puede e un ideo del sis ema en unciona-
mien o.
5.6 Es udio de usua io
Se ealizó un es udio de usua io pa a obse a si ealmen e es posible p og ama
un b azo obó ico a a és de disposi i os de ealidad mix a pa a ealiza una a ea
colabo a i a de inspección de un segmen o de ale ón. 13 pe sonas pa icipa on en
es e es udio que enía como obje i o el análisis de 2 de los 4 ne ios del ale ón y,
pa a ello, debían in oduci la he amien a que se encon aba en el ex emo del
obo en dichos ne ios.
An es de inicia el es udio de usua io, se ecibió el consen imien o de los pa icipan es
a g aba da os de sus ejecuciones además de los cues iona ios pa a pos e io men e
u iliza los de o ma anónima en el análisis de uso de la aplicación desa ollada.
La a ea asignada pa a cada usua io es la desc i a en la sección 5.5. Du an e la
ejecución de la a ea se ecogie on los siguien es da os: el iempo de ejecución
o al de la a ea, el iempo de in e acción con la he amien a holog á ica, el iempo
u ilizado en la in e acción po oz, el iempo en el que el usua io pe manece inac i o
y el núme o de eces que el usua io ha mo ido la he amien a.
T as el es udio, al igual que en el abajo de in es igación an e io , se pidió a
los usua ios ellena el cues iona io SUS (Sys em Usabili y Scale) y e alua es
ases más elacionadas con el sis ema de diálogo en una escala de ipo Like de 5
pun os:
La in e p e ación de las acciones comandadas po oz es p ecisa.
La in e acción con el sis ema a a és del diálogo po oz es e icien e.
Conside o que in e ac ua con el sis ema a a és de la in e acción po oz es
ú il.
A a és del cues iona io SUS se puede ealiza una medición es anda izada de
la usabilidad de la aplicación desa ollada y pe mi e ealiza una compa ación de
usabilidad con di e en es sis emas. Es adecuado pa a e alua in e aces g á icas de
dis in o ipo y da una isión gene al de cómo los usua ios pe ciben el sis ema en su
1h ps://you u.be/wpLqU5O21a4
5.6 Es udio de usua io 59

conjun o. Se decidió p escindi del NASA-TLX en es e caso ya que no había in ención
de compa a dis in as in e aces.
Pa a conclui el es udio y conoce mejo la opinión y las sensaciones de los pa i-
cipan es du an e la ealización de la a ea, se les dio la opo unidad de esponde
cuáles e an pa a ellos los pun os más y menos a o ables de la aplicación.
Pa a educi la di e encia de des eza en e ejecuciones, p e io al comienzo del
es udio, se pe mi ió a los pa icipan es p ac ica el mo imien o de holog amas con
las ga as y acos umb a se a la isualización de los holog amas a a és de ellas.
5.7 Análisis y discusión de los esul ados
El es udio de usua io ue lle ado a cabo con 13 pa icipan es con una edad media
de 22.46 años (SD = 1.941). Pa a odos los pa icipan es, es a ue su p ime a
expe iencia u ilizando un disposi i o de ealidad mix a.
Los esul ados cuan i a i os ue on posi i os aunque dejaban en e e lo que pos e-
io men e epo a ían los usua ios en la en e is a inal como ca encias o pun os de
mejo a.
El iempo medio empleado pa a ealiza la a ea al comple o ue de 337.4 segundos.
De ellos, 46.7 segundos e an dedicados al mo imien o de la he amien a y 125.2 a la
in e acción po oz. El iempo es an e (165.5 segundos) ue iempo que el usua io
es u o inac i o, espe ando la espues a del sis ema o isualizando el mo imien o
del obo .
En cuan o al núme o de eces que los pa icipan es mo ie on la he amien a, en
p omedio ue de 8.77 mo imien os, siendo 3 mo imien os el mínimo eque ido po
la a ea. Pese a habe ob enido un alo lige amen e alejado del alo mínimo, es
comp ensible que hayan eque ido más mo imien os pa a posiciona la he amien a.
En e los dis in os mo i os posibles se encuen a la comodidad a la ho a de ealiza
g andes o aciones del holog ama de la he amien a y depende á de la lexibilidad y
capacidad de o ación de la muñeca de cada usua io.
El análisis del cues iona io SUS epo ó una pun uación de 79.23. De acue do con
la escala de Bango se puede conside a la aplicación como “acep able” y en no a
co esponde a una ‘C’ que dis a 77 cen ésimas de la siguien e no a (‘B’).
60 Capí ulo 5 En o no de ealidad mix a pa a eleope a un obo ísico en una a ea de
inspección de ale ones
Las p egun as elacionadas con el sis ema de diálogo esul a on posi i as en odos los
casos. La e icacia de la in e acción a a és del sis ema de diálogo ue señalada po el
72.2 % de los pa icipan es mien as que el 27.8 % es an e no la conside ó ni e icaz
ni un obs áculo pa a la in e acción. Además, odos los pa icipan es conside a on
que in e ac ua con el sis ema a a és del sis ema de diálogo e a ú il.
5.8 Conclusiones
El e ce abajo de in es igación ha enido como obje i o e alua la iabilidad de
p og ama un b azo obó ico pa a ealiza una a ea colabo a i a de inspección de
un ale ón a a és del gemelo digi al del b azo obó ico eal. Además de ealiza
cambios en la in e az de usua io de la aplicación, se ha in eg ado un sis ema de
diálogo o ien ado a a eas y basado en la semán ica que pe mi e una comunicación
a a és de oz el luga de los has a aho a u ilizados comandos de oz básicos
habili ando una in e acción más na u al con el sis ema.
Además de las dos p incipales en ajas de es as aplicaciones de ealidad mix a (que
son: no necesi a conocimien os de p og amación de obo s y la eleope ación), el
es udio de usua io mues a una ecepción posi i a po pa e de los usua ios as
u iliza la aplicación. El uso de ases comple as en luga de comandos simples o
palab as pe mi e a los usua ios p opo ciona de alles al sis ema cuando sea necesa io.
Es a capacidad sumada a la manipulación di ec a de los holog amas usando las
manos, pe mi e una in e acción comple a con el escena io i ual. Po o o lado,
p opo ciona in o mación no solo po el canal isual sino ambién u ilizando el canal
audi i o a o ece la comp ensión del es ado de la aplicación y la eleope ación al
usua io.
Las 13 pe sonas que lle a on a cabo el es udio no enían expe iencia con disposi i os
de ealidad mix a. Sin emba go, es impo an e señala que el amaño de la mues a
puede se limi ado pa a ex ae conclusiones gene alizables, po lo que se ía in e e-
san e amplia el es udio más adelan e con un núme o mayo de pa icipan es. Las
13 pe sonas ue on capaces de comple a el es udio y coloca la he amien a anclada
al obo eal en los dos ne ios a a és del uso de la aplicación. El éxi o de la a ea
en odos los casos pe mi e alida que la ecnología u ilizada es compa ible con la
aplicación p opues a. Se iden i ica on pun os de mejo a pendien es en la aplicación
de ca a a u u as e siones. Es os son la in e acción con la he amien a u ilizada
pa a acili a la acción de aga a y posiciona la he amien a en la escena.
5.8 Conclusiones 61
6
Conclusiones y abajo u u o
Es a esis ha enido como obje i o p incipal es udia la posibilidad de p og ama un
b azo obó ico a a és de su gemelo digi al haciendo uso de ecnologías de ealidad
mix a que pe mi an simpli ica los equisi os cogni i os pa a ealiza es a a ea. La
complejidad inc emen al de los desa ollos ealizados ha concluido con un p o o ipo
que pe mi e a usua ios sin conocimien os ni expe iencia p e ia p og ama un b azo
obó ico pa a inspecciona un ale ón, a a és de in e acciones mul imodales sencillas
e in ui i as.
La in es igación ealizada pe mi e esponde a i ma i amen e a la cues ión p incipal
plan eada: Sí, es iable u iliza la ealidad mix a pa a p og ama un b azo obó ico
haciendo uso de una in e az que o ezca mé odos de in e acción al e na i os al
guiado manual de un obo ísico. Sin emba go, es a in es igación ha iden i icado
ambién limi aciones en las écnicas de ealidad ex endida p opues as y es udiadas.
En cuan o al ha dwa e, po un lado, el ango de ac uación de los disposi i os
háp icos es limi ado pa a muchas aplicaciones en iempo eal, aunque su uso iene un
impac o posi i o. Además, la cap u a de sonido median e los mic ó onos in eg ados
en los cascos de ealidad mix a p esen a on una calidad de icien e en en o nos con
uido, obligando a algunos usua ios a epe i sus comandos. No se puede ob ia
que, en cie as ocasiones, el sis ema de econocimien o de oz a ex o in e p e a
inco ec amen e las ó denes, ejecu ando acciones no deseadas.
En cuan o a las o mas de in e acción empleadas, da al usua io la posibilidad de
p e isualiza la ayec o ia del obo an es de ejecu a la median e una is a 3D le
pe mi e coloca se en la pe spec i a deseada pa a ealiza un análisis adecuado. Es e
en oque ep esen a una mejo a signi ica i a en la comp ensión del mo imien o en
compa ación con las in e aces de pan alla adicionales, donde es necesa io in e -
p e a el mo imien o del b azo obó ico a a és de p oyecciones bidimensionales.
La manipulación del en o no i ual median e ges os ambién ha enido una buena
acogida en los es udios ealizados. Se ha comp obado que la de inición de poses
obje i o a a és de la manipulación de holog amas esul a ac ible e in ui i a. Sin
emba go, la p ecisión alcanzada po el usua io al posiciona el holog ama sob e un
obje i o es limi ada. Es po ello, que la e iciencia de la aplicación es a á condicionada
po los equisi os de p ecisión y de iempo de la a ea a ealiza .
63
[40]
M. B. Luebbe s, C. B ooks, M. J. Kim, D. Sza i y B. Hayes. ‘Augmen ed Reali y In e ace
o Cons ained Lea ning om Demons a ion’. En: P oceedings o he 2nd In e na ional
Wo kshop on Vi ual, Augmen ed, and Mixed Reali y o HRI (VAM-HRI). 2019 ( id.
pág. 19).
[41]
Z. Makha ae a y Huseyin A. V. ‘Augmen ed Reali y o Robo ics: A Re iew’. En: Robo ics
9.2 (2020) ( id. pág. 16).
[42]
S. Mak is, P. Ka agiannis, S. Koukas y A. S. Ma haiakis. ‘Augmen ed eali y sys em o
ope a o suppo in human– obo collabo a i e assembly’. En: CIRP Annals 65.1 (2016),
págs. 61-64 ( id. pág. 16).
[43]
I. Malý, D. Sedláˇ
cek y P. Lei ão. ‘Augmen ed eali y expe imen s wi h indus ial obo
in indus y 4.0 en i onmen ’. En: 2016 IEEE 14 h In e na ional Con e ence on Indus ial
In o ma ics (INDIN). 2016, págs. 176-181 ( id. pág. 19).
[44]
D. Massa, M. Callega i y C. C is alli. ‘Manual guidance o indus ial obo p og amming’.
En: Indus ial Robo : An In e na ional Jou nal 42 (ago. de 2015), págs. 457
-
465 ( id.
pág. 14).
[45]
A. Masu o sky, P. Chojecki, D. Runde e al. ‘Con olle -F ee Hand T acking o G ab-
and-Place Tasks in Imme si e Vi ual Reali y: Design Elemen s and Thei Empi ical
S udy’. En: Mul imodal Technologies and In e ac ion 4.4 (2020) ( id. pág. 20).
[46]
I. Mau ua, I. Fe nández, A. Tellaeche e al. ‘Na u al mul imodal communica ion
o human– obo collabo a ion’. En: In e na ional Jou nal o Ad anced Robo ic Sys-
ems 14.4 (2017), pág. 1729881417716043. ep in :
h ps://doi.o g/10.1177/
1729881417716043 ( id. pág. 20).
[47]
G. Michalos, S. Mak is, P. Tsa ouchi e al. ‘Design conside a ions o sa e human- obo
collabo a i e wo kplaces’. En: P ocedia CI P 37 (2015), págs. 248-253 ( id. pág. 13).
[48]
P. Milg am y F. Kishino. ‘A Taxonomy o Mixed Reali y Visual Displays’. En: IEICE T ans.
In o ma ion Sys ems ol. E77-D, no. 12 (dic. de 1994), págs. 1321
-
1329 ( id. págs. 5,
15).
[49]
D. Mou zis, J. Angelopoulos y N. Panopoulos. ‘Closed-Loop Robo ic A m Manipula ion
Based on Mixed Reali y’. En: Applied Sciences 12.6 (2022) ( id. pág. 19).
[50]
D. Ni, A. YC. Nee, S. Ong e al. ‘Poin cloud augmen ed i ual eali y en i onmen wi h
hap ic cons ain s o eleope a ion’. En: T ansac ions o he Ins i u e o Measu emen
and Con ol 40.15 (2018), págs. 4091-4104 ( id. pág. 18).
[51]
D. Ni, A. W. W. Yew, S. K. Ong y A. Nee. ‘Hap ic and isual augmen ed eali y in e ace
o p og amming welding obo s’. En: Ad ances in Manu ac u ing 5 (ago. de 2017)
( id. págs. 18, 20).
[52]
J. No be o Pi es. ‘Robo -by- oice: expe imen s on commanding an indus ial obo
using he human oice’. En: Indus ial Robo : An In e na ional Jou nal 32.6 (ene. de
2005). Ed. po Guido Bugmann, págs. 505-511 ( id. pág. 20).
[53]
F. Obe mai , J. Al hale , U. Seile e al. ‘Main enance wi h Augmen ed Reali y Remo e
Suppo in Compa ison o Pape -Based Ins uc ions: Expe imen and Analysis’. En: 2020
IEEE 7 h In e na ional Con e ence on Indus ial Enginee ing and Applica ions (ICIEA).
2020, págs. 942-947 ( id. pág. 64).
70 Bibliog a ía

[54]
S.K. Ong, A.W.W. Yew, N.K. Thanigai el y A.Y.C. Nee. ‘Augmen ed eali y-assis ed obo
p og amming sys em o indus ial applica ions’. En: Robo ics and Compu e -In eg a ed
Manu ac u ing 61 (2020), pág. 101820 ( id. pág. 18).
[55]
SK. Ong, AYC. Nee, AWW. Yew y NK. Thanigai el. ‘AR-assis ed obo welding p og am-
ming’. En: Ad ances in Manu ac u ing 8.1 (2020), págs. 40-48 ( id. pág. 18).
[56]
M. Os anin y A. Klimchik. ‘In e ac i e Robo P og aming Using Mixed Reali y’. En:
IFAC-Pape sOnLine 51 (ene. de 2018), págs. 50-55 ( id. pág. 20).
[57]
J. Pe e y E. Vande Poo en. ‘Touching Vi ual Reali y: A Re iew o Hap ic Glo es’.
En: ACTUATOR 2018; 16 h In e na ional Con e ence on New Ac ua o s. 2018, págs. 1
-
5
( id. pág. 15).
[58]
T. Pe e sen, J. P e lo e, C. Skou up, T. Engedal y T. Loks ad. ‘Augmen ed eali y o
p og amming indus ial obo s’. En: The Second IEEE and ACM In e na ional Symposium
on Mixed and Augmen ed Reali y, 2003. P oceedings. 2003, págs. 319
-
320 ( id. pág. 18).
[59]
D. Puljiz y B. Hein. Concep s o End- o-end Augmen ed Reali y based Human-Robo
In e ac ion Sys ems. 2019. a Xi : 1910.04494 [cs.RO] ( id. pág. 16).
[60]
D. Puljiz, E. S öh , K. S. Ries e e , B. Hein y T. K öge . ‘Senso less Hand Guidance using
Mic oso Hololens’. En: 2019 14 h ACM/IEEE In e na ional Con e ence on Human-Robo
In e ac ion (HRI). IEEE. 2019, págs. 632-633 ( id. pág. 19).
[61]
D. Puljiz, B. Zhou, K. Ma y B. Hein. HAIR: Head-moun ed AR In en ion Recogni ion. 2021.
a Xi : 2102.11162 [cs.RO] ( id. pág. 19).
[62]
C. P. Quin e o, S. Li, M. KXJ. Pan e al. ‘Robo P og amming Th ough Augmen ed
T ajec o ies in Augmen ed Reali y’. En: 2018 IEEE/RSJ In e na ional Con e ence on
In elligen Robo s and Sys ems (IROS). 2018, págs. 1838-1844 ( id. pág. 18).
[63]
E. Rosen, D. Whi ney, E. Phillips e al. ‘Communica ing and con olling obo a m
mo ion in en h ough mixed- eali y head-moun ed displays’. En: The In e na ional
Jou nal o Robo ics Resea ch 38.12-13 (2019), págs. 1513-1526 ( id. pág. 20).
[64]
E. Rosen, D. Whi ney, E. Phillips e al. ‘Communica ing obo a m mo ion in en
h ough mixed eali y head-moun ed displays’. En: Robo ics Resea ch. Sp inge , 2020,
págs. 301-316 ( id. pág. 19).
[65]
P. Rücke , F. Meine s y K. T ach . ‘Augmen ed Reali y o eaching collabo a i e obo s
based on a physical simula ion’. En: Tagungsband des 3. Kong esses Mon age Handhabung
Indus ie obo e . Ed. po Tho s en Schüpps uhl, Ki s en T ach y Jö g F anke. Be lin,
Heidelbe g: Sp inge Be lin Heidelbe g, 2018, págs. 41-48 ( id. pág. 20).
[66]
A. San Ma in y J. Kildal. ‘Audio-Visual Mixed Reali y Rep esen a ion o Haza d Zones
o Sa e Pedes ian Na iga ion o a Space’. En: In e ac ing wi h Compu e s 33.3 (oc . de
2021), págs. 311
-
329. ep in :
h ps://academic.oup.com/iwc/a icle-pd /33/3/
311/41062380/iwab028.pd ( id. pág. 19).
[67]
N. Seymou , A. Gallaghe , R. Sanziana e al. ‘Vi ual Reali y T aining Imp o es Ope a ing
Room Pe o mance’. En: Ann Su g 236 (oc . de 2002), págs. 458-463 ( id. pág. 15).
[68]
R. Sodhi, I. Poupy e , M. Glisson y A. Is a . ‘AIREAL: in e ac i e ac ile expe iences in
ee ai ’. En: ACM T ansac ions on G aphics (TOG) 32.4 (2013), pág. 134 ( id. pág. 20).
[69]
S uden . ‘The p obable e o o a mean’. En: Biome ika (1908), págs. 1
-
25 ( id.
pág. 31).
Bibliog a ía 71
[70]
Y. Su, X. Chen, T. Zhou, C. P e y y G. Chase. ‘Mixed eali y-in eg a ed 3D/2D ision
mapping o in ui i e eleope a ion o mobile manipula o ’. En: Robo ics and Compu e -
In eg a ed Manu ac u ing 77 (2022), pág. 102332 ( id. pág. 18).
[71]
I. E. Su he land. ‘A head-moun ed h ee dimensional display’. En: Seminal G aphics:
Pionee ing E o s Tha Shaped he Field, Volume 1. New Yo k, NY, USA: Associa ion o
Compu ing Machine y, 1998, págs. 295-302 ( id. pág. 15).
[72]
M. Walke , H. Hedaya i, J. Lee y D. Sza i . ‘Communica ing Robo Mo ion In en wi h
Augmen ed Reali y’. En: P oceedings o he 2018 ACM/IEEE In e na ional Con e ence
on Human-Robo In e ac ion. HRI ’18. Chicago, IL, USA: Associa ion o Compu ing
Machine y, 2018, págs. 316-324 ( id. pág. 19).
[73]
K. Wang y T. Tang. ‘Robo p og amming by demons a ion wi h a monocula RGB ca-
me a’. En: Indus ial Robo : he in e na ional jou nal o obo ics esea ch and applica ion
50.2 (ene. de 2023), págs. 234-245 ( id. pág. 18).
[74]
F. Wilcoxon. ‘Indi idual compa isons by anking me hods’. En: B eak h oughs in s a is ics.
Sp inge , 1992, págs. 196-202 ( id. pág. 31).
[75]
C. Xue, Y. Qiao y N. Mu ay. ‘Enabling Human-Robo -In e ac ion o Remo e Robo ic
Ope a ion ia Augmen ed Reali y’. En: 2020 IEEE 21s In e na ional Symposium on “A
Wo ld o Wi eless, Mobile and Mul imedia Ne wo ks” (WoWMoM). 2020, págs. 194-196
( id. pág. 17).
[76]
L. Yang, S. Xiao, T. Wang, Y. Shi y K. D iggs-Campbell. ‘Robo ics ia Expe ien ial
Ac i e Lea ning Wi h Imme si e Technology: A Pedagogical F amewo k Designed o
Enginee ing Cu icula’. En: IEEE Access 12 (2024), págs. 65706-65715 ( id. pág. 19).
72 Bibliog a ía
Pa e III
A ículos publicados
7
Mul imodal Mixed Reali y Impac
on a Hand Guiding Task wi h a
Holog aphic Cobo
Au ho s
Andoni Ri e a Pin o, Johan Kildal y Elena Lazkano
Publishe
Mul idisciplina y Digi al Publishing Ins i u e (MDPI)
Jou nal
Mul imodal Technologies and In e ac ion
Yea
2020
Qua ile
Q3
DOI
h ps://doi.o g/10.3390/m i4040078
75

Mul imodal Technologies
and In e ac ion
A icle
Mul imodal Mixed Reali y Impac on a Hand
Guiding Task wi h a Holog aphic Cobo
Andoni Ri e a Pin o 1,2,* , Johan Kildal 1and Elena Lazkano 2
1TEKNIKER, Basque Resea ch & Technology Alliance (BRTA), C/ Iñaki Goenaga 5, 20600 Eiba , Spain;
johan.kildal@ eknike .es
2Compu e Sciences and A i icial In elligence Depa men , Uni e si y o he Basque Coun y/Euskal
He iko Unibe si a ea (EHU/UPV), 48940 Leioa, Spain; [email p o ec ed]
*Co espondence: andoni. i e a@ eknike .es
Recei ed: 17 Sep embe 2020; Accep ed: 28 Oc obe 2020; Published: 31 Oc obe 2020


Abs ac :
In he con ex o indus ial p oduc ion, a wo ke ha wan s o p og am a obo using he
hand-guidance echnique needs ha he obo is a ailable o be p og ammed and no in ope a ion.
This means ha p oduc ion wi h ha obo is s opped du ing ha ime. A way a ound his cons ain
is o pe o m he same manual guidance s eps on a holog aphic ep esen a ion o he digi al win
o he obo , using augmen ed eali y echnologies. Howe e , his p esen s he limi a ion o a lack
o angibili y o he isual holog ams ha he use ies o g ab. We p esen an in e ace in which
some o he angibili y is p o ided h ough ul asound-based mid-ai hap ics ac ua ion. We epo
a use s udy ha e alua es he impac ha he p esence o such hap ic eedback may ha e on a
pick-and-place ask o he w is o a holog aphic obo a m which we ound o be bene icial.
Keywo ds: human– obo in e ac ion; cobo ; augmen ed eali y; mid-ai hap ics; holog am; mul imodal
1. In oduc ion
Indus y 4.0 [
1
] is he e m used o an ongoing ou h indus ial e olu ion, acco ding o which
ac o ies o he u u e will comp ise machine y, wa ehousing and p oduc ion acili ies in he shape o
cybe -physical sys ems.
Collabo a i e obo s, also known as ‘cobo s’, a e one such ype o echnological asse s ha in e ac
and coope a e wi h wo ke s wi hin he same sha ed wo kspace.
In o de o ag a obo as collabo a i e, i needs o mee some key equi emen s [
2
]. The i s
equi emen is us , which is essen ial o collabo a ion and ensu es he sa e y o he human wo ke
du ing he ask. A obo wi h his ea u e also needs o ma ch o imp o e he e iciency o he ask
pe o mance (e.g., he ime spen doing he wo k). Rela ed o us , i is also necessa y o he use o
eel a sense o con ol. In case o eeling uncom o able, he human wo ke mus be able o in ui i ely
s op he obo . Finally, he obo has o be p edic able in o de o a oid unexpec ed mo emen s ha
could endange he human wo ke .
The abili y o cobo s o be p og ammed easily by echnically naï e wo ke s is an impo an
equi emen o hei easy adop ion by manu ac u ing indus ies [
3
]. ‘Manual guidance’ ( he echnique
o p og am a obo by eely mo ing i by hand wi hin he wo kspace [
4
]) is a e y use ul and widely
used echnique o p og am obo s in an easy and echnically non-demanding way. This is also known
as p og amming by demons a ion (PbD) [
5
]. Mo ing a obo ic a m by hand is in ui i e o wo ke s,
who a e able o ans e hei job expe ise o he obo wi hou he need o echnical knowledge o
obo kinema ics o p og amming languages.
Making use o hand guidance o p og amming imposes, howe e , he equi emen is ha he
obo has o be a ailable (and no engaged in any o he au oma ion- ela ed ask) o a wo ke o ha e
Mul imodal Technol. In e ac . 2020,4, 78; doi:10.3390/m i4040078 www.mdpi.com/jou nal/m i
Mul imodal Technol. In e ac . 2020,4, 78 2 o 21
exclusi e access o he obo while p og amming i o a new ask. This non-p oduc i e ime o obo
e- aining has an e iden nega i e impac on p oduc i i y.
As a way a ound his limi a ion, we p opose pe o ming manual guidance on he holog aphic
ep esen a ion o he digi al win [
6
] o he cobo ha needs o be p og ammed, by using cu en
o - he-shel mixed- eali y (MR) equipmen . C ea ing a holog am o he obo ha is only isual,
howe e , has he limi a ion ha is lacking he angibili y o g abbing and mo ing a physical obo .
In o de o eplica e he expe ience o physical hand-guidance mo e closely, in his pape we p opose
ha some aspec o he angibili y o he obo migh be ep oduced by p o iding ac ile eedback o
he hand ha holds he obo . To do so in a seamless way (i.e., wi hou a aching any equipmen o he
wo ke s hand), we explo e he possibili ies o e ed by a mid-ai hap ics echnology ha makes use o
ul asound-based ac ua ion. The goal is ha he spa ial and empo al combina ion o isual and ac ile
augmen a ions may con ey a mo e ealis ic ep esen a ion o he obo , suppo ing manipula ion
ac ions ha esemble in e ac ing wi h he physical obo .
Rele an p io wo k aiming owa ds manipula ing a holog am does exis in he li e a u e, as i is
e iewed in he nex sec ion. Such examples om he s a e o he a made use o di e en kinds o
augmen ed eali y and i ual eali y de ices in o de o p og am a obo ic a m mo emen . One o he
ou comes om such wo k was he lack o na u alness o he manipula ion, which u he suppo s ou
app oach o c ea ing a isuo- ac ile mul imodal in e ace.
In p elimina y ea lie wo k [
7
], we p o o yped his concep by c ea ing an applica ion wi h which
he use could pe o m a pick-and-place ask o he w is o a holog aphic obo . This ask ep esen s a
pa o he hand guidance p og amming p ocess. We also epo ed an ini ial pilo e alua ion wi h a
small g oup o use s, wi h he aim o ob ain ea ly indica ion o he impac ha using hap ic eedback
in pe o ming he ask migh ha e on ask execu ion and use expe ience. Fi e inexpe ienced use s
collabo a ed in he p elimina y s udy wo k whe e we ob ained a i s imp ession ela ed o he use
expe ience and dis ance e o and o al ime spen in he ask alues. While esul s sugges ed ha
he in e ac ion migh be p omising, ha pilo s udy was non-conclusi e, gi en he small use g oup
and he limi ed amoun o da a collec ed. In his pape , we epo a ull s udy wi h 16 naï e use s
pe o ming he same ask and p ocedu e, bu collec ing a la ge se o esul s wi h he employmen o
addi ional esea ch me hodologies. Wi h he goal o ob ain mo e solid insigh in o pe o mance and
use expe ience aspec s, we employed a b oade ange o bo h quan i a i e and quali a i e me hods
and me ics.
We moni o ed and analysed addi ional quan i a i e me ics, and we collec ed subjec i e
expe ience da a wi h he use o addi ional use esea ch me hods: ex ended e sions o he alida ed
SEQ ques ionnai e and he NASA-TLX index. The same ou -ques ion ad hoc ques ionnai e as in he
p e ious pape was also s ill used o compa ison (all ques ionnai es used in he s udies a e included
in Appendix A) and we moni o ed some da a ela ed o he use pe o mance o compa e pe o mance
wi h isual only eedback and he mul imodal expe ience.
Wi h he p esen s udy, we wan ed o shed ligh on wo aspec s o he in e ac ion p oposed.
Fi s , we wan ed o know how easible i was o a use o pe o m hand guidance o a i ual obo
using o - he-shel mixed eali y de ices. The de ices ha we ocused on we e (i) a Hololens HMD
de ice o c ea e isual holog ams and (ii) an Ul ahap ics S a os Explo e de ice o c ea e he ac ile
eedback on he use ’s hand. In addi ion, and mo e speci ically, we wan ed o lea n abou he ole
ha adding ul asound-based ac ile s imula ion migh play in he use ’s pe o mance and in he UX
ob ained. Thus, we o mula ed he ollowing wo esea ch ques ions:
•
Is i possible o p og am a obo ic a m h ough hand guidance using cu en mixed eali y de ices?
•
Wha is he impac o he Ul ahap ics S a os de ice in manual guidance h ough he applica ion?
To adap he expe imen al ask o naï e use s (wi h no p io expe ience collabo a ing wi h obo s),
we simpli ied a p og amming-by-demons a ion ask o a ask o pick-and-place o he w is o
he obo .
Mul imodal Technol. In e ac . 2020,4, 78 3 o 21
In his way, he use could g ab he holog aphic obo end e ec o , displacing i in o a
new posi ion.
The simpli ica ion o he ask comes om no aking in o accoun he kinema ics cons ain s o
he physical obo , which is an impo an pa in a PbD solu ion because i de ines he o a ion and
mo emen limi s o he obo . Howe e , we pu he esea ch ocus on he impac ha he angibili y o
he holog am has du ing he execu ion o he ask.
The es o he pape is s uc u ed as ollows. Sec ion 2 e iews he p io wo k. Sec ion 3desc ibes
he design o he expe imen al use s udy epo ed in his pape . In he Sec ion 4, we desc ibe he
expe imen al use s udy p ocedu e and he esul s a e epo ed in Sec ion 5. These esul s a e analysed
in Sec ion 6. Finally, in Sec ion 7, we p esen he conclusions and u u e wo k.
2. S a e o he A
As we know i oday, augmen ed eali y almos exclusi ely add esses he isual channel, wi h
some examples o audi o y augmen a ion as well. Howe e , as a back as 1962, he concep o mul iple
senso y modali ies was p oposed by Mo on Heilig’s Senso ama [
8
]. This de ice is one o he i s
machines ela ed o he mul imodal i ual eali y (VR), wi h s e eoscopic 3D iew, s e eo sound,
wind and smell e ec s and mobile sea .
In 2002, isual i ual eali y was in oduced in medicine [
9
] in o de o ain and, hus, imp o e
su geon’s skills. Du ing he ollowing yea s, a numbe o s udies con inued o ocus on his a ea [
10
–
12
].
Head-moun ed display (HMD) echnology has ad anced in hese ecen yea s, allowing he
ep esen a ion o complex 3D scenes ende ed in eal ime and wi h a good image quali y and ame
a io pe second.
Oculus Ri [
13
], PlayS a ion VR o HTC Vi e a e examples o HMDs which allow a ealis ic
imme si e simula ion o a i ual wo ld.
Rega ding augmen ed eali y HMDs, Google p esen ed in 2012 he ad anced p o o ype
“Google Glasses” in 2012, a de ice which had he aim o coexis ing in he socie y. In 2015 Google
decided no o sell hei de ice comme cially o he public and, in 2017, hey p esen ed a new elease
aimed o business and indus ial en i onmen .
Human– obo in e ac ion (HRI) has made p o ilic use o augmen ed eali y, as seen in ecen
e iew publica ions, such as in [
14
], which iden i ies a oadmap o he ield. In he same way, in [
15
],
a e iew o ad anced obo p og amming app oaches is p esen ed whe e he au ho s explain he
cu en augmen ed eali y-based p og amming app oaches.
Augmen ed eali y and i ual eali y i pe ec ly in he manu ac u ing indus y as suppo
o ope a o s. A good example is ound in Mak is e al. [
16
] o he p og amming o welding obo s,
o in [
17
] o indus ial obo s suppo ed by i ual eali y. Using di e en me hodologies, algo i hms
and ools like in [
18
], i is possible o imp o e aining, p og amming, main enance and p ocess
moni o ing. De ining iducial ma ke s in he 3D wo ld [
19
] ha a e di ec ly linked o he eal obo
close spo s wo king wi h augmen ed eali y o de ining he pa h ha he obo has o ollow [
20
]
could also simpli y he di icul y o he ask. Rela ed o he sa e y equi emen s o human– obo
collabo a ion in indus ial se ings, in [
21
], au ho s p esen a dep h-senso based model o wo kspace
moni o ing and an in e ac i e AR use in e ace o sa e human– obo collabo a ion.
Th ough hese kinds o augmen ed eali y de ices, he i ual ep esen a ion o a obo makes
he sa e y ac o easy o comply wi h. Mo eo e , due o he possibili y o o e lapping addi ional
in o ma ion o e he eal wo ld, i is possible o imp o e ime o comple e he ask using ma ks and
labels [
22
]. In 2017 [
23
], Ni e al. de eloped an augmen ed eali y sys em ha mixes hap ic and isual
expe iences o he p og amming o welding obo s using a hap ic PHANToM de ice. In his case,
au ho s used a sc een o isual augmen ed eali y.
Puljiz e al. [
24
] p esen ed a wo k on p og amming a collabo a i e obo using Mic oso
Hololens mixed eali y HMD wi h a KUKA KR-5 collabo a i e obo and ROS as an ope a ing sys em.
Luebbe s e al. [
25
] p esen ed a no el augmen ed eali y in e ace o he isualiza ion and di ec ed
Mul imodal Technol. In e ac . 2020,4, 78 4 o 21
con ol o obo skill lea ning om demons a ion (L D). Rosen e al. [
26
] p oposed a mixed- eali y
HMD isualisa ion o he in ended obo mo ion, allowing use s also o adjus he goal pose o he end
e ec o h ough hand ges u es.
In addic ion, [
27
–
29
] a e examples o sys ems in which sys ems ha use mixed eali y HMD we e
used o he in e ac i e p og amming o indus ial obo s.
A limi a ion common o all he p io wo k is he lack o hap ic eedback ha can inc ease he
ealism o he pick-and-place ask. An excep ion is [
23
], whe e he au o s did use a PHANToM hap ic
de ice, bu he isual expe ience was limi ed o a sc een. I he applica ion does no con ain p ede ined
a ge poin s o pe o m he ask, a naï e use would ha e di icul ies o mo e he obo and ha e
spa ial pe cep ion. Mo eo e , we decided o use a mid-ai hap ic de ice as an al e na i e.
Wi h he cu en ly a ailable mixed eali y (MR) head-moun ed displays, he capabili y o
ep esen ing a holog am o a obo and i s wo kspace allows c ea ing a be e con ex o pe o m
a ask [
30
]. Wi h hand acking echnologies, he wo ke could pe o m he pick-and-place ask
in a simila way as wi h a physical obo . In he examples om he li e a u e men ioned abo e,
he mo emen is done in he ai wi hou g abbing any physical objec , and consequen ly wi h a lack
o angibili y, which could be add essed by using a hap ic de ice, making he execu ion o he ask
po en ially mo e in ui i e and na u al [
31
]. In he wo k p esen ed he e, he hap ic de ice selec ed is an
Ul ahap ics S a os de ice, which is able o p esen ac ile sensa ion on he skin in mid-ai , wi hou
he in usion o a physical in e ace.
The main goal o he p esen s udy was o combine he use o a hap ic de ice wi h a MR
i ual en i onmen o measu e he easibili y and he imp o emen in oduced by he Ul ahap ics
S a os de ice.
3. Design o he Expe imen al Use S udy
The goal was o in es iga e he esea ch ques ions men ioned abo e, ega ding he p og amming
o he obo s h ough manual guidance o he holog aphic ep esen a ion o i s digi al win, in he
sub- ask o pe o ming a pick-and-place ope a ion in he con ex o a i ual scene and obo .
Fo his implemen a ion, we used a Mic oso Hololens mixed eali y de ice o p o ide isual
augmen ed eali y. This de ice consis s o 2 anspa en lenses in 16:9 aspec a io, senso s including
an ine ial measu emen uni , dep h came a, en i onmen unde s anding came as and mic ophones
among o he s, and inpu /ou pu connec ions (Blue oo h, Wi-Fi, e c.) which allow communica ion
be ween his head-moun ed display wi h he hap ic de ice. As men ioned, ac ile eedback was
gene a ed using an Ul ahap ics S a os Explo e ul asound ac ua o [
32
]. This op ion o mid-ai
ende ing o ac ile sensa ions was deemed mo e app op ia e han al e na i es such as hap ic glo es,
o an ‘AIREAL’ [
33
] ai o ex emi e de ice. The Ul ahap ics S a os de ice consis s o 256 ul asound
ansduce s ha a e combined o c ea e angible sensa ions on speci ic poin s in space ha he hand
occupied a each momen in ime. I p esen s he ad an age ha i does no equi e wea ing any
physical de ice on he hand, al hough i has he limi a ion ha he in e ac ion space is small (up o
less han 70 cm abo e he ac ua ing panel). This de ice in eg a es a Leap Mo ion hand acke ha
pe mi s he localiza ion o he use ’s hand wi hin he in e ac ion space. Th ough he posi ion o he
hand and he capaci y o c ea e local ai dis u bances, i is possible o c ea e a ange o sensa ions on
he use ’s skin. When he use places his/he hand in he in e ac ion egion, a holog aphic hand is
supe imposed wi h he eal hand, which co esponds o he econs uc ion o he use ’s hand as i is
acked by he Leap Mo ion de ice.
Using hese de ices and he Uni y c oss-pla o m game engine, we c ea ed a 3D
en i onmen which simula ed a collabo a i e obo ha mo ed wi hin he in e ac ion space o he
Ul ahap ics de ice.
The se up o un he applica ion is shown in Figu e 1. A PC managed he c ea ion o he 3D
en i onmen and, wi h a sc ip , i also collec ed all he da a du ing he ask execu ion. The Ul ahap ics
S a os Explo e de ice was connec ed h ough a USB po o he same PC. The Mic oso Hololens
Mul imodal Technol. In e ac . 2020,4, 78 11 o 21
Like wi h he p e ious pa ame e s, he dis ibu ions o he da a ob ained we e e y simila in bo h
condi ions ((M
V+H
= 6.681, SD
V+H
= 7.553); (M
V
= 7.319, SD
V
= 8.577)), and no s a is ically signi ican
di e ence was ob ained om a Wilcoxon es (
p
= 0.698), sugges ing ha he p esence o ac ile
eedback migh no in luence he numbe o imes he holog am d opped o om he use ’s hand.
Summa ising all he abo e analysis, none o he obse ed quan i ied a iables showed signi ican
di e ences be ween condi ions.
The ollowing wo sub-sec ions p esen subjec i e da a cap u ed and quan i ied wi h wo s anda d
ques ionnai e-based me hods, ex ended SEQ ques ionnai es and he 210 ex ended NASA-TLX es .
5.2. Quali a i e Resul s
Now, we a e going o analyse he use s’ opinions ex ac ed om he ex ended SEQ es ,
he ex ended RAW NASA-TLX es and he cus omized ques ionnai e.
5.2.1. SEQ—Task Di icul y
The Single Ease Ques ion is a es ha consis s o only one ques ion abou he di icul y o he ask
ha he use has pe o med in he es . A e each ask execu ion, use s egis e on a 7-poin Like
scale how easy hey ound i o execu e ha ask ( h ee imes o each es condi ion) whe e a low
alue means high di icul y and high alue means a lowe di icul y. Figu e 8shows he dis ibu ion o
he answe s p o ided. The Wilcoxon es (
p
= 0.147) ound no pe cei ed di e ence in di icul y ha
was s a is ically signi ican . The dis ibu ion o he ob ained da a shows he simila i y ((M
V+H
= 6.291,
SDV+H = 1.031); (MV= 6.104, SDV= 0.973)).
xx
2
4
6
V + H
SEQ Di icul y answe s dis ibu ion
V
Figu e 8.
Dis ibu ion o use s’ answe s abou he ask di icul y a e each execu ion, whe e a high
alue ep esen s a di icul ask and low alue an easy ask.
5.2.2. SEQ—Sa is ac ion wi h he Resul
We ex ended he SEQ ques ionnai e wi h a second ques ion ha pa icipan s esponded o in he
same way (same Like scale) and immedia ely a e he i s one. In his scale, pa icipan s a ed how
sa is ied hey we e wi h he esul hey had ob ained in ha ask execu ion, meaning he highe he
alue, he be e he pe o mance. Resul s a e plo ed in Figu e 9. In his case, he da a dis ibu ion

Mul imodal Technol. In e ac . 2020,4, 78 12 o 21
ob ained is [(M
V+H
= 6.354, SD
V+H
= 6.0); (M
V
= 0.887, SD
V
= 1.167)], and he Wilcoxon es e u ned a
alue (p= 0.033), co esponding o a s a is ically signi ican di e ence be ween se ies.
2
4
6
V
SEQ Sa is ac ion wi h he esul
x
x
V + H
Figu e 9. Dis ibu ion o pa icipan s’ answe s abou he sa is ac ion wi h he ob ained esul .
5.2.3. NASA-TLX
The index ob ained om he “Raw NASA-TLX (Task Load Index)” ques ionnai e is a measu e o
he wo k load expe ienced by pa icipan s when execu ing he expe imen al ask. The ques ionnai e
consis s o six dimensions, all o which a e a ed on a 21-poin (0 o 20) Like -like scale: men al
demand, physical demand, empo al demand, pe o mance le el achie ed, e o expended and
us a ion expe ienced. Keeping he same o ma , we added wo dimensions o he ques ionnai e:
sense o con ol and pe cei ed physicali y. The sense o con ol dimension has been used as pa o
an ex ended TLX ques ionnai e (in e.g., [
40
]), and is highly ele an in he ask chosen in his s udy.
We added also he pe cei ed physicali y [
41
] dimension o assess he subjec i e deg ee o ealism ha
ac ile eedback migh be adding o he manipula ion o he holog am. To calcula e he index, we used
he aw e sion o NASA-TLX [39], which does no make use o weigh ed pai wise compa isons.
Figu e 10 shows he dis ibu ion o he Raw NASA-TLX alues ob ained om he 16 use s,
sugges ing a lowe TLX wi h ac ile eedback ((M
V+H
= 5.646, SD
V+H
= 3.999); (M
V
= 6.271,
SDV= 4.484)
). Howe e , a e pe o ming he - es , we ob ained a
p
- alue g ea e han 0.05 (0.096),
which means ha no signi ican di e ence be ween he mean o bo h condi ions was ound om
ou da a. S ill, we wen on o examine each dimension o TLX indi idually, o see which dimension(s)
he di e ence in mean TLX alue o igina ed om.
Figu e 11 plo s he da a dis ibu ion o he six cons i uen dimensions o TLX.
As a esul , we ound a highly signi ican s a is ical di e ence in he empo al demand
(
p
- alue < 0.01). Pa icipan s epo ed a lowe empo al demand wi h ac ile eedback om he
Ul ahap ics S a os explo e de ice.
In addi ion, ega ding he pe cep ion o con ol while ca ying ou he ask, da a om he
expe imen e ealed ((M
V+H
= 14.625, SD
V+H
= 4.470); (M
V
= 12.25, SD
V
= 4.524)) a di e ence ha was
also s a is ically signi ican in hei mean di e ence (
p
- alue = 0.04), wi h pe cep ion o con ol being
supe io when he use pe o med he ask wi h ac ile eedback om he Ul ahap ics S a os Explo e
de ice (Figu e 12).
Mul imodal Technol. In e ac . 2020,4, 78 13 o 21
0
5
10
15
20
V
Task load indexes dis ibu ion
XX
V + H
Figu e 10.
Dis ibu ion o he ask load indexes o he ask pe o mance wi h and wi hou hap ic
eedback espec i ely.
0
5
10
15
20
V + H V
Men al demand
0
5
10
15
20
Physical demand
0
5
10
15
20
Tempo a y demand
0
5
10
15
20
E o expended
0
5
10
15
20
Pe o mance achie ed
0
5
10
15
20
F us a ion expe ienced
V + H V V + H V
V + H V V + H V V + H V
xx
xxx
x
x
x
xx
x
x
**
Figu e 11.
Dis ibu ions o esponses in bo h condi ions (wi h and wi hou ac ile eedback) in he six
scales ha o m he NASA-TLX ques ionnai e. No ice ha , in all cases, he pola i y o he scales e lec
a be e ou come he lowe he alues, including he pe o mance scale.
5
10
15
20
V + H
x
x
Con ol sensa ion da a dis ibu ion
V
Figu e 12. Dis ibu ion o he answe s o he con ol sensa ion while pe o ming he ask.
Mul imodal Technol. In e ac . 2020,4, 78 14 o 21
Simila ly, pe cei ed physicali y inc eased when he use s pe o med he ask wi h hap ic
eedback as opposed o wi hou i . This di e ence (
p
- alue = 4.751
×
10
4
) can be seen in Figu e 13
((MV+H = 15.437, SDV+H = 6.375); (MV= 3.521, SDV= 4.843)).
0
5
10
15
20
V
Physicali y dis ibu ion da a
x
x
V + H
Figu e 13. Dis ibu ion o he answe s o he physicali y while pe o ming he ask.
5.2.4. Ad Hoc Ques ionnai e
Finally, we adminis e ed he same ad hoc ques ionnai e as in he p elimina y s udy [
7
].
This ques ionnai e consis ed o ou s a emen s ha he use s had o answe o on a Like 7-poin
scale, indica ing whe he hey ag eed wi h hem (3) o no (−3):
•Q1—Wi h ac ile eedback, I ha e pe cei ed a ce ain ad an age o ca y ou he ask.
•Q2—I ha en’ done comple e he ask as e when I el he ball.
•Q3—I ha e achie ed be e accu acy wi h ac ile eedback.
•
Q4—The pe cep ion ha I was handling he obo was he same wi h and wi hou ac ile eedback.
The dis ibu ion o he answe s is shown in Figu e 14.
−3
−2
−1
0
1
2
3
Q1 Q2 Q3 Q4
Subjec i e pe cep ion o condi ion compa ison
Figu e 14.
Resul s o he subjec i e opinion om he pa icipan s abou he mul imodal obo manipula ion ask.
Mul imodal Technol. In e ac . 2020,4, 78 15 o 21
Some consensus was shown o Q1 and Q4, wi h opinions ega ding Q3 and Q4 dis ibu ed
a ound he neu al egion o he scale (wi h a a he e en spli o opinions). Thus, o Q1, 13 ou o he
16 use s pe cei ed qui e a clea ad an age in ca ying ou he ask wi h ac ile eedback. As o Q4,
pa icipan s la gely suppo ed he opinion ha handling he holog am wi h o wi hou ac ile eedback
el di e en .
6. Discussion o he Resul s
Wi h he esul s ob ained, we can e alua e he impac o he p esence o ac ile eedback om an
Ul ahap ics S a os de ice on he ask pe o mance and on he use expe ience.
Rega ding he objec i e quan i a i e me ics measu ed om he pa icipan s’ ask execu ions
(dis ance e o , ime spen on he ask, ne ime g abbing he ball, a io be ween bo h ime alues,
numbe o imes he pa icipan los he ball), we obse ed ha he e ec o in oducing ac ile
eedback was small and, in ac , we ound no s a is ically signi ican di e ences be ween condi ions.
An immedia e conclusion ha can be d awn om his is ha he p esence o he ac ile eedback om
an Ul ahap ics did no a ec pe o mance on he ask o he expe imen , ei he posi i ely o nega i ely.
In con as , wi h he analysis o quan i ied subjec i e da a ob ained h ough he a ious
ques ionnai es adminis e ed, some esul s eme ged ha showed posi i e e ec s om he p esence o
ac ile eedback, wi h no nega i e e ec s de ec ed. S a ing wi h he ex ended SEQ ques ions (ease o
ask execu ion and sa is ac ion wi h esul ob ained), mean alues o he dis ibu ions sugges ed
posi i e e ec s om he p esence o eedback, al hough hose di e ences we e no ound o be
s a is ically signi ican . A simila end was ound o he TLX index and o i s six cons i uen
dimensions, whe e, in all cases, mean alues o esponse dis ibu ions we e nume ically lowe wi h
ac ile eedback, sugges ing posi i e e ec s om i s p esence. S a is ical compa ison o dis ibu ions
showed ha he di e ence was signi ican in he case o empo al demand, whe e i was epo ed o be
lowe (wi h a high le el o s a is ical signi icance) when ac ile eedback was p esen . This same end
showing a posi i e e ec was also p esen in he ca ego ies ha ex ended he NASA-TLX ques ionnai e
(no included in he calcula ion o he TLX index): sense o con ol and pe cei ed physicali y. In bo h
cases, no only we e dis ibu ion means highe in he condi ion wi h ac ile eedback, bu he di e ences
we e s a is ically signi ican in bo h cases, wi h a pa icula ly high le el o signi icance in he case o he
pe cei ed physicali y. Fu he con i ma ion o he posi i e impac om he p esence o ac ile eedback
was ound in he da a collec ed om he ad hoc ques ionnai e ( he ou s a emen s ha pa icipan s
could ag ee o disag ee wi h). Rega ding he wo ques ions ga he ing mos consensus in he esponses,
Q4 showed ha a clea di e ence was pe cei ed when handing he holog am wi h o wi hou ac ile
eedback and, acco ding o he b oad consensus a ound Q1, he p esence o ac ile eedback o e ed an
ad an age o he execu ion o he expe imen al ask.
We hypo hesize ha he posi i e impac o ha ing ac ile eedback ( e lec ed in he da a om
se e al o he me ics) migh ha e been due o he e ec i eness o eedback as a mechanism o con i m
o he pa icipan ha he/she was g asping he holog am, as long as he eedback was el . I such
g asp go los and he holog am was le behind in he p ocess o d agging i , pa icipan s could
no ice immedia ely he change in sensa ion on he palm o hei hand and eac quickly o e ch he
holog am again and esume he ask. This could accoun o he signi ican di e ences ound in
lowe ing empo al demand, imp o ing he sense o con ol, and p o iding an enhanced pe cep ion
o physicali y o he holog am. This in e p e a ion o he esul s was ein o ced by discussions wi h
he pa icipan s abou hei expe ience du ing he s udy, who p o ided commen s s a ing ha i
was help ul o ecei e ac ile eedback, mos ly because hey could know be e i hey we e holding
he obo a each momen o no . Based on he da a p esen ed abo e, ou in e p e a ion is ha he
p esence o ac ile eedback was ul illing he expec a ion o pa icipan s o be eeling in hei hands he
( i ual) objec ha hey we e holding. Tac ile eedback inc eased he na u alness o ha expe ience,
and he sensa ion el was eassu ingly amilia , pa ing he way o an in e ac ion ha did no need o
be lea ned.
Mul imodal Technol. In e ac . 2020,4, 78 16 o 21
7. Conclusions and Fu u e Wo k
In esponse o he i s esea ch ques ion in he in oduc ion, his pape p esen s he
implemen a ion o a unc ional demons a o based on a Hololens head moun ed display, wi h which
a use can manipula e (mo e) a holog aphic obo , o he execu ion o a pick and place ask,
achie ing posi ioning p ecision ha emains unde 3 mm. This unc ionali y is a building block
o in e ac ions in mo e complex p og amming-by-demons a ion scena io. The second esea ch
ques ion (impac o ac ile eedback om mid-ai hap ics ac ua o s on a pick and place ask) mo i a ed
he main con ibu ion o his pape . The pape epo s a use s udy in which one such ask was
pe o med by pa icipan s in wo condi ions, wi h and wi hou ac ile eedback. As discussed abo e, he
esul s ob ained sugges ha eedback does no a ec obse ed pe o mance (no signi ican nume ical
di e ences we e eco ded, al hough he end was o be e sco es ob ained wi h ac ile eedback).
As o he quali a i e esul s, subjec i e sco es om pa icipan s on a se o ques ionnai e-based
me hods employed suppo ed also he end ha ac ile eedback was no iceable and wi h an impac
ha was posi i e. The s onges e idence o ha was ound on he educ ion o empo al demand,
imp o ed sense o con ol, enhanced pe cei ed physicali y o he holog am, plus he consensus among
pa icipan s ha he no iceable e ec in oduced by ac ile eedback ga e an ad an age in he success ul
execu ion o a pick-and-place ask o a holog aphic obo a m.
Building on he esul s ob ained in his pape , ou nex s eps a e ocused on implemen ing
a p og amming-by-demons a ion me hod and scena io, based on he handing o a holog aphic
obo a m. We will ep oduce a ealis ic con ex in which a eal obo can ep oduce he p ocedu e
demons a ed o he holog am. Alongside his p ocess, we will in es iga e u he hap ic ac ua ion
echniques and mul imodal in e ac ion ha can lead o imp o ed pe o mance and use expe ience, as
well as indi idual he impac o each de ice used in he in e ac ion ask.
Au ho Con ibu ions:
Concep ualiza ion, A.R.P., J.K. and E.L.; me hodology, A.R.P. and J.K.; so wa e, A.R.P.;
alida ion, A.R.P., J.K. and E.L.; o mal analysis, A.R.P. and J.K; in es iga ion, A.R.P. and J.K.; esou ces, J.K.;
da a cu a ion, A.R.P.; w i ing—o iginal d a p epa a ion, A.R.P.; w i ing— e iew and edi ing, J.K. and E.L.;
supe ision, J.K. and E.L; p ojec adminis a ion, J.K. and E.L. All au ho s ha e ead and ag eed o he published
e sion o he manusc ip .
Funding: This esea ch ecei ed no ex e nal unding.
Acknowledgmen s:
We would like o hank he people who pa icipa ed in his s udy o he ime hey dedica ed.
Con lic s o In e es : The au ho s decla e no con lic o in e es .
Appendix A. E alua ion Ques ionnai e
All he da a ela ed o his pape can be ound in he ollowing link: h ps://d i e.google.com/
d i e/ olde s/12HaSSw9czindIjUhUp YFsSgGqphuo n?usp=sha ing.

Mul imodal Technol. In e ac . 2020,4, 78 17 o 21
Figu e A1. Demog aphic ques ionnai e some da a abou he pa icipan .
Figu e A2. Ex ended SEQ. The use had o ill ou one o hese pape s o each execu ion.
Mul imodal Technol. In e ac . 2020,4, 78 18 o 21
Figu e A3.
Ex ended RAW NASA TLX ques ionnai e. The use s had o comple e one ow a e
he h ee execu ions wi h hap ic eedback. The same p ocedu e a e he h ee execu ions wi hou
hap ic eedback.
Mul imodal Technol. In e ac . 2020,4, 78 19 o 21
Figu e A4. Cus omized ques ionnai e. The use s had o comple e i a he end o he e alua ion.
Re e ences
1.
Henning, K. Recommenda ions o Implemen ing he S a egic Ini ia i e Indus ie 4.0; Fo schungsunion: Be lin,
Ge many, 2013.
2.
Michalos, G.; Mak is, S.; Tsa ouchi, P.; Guasch, T.; Kon o akis, D.; Ch yssolou is, G. Design conside a ions
o sa e human- obo collabo a i e wo kplaces. P ocedia CIRP 2015,37, 248–253. [C ossRe ]
3.
Kildal, J.; Tellaeche, A.; Fe nández, I.; Mau ua, I. Po en ial use s’ key conce ns and expec a ions o he
adop ion o cobo s. P ocedia CIRP 2018,72, 21–26. [C ossRe ]
4.
Massa, D.; Callega i, M.; C is alli, C. Manual guidance o indus ial obo p og amming. Ind. Robo In . J.
2015,42, 457–465, [C ossRe ]
5.
Billa d, A.; Calinon, S.; Dillmann, R.; Schaal, S. Su ey: Robo p og amming by demons a ion. In Handbook
o Robo ics; Sp inge : Be lin/Heidelbe g, Ge many, 2008; Volume 59.
6.
El Saddik, A. Digi al Twins: The Con e gence o Mul imedia Technologies. IEEE Mul imed.
2018
,25, 87–92.
[C ossRe ]
7.
Ri e a-Pin o, A.; Kildal, J. Visuo-Tac ile Mixed Reali y o O line Cobo P og amming. In HRI ’20:
Companion o he 2020 ACM/IEEE In e na ional Con e ence on Human-Robo In e ac ion; Associa ion o
Compu ing Machine y: New Yo k, NY, USA, 2020; pp. 403–405, [C ossRe ]
8. Heilig, M.L. Senso ama Simula o . U.S. Pa en 3,050,870, 28 Augus 1962.
9.
Seymou , N.; Gallaghe , A.; Sanziana, R.; O’B ien, M.; Vipin, B.; Ande sen, D. Vi ual Reali y T aining
Imp o es Ope a ing Room Pe o mance. Ann. Su g. 2002,236, 458–463. [C ossRe ] [PubMed]
10.
Gallaghe , A.G.; Ri e , E.M.; Champion, H.; Higgins, G.; F ied, M.P.; Moses, G.; Smi h, C.D.; Sa a a, R.M.
Vi ual eali y simula ion o he ope a ing oom: P o iciency-based aining as a pa adigm shi in su gical
skills aining. Ann. Su g. 2005,241, 364. [C ossRe ] [PubMed]
11.
G an cha o , T.P.; K is iansen, V.; Bendix, J.; Ba d am, L.; Rosenbe g, J.; Funch-Jensen, P. Randomized clinical
ial o i ual eali y simula ion o lapa oscopic skills aining. B . J. Su g.
2004
,91, 146–150. [C ossRe ]
[PubMed]
12.
Agga wal, R.; Wa d, J.; Balasunda am, I.; Sains, P.; A hanasiou, T.; Da zi, A. P o ing he e ec i eness o
i ual eali y simula ion o aining in lapa oscopic su ge y. Ann. Su g.
2007
,246, 771–779. [C ossRe ]
[PubMed]
13.
Luckey, P. Oculus Ri . 2012. A ailable online: h ps://en.wikipedia.o g/wiki/Oculus_Ri (accessed on 30
Oc obe 2020).
14. Makha ae a, Z.; Va ol, H.A. Augmen ed Reali y o Robo ics: A Re iew. Robo ics 2020,9, 21, [C ossRe ]
15.
Zhou, Z.; Xiong, R.; Wang, Y.; Zhang, J. Ad anced Robo P og amming: A Re iew. Cu . Robo . Rep.
2020
,
[C ossRe ]
16.
Mak is, S.; Ka agiannis, P.; Koukas, S.; Ma haiakis, A.S. Augmen ed eali y sys em o ope a o suppo in
human– obo collabo a i e assembly. CIRP Ann. 2016,65, 61–64, [C ossRe ]
17.
Bu gha d , A.; Szybicki, D.; Gie lak, P.; Ku c, K.; Pie u´s, P.; Cygan, R. P og amming o Indus ial Robo s
Using Vi ual Reali y and Digi al Twins. Appl. Sci. 2020,10, 486, [C ossRe ]
Mul imodal Technol. In e ac . 2020,4, 78 20 o 21
18.
Ande sson, N.; A gy ou, A.; Nägele, F.; Ubis, F.; Campos, U.E.; de Za a e, M.O.; Wil e dink, R. AR-Enhanced
Human-Robo -In e ac ion—Me hodologies, Algo i hms, Tools. P ocedia CIRP 2016,44, 193–198, [C ossRe ]
19.
Pe e sen, T.; P e lo e, J.; Skou up, C.; Engedal, T.; Loks ad, T. Augmen ed eali y o p og amming
indus ial obo s. In P oceedings o he Second IEEE and ACM In e na ional Symposium on Mixed and
Augmen ed Reali y, Tokyo, Japan, 10 Oc obe 2003; pp. 319–320.
20.
Ong, S.; Yew, A.; Thanigai el, N.; Nee, A. Augmen ed eali y-assis ed obo p og amming sys em o
indus ial applica ions. Robo . Compu . In eg . Manu . 2020,61, 101820, [C ossRe ]
21.
Hie anen, A.; Pie e s, R.; Lanz, M.; La oka ano, J.; Kämä äinen, J.K. AR-based in e ac ion o human- obo
collabo a i e manu ac u ing. Robo . Compu . In eg . Manu . 2020,63, 101891, [C ossRe ]
22.
Akan, B.; Çü üklü, B. Augmen ed eali y mee s indus y: In e ac i e obo p og amming. In P oceedings
o he SIGRAD 2010: Con en Agg ega ion and Visualiza ion, Väs e ås, Sweden, 25–26 No embe 2010;
Linköping Uni e si y Elec onic P ess: Linköping, Sweden, 2010; pp. 55–58.
23.
Ni, D.; Yew, A.W.W.;; Ong, S.K.; Nee, A. Hap ic and isual augmen ed eali y in e ace o p og amming
welding obo s. Ad . Manu . 2017,5, [C ossRe ]
24.
Puljiz, D.; S öh , E.; Ries e e , K.S.; Hein, B.; K öge , T. Senso less Hand Guidance using Mic oso Hololens.
In P oceedings o he 2019 14 h ACM/IEEE In e na ional Con e ence on Human-Robo In e ac ion (HRI),
Daegu, Ko ea, 11–14 Ma ch 2019; pp. 632–633.
25.
Luebbe s, M.B.; B ooks, C.; Kim, M.J.; Sza i , D.; Hayes, B. Augmen ed Reali y In e ace o Cons ained
Lea ning om Demons a ion. In P oceedings o he 2nd In e na ional Wo kshop on Vi ual, Augmen ed,
and Mixed Reali y o HRI (VAM-HRI), Daegu, Ko ea, 11–14 Ma ch 2019.
26.
Rosen, E.; Whi ney, D.; Phillips, E.; Chien, G.; Tompkin, J.; Konida is, G.; Tellex, S. Communica ing and
con olling obo a m mo ion in en h ough mixed- eali y head-moun ed displays. In . J. Robo . Res.
2019,38, 1513–1526. [C ossRe ]
27.
Os anin, M.; Klimchik, A. In e ac i e Robo P og aming Using Mixed Reali y. IFAC-Pape sOnLine
2018,51, 50–55, [C ossRe ]
28.
Rücke , P.; Meine s, F.; T ach , K. Augmen ed Reali y o eaching collabo a i e obo s based on a physical
simula ion. In Tagungsband des 3. Kong esses Mon age Handhabung Indus ie obo e ; Schüpps uhl, T., T ach , K.,
F anke, J., Eds.; Sp inge : Be lin/Heidelbe g, Ge many, 2018; pp. 41–48.
29.
Rosen, E.; Whi ney, D.; Phillips, E.; Chien, G.; Tompkin, J.; Konida is, G.; Tellex, S. Communica ing
obo a m mo ion in en h ough mixed eali y head-moun ed displays. In Robo ics Resea ch; Sp inge :
Cham, Swi ze land, 2020; pp. 301–316.
30.
B ooks, F.P. G asping Reali y Th ough Illusion&Mdash;In e ac i e G aphics Se ing Science. In CHI ’88:
P oceedings o he SIGCHI Con e ence on Human Fac o s in Compu ing Sys ems; ACM: New Yo k, NY, USA, 1988;
pp. 1–11, [C ossRe ]
31.
Iki s, M.; B ede son, J.D. The Visual Hap ic Wo kbench. In Visualiza ion Handbook; Hansen, C.D., Johnson,
C.R., Eds.; Bu e wo h-Heinemann: Bu ling on, MA, USA, 2005; pp. 431–447, [C ossRe ]
32.
Ca e , T.; Seah, S.A.; Long, B.; D inkwa e , B.; Sub amanian, S. Ul aHap ics: Mul i-poin mid-ai hap ic
eedback o ouch su aces. In P oceedings o he 26 h Annual ACM Symposium on Use In e ace So wa e
and Technology, S And ews, UK, 8–11 Oc obe 2013; pp. 505–514.
33.
Sodhi, R.; Poupy e , I.; Glisson, M.; Is a , A. AIREAL: In e ac i e ac ile expe iences in ee ai .
ACM T ans. G aphics 2013,32, 134. [C ossRe ]
34. S uden . The p obable e o o a mean. Biome ika 1908,6, 1–25. [C ossRe ]
35.
Wilcoxon, F. Indi idual compa isons by anking me hods. In B eak h oughs in S a is ics; Sp inge :
Be lin/Heidelbe g, Ge many, 1992; pp. 196–202.
36.
R Co e Team. R: A Language and En i onmen o S a is ical Compu ing; R Founda ion o S a is ical Compu ing;
R Co e Team: Vienna, Aus ia, 2018.
37.
Bye s, J.; Bi ne , A.; Hill, S. Ad ances in Indus ial E gonomics and Sa e y; Taylo & Amp: London, UK, 1989;
pp. 481–485.
38.
Measu ingU: 10 Things To Know Abou The Single Ease Ques ion (SEQ). A ailable online: h ps://
measu ingu.com/seq10/ (accessed on 19 Sep embe 2020).
39.
Ha , S.G. NASA- ask load index (NASA-TLX); 20 yea s la e . In P oceedings o he Human Fac o s and
E gonomics Socie y Annual Mee ing; Sage Publica ions: Los Angeles, CA, USA, 2006; Volume 50, pp. 904–908.
equi emen s and mo e which we desc ibe below, he de i-
ces used ha pe mi us o ca y ou his design, he so wa e
and ha dwa e se up equi ed, and he desc ip ions o bo h
p oposed p og amming me hods in his pape (by de ining
he las pose and by de ining he ajec o y).
3.1. Design equi emen s
To achie e ha , we iden i ied he ollowing equi emen s:
Simpli y he equi ed knowledge ela ed o spa ial coo di-
na es and abou how o use he obo ic a m model he
use wo ks wi h.
The holog aphic digi al win o he obo . An accu a e
i ual model o he obo (holog aphic digi al win), in
e ms o physical dimensions, kinema ics, and dynamics.
The planning and he go e nmen o mo emen s o he
i ual obo ha e o be done wi h he same ope a ing
sys em and so wa e ha will be used by he physical
obo . This gua an ees ha bo h he eaching expe ience
o he use o he holog aphic obo and he p og am
gene a ed du ing he eaching session a e di ec ly ans-
e able om he i ual o physical HRC se up.
As he obo ic a m could be su ounded by obs acles
(e.g., ools o boxes) and o e a able, i is needed o
de ine he es o he objec s which compose he scene o
a oid collisions while planning i s mo emen .
A isual AR de ice om he cu en s a e-o - he-a eco-
sys em ende s he di e en holog ams which compose
he i ual scene.
Easy- o-lea n use in e ac ion me hods wi h he applica-
ion by di ec holog am manipula ion using he hands
and by oice commands o execu e di e en ac ions.
A oid in o ma ion o e load om an excessi e numbe o
holog aphic ep esen a ions, which migh in e e e wi h
he pe cep ion o objec s in he eal scene.
Make use o he audi o y eedback o ob ain he bene i s
o mul imodal in o ma ion ep esen a ion. Fo example,
audi o y con i ma ion o ac ions.
A ep esen a i e holog am o he end e ec o ha con-
eys he a o dance o in e ac ing wi h i using a na u al
in e ac ion, using a ges u e ecogni ion module. In his
way, he use will no spend a long ime lea ning how o
in e ac wi h he sys em.
Wi h all hese equi emen s, a e analyzing he cu en
s a e-o - he-a abou AR de ices and a ailable so wa e, we
decided o use HoloLens 2 HMD as i was he MR de ice
ha bes sui ed ou equi emen s, such as being able o use
na u al in e ac ion h ough oice and ges u es. In addi ion,
Uni y was chosen as a de elopmen pla o m, and Mixed
Reali y Toolki o accele a e he p og amming p ocess o
MR applica ions.
In o de o compu e all wha conce ns o he obo
beha io , we decided o use ROS. Thanks o ‘Mo eI !’we
will be able o compu e he in e se kinema ics o he obo ic
a m aking in o accoun i s mo emen es ic ions and limi-
a ions. To communica e he MR applica ion wi h ROS we
use he adap ed e sion o ROS# Bischo & Vollenweide
(2020) lib a y (base p ojec de eloped by Siemens Bischo
(2019)) in Uni y side, h ough which i is possible o es ab-
lish a connec ion, ead and w i e in opics, and also make
use o se ices and ac ions.
3.2. Sys em con igu a ion and communica ion
In his sec ion we desc ibe he se up used o allow he com-
munica ion be ween he HoloLens applica ion wi h ROS
which is he esponsible o compu ing he obo ic a m
mo emen s.
As i is desc ibed in Figu e 1, he low o he applica ion
s a s wi h he wo ke de ining one a ge pose h ough
HoloLens 2 applica ion. The pose is de ined using a holo-
g am ha ep esen s he 6D pose o he obo ic a ms end
e ec o . Thanks o he communica ion c ea ed be ween
ROS and he HoloLens applica ion wi h ROS#, he a ge
pose (geome y_msgs/Pose) is sen o a ROS se ice ha is
esponsible o planning wi h ‘Mo eI !’, whe he i exis s o
no , a alid ajec o y o ha eques . In he same call, he
ac ion o be pe o med (s d_msgs/S ing) is sen : “add” o
s ack he di e en poin s o a ajec o y o be planned,
“plan” o plan he ajec o y, “execu e” o execu e he p e i-
ously planned ajec o y and “ ese ” o emo e he possible
s o ed poin s o planned ajec o ies. I so, he applica ion
will ecei e a posi i e answe ha will allow he use o exe-
cu e he planned pa h. O he wise, he answe will no pe mi
he execu ion o a plan as i is no success ully compu ed.
On he o he hand, on he ROS side, a opic is publishing
he s a e o he obo (senso _msgs/Join S a e) all he ime.
This in o ma ion is ead in he HoloLens applica ion o ep-
esen he cu en s a us o he obo each ime. When a
message is published wi h he cu en join s a es in ROS,
he applica ion in HoloLens e ie es hem and upda es he
digi al win’s pose.
3.3. AR applica ion and in e ac ion design
Rela ed o he applica ion design equi emen s, we ook
hem in o conside a ion o he design desc ibed below. We
mainly ocused ou e o s on educing he isual
Figu e 1. Se up scheme o un he applica ion wi h he connec ed de ices. The
uni y side ep esen s he applica ion unning in HoloLens 2.
INTERNATIONAL JOURNAL OF HUMAN–COMPUTER INTERACTION 4749

in o ma ion shown by he MR glasses and ep esen ing i
using he audi o y channel.
We also ook in o accoun he audi o y eedback o ep-
esen he ac ion o g abbing and eleasing he end e ec o
o eplace he hap ic eedback used in he p e ious wo k.
Wi h a simple use in e ace, we can achie e he less
skilled and naï e use s lea n how o p og am a obo ic a m
while o ge ing abou he echnical pa o he ask. Fo his
pu pose, we also wo ked on di ec holog am manipula ion
using he hands.
We de eloped an applica ion ha add essed all he p e i-
ously de ined equi emen s.
When he use launches he applica ion, a menu panel
(Figu e 2) is displayed in on o hem wi h some selec able
bu ons, wo o which a e ela ed o he de eloped p og am-
ming me hods. Ano he bu on opens he se ings menu,
and he e is also one bu on wi h which he use could
mo e he digi al win and scan he su ounding a ea in
o de o ake in o accoun he possible obs acles ha he
eal obo ic a m should a oid.
The a ailable se ings allow he use o selec his/he
dominan hand, keep o au oma ically emo e he p o-
g ammed ajec o y isualiza ion (explained in his sec ion
below) a e a ew seconds.
The use can de ine he pose o he obo ic a m end
e ec o using an o ange sphe e ( he cen e o which is indi-
ca ed by he posi ion o he end e ec o ) wi h a ed a ow
( o indica e he o ien a ion o he end e ec o ) (Figu e 3).
The end e ec o ep esen a ion had wo di e en designs
be o e he cu en one. The i s one consis ed o a sphe e
wi h a cylinde indica ing he di ec ion he use wan ed he
end e ec o o look a . In he second al e na i e, he end
e ec o was composed o a sphe e and a smalle sphe e
o bi ing a ound he main one.
The disad an age o he i s design was ha he meaning
o he cylinde was con using o he use . In he second
one, he p oblem was he di icul y o mo ing he smalle
sphe e, e en i he design was isually cleane han he
i s one.
Wi h he selec ed design, o de ine a new a ge posi ion
and publish new coo dina es, he use mo es he sphe e by
in e ac ing wi h i using his/he hand (g ab-mo e- elease).
The hand acking module in eg a ed in HoloLens 2 allows
he use o in ui i ely use his/he hand and make he g ab
ges u e in he sphe e, mo e i o ano he posi ion, and lea e
i in a new one. Simila ly, o de ine a new o a ion, he use
only needs o wis he w is . This o a ion is easily ecog-
nizable o he use , hanks o he a ow.
When he hand acking module de ec s he picking ges-
u e on he sphe e, as he e is no ac ile eedback, he sys em
plays a sound o con i m o he use ha he sphe e is being
g abbed. Simila ly, when he use eleases he sphe e o
d ops i acciden ally, he sys em plays ano he sound o con-
i m he ac ion o eleasing olun a ily o o wa n ha he
end e ec o has been d opped acciden ally. This sound is
e y use ul while p og amming he obo ic a m because i
indica es apidly ha he use los he ball i his ac ion was
no made on pu pose. The s udy in Pin o e al. (2020)
showed ha highligh ing senso ially he e en o acciden ally
d opping he obo om he hand was key o p ese ing a
good UX. Cu en ly, his is no a common p oblem now
due o he imp o emen o he hand- acking module.
Rega ding he p og amming ask, he use can choose
be ween wo ways o de ine he beha io o he obo ic a m.
3.3.1. Me hod 1: De ining he ajec o y
In his me hod, while he end e ec o ’s sphe e is being
mo ed by he use , i de ines he ajec o y o be pe o med.
The a e o he sys em o de ining poses is 3 Hz (i.e., 3
poses pe second). The objec i e is ha he obo ollows
he ajec o y de ined by he use , by passing along he poses
de ined by he use on he ajec o y. Each pose is composed
o a 3D posi ion and a qua e nion o he o a ion.
Th ough a oice command (loca e ball), i is also possible
o de ine a poin in space using he hand. In his case, he
sphe e is placed in he posi ion o he index inge o he
use and wi h he o ien a ion he inge is poin ing owa ds.
A new sphe e is c ea ed in he same loca ion, and i is col-
o ed in yellow un il ‘Mo eI !’calcula es i he obo can
each he de ined posi ion. I he sphe e is ou o he obo
bounds, his is di ec ly pain ed in ed and he new pose will
no be compu ed by ‘Mo eI !’. A e calcula ing he new
pose, i ha pose is easible, he de ined sphe e is pain ed in
g een and in ed o he wise (Figu e 4).
The mo emen o he obo ic a m d aws a ail be ween
con iguous de ined poses indica ing he ajec o y ha he
Figu e 2. Main menu o he applica ion whe e he use can selec he p og am-
ming me hod o go in o he se ings menu.
Figu e 3. Rep esen a ion o he end e ec o loca ion. Th ough hese sphe es,
he use could de ine whe e he/she wan s o s a and end he obo ’s end
e ec o mo emen .
4750 A. RIVERA-PINTO ET AL.
end e ec o o he obo ic a m makes du ing he mo emen
om he i s posi ion o he second. The ep esen a ion o
he ail is composed o small o ange boxes (15 mm side
leng h). The goal wi h his eedback was o add unde s and-
abili y o he use since i shows bo h, he planned ajec-
o y oge he wi h he checkpoin s.
In o de o execu e o enable/disable he di e en op ions
a ailable, he use mus use he oice commands. The oice
commands a e he ollowing:
Menu: Re u ns om p og amming space o he main
menu.
Calib a e: Allows he use o mo e he digi al win pick-
ing and placing i in he su ounding space.
Lock: Locks he digi al win holog am in he space so
ha i canno be mo ed.
Clean T ajec o y: Remo es all he de ined sphe es and
ajec o y boxes ha had been d awn due o he mo e-
men o he obo .
Loca e Ball: Mo es he sphe e o he index inge o he
use and looking a he di ec ion o he index inge . In
case o de ec ing bo h hands, he sphe e will be loca ed
in he main hand (p e iously de ined in he se ings
menu).
3.3.2. Me hod 2: De ining he s a ing and ending poses
The second way o de ine he obo ic a m’s beha io is
by de ining exclusi ely he s a ing and ending poin s
(Figu e 5). In his case, he use has o mo e wo sphe es.
The o ange sphe e wi h he ed a ow de ines he s a ing
pose (posi ion and o a ion), while he g een sphe e wi h
he blue a ow de ines he ending pose (Figu e 3). In he
same way, he use can mo e bo h sphe es as hey can in
he o he p og amming mode.
Rega ding he holog aphic digi al win loca ion, he sys-
em allows he use o mo e i a ound and loca e i , o
ins ance, on a able ins ead o lea ing i loa ing in he ai .
Figu e 4. Use poin o iew. The di e en goal sphe es a e colo ed in yellow (poses ha a e no calcula ed ye ), g een ( eached poses) and ed (un eachable
poses).
Figu e 5. Use and hi d-pe son pe spec i e o he applica ion. S a ing and ending poses de ini ion mode unning a mo emen and d awing he planned
ajec o y.
INTERNATIONAL JOURNAL OF HUMAN–COMPUTER INTERACTION 4751
Using oice commands, i is possible o allow he mo emen
o he lock o he digi al win in he cu en posi ion.
In his p og amming me hod, he use only de ines wo
poin s ha can be qui e a om each o he . The use can
plan he ajec o y and p e iew i be o e execu ing i , o
hey can mo e he end e ec o and plan a new ajec o y.
The e is also he possibili y o execu e he mo emen wi h-
ou p e iewing he obo ’s ajec o y. In case he use
decides o p e iew he ajec o y, a aded holog am o he
obo ic a m will appea in he same loca ion as he digi al
win ep esen a ion. I Mo eI ! eaches a solu ion, i will be
colo ed in whi e and will ep esen he planned mo emen .
O he wise, he holog am will be colo ed in ed, indica ing
ha i was no possible o ob ain a solu ion.
Fo his me hod, he i s ou oice commands o he
p e ious me hod (menu, calib a e, lock and clean ajec o y)
a e a ailable again, as well as some speci ic oice commands,
which a e he ollowing:
S a : Mo es he obo ic a m o he s a ing pose (o ange
sphe e) i i is possible.
Mo e: Mo es he obo ic a m o he ending pose (g een
sphe e) i i is possible.
Plan: A ajec o y is planned and displayed h ough
HoloLens 2 s a ing om he cu en posi ion o he
pose o he g een sphe e.
Execu e: A e planning a pa h, his command execu es
he planned pa h.
3.4. Su ounding space scanning
Fo he ajec o y e u ned by Mo eI ! o be compa ible
wi h he physical en i onmen , he sys em needs o know
wha obs acles a e p esen .
The use loca es he holog am o he digi al win in he
posi ion in which he eal obo would be placed la e and
scans i a e ecognizing he oice command “scan”. The
ex message “please wai ”is shown in he use ’s ield o
iew while he ask is being pe o med.
Using he spa ial awa eness u ili y ha HoloLens 2 p o-
ides, which c ea es a mesh co e ing all he physical objec s
in he su oundings, we send he posi ion o each e ex
ha he mesh is composed o o add a 5 cen ime e size box
as an obs acle o he ‘Mo eI !’planning scene (Figu e 6).
To pe o m his ask, we c ea ed a se ice in ROS, he
inpu o which was an a ay o 3-dimensional ec o s ep e-
sen ing he posi ion o each e ex. The se ice i sel was
esponsible o publishing each obs acle in he ‘Mo eI !’
scene. Once i inishes he ask, he HoloLens 2 applica ion
ecei es a eedback message o no i y he use ha he ask
is done, and he ex message is hen emo ed.
This scan me hod in ends o be an al e na i e o manu-
ally de ining he wo kspace o he obo . The module we
de eloped is a i s app oach o au oma e his ask.
Valida ing his me hod, we could check ha scanning simple
a eas (e.g., a wo king able o a con eyo bel ) can be con-
side ed good enough o de ine he mo emen es ic ions.
Ne e heless, mo e complex wo kspaces (e.g., a able wi h
di e en ly shaped objec s) will no be ep esen ed wi h
enough accu acy, i can be seen in Figu e 6.
4. Use s udy
We conduc ed a use s udy o alida e he design and imple-
men a ion o hese wo e sions o he in e ac i e obo p o-
g amming echnique, om he pe spec i e o naï e use s in
obo p og amming. We i s desc ibe he design and p o-
cedu e o he use s udy we conduc ed wi h 14 pa icipan s,
and hen we epo he esul s ob ained.
4.1. S udy p ocedu e
Be o e s a ing he s udy, we ob ained in o med consen
om each pa icipan . We le each pa icipan know ha all
he da a we would ob ain ela ed o hei pa icipa ion
would be anonymously used and collec ed. They we e ee
o lea e he s udy a any momen du ing hei pa icipa ion
in case hey disag eed wi h any hing. The design o he
s udy was app o ed by he e hics commi ee o he o ganiza-
ion hos ing he s udy.
A i s , whe he hey had used in he pas an ex ended
eali y (XR) de ice o no , he pa icipan s ecei ed an
explana ion abou how he HoloLens 2 de ice wo ks. Then,
hey had some minu es o in e ac in a aining scena io
wi h some holog ams in o de o lea n he di e en in e ac-
ions. The mos ele an in e ac ion shown in his scene was
wi h he end e ec o holog aphic ep esen a ion. The use s
could y he bes way o hem o pick and mo e holo-
g ams a ound he in e ac i e scene and, hus, educe he
impac o being naï e using his echnology.
We decided o ca y ou his use s udy in an indus ial
en i onmen in o de o know also he beha io o he
de ice unde noisy condi ions whe e he oice de ec ion
could be a ec ed, unde s anding he pa icipan ’s oice.
A e es ing he MR de ice, he use s s a ed he main
pa o he s udy.
In he i s scene, he use s had o de ine he desi ed
pose o he end e ec o wi h he sphe e wi h an a ow. The
a ge goal was ma ked wi h a small i ual ed cube. This
ed cube emi ed a spa ial sound in o de o help he
Figu e 6. View o he RViz applica ion showing he cu en obo ic a m pose
and he wo kspace.
4752 A. RIVERA-PINTO ET AL.
pa icipan o loca e i easie in he i ual scene. As
explained be o e, he use g abbed he sphe ical holog am
by using he hand and mo ed and o a ed i o pe o m he
pose de ini ion pa o he ask. Once he inal pose was
de ined, he use planned he ajec o y o be pe o med and
had he obo execu e i by saying he oice command. The
pa icipan comple ed he execu ion o he ask by saying
he oice command “ inish”. A e ha , he ed cube mo ed
o a new a ge poin o he nex epe i ion o he ask.
Du ing he execu ion, we sa ed he ime spen pe o ming
he ask, which pa o ha ime was mo ing he sphe e,
and he dis ance om he use -de ined pose o he a ge .
The pa icipan s pe o med his ask h ee imes and,
a e each execu ion, hey answe ed o wo ques ions. Bo h
made use o he same 7-poin Like scale.
The ques ions asked we e he ollowing:
SEQ: O e all, how di icul o easy you ind his ask?
How sa is ied a e you wi h he esul ?
In he i s ques ion, he highe he alue, he easie he
ask is o hem. In he second ques ion, he highe he
alue, he mo e sa is ied hey a e wi h he esul .
The i s ques ion was he ’Single Ease Ques ion’(SEQ)
which asks abou he di icul y o he ask. Wi h he same
o ma as he SEQ, ques ionnai e, we added a second ques-
ion abou he use ’s sa is ac ion wi h he esul ob ained.
La e , in he second scene, hey had o de ine he digi al
win’s ajec o y om he ini ial pose o he a ge mo ing
he sphe e and hus, se ing di e en waypoin s in he space.
As in he p e ious scene, he same alues we e eco ded.
The use s also answe ed he same ques ions a e each
execu ion.
Once hey inished he pa hey had o in e ac wi h he
applica ion, hey comple ed he sys em usabili y scale (SUS)
ques ionnai e, consis ing o 10 s a emen s o which pa ici-
pan s had o exp ess hei deg ee o ag eemen wi h in a 5-
poin scale.
Finally, we conduc ed a semi-s uc u ed in e iew in
which we asked pa icipan s o elabo a e abou hei expe i-
ence in e ac ing wi h he sys em du ing he s udy.
The ollowing ideo (h ps://you u.be/Ee8JChQE6zk)
shows a walk h ough o wha he use s udy consis ed in.
4.2. Analysis o he esul s
We analyzed he collec ed da a om he pa icipan s and
he esul s ob ained om he s udy. F om he 14 pa ici-
pan s ha ook pa in he s udy, 8 we e male and 6 emale.
Mos o hem we e in he age ange o 26–30 (11 pa ici-
pan s), 2 we e in he age ange o 31–35 and 1 was he
ange o 41–45. All he pa icipan s had comple ed hei
bachelo ’s deg ee in he ollowing expe ise a eas: compu e
science, elec onics, au oma ion and indus ial enginee ing.
None o hem had ied a MR de ice be o e, bu 4 had
es ed VR glasses o gaming.
4.2.1. Task pe o mance
We moni o ed he ime (in seconds) he pa icipan s spen
mo ing he sphe e as well as he ime dedica ed o planning
and execu ing he p oposed ajec o y and he dis ance gap
be ween he a ge posi ion and inal pose o he obo holo-
g am p oduced du ing he s udy.
The da a abou ime spen by he use s o mo e he end
e ec o ep esen a ion (da a om h ee execu ions by each
pa icipan o each design e sion) is epo ed in Figu e 7.
The mean ime o mo e he sphe e in case o de ining he
whole ajec o y (M ¼10.2s, CI
95%
¼[8.2, 12.2]) was lowe
han when hey jus de ined he end poin (M ¼12.41s,
CI
95%
¼[11.22, 13.6]).
Rela ed o he ime conce ning o he pe iod spen hink-
ing on which mo emen is necessa y, he ime equi ed by
‘Mo eI !’ o compu e he pa h o pe o m he mo emen ,
he execu ion ime and he oice commands equi ed o pe -
o m he ask, we ob ained he esul s in Figu e 8.
In his case, he mean is lowe when he use de ines he
goal only (M ¼28.39s, CI
95%
¼[24.84, 31.94]) by less han
3 seconds compa ed o he ime egis e ed om he ajec-
o y execu ions (M ¼30.87s, CI
95%
¼[25.82, 35.92]).
Analyzing he gap (in millime e s) be ween he a ge
posi ion and he ending loca ion o he obo ’s end e ec o
(Figu e 9), we go ha he mean was lowe de ining he a -
ge poin (M ¼10.988 mm, CI
95%
¼[9.58, 12.4]) han de in-
ing he ajec o y (M ¼15.036 mm, CI
95%
¼[13.13,16.94]).
Figu e 7. Mean and 95% con idence in e al o he ime (in seconds) spen by
use s mo ing he sphe e o he a ge posi ion.
Figu e 8. Pa o he execu ion ime mean and 95% con idence in e al o ime
(in seconds) ha pa icipan s spen wi hou manipula ing he holog am.
INTERNATIONAL JOURNAL OF HUMAN–COMPUTER INTERACTION 4753
This di e ence migh ha e been caused by he ime di e -
ence pe o ming he ask in bo h p og amming me hods.
4.2.2. Ques ionnai e da a
Wi h ega d o he SEQ ques ionnai e assessing ask di i-
cul y in a 1 o 7 Like scale, among all he answe s om
he use s, all eco ded esponses o ei he e sion o he
in e ace we e in he le els 6 and 7 o he scale, indica ing
ha in bo h cases pa icipan s hough ha he ask was
e y easy o comple e. No iceably, he 14 pa icipan s con-
side ed sligh ly easie o execu e he ask de ining he ending
poin (6.86) han d awing he ull ajec o y (6.71).
The answe s o he sa is ac ion wi h he esul o he ask
ques ion showed high alues ha indica es ha hey el sa is-
ied wi h he esul s ob ained a e pe o ming he ask. The
pa icipan s epo ed ha bo h asks we e equally easy (6.52).
The las ques ionnai e he use s illed is Sys em Usabili y
Scale (SUS). SUS is a ool used o measu e he usabili y o
an objec , de ice o applica ion.
The esul an sco e ob ained om he use s was 87.68.
This sco e in a accep abili y scale is conside ed as accep able
and in a Bango ’s g ade scale Bango e al. (2009) as ‘B’, 2.32
poin s below he highes ma k, which places he applica ion
o e he 98% pe cen ile. The ques ions 4 and 10 a e ela ed
o he applica ion lea nabili y. The mean ob ained om
hese ques ions in a scale om 0 (wo se) o 4 (be e ) we e
3.36 and 3.5 espec i ely.
4.2.3. Semi-s uc u ed in e iew
As he inal s age in he use s udy, a semi-s uc u ed in e -
iew was conduc ed wi h each pa icipan . The goal o his
in e iew was o ga he subjec i e in o ma ion and com-
men s ha could help o in e p e hei esponses. An
expe imen e held he in e iew as a con e sa ion in which
pa icipan s we e asked o p o ide hei opinion abou a i-
ous aspec s ega ding hei in e ac ion wi h he sys em and
abou he sys em i sel .
Speci ically, pa icipan s we e encou aged o commen on
and elabo a e on he ollowing aspec s:
The sys em and he applica ion as a me hod o p og am
obo s.
Thei subjec i e expe ience o in e ac ing wi h he AR
sys em.
Ease o in e ac ion wi h he holog ams.
Ease o lea ning o use HMD de ice and AR applica ion.
Aspec s ha we e missing o could be imp o ed.
Any addi ional commen s.
A gene al commen om he pa icipan s was ha he
applica ion was easy o use and he in e ac ion was in ui i e.
The lea ning cu e was e y as . The b ie u o ial ecei ed
in he in oduc ion o he s udy was epo ed o be su icien
o hen in e ac wi h he scene du ing he s udy. The main
p oblem o he pa icipan s was he i s con ac wi h he
holog ams when g abbing hem was no done easily be o e a
ew ials o p ac icing. The oice commands and he way o
mo e he holog ams i well o he ask in pa icipan s’
opinion, helping o accele a e he obo p og amming p o-
cess. Pa icipan s also ag eed ha i was possible o pe o m
his ask o use s ha did no ha e he skills no he know-
ledge o p og am a obo ic a m wi h cu en s a e-o - he-a
echniques (e.g., using a each pendan ). As using he appli-
ca ion is possible o se as e he a ge pose han doing i
physically, i is easible o es di e en goal poses o plan
and choose he mos app op ia e plan ha sa is ies he needs
o he use and imp o ing he ime pe o mance.
Howe e , some o he use s ques ioned he accu acy
ob ained h ough hese p og amming me hods. Depending
on he ask, some hough ha his solu ion in his cu en
o m migh no be su icien ly accu a e o sa is y he
equi emen s in a eal scena io. One pa icipan sugges ed
es ing he accu acy by pe o ming he p og amming ask
wi h he applica ion in a eal scene o measu e he esul ing
e o . O he pa icipan s p oposed a unc ionali y o allow
zooming in o he a ge o inc ease he pose accu acy.
Rela ed o he p og amming me hod by d awing he a-
jec o y, some pa icipan s sugges ed allowing modi ica ion
o he pose o he in e media e poin s ins ead o needing o
ese he en i e pa h. In he same ein, he conca ena ion o
ac ions could be in e es ing, o ins ance, in o de o in e ac
wi h he ool handled by he obo ic a m. Ano he al e na-
i e p oposed was o in e pola e all he de ined poin s so as
o smoo h ou he de ined ajec o y.
The oice commands we e easy o emembe . Howe e ,
unde noisy condi ions (as was he case in he s udy, which
was conduc ed in an indus ial labo a o y en i onmen ),
some pa icipan s had o epea he same oice command
mo e han once be o e i was unde s ood by he sys em.
Some pa icipan s also complained ha he sys em did no
p oduce enough eedback in o ming abou i s s a us, such as
while he sys em was compu ing a ajec o y o execu ing
he planned pa h.
Rega ding he AR HMD de ice, some pa icipan s
poin ed ou ha , e en i HoloLens 2 sui s he ask well, i s
ield o iew is no ye big enough o p o ide ull use com-
o . Linked o his limi a ion, some pa icipan s had di i-
cul ies picking he holog am when i was loca ed a a low
heigh .
Figu e 9. Mean and 95% con idence in e al o dis ance e o posi ioning he
end e ec o ’s holog am in he goal posi ion.
4754 A. RIVERA-PINTO ET AL.

5. Discussion
This sec ion p o ides a discussion o he use s udy da a
analysis p esen ed in he p e ious sec ion.
The da a ela ed o he use pe o mance in he ask o
eaching an ac ion o he obo , sugges s ha bo h designs
p o ided simila a e age pe o mance in a ange be ween
10.2 and 12.4 seconds on a e age. While no di ec compa i-
son was pe o med wi h eaching a physical obo by dem-
ons a ion, he expec ed ime o comple e such ask would
be expec ed o be compa able. Such a di ec compa ison
should be pe o med in he u u e, wi h a ully implemen ed
MR obo p og amming in e ace.
Rega ding he posi ioning accu acy ob ained, we obse ed
ha posi ioning e o was in he app oxima e ange be ween
11 and 15 mm. To pu his in pe spec i e, we compa e i
wi h da a om ano he s udy, published in A e alo
A boleda e al (2021). They epo edly achie ed e y simila
accu acy alues, in he app oxima e ange be ween 11 and
13.5 mm, wi h a sys em designed o a di e en mixed eal-
i y applica ion.
Whe he such accu acy is su icien ly high will depend on
he na u e o he obo ic applica ion being p og ammed.
S a egies o imp o e i could include he use o compu e
ision echniques o each he objec i e. As a sepa a e s a -
egy (and as he pa icipan s in he s udy sugges ed), he cu -
en end e ec o ep esen a ion could be eplaced wi h a
di e en holog am design ha helped he use achie e mo e
p ecise posi ioning.
As o he usabili y and use expe ience ob ained while
p og amming he obo wi h his in e ace, all he pa ici-
pan s ound he applica ion easy o use, in ui i e, and use ul
o he ask o obo p og amming. They el com o able
using he applica ion a e he aining session wi h he
de ice, as well as sa is ied wi h he esul ob ained, as
e lec ed in he SEQ ques ionnai e da a.
Many pa icipan s epo ed ha he possibili y o ha ing
con ol o e changing he pose o indi idual poin s o he
ajec o y ha hey we e de ining could imp o e he p o-
g amming expe ience. In his way, o make any modi ica-
ions o a ajec o y, hey would no need o d aw he whole
ajec o y again. Ins ead, hey could jus make changes in
speci ic in e media e poin s o weak and imp o e he p o-
posed ajec o y.
Some pa icipan s also sugges ed g an ing he use con-
ol o e when each in e media e do o a ajec o y is
de ined in space. In he cu en implemen a ion, as he use
mo es he holog am o he end e ec o , a ail o he ajec-
o y ollowed by he end e ec o is d awn behind by adding
one poin in space a a egula 3 Hz a e, a he p ecise pos-
i ion whe e he end e ec o was a each in e al. In he p o-
posed new design, no ail would be au oma ically d awn as
he end e ec o mo ed. Ins ead, he use would decide in
which posi ions o he ajec o y ha she was ollowing
should a passing poin be de ined.
In ela ion o he HoloLens 2 de ice, some use s com-
plained abou i s na ow ield o iew. Al hough his speci i-
ca ion o he de ice has imp o ed since i s i s e sion, i
seems no o be su icien ly b oad o wo k wi h holog ams
as big as he ones ende ed in he s udy. As an excep ion o
his gene al opinion, one o he use s (who had expe ience
using VR de ices) decla ed ha hey p e e ed ha ing less
ield o iew han in VR glasses o a oid ge ing dizzy a e
using he de ice con inuously o an ex ended pe iod o
ime.
Acco ding o he esul s o he SUS ques ionnai e, he
usabili y o he in e ac i e sys em was sui able o he ask
in he s udy.
F om among he 10 ques ions in SUS, 2 o hem (ques-
ions 4 and 10) indica e lea nabili y o he sys em. Such
lea nabili y le el was high o all pa icipan s, sugges ing
ha he equi emen o use s o easily lea n and wo k wi h
he applica ion was sa is ied.
Rega ding o he equi emen s s a ed in sec ion 3, esul s
ob ained om he s udy and ou own assessmen o he sys-
em sugges ha his i s design and implemen a ion
add ess hem all.
6. Conclusions and u u e wo k
In his pape , we desc ibe he design and implemen a ion
o a mixed- eali y mul imodal in e ace wi h which a use
can each new ajec o ies o a obo a m by holding and
mo ing he holog am o i s digi al win by hand, in a
mixed- eali y scena io. This in e ac i e codeless echnique o
p og am he obo is no only simila o eaching he phys-
ical e sion o he obo a m by demons a ion, bu i also
uses he same so wa e a chi ec u e o he calcula ion o
ajec o ies and subsequen gene a ion o he p og am. I is
hus a echnique in ended o p og am he obo by in e ac -
ing wi h i s physical o holog aphic digi al win e sion
alike. Ou pu pose was o de elop a use - iendly HRI in e -
ace o ease he obo p og amming expe ience, allowing an
inexpe ienced wo ke o execu e a ask ha equi es speci ic
skills and expe ience.
The ad an ages o his design compa ed o he s a e-o -
he-a emain in he mix o di ec manipula ion o he
digi al win by an in e ac ion module based on hand ack-
ing and p og amming a obo ic a m by de ining he end
e ec o ’s inal pose ins ead o de ining indi idually he end
pose’s posi ion and o a ion ( he in e ace p oposed suppo s
he in eg ali y o he in e ac ion).
We ha e desc ibed he applica ion design p ocess and i s
implemen a ion. We ha e hen epo ed a use s udy
(n ¼14) o alida e he undamen als o he p esen design
app oach, as well as he implemen a ion o his in e ace.
We ha e assessed he ou come o he s udy wi h quan i a i e
and quali a i e me ics o e iciency and p ecision, as well as
by obse ing and enqui ing abou i s usabili y and ob ained
use expe ience in a ask o p og amming by demons a ion
new obo ajec o ies, solely in e ac ing wi h he holo-
g aphic digi al win o he obo in a mixed eali y scena io.
Findings om he s udy sugges ha i may be easy and
easible o a naï e use o p og am new ajec o ies o a
obo ic a m h ough he use o his in e ace and by solely
in e ac ing wi h i s holog aphic digi al win. Quan i a i e
esul s sugges ha he ime equi ed o p og am a new
INTERNATIONAL JOURNAL OF HUMAN–COMPUTER INTERACTION 4755
ajec o y ( om d agging he holog am along i o alida ing
he ajec o y calcula ed by he obo ’s ope a ing sys em)
may be accep ably sho . The a e age dis ance e o o he
a ge posi ion may also be small acco ding o esul s om
he s udy, al hough he su iciency o he p ecision obse ed
will depend on he equi emen s o each speci ic obo ic
applica ion. The pape discusses possible app oaches o
imp o e p ecision in u u e e sions o he in e ace. Some
such app oaches p esen he po en ial o g an he use wi h
addi ional con ol o e he ajec o y eaching p ocess, spe-
ci ically a echnique in which he use can choose explici ly
which poin s in space o include in he ajec o y. Modi ying
he in e ac ion in his way should no only esul in quicke
p og amming (due o less epe i ions o he whole ajec o y
s oke), bu mos impo an ly in an imp o ed use expe i-
ence due o he enhanced con ol o e he eaching p ocess.
Fu u e wo k will no only in es iga e hese al e na i e
e sions o he in e ace, bu will also alida e he whole
obo p og amming app oach by execu ing in he physical
win he p og am c ea ed by in e ac ing wi h i s holog aphic
digi al win.
Disclosu e s a emen
No po en ial con lic o in e es was epo ed by he au ho (s).
Funding
This esea ch ecei ed unding om The Cen e o he De elopmen
o Indus ial Technology (CDTI). 5R- Red Ce e a de Tecnolog
ıas
ob
o icas en ab icaci
on in eligen e (CER-20211007).
ORCID
Andoni Ri e a-Pin o h p://o cid.o g/0000-0001-8550-5312
Johan Kildal h p://o cid.o g/0000-0002-0630-7260
Elena Lazkano h p://o cid.o g/0000-0002-7653-6210
Re e ences
A e alo A boleda, S., R€
ucke , F., Die ks, T., & Ge ken, J. (2021).
Assis ing manipula ion and g asping in obo eleope a ion wi h
augmen ed eali y isual cues [Pape p esen a ion]. P oceedings o
he 2021 CHI Con e ence on Human Fac o s in Compu ing Sys ems.
h ps://doi.o g/10.1145/3411764.3445398
Bambu^
sek, D., Ma e na, Z., Kapinus, M., Be an, V., & Sm 
z, P. (2019).
Combining in e ac i e spa ial augmen ed eali y wi h head-moun ed
display o end-use collabo a i e obo p og amming [Pape p es-
en a ion]. 2019 28 h IEEE In e na ional Con e ence on Robo and
Human In e ac i e Communica ion (RO-MAN) (pp. 1–8). h ps://
doi.o g/10.1109/RO-MAN46459.2019.8956315
Bango , A., Ko um, P., & Mille , J. (2009). De e mining wha indi id-
ual SUS sco es mean: Adding an adjec i e a ing scale. Jou nal o
Usabili y S udies,4(3), 114–123. h ps://dl.acm.o g/doi/10.5555/
2835587.2835589
Ba en ine, C., McNay, A., P a enbichle , R., Smi h, A., Rosen, E., &
Phillips, E. (2021). A VR Teleope a ion Sui e wi h Manipula ion
Assis [Pape p esen a ion]. Companion o he 2021 ACM/IEEE
In e na ional Con e ence on Human-Robo In e ac ion (pp. 442–446),
Boulde , CO, USA. h ps://doi.o g/10.1145/3434074.3447210
Bischo , M. (2019). ROS#. h ps://gi hub.com/siemens/ os-sha p/.
h ps://gi hub.com/siemens/ os-sha p/
Bischo , M., Vollenweide , E. (2020). ROS# o HoloLens.h ps://
gi hub.com/E icVoll/ os-sha p/.
Bolano, G., Roennau, A., Dillmann, R., & G oz, A. (2020). Vi ual eal-
i y o o line p og amming o obo ic applica ions wi h online
eaching me hods [Pape p esen a ion]. 2020 17 h In e na ional
Con e ence on Ubiqui ous Robo s (UR) (pp. 625–630). h ps://doi.
o g/10.1109/UR49135.2020.9144806
Bu gha d , A., Szybicki, D., Gie lak, P., Ku c, K., Pie u
s, P., & Cygan,
R. (2020). P og amming o indus ial obo s using i ual eali y and
digi al wins. Applied Sciences,10(2), 486. h ps://doi.o g/10.3390/
app10020486
Chan, W. P., Sak , M., Quin e o, C. P., C o , E., & Van de Loos,
H. F. M. (2020). Towa ds a mul imodal sys em combining aug-
men ed eali y and elec omyog aphy o obo ajec o y p og am-
ming and execu ion [Pape p esen a ion]. 2020 29 h IEEE
In e na ional Con e ence on Robo and Human In e ac i e
Communica ion (RO-MAN) (pp. 419–424). h ps://doi.o g/10.1109/
RO-MAN47096.2020.9223526
C uz Ulloa, C., Dom
ınguez, D., Del Ce o, J., & Ba ien os, A. (2022).
A mixed- eali y ele-ope a ion me hod o high-le el con ol o a
legged-manipula o obo . Senso s,22(21), 8146. h ps://doi.o g/10.
3390/s22218146
De Pace, F., Go jup, G., Bai, H., Sanna, A., Lia okapis, M., &
Billinghu s , M. (2020). Assessing he sui abili y and e ec i eness o
mixed eali y in e aces o accu a e obo eleope a ion [Pape p es-
en a ion]. 26 h ACM Symposium on Vi ual Reali y So wa e and
Technology.h ps://doi.o g/10.1145/3385956.3422092
Delme ico, J., Po anne, R., Bogo, F., Oleyniko a, H., Vollenweide , E.,
Co os, S., Nie o, J., & Polle eys, M. (2022). Spa ial compu ing and
in ui i e in e ac ion: b inging mixed eali y and obo ics oge he .
IEEE Robo ics & Au oma ion Magazine,29(1), 45–57. h ps://doi.
o g/10.1109/MRA.2021.3138384
Fang, H., Ong, S.-K., & Nee, A. Y. (2014). No el AR-based in e ace
o human- obo in e ac ion and isualiza ion. Ad ances in
Manu ac u ing,2(4), 275–288. h ps://doi.o g/10.1007/s40436-014-
0087-9
Gad e, S. Y., Rosen, E., Chien, G., Phillips, E., Tellex, S., & Konida is,
G. (2019). End-use obo p og amming using mixed eali y [Pape
p esen a ion]. 2019 In e na ional Con e ence on Robo ics and
Au oma ion (ICRA) (pp. 2707–2713). h ps://doi.o g/10.1109/ICRA.
2019.8793988
Hie anen, A., Pie e s, R., Lanz, M., La oka ano, J., & K€
am€
a €
ainen, J.-K.
(2020). AR-based in e ac ion o human- obo collabo a i e manu-
ac u ing. Robo ics and Compu e -In eg a ed Manu ac u ing,
63(June), 101891. h ps://doi.o g/10.1016/j. cim.2019.101891
Jacob, R. J., Sibe , L. E., McFa lane, D. C., & Mullen, M. P. J , (1994).
In eg ali y and sepa abili y o inpu de ices. ACM T ansac ions on
Compu e -Human In e ac ion,1(1), 3–26. h ps://doi.o g/10.1145/
174630.174631
Kildal, J., Tellaeche, A., Fe n
andez, I., & Mau ua, I. (2018). Po en ial
use s’key conce ns and expec a ions o he adop ion o cobo s.
P ocedia CIRP,72(2018), 21–26. h ps://doi.o g/10.1016/j.p oci .2018.
03.104
LeMasu ie , G., Allspaw, J., & Yanco, H. A. (2021). Semi-au onomous
planning and isualiza ion in i ual eali y.
LeMasu ie , G., Allspaw, J., Wonsick, M., Tukpah, J., Padi , T., Yanco,
H., Phillips, E. (2022). Designing a use s udy o compa ing 2D
and VR human-in- he-loop obo planning in e aces.5 h
In e na ional Wo kshop on Vi ual, Augmen ed, and Mixed Reali y
o HRI.h ps://open e iew.ne / o um?id=HNeeXUiQjkc
Lo sa is, K., Fousekis, N., Koukas, S., Ai alio is, S., Kousi, N., Michalos,
G., & Mak is, S. (2021). Augmen ed eali y (AR) based amewo k o
suppo ing human wo ke s in lexible manu ac u ing. P ocedia CIRP,
96(2021), 301–306. h ps://doi.o g/10.1016/j.p oci .2021.01.091
Mal
y, I., Sedl
a
cek, D., & Lei ~
ao, P. (2016). Augmen ed eali y expe i-
men s wi h indus ial obo in indus y 4.0 en i onmen [Pape
p esen a ion]. 2016 IEEE 14 h In e na ional Con e ence on Indus ial
In o ma ics (INDIN) (pp. 176–181). h ps://doi.o g/10.1109/INDIN.
2016.7819154
4756 A. RIVERA-PINTO ET AL.
Masu o sky, A., Chojecki, P., Runde, D., La ci, M., P zewozny, D., &
Gaeble , M. (2020). Con olle - ee hand acking o g ab-and-place
asks in imme si e i ual eali y: Design elemen s and hei empi -
ical s udy. Mul imodal Technologies and In e ac ion,4(4), 91. h ps://
doi.o g/10.3390/m i4040091
Ne es, J., Se a io, D., & Pi es, J. N. (2018). Applica ion o mixed eal-
i y in obo manipula o p og amming. Indus ial Robo : The
In e na ional Jou nal o Robo ics Resea ch and Applica ion,45(6),
784–793. h ps://doi.o g/10.1108/IR-06-2018-0120
Ong, S. K., Yew, A., Thanigai el, N., & Nee, A. Y. (2020). Augmen ed
eali y-assis ed obo p og amming sys em o indus ial applica-
ions. Robo ics and Compu e -In eg a ed Manu ac u ing,
61(Feb ua y), 101820. h ps://doi.o g/10.1016/j. cim.2019.101820
Ong, S., Nee, A., Yew, A., & Thanigai el, N. (2020). AR-assis ed obo
welding p og amming.Ad ances in Manu ac u ing,8(1), 40–48.
h ps://doi.o g/10.1007/s40436-019-00283-0
Os anin, M., Mikhel, S., E lampie , A., Sk o so a, V., & Klimchik, A.
(2020). Human- obo in e ac ion o obo ic manipula o p og am-
ming in mixed eali y [Pape p esen a ion]. 2020 IEEE In e na ional
Con e ence on Robo ics and Au oma ion (ICRA) (pp. 2805–2811).
h ps://doi.o g/10.1109/ICRA40945.2020.9196965
Pin o, A. R., Kildal, J., & Lazkano, E. (2020). Mul imodal mixed eali y
impac on a hand guiding ask wi h a holog aphic cobo .
Mul imodal Technologies and In e ac ion,4(4), 78. h ps://doi.o g/10.
3390/m i4040078
Puljiz, D., & Hein, B. (2019). Concep s o end- o-end augmen ed eal-
i y based human- obo in e ac ion sys ems. h ps://a xi .o g/abs/
1910.04494
Puljiz, D., S €
oh , E., Ries e e , K. S., Hein, B., & K €
oge , T. (2019). Gene al
hand guidance amewo k using Mic oso HoloLens. 2019 IEEE/RSJ
In e na ional Con e ence on In elligen Robo s and Sys ems (IROS) (pp.
5185–5190). h ps://doi.o g/10.1109/IROS40897.2019.8967649
Puljiz, D., Zhou, B., Ma, K., & Hein, B. (2021). HAIR: Head-moun ed
AR In en ion Recogni ion. h ps://a xi .o g/abs/2102.11162
Quin e o, C. P., Li, S., Pan, M. K., Chan, W. P., Machiel Van de Loos,
H. F., & C o , E. (2018). Robo p og amming h ough augmen ed
ajec o ies in augmen ed eali y [Pape p esen a ion]. 2018
IEEE/RSJ In e na ional Con e ence on In elligen Robo s and Sys ems
(IROS) (pp. 1838–1844). h ps://doi.o g/10.1109/IROS.2018.8593700
San Ma in, A., & Kildal, J. (2021). Audio- isual mixed eali y ep e-
sen a ion o haza d zones o sa e pedes ian na iga ion o a space.
In e ac ing wi h Compu e s,33(3), 311–329. h ps://doi.o g/10.1093/
iwc/iwab028
Su, Y., Chen, X., Zhou, T., P e y, C., & Chase, G. (2022). Mixed eali y-
in eg a ed 3D/2D ision mapping o in ui i e eleope a ion o mobile
manipula o .Robo ics and Compu e -In eg a ed Manu ac u ing,
77(Oc obe ), 102332. h ps://doi.o g/10.1016/j. cim.2022.102332
Walke , M., Hedaya i, H., Lee, J., & Sza i , D. (2018). Communica ing
obo mo ion in en wi h augmen ed eali y. P oceedings o he 2018
ACM/IEEE In e na ional Con e ence on Human-Robo In e ac ion
(pp. 316–324). h ps://doi.o g/10.1145/3171221.3171253
Xue, C., Qiao, Y., & Mu ay, N. (2020). Enabling human- obo -in e -
ac ion o emo e obo ic ope a ion ia augmen ed eali y [Pape
p esen a ion]. 2020 IEEE 21s In e na ional Symposium on “A Wo ld
o Wi eless, Mobile and Mul imedia Ne wo ks”(WoWMoM) (pp.
194–196). h ps://doi.o g/10.1109/WoWMoM49955.2020.00046
Zhou, Z., Xiong, R., Wang, Y., & Zhang, J. (2020). Ad anced obo
p og amming: A e iew. Cu en Robo ics Repo s,1(4), 251–258.
h ps://doi.o g/10.1007/s43154-020-00023-4
Abou he au ho s
Andoni Ri e a Pin o is a esea che a Teknike and PhD candida e a
Uni e si y o he Basque Coun y (UPV/EHU) since 2019. He has a
MSc in Compu a ional Enginee ing and Sma Sys ems (UPV/EHU)
and esea ches human-compu e in e ac ion in he con ex o obo ics
by using VR and AR de ices.
Johan Kildal specializes in in e ac ion design and esea ch o accessi-
bili y, mobili y and Human-Robo Collabo a ion. He was P incipal
Resea che o eigh yea s a Nokia Resea ch (Finland), iling eigh pa -
en s o inno a i e in e ac ions. Cu en ly, he esea ches a TEKNIKER
abou collabo a ion wi h obo s in indus y.
Elena Lazkano is Associa e P o esso in he Compu e Science and AI
Depa men , Uni e si y o he Basque Coun y (UPV/EHU). MSc in AI
(KUL, Belgium) and PhD in Compu e Sciences (UPV/EHU). She leads
he obo ics b anch o he RSAIT esea ch g oup, as esea che in he
ield o in elligen obo ics.
INTERNATIONAL JOURNAL OF HUMAN–COMPUTER INTERACTION 4757
9
Collabo a i e Robo Teleope a ion
in Mixed Reali y En i onmen o
Inspec ion Tasks
Au ho s
Andoni Ri e a Pin o, C is ina Ace a, Johan Kildal, Izaskun Fe nández y Elena Laz-
kano
Publishe
MIT P ess
Jou nal
PRESENCE-VIRTUAL AND AUGMENTED REALITY
Yea
2024
Qua ile
Q4
DOI
h ps://doi.o g/10.1162/PRES_a_00439
111
Ri e a e al. 49
he domain knowledge consis s o he ac ions o be ex-
ecu ed by he a ge sys em (in his case, he obo ) in a
sys em- eadable o ma and he wo ds ha he use can
use o igge hose ac ions. Dialogue- ela ed knowl-
edge includes he in e ac ions ha he sys em may ha e
wi h he use in a pa ame ic o m, and he implica ions
o di e en si ua ions ha may a ise in he in e ac ion
(e.g., wha o do when he use does no p o ide all he
necessa y in o ma ion o execu e a speci ic ac ion).
One o he main ad an ages o he use o seman ic
echnologies in KIDE4I is ha i allows an easy imple-
men a ion and adap a ion o di e en indus ial use
cases, as one o i s main p emises is euse. In his case,
mos o he necessa y ins ances o dialogue manage-
men a e eused om an ini ial KIDE4I use case (Ace a
e al., 2022) and, as o he domain knowledge, KIDE4I
also p o ides esou ces o he exploi a ion o exis ing
lexical da abases o ins an ia ion.
As no ed abo e, KIDE4I is a modula amewo k.
Tha is, in o de o ob ain an ac ion ha is execu able by
he a ge sys em, which is igge ed by a use command,
di e en componen s a e in ol ed. Once a ansc ibed
use command is ecei ed by he dialogue sys em, he
i s s ep o i s in e p e a ion is o ex ac i s key com-
ponen s (i.e., he e b—which usually igge s he a ge
ac ion—and i s complemen a y in o ma ion—which
usually de e mines he speci ic de ails o he ac ion, such
as he a ge obo componen o ha ac ion), which is
pe o med by he key elemen ex ac ion module. Once
he key elemen s a e ex ac ed, his in o ma ion is con-
sul ed agains he seman ic eposi o y, which will de e -
mine which is he ac ion o be execu ed by he obo
and any addi ional in o ma ion. All his in o ma ion low
is o ches a ed by he dialogue manage , which is also
in cha ge o ollowing he modelling in he dialogue
knowledge in he seman ic eposi o y, de e mining he
nex s ep in he dialogue p ocess. Finally, he pola i y
in e p e e is esponsible o de e mining he pola i y o
use commands (i.e., whe he hey mean a con i ma ion
o a nega ion) when he dialogue manage de e mines
ha a speci ic sys em eques equi es a pola answe
(i.e., yes o no).
In his pa icula case, KIDE4I’s implemen a ion has
been named KIDE4Inspec ion. Simila ly o KIDE4I
adap a ions, KIDE4Inspec ion (Ace a e al., 2022) ol-
lows a simple low whe e he i s s ep is o de e mine
he ac ion o be execu ed acco ding o he use com-
mand. I ha ask is no success ul, KIDE4Inspec ion
will igge a sys em esponse in o ming he use ha he
ac ion could no be in e p e ed, ollowed by a eques
o e o mula e hei command. Howe e , i he sys em is
able o de e mine he ac ion, i will p oceed, i equi ed
by he in e p e ed ac ion, o assign he co esponding
a gumen s o ha ac ion (e.g., he a ge owa ds which
he ac ion will be execu ed). Again, i he sys em is no
able o ob ain he equi ed ac ion a gumen s, i will ig-
ge a message in o ming he use and eques ing o p o-
ide such in o ma ion. I he in o ma ion p o ided by
he use is co ec (acco ding o wha is modelled in he
on ology), he low will con inue. O he wise, he sys-
em will gi e a second chance o he use o p o ide he
a gumen s by asking he in o ma ion again. Finally, he
ou pu will be he ac ion and he ele an in o ma ion,
in a o ma ha can be execu able by he HoloLens ap-
plica ion, i.e., he in e media y be ween he use and he
obo .
3.4 Robo ic A m P og amming
P ocedu e
As men ioned be o e, he ask p esen ed in his pa-
pe in ol es he inspec ion o he ne es o an aile on o
2.44 m in leng h. Each end o he aile on was sec ioned
and he longi udinal ne es we e isible, going om end
o end inside he aile on. On one end o he aile on, he
obo ic a m mus posi ion a ool wi h a mi o o e one
o he ne es. On he o he end, he use mus hold a
lase measu ing de ice o e he same ne e. I he lase
beam e lec s o he mi o , i indica es ha he ne e is
no blocked (see Figu e 3).
The lowcha in Figu e 4 ou lines he p ocedu es
ollowed o he p og amming ask. The g ay nodes ep-
esen he beginning and he ending o he p og am, he
yellow nodes ep esen ac ions he use pe o ms in he
applica ion, and he blue diamond boxes a e decisions o
be aken by he use .
The i s s ep o he ask in ol es de e mining he
ela i e pose be ween he obo and he aile on. The

50 PRESENCE: VOLUME 34
Figu e 3. On he le , an image depic ing he layou o he collabo a i e ask whe e he use is on he opposi e side o he aile on om whe e
he obo ic a m is loca ed. On he igh , an image showing he same layou wi h a pe son in e ac ing wi h he holog aphic ool.
Figu e 4. Flowcha o use ’s in e ac ions wi h he MR applica ion.
aile on is a he same ime he a ge and an obs acle
o be a oided. A calib a ion pla e is placed on one o
he suppo ba s o he aile on in a known posi ion el-
a i e o he aile on. Addi ionally, an RGB came a is
posi ioned on boa d nex o he obo ’s end e ec o .
The use mo es he eal obo ic a m manually o align i
wi h he calib a ion pla e while he came a cap u es he
scene.
Using he HALCON machine ision so wa e, a
ROS node is in cha ge o cap u ing an image om he
Ri e a e al. 51
onboa d came a (IDS UI-5240CP) acing he calib a-
ion able (100 mm ×100 mm size) and compu ing
he pose o he calib a ion pla e ela i e o he came a.
Wi h his in o ma ion, along wi h he came a’s known
loca ion ela i e o he base o he obo ic a m and he
calib a ion pla e’s known loca ion ela i e o he aile on
(es ablished h ough an ex e nal calib a ion p ocess), he
sys em can de e mine he posi ion o he aile on ela i e
o he obo ic a m’s base. Acco ding o he esul s e-
po ed by he calib a ion o he came a, he commi ed
e o in he acquisi ion o he calib a ion pla e’s posi-
ion is less han 1 mm. I is impo an ha his alue is
as low as possible because he ne es o he aile on a e
qui e na ow o he end e ec o ool we moun ed on
he obo ic a m’s end e ec o , and he ool could hi he
ne es.
Fo he calib a ion o he aile on wi h espec o he
calib a ion pla e, we used a Pho oneo 3D came a which
p o ides a 2D image and a poin cloud. Th ough he 2D
image, we ob ained he pose o he calib a ion pla e wi h
espec o he came a. Besides, by using he poin cloud,
we ma ched he 3D model o he aile on o ob ain he
pose o he aile on wi h espec o he came a. Wi h his
in o ma ion we go he pose o he aile on wi h espec
o he calib a ion pla e. The expec ed e o in his cali-
b a ion was below 1.5 mm.
The calib a ion o he onboa d came a and he obo ic
a m was made by cap u ing mul iple images o a known
calib a ion pa e n om di e en angles and dis ances.
We used an IDS UI-5240CP came a wi h which we ob-
ained an e o below a millime e .
The in o ma ion o he pose o he aile on wi h e-
spec o he onboa d came a, alongside he 3D model o
he aile on, a e loaded in o “Mo eI !” o compu e he
ajec o ies while a oiding collisions.
A e comple ing he scene se up, he use launches
he MR applica ion on he HMD. The holog aphic
digi al win o he obo ic a m, along wi h he i ual
aile on and a ep esen a ion o he ool a ached o
he end e ec o , is displayed o he use in he MR
scene.
Using he dialogue sys em, he use s can o de a a-
ie y o ac ions o he sys em. By issuing he oice com-
mand “KUKA,” he dialogue sys em is ac i a ed. A al-
ida ion sound is played o con i m ha he oice com-
mand has been de ec ed, and a ex appea s in he use ’s
ield o iew, p omp ing hem wi h he ques ion “Which
ac ion do you wan o pe o m?” The use answe s by
speaking aloud and a silence o 1 second is in e p e ed
by he sys em as he end o he o de . The cap u ed
oice is p ocessed, and he ansc ip ion is displayed in
on o he use as well as con eyed h ough audio.
Once he ph ase is ansc ibed, i is sen o he
seman ics-based ask-o ien ed dialogue sys em ha e-
u ns he ac ion h ough a REST API communica ion.
These a e he di e en ac ions he dialogue can p o-
cess om use s’ inpu :
Calib a e: S a s he calib a ion p ocess in o de o
place he aile on in he co ec posi ion wi h
espec o he obo ic a m. (Example ph ase:
“Calib a e he ela ion be ween he obo and
he aile on.”)
Reloca e: Unlocks he holog aphic scene allowing
he use o mo e i in he su ounding space as
well as o a ing i . (Example ph ase: “Reloca e
he scene.”)
Lock: Locks he holog aphic scene p e en ing i s
mo emen om he use . (Example ph ase:
“Lock he scene.”)
Plan: Plans a ajec o y o he obo ic a m om
he cu en con igu a ion o he a ge pose.
(Example ph ase: “Plan he ajec o y o he
a ge posi ion.”)
Execu e: In case i exis s and i is alid, execu es he
planned obo ajec o y. (Example ph ase:
“Execu e he planned pa h.”)
Place: Se s he pose o he end e ec o in one o
he ne es ( ha has o be de ined by he use ).
(Example ph ase: “Place he end e ec o on
he ne e A.”)
A i s ins ance be o e s a ing he p og amming p o-
cedu e, he use can mo e and lock he posi ion o he
whole holog aphic scene keeping he calib a ed dis-
ances be ween he di e en holog ams. This ac ion
will allow he use o place he scene in a mo e com o -
able zone o in e ac wi h i . In addi ion, h ough oice
52 PRESENCE: VOLUME 34
Figu e 5. Use ’s poin o iew while he sys em is planning he ajec o y.
in e ac ion, he use can e ie e he p e iously calcu-
la ed pose o he aile on wi h espec o he base o he
obo and display ha ela i e posi ion in he i ual en-
i onmen .
The i s s ep o he p og amming p ocedu e consis s
in se ing he a ge pose o he obo ic a m’s end e ec-
o . This s ep in ol es placing he ool ep esen a ion in
he desi ed eal-wo ld pose. To achie e i , use s g ab he
holog am wi h hei hand and mo e i o he a ge posi-
ion and o ien a ion. They hen elease he holog am o
inalize he posi ioning. In o de o de ine he o ien a-
ion, he use s mus o a e hei w is so he holog am
o a es by pi o ing a ound he g abbed poin o he
objec .
The i s ac ion in obo ajec o y p og amming is
planning. The sys em a emp s o ind a pa h om he
cu en pose o he obo o he a ge pose de ined by
he holog aphic ool. When his ac ion is de ec ed, a
semi- anspa en whi e holog am o he obo ic a m
appea s o e he digi al win un il he ajec o y plan is
esol ed by “Mo eI !” (see Figu e 5). Once he sys em
ob ains a esul , i i e u ns a alid ajec o y, he whi e
holog am will be colo ed g een and will display a p e-
iew o he planned ajec o y (see Figu e 6). O he wise,
he holog am will be colo ed ed and emain s a iona y
(see Figu e 7).
I he planned ajec o y is sa is ac o y, he use can
command he obo o execu e he plan by means o he
dialogue sys em. The p e iew o he ajec o y will hen
disappea , and he holog am o he digi al win will s a
mo ing acco ding o he plan, simul aneously wi h he
eal obo ic a m.
The planning and execu ion s eps can be epea ed as
many imes as necessa y o each he desi ed a ge pose.
The inal s ep o he ask in ol es e ined posi ion-
ing. This s ep is speci ic o he p oposed ask, whe e he
a ge poses a e p ede ined wi h espec o he wo ked
objec (i.e., he use who uses he applica ion does no
de ine his pose). In he con ex o aile on inspec ion, we
ha e p ede e mined one pose o each ne e, aligning
he ool o enable senso eadings om he o he side.
The use does no ha e o mo e he holog aphic ool
because his was al eady done in he p e ious s ep. In-
e ac ion wi h he sys em is limi ed o he dialogue and
he ool will be placed au oma ically in he eques ed
posi ion and a ajec o y plan will also be eques ed.
As o he collabo a i e ask, a e he use mo es he
eal obo ic a m o one o he aile on ne es by in e ac -
ing wi h he applica ion, he use places he eal lase on
he opposi e side o he aile on and checks he s a us o
he inspec ed ne e. The lase has wo ligh s ha p o-
ide eedback o he use . The i s indica es whe he he
Ri e a e al. 53
Figu e 6. Use ’s poin o iew while he sys em was able o compu e a alid ajec o y (g een holog am).
Figu e 7. Use ’s poin o iew while he sys em was no able o compu e a alid ajec o y ( ed holog am).
lase is on o o . The second indica es whe he o no
he lase beam has e u ned o he beam emi e .
4 Use S udy
We conduc ed a use s udy o alida e and assess
how he p oposed MR design aligns wi h he obo p o-
g amming ask om he pe spec i e o use s who ha e
no p io expe ience wi h MR.
In his sec ion, we will desc ibe he p ocedu e ha
was ollowed in he use s udy, which in ol ed 13 pa -
icipan s. We will also discuss he da a ha was collec ed
du ing and a e he use s udy and p esen an analysis o
he esul s ob ained.
4.1 S udy P ocedu e
All pa icipan s p o ided hei consen be o e
s a ing he use s udy, allowing o he collec ion and
54 PRESENCE: VOLUME 34
anonymous analysis o da a. They we e also in o med
ha hey could wi hd aw om he s udy a any ime
wi hou p o iding an explana ion. The e hics commi ee
o he hos ing o ganiza ion app o ed he s udy design
and p o ided o e sigh h oughou he p ocess.
The objec i e o his use s udy was o assess he ea-
sibili y o p og amming a eal obo ic a m in an ac ual
ask using i s holog aphic ep esen a ion, as well as o
e alua e pa icipan s’ pe cep ions o he MR applica ion
in e ms o i s in e es , help ulness, and use - iendliness.
Du ing he s udy, pa icipan s we e asked wi h p o-
g amming he obo ic a m, ollowing he p ocedu e
desc ibed in he p e ious sec ion, o wo o he ou
a ailable ne es. The ask in ol ed aligning he ool wi h
he ne e, planning a alid ajec o y, and execu ing i .
Pa icipan s s a ed wi h he i s ne e a he op and
hen p og essed o he hi d ne e a he bo om. Ad-
di ionally, pa icipan s had o plan a new ajec o y o
posi ion he ool inside he aile on acco ding o p e-
de ined poses. Use s we e asked o place he ool i s
aligned wi h he aile on so ha he second mo emen
would be in a s aigh line wi hin he ne e. The second
mo emen was exclusi ely made by using he oice in-
pu . Once he a ge was eached by he obo ic a m,
pa icipan s we e equi ed o place he lase on he o he
side o he same ne e and alida e he success ul e u n
o he lase beam.
Rega ding he eco ded da a du ing he execu ion,
we collec ed (as dependen a iables) he ime spen on
each execu ion, he ime spen manipula ing he holo-
g aphic ool, he numbe o imes he holog aphic ool
was mo ed pe execu ion, and he sen ences used wi h
he dialogue sys em o pe o m a ious ac ions.
Following he comple ion o he s udy, pa icipan s
we e asked o comple e he Sys em Usabili y Scale
(SUS) ques ionnai e (B ooke, 1995), ex ended wi h
h ee addi ional s a emen s ela ed o he dialogue
sys em.
•The in e p e a ion o he oice commands is accu-
a e.
•The in e ac ion wi h he sys em h ough oice com-
mands is e icien .
•I conside ha in e ac ing wi h he sys em h ough
oice commands is use ul.
Fu he mo e, pa icipan s we e gi en he oppo uni y
o answe wo open-ended ques ions abou wha hey
liked he mos and wha hey disliked he mos abou he
applica ion.
P io o he a o emen ioned p ocedu e, pa icipan s
we e p o ided wi h app oxima ely se en o en minu es
o amilia ize hemsel es wi h a simila en i onmen .
This aining session aimed o each hem how o in e -
ac wi h a holog am and educe any signi ican skill gap
be ween he wo execu ions hey pe o med du ing he
s udy.
4.2 Analysis o he Resul s
The use s udy was ca ied ou wi h 13 people who
ga e hei consen o collec da a anonymously om
hei execu ions while hey we e pe o ming he ask.
The a e age age o he pa icipan s was 22.46 (SD =
1.941). All pa icipan s we e s udying o a bachelo ’s
deg ee in mecha onics.
This was he i s expe ience wi h a MR de ice o all
he pa icipan s.
We collec ed ime ela ed o he ime spen pe o m-
ing he whole ask, he ime spen mo ing he holo-
g aphic ool, he ime spen using he dialogue sys em,
he ime while he use was doing no hing, he numbe
o imes he use mo ed he holog aphic ool, and he
dialogue in e ac ion success a io.
4.2.1 To al Task Time. This me ic measu es he
whole ime spen planning he mo emen o bo h ne es
and also execu ing he ajec o ies. The da a epo s
he ollowing esul s [M =337.4 s; CI95% =[314.0,
360.8]].
4.2.2 Time Mo ing he Tool. We eco ded he ime
use s spen mo ing he ool o ge i in o he pose hey
wan ed. The coun s a ed when he use s g abbed he
ool and s opped when hey d opped i . The esul s o
he whole ask a e he ollowing: [M =46.7 s; CI95% =
[41, 7, 51.7]].
4.2.3 Voice In e ac ion Time. This me ic epo s he
ime ha he use spen p oducing oice commands and
ha ing hem unde s ood by he dialogue sys em (which,

Ri e a e al. 55
in some cases, in ol ed epea ing he same oice com-
mand mo e han once): [M =125.2 s; CI95% =[110.9,
139.3]].
4.2.4 Time S opped. This me ic compu es he o-
al ime use s spen no pe o ming any ac i e ac ion.
They we e ypically wai ing o a s ep in he p ocess o
be comple ed, o p og ess was hal ed because he ac ion
hey eques ed could no be execu ed: [M =165.5 s;
CI95% =[148.1, 182.9]].
4.2.5 Numbe o Tool Mo emen s. The da a e-
po ed abo e ep esen s he numbe o imes he use
g abbed and d opped he sphe e used o indica e a a -
ge posi ion in space: [M =8.77; CI95% =[7.8, 9.74]].
4.2.6 Dialogue In e ac ion Success Ra io. The di-
alogue in e ac ion success a io was calcula ed by di-
iding he o al sen ences he sema ics-based dialogue
sys em could p ocess by he o al p ocessed sen ences.
The alue measu ed o his me ic was 88.37%.
The sen ences used by he pa icipan s we e simila
o he sen ences shown in Sec ion 3.4. Those ph ases
we e gi en as examples o he pa icipan s, al hough
hey we e ee o use di e en sen ences wi h equi alen
meaning.
Failu es in he speech o ex se ice we e due o he
backg ound noise o he indus ial en i onmen .
In addi ion, one eason pa icipan s we e unsuccess ul
in hei a emp o gi e a command h ough he dialog
sys em was ha hey did no comple e he sen ence o
go s uck mid-sen ence, so in o ma ion was missing and
he sys em could no pe o m an ac ion.
4.3 Analysis o Ques ionnai e Resul s
The mean SUS sco e ob ained was 79.23. Acco d-
ing o Bango ’s g ade scale (Bango e al., 2009), usabil-
i y o he applica ion is accep able, and in he g ade scale
i co esponds o a “C,” al hough only 77 hund ed hs
below a a ing ha would classi y i as g ade “B.”
The dis ibu ion o he answe s gi en o each ques-
ion is epo ed in Figu e 8. Fo he igu e, as well as o
compu ing he sco e, he pola i y o he nega i e ques-
ions was in e ed. Thus, highe sco es indica e mo e
posi i e answe s.
Acco ding o he answe s o he addi ional h ee
ques ions, epo ed in Figu e 9, he esul s show ha ,
om he use s’ pe spec i e, he in e p e a ion o he
oice commands was accu a e in ela ion o he ac ion
hey in ended o eques he sys em o pe o m (Q11).
The e ec i eness o oice commands was poin ed ou
by 72.2% o he pa icipan s, while he emaining 27.8%
conside ed i nei he e ec i e no an obs acle o in e ac-
ion (Q12). In addi ion, all pa icipan s conside ed ha
in e ac ing wi h he sys em by using oice commands
was use ul (Q13).
The pa icipan s’ answe s o he open ques ions
abou wha hey liked and disliked he mos abou he
sys em help in e p e he esul s ob ained om he
ques ionnai e.
The mos ele an posi i e aspec o he applica ion
o he pa icipan s was he oice sys em (46% o he an-
swe s highligh ed he p os o using a dialogue sys em
o in e ac ing wi h he applica ion). The esponses also
highligh ed he eleope abili y choice o he sys em, p e-
en ing isks om exposu e o he obo , ha is, being
able o ope a e a obo om a emo e loca ion, which
also helps educe isk om exposu e o he obo .
On he o he hand, he main d awback pa icipan s
ound in he applica ion was he di icul y o in e ac
wi h he ool in i s holog aphic ep esen a ion (38% o
he pa icipan s ema ked on his aspec ). In addi ion,
pa icipan s no ed ha oice de ec ion was no su i-
cien ly accu a e. I is likely ha his lack o accu acy was
caused by he backg ound noise o he indus ial se -
ing ( ep esen a i e o he en i onmen al condi ions
his sys em would be in a eal p oduc ion line). This was
p obably agg a a ed by he quali y o he mic ophone in
he HMD de ice, which should ideally be supe io .
5 Discussion
The esul s om he use s udy show ha e e y
pa icipan was able o comple e he ask o p og am-
ming a obo ic a m by in e ac ing wi h i s holog aphic
digi al win using he sys em desc ibed in his pape .
56 PRESENCE: VOLUME 34
Figu e 8. Dis ibu ion o he answe s om he use s o he SUS ques ionnai e.
Figu e 9. Dis ibu ion o he answe s om he ques ions ela ed o he dialogue sys em.
This esul should be pu in pe spec i e by he ac ha
e e y pa icipan was nai e in he use o MR de ices as
well as in he p og amming o obo ic a ms. The esul s
om he use s udy help cha ac e ize he pe o mance
ob ained.
Use s inished he whole ask in an a e age o 337.4
seconds (CI95% =[314.0, 360.8]), ha is, 5–6 minu es
in o al. In all he cases, he ask was success ully com-
ple ed, and he use could inish he whole ask. This
g oss o al ime included he p og amming o a leas
i e poses o he obo , in each one wi h he in e ac-
ion wi h he dialogue sys em, compu a ion o ajec o-
ies, inspec ion and alida ion by he pa icipan s, plus
execu ion.
Ri e a e al. 57
F om he o al a e age ime spen pe o ming he
ask, he ime use s spen mo ing he ool o de ine a
new pose accoun s o only 13.85% o he o al ime
(46.7 seconds on a e age, CI95% =[41.8, 51.7]). Wi h
an a e age o nea ly nine in e ac ions pe o med o de-
ine each new pose, each in e ac ion ook an a e age
o a ound 5 seconds o pe o m. Conside ing he ime
alues epo ed in somewha simila s udies in he li e -
a u e (such as in Le e al., 2020), he ime equi ed by
use s o de ine a a ge pose is compa able o he ime
we obse ed in ou s udy. They epo ed an a e age o
39.33 seconds o comple e hei ask, which consis ed o
a d ag-and-d op ask. In ou case, we eco ded an a e -
age o 46.7 seconds as a sum o e e y ins ance he use
mo ed he holog aphic ool ep esen a ion du ing i s
posi ioning on he wo ne es used in he use s udy.
Rega ding he ime spen wi h oice in e ac ion, his
ac i i y ep esen ed mo e han a hi d o he o al ask
execu ion ime (125.2 seconds). The oice in e ac-
ion ime s a ed wi h he ac i a ion o he dialogue
sys em by p onouncing he p omp oice command,
and i las ed un il an ac ion was ecognized. I is ele-
an o emphasize ha in his pa o he ask execu ion,
some use s encoun e ed di icul ies o be unde s ood
by he sys em. This migh be due o he p esence o
backg ound noise in he labo a o y (loca ed in an in-
dus ial building wi h obo s and machines ope a ing
inside cells), in which backg ound noise was simila o
he noise ypically ound in an indus ial en i onmen .
The emaining ime spen in ask execu ion co e-
sponded o pe iods in which he use was idle (e.g.,
while he sys em was compu ing o execu ing a pa
o he sequence), o ime wi h non-p oduc i e ac ions
(e.g., wi h he use ying o g ab he holog aphic
ool). The a e age ime ha he use was idle o non-
p oduc i e was 165.5 seconds (CI95% =[148.1,
182.9]). These 2.5–3 minu es accoun ed o almos
hal o he o al execu ion ime. Pa icipan s (who, as
said, had no p io expe ience manipula ing holog ams)
epo ed in some cases in he pos s udy open ques ion
ha hey had ound i di icul o g ab he holog am o
he ool a i s , bu ha he li le amoun o p ac ice
om pa icipa ing in he s udy al eady diminished such
di icul ies.
T aining and p ac ice ecei ed p io o execu ing
he expe imen ask las ed only 10 minu es pe pa ic-
ipan . I is likely o expec ha de o ing mo e ime o
he aining pa p io o he s udy would ha e educed
he ime and numbe o a emp s equi ed o g ab he
holog am. As a esul , i is likely ha i would ha e also
educed he us a ion expe ienced by some o he pa -
icipan s, and i migh ha e imp o ed hei UX.
Con e sely, pa icipan epo s in he open ques ion
abou he bes aspec s o he applica ion sugges ha he
in e ac ion wi h he sys em h ough a dialogue sys em is
a good op ion, as i simpli ies he p ocess o pe o ming
he ask. Al oge he , pa icipan s ound ha he way o
eleope a e he obo wi h his XR sys em was easy. They
el ha mo e aining will be bene icial be o ehand o
be e con ol he inpu in e ace o he de ice as well
as o know wha op ions a e a ailable o dialog in e ac-
ion. Howe e , wi h he sho ime hey we e p o ided
o lea n abou he use o he applica ion, hey el hey
we e su icien ly p epa ed o pe o m well.
6 Conclusions and Fu u e Wo k
In his pape , we desc ibed he design o an appli-
ca ion wi h which i is possible o command a obo ic
a m h ough i s holog aphic digi al win and we e al-
ua ed i in an aile on inspec ion ask in an indus ial
en i onmen . This design sol es he challenge o ele-
ope a ing a obo o e a dis ance by eplica ing nex
o he ope a o he emo e obo and i s ele an su -
ounding scena io. The solu ion p oposed is indepen-
den o how a he obo is loca ed om he ope a o .
I allows he ope a o no o need o be nex o he
obo ic a m o p og am i s beha io . Because he op-
e a o does no need o displace epea edly all he way
o he loca ion o he obo , he ime equi ed and he
physical e o exe ed by he ope a o o p og am he
obo a e d as ically educed. These educ ions will be
bigge he u he he obo is in di e en p oduc ion
scena ios.
Wi h he pu pose o imp o ing he in e ac ion wi h
he scene, we de eloped and in eg a ed in he XR appli-
ca ion a seman ic-based ask-o ien ed dialogue sys em
58 PRESENCE: VOLUME 34
ha allows a oice communica ion wi h he applica ion
by using na u al language a he han basic commands.
Apa om he wo main ad an ages o MR applica-
ions o obo p og amming, which a e no needed o
p og amming skills and eleope abili y, he use s udy
esul s epo a posi i e ecep ion by use s in using mul-
imodal echnology o p og am a obo ic a m h ough
i s holog aphic digi al win. The use o mo e ex ended
sen ences ins ead o simple commands allowed he use s
o p o ide de ails o he ac ion o he sys em when i
was equi ed. This capabili y in addi ion o he di ec
in e ac ion wi h he holog ams pe mi ed a comple e in-
e ac ion wi h he i ual scena io. On he o he hand,
he eedback p o ided no only by he isual channel bu
also using he audi o y channel helped he use s o un-
de s and e e y ime he s a us o he applica ion and he
eleope a ion.
A use s udy was ca ied ou wi h 13 people who had
ne e used an XR HMD. They all could comple e he
ask o posi ioning he obo ic a m’s end e ec o in he
a ge ne es. Findings om he s udy sugges ha he
applica ion enables inexpe ienced use s o p og am he
obo by using XR echnologies. The success o he ask
pe o mance in all cases alida es ha he echnology
used is compa ible wi h he p oposed applica ion.
Rega ding u u e wo k, also linked o he eedback
ecei ed in he use s udy, we iden i ied ha he in e ac-
ion wi h he holog aphic ool needs o be imp o ed o
enable a smoo he and mo e consis en pe o mance o
he use s. Besides he design and implemen a ion o he
module, wo aspec s ha could be key o his imp o e-
men a e he pe o mance o hand acking implemen ed
in u u e HMD de ices, and he habi ua ion o use s o
g abbing and mo ing a holog am. In he con ex o a
u u e use s udy, such habi ua ion should be eased by
p o iding a mo e signi ican aining s age be o e da a
collec ion o sys em e alua ion.
Limi a ions
Thi een pa icipan s ook pa in he use s udy.
While his numbe may no be su icien o conside he
esul s ully ep esen a i e o all po en ial use s, u u e
s udies should in ol e mo e pa icipan s o achie e mo e
obus conclusions.
Decla a ions
Funding
The esea ch o his pape has been inancially
suppo ed by he Elka ek P og amme, Basque Go e n-
men (Spain), p ojec COGILE (KK-2021 / 00016).
E hical App o al
An in e nal boa d has e iewed he e hical de-
sign o he use s udy, ollowing guidance om he
Eu opean Commission on E hics in Social Science and
Humani ies.1
Con lic o In e es
The au ho s ha e no ele an inancial o non-
inancial in e es s o disclose. The au ho s ha e no com-
pe ing in e es s o decla e ha a e ele an o he con-
en o his pape .
REFERENCES
Ace a, C., Fe nández, I., & So oa, A. (2021). Todo: A co e
on ology o ask-o ien ed dialogue sys ems in indus y 4.0.
In Fu he wi h Knowledge G aphs (pp. 1–15). IOS P ess.
10.3233/SSW210031
Ace a, C., Fe nández, I., & So oa, A. (2022). Kide4i: A
gene ic seman ics-based ask-o ien ed dialogue sys em o
human-machine in e ac ion in indus y 5.0. Applied Sci-
ences,12(3). 10.3390/app12031192
Bambuˆ
sek, D., Ma e na, Z., Kapinus, M., Be an, V., & Sm ž,
P. (2019). Combining in e ac i e spa ial augmen ed eali y
wi h head-moun ed display o end-use collabo a i e obo
p og amming. 2019 28 h IEEE In e na ional Con e ence
on Robo and Human In e ac i e Communica ion,1–8.
10.1109/RO-MAN46459.2019.8956315
1h ps://ec.eu opa.eu/in o/ unding- ende s/oppo uni ies/
docs/2021-2027/ho izon/guidance/e hics-in-social-science-and
-humani ies_he_en.pd