Control de robots con realidad mixta multimodal: Programación a través del guiado manual de gemelos digitales

Uni e sidad del País Vasco / Euskal He iko Unibe si a ea (UPV/EHU) Tesis Doc o al Con ol de Robo s con Realidad Mix a Mul imodal: P og amación a a és del Guiado Manual de Gemelos Digi ales Andoni Ri e a Pin o 1. Supe iso Johan Kildal Okiñena 2. Supe iso a Elena Lazkano O ega 2025 Andoni Ri e a Pin o Con ol de Robo s con Realidad Mix a Mul imodal: P og amación a a és del Guiado Manual de Gemelos Digi ales 28 de eb e o de 2025 Supe iso es: Johan Kildal Okiñena y Elena Lazkano O ega Uni e sidad del País Vasco (UPV/EHU) Facul ad de In o má ica de San Sebas ián Ciencia de la Compu ación e In eligencia A i icial Manuel La dizabal pasealekua, 1 20018, Donos ia - San Sebas ián (cc) 2025 Andoni Ri e a Pin o (cc by-sa 4.0) Resumen En es a memo ia se p esen a el abajo de in es igación sob e el uso de ealidad mix a y gemelos digi ales pa a la p og amación de obo s colabo a i os, p oponiendo un en oque que busca supe a los desa íos ac uales en la p og amación de b azos obó icos en en o nos indus iales. El abajo explo a cómo la in eg ación de ec- nologías inme si as, ales como disposi i os de ealidad mix a y e oalimen ación háp ica, puede acili a la p og amación in ui i a de obo s median e el guiado manual de sus gemelos digi ales holog á icos. Es a in es igación cons a de 3 ases expe imen ales en las que se e alúa desde la manipulación básica de holog amas has a la p og amación de obo s ísicos a a és de gemelos digi ales en con ex os de abajo colabo a i o. Los expe imen os ealizados abo dan cues iones cla e, como la iabilidad de u iliza in e aces de ealidad mix a pa a de ini ayec o ias y poses obó icas, el impac o de la e oalimen ación ác il en la pe cepción de con ol y isicalidad, y las limi aciones en la p ecisión alcanzable en compa ación con mé odos adicionales. Los es udios de usua io indican una mejo a en la pe cepción de con ol con e oalimen ación háp ica, pe o ambién e elan e os impo an es elacionados con la p ecisión y la adap ación a en o nos complejos. Las conclusiones sugie en que la ealidad mix a iene un g an po encial pa a educi la complejidad de la p og amación obó ica, haciendo posible que ope a ios sin expe iencia écnica a anzada p og amen obo s de mane a e ec i a. Po o a pa e, se iden i ican á eas pa a u u as in es igaciones, incluyendo la op imización de la in eg ación háp ica y la mejo a en la iden i icación de obs áculos del en o no eal y su ep esen ación en el en o no i ual. iii Ag adecimien os Quie o comenza exp esando mi más since o ag adecimien o a mis di ec o es de esis, Johan y Elena, po guia me a lo la go de odo el p oceso del doc o ado. Más allá de las co ecciones habi uales, han sido una uen e cons an e de inspi ación en los momen os cla e de la in es igación y me han ayudado a supe a los bloqueos con una paciencia que, en muchos momen os, me ha al ado. A Teknike , ambién, po b inda me la opo unidad de desa olla es a esis jun o a su equipo, donde he ap endido la mayo pa e de lo que hoy sé sob e in e acción, obó ica y en o nos i uales. Quie o ag adece p o undamen e a mis pad es, cuyo apoyo incondicional me ha dado ue zas du an e odo es e eco ido. Su espaldo ha sido undamen al pa a mi c ecimien o pe sonal. A mi he mano, po se siemp e una e e encia pa a mí, no solo en lo académico, sino ambién en los aspec os más pe sonales y emocionales de es e p oceso. A mis compañe os de abajo, quienes han sido una uen e cons an e de ap endizaje, apoyo y mo i ación. G acias po compa i su conocimien o y expe iencia, y, sob e odo, po hace el día a día más ameno. Finalmen e, pe o no menos impo an e, a la cuad illa y al es o de mis amigos, que du an e es e p oceso han sido los mejo es aliados pa a desconec a y eca ga ene gías pa a lle a a cabo es e abajo. Índice gene al I In oducción 1 1 In oducción 3 1.1 Mo i ación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 Realidad Mix a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 Obje i o gene al . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.4 Resul ados de la in es igación . . . . . . . . . . . . . . . . . . . . . . 7 1.5 En o no de in es igación . . . . . . . . . . . . . . . . . . . . . . . . . 8 II Ac i idad In es igado a y apo ación cien í ica 11 2 Es ado del a e 13 2.1 Robo s colabo a i os . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.2 Realidad Vi ual, Mix a y Aumen ada . . . . . . . . . . . . . . . . . . 14 2.3 Realidad Vi ual, Mix a y Aumen ada en la indus ia . . . . . . . . . 16 3 Impac o de un sis ema de ealidad mix a mul imodal pa a el guiado manual de un holog ama de cobo 23 3.1 Disposi i os y ecnología u ilizada . . . . . . . . . . . . . . . . . . . . 24 3.2 Con igu ación de los disposi i os . . . . . . . . . . . . . . . . . . . . 25 3.3 Escena de en enamien o: “Labo a o io i ual” . . . . . . . . . . . . 26 3.4 Escena de guiado manual del obo holog á ico . . . . . . . . . . . . 27 3.5 Es udio de usua io . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.6 Resul ados del es udio . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.7 Discusión de los esul ados . . . . . . . . . . . . . . . . . . . . . . . . 32 3.8 Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4 Un en o no de ealidad mix a pa a p og ama un obo a a és de su gemelo digi al 35 4.1 Requisi os de la aplicación . . . . . . . . . . . . . . . . . . . . . . . . 35 4.2 Disposi i os y ecnología u ilizada . . . . . . . . . . . . . . . . . . . . 36 4.3 Con igu ación y comunicación del sis ema . . . . . . . . . . . . . . . 38 4.4 Diseño de la in e acción y la aplicación . . . . . . . . . . . . . . . . . 38 4.4.1 De inición de la ayec o ia del ex emo del obo . . . . . . . 40 4.4.2 De inición de la pose obje i o del obo . . . . . . . . . . . . . 42 ii 4.4.3 Escaneo del espacio ci cundan e . . . . . . . . . . . . . . . . 43 4.5 Es udiodeusua io ............................ 44 4.6 Resul ados del es udio . . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.7 Discusión de los esul ados . . . . . . . . . . . . . . . . . . . . . . . . 48 4.8 Conclusiones ............................... 49 5 En o no de ealidad mix a pa a eleope a un obo ísico en una a ea de inspección de ale ones 51 5.1 Requisi os del sis ema . . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.2 Disposi i os y ecnología u ilizada . . . . . . . . . . . . . . . . . . . . 52 5.3 Con igu ación y comunicación del sis ema . . . . . . . . . . . . . . . 53 5.4 Diseño de la in e acción y la aplicación . . . . . . . . . . . . . . . . . 54 5.5 P ocedimien o de p og amación del obo pa a la a ea . . . . . . . . 55 5.6 Es udiodeusua io ............................ 59 5.7 Análisis y discusión de los esul ados . . . . . . . . . . . . . . . . . . 60 5.8 Conclusiones ............................... 61 6 Conclusiones y abajo u u o 63 6.1 T abajoFu u o .............................. 64 Bibliog a ía 67 III A ículos publicados 73 7 Mul imodal Mixed Reali y Impac on a Hand Guiding Task wi h a Holog aphic Cobo 75 8 Towa d P og amming a Collabo a i e Robo by In e ac ing wi h I s Digi al Twin in a Mixed Reali y En i onmen 97 9 Collabo a i e Robo Teleope a ion in Mixed Reali y En i onmen o Inspec ion Tasks 111 iii Índice de igu as 1.1 Rep esen ación del con inuo de i ualidad con los dis in os amos de losquees ácompues o. .......................... 6 2.1 P ime iso de ealidad aumen ada c eado po I an Su he land. . . . 15 3.1 Disposi i o de ealidad mix a HoloLens 1. Pe mi e mos a holog amas sob e el mundo eal e in e ac ua con ellos. . . . . . . . . . . . . . . . 24 3.2 Disposi i o háp ico que unciona a a és de emiso es de ul asonidos y una cáma a que pe mi e i ualiza la pose de la mano. . . . . . . . . . 25 3.3 Con igu ación de los dis in os disposi i os u ilizados en el desa ollo. . 26 3.4 Vis a gene al de la escena de p ueba pa a conoce las posibilidades de la ecnologíau ilizada............................ 27 3.5 Pun o de is a del usua io de la escena de ealidad mix a du an e la manipulación de un b azo obó ico holog á ico. En la esquina in e io de echa se mues a la pe spec i a del en o no eal. . . . . . . . . . . . 28 4.1 Segunda e sión del disposi i o de ealidad mix a HoloLens 2. . . . . . 37 4.2 Esquema del lujo de comunicación en e la aplicación de HoloLens 2 y ROS...................................... 38 4.3 De izquie da a de echa, la e olución en el diseño del holog ama que pe mi e de ini la pose del ex emo del obo . Pin ado en na anja el núcleo del obje o que de ine la posición obje i o y en colo ojo la pa e que de ine la o ien ación. . . . . . . . . . . . . . . . . . . . . . . . . . 40 4.4 Vis a en p ime a pe sona del modo de p og amación desc ibiendo la ayec o ia. ................................. 41 4.5 Diseños de las es e as del obo que pe mi en de ini el pun o inicial y inal obje i o del ex emo del gemelo digi al del obo . . . . . . . . . . 42 4.6 Holog ama del gemelo digi al en su posición ac ual, jun o al holog ama que mues a la plani icación del la ayec o ia. . . . . . . . . . . . . . . 43 4.7 Imagen del mallado del en o no eal que ealiza HoloLens 2. . . . . . . 44 5.1 Esquema de la comunicación en e los dis in os elemen os y se icios delaaplicación................................ 53 5.2 Placa de calib ación u ilizada pa a ob ene la pose del ale ón con espec o a la cáma a colocada jun o al ex emo del b azo obó ico. . . 56 ix Fig. 1.1: Rep esen ación del con inuo de i ualidad con los dis in os amos de los que es á compues o. 1.3 Obje i o gene al Es e abajo ha enido como p opósi o p incipal da espues a a la p egun a de in es igación p esen ada con an e io idad: ¿Es posible p og ama un b azo obó ico eal a a és de un p og ama de ealidad mix a? Es po ello que se ha ealizado un es udio de ecnologías de ealidad mix a pa a la p og amación de un b azo obó ico a a és de su gemelo digi al. Den o de las ecnologías de ealidad mix a, se ha e aluado ambién el impac o del uso de disposi i os háp icos en la manipulación de elemen os holog á icos. Todo el p oceso de in es igación ealizado se ha di idido en es pa es. Cada pa e enía un obje i o o hi o que son los siguien es: 1. Explo a la posibilidad de mo e un b azo obó ico i ual median e guiado manual haciendo uso de su ep esen ación holog á ica en un en o no de ealidad mix a. E alua el impac o del uso de disposi i os háp icos en la manipulación de holog amas. 2. Explo a la posibilidad de p og ama un b azo obó ico i ual a a és de su gemelo digi al en un en o no de ealidad mix a. 3. P og ama un obo eal a a és su gemelo digi al en un con ex o colabo a i o de inspección de un ale ón usando ecnología de ealidad mix a. Re omando la p egun a p incipal, en caso de que la espues a sea posi i a, se á posible ealiza es a a ea mien as el obo que se p e ende p og ama se encuen a 6Capí ulo 1 In oducción ealizando o a a ea. Además, pod ía ace ca es e ipo de labo a abajado es que ca ecen de conocimien os de p og amación. 1.4 Resul ados de la in es igación A pa i del abajo ealizado en el con ex o de la esis se han publicado los siguien es a ículos en e is as indexadas: 1. Ri e a Pin o A, Kildal J., Lazkano E. Mul imodal Mixed Reali y Impac on a Hand Guiding Task wi h a Holog aphic Cobo . Mul imodal Technologies and In e ac ion. 2020; 4(4):78. (Fac o de impac o: 2.4; Cua il: Q3; Núme o de ci as: 14) 2. Ri e a Pin o A., Kildal J., Lazkano E. Towa d P og amming a Collabo a i e Robo by In e ac ing wi h I s Digi al Twin in a Mixed Reali y En i onmen . In- e na ional Jou nal o Human–Compu e In e ac ion. 2023;0(0):1-13. (Fac o de impac o: 3.4; Cua il: Q1; Núme o de ci as: 14) 3. Ri e a Pin o A., Ace a C., Kildal J., Fe nández I., Lazkano E., Collabo a i e Robo Teleope a ion in Mixed Reali y En i onmen o Inspec ion Tasks. PRE- SENCE: Vi ual and Augmen ed Reali y, 2025; 1-31. (Fac o de impac o: 0.4; Cua il: Q4; Núme o de ci as: 0) Cada publicación p esen ada co esponde a un hi o de la sección an e io espec i a- men e. En elación al p ime a ículo, p e io a su publicación se p esen ó un "La e B eaking Repo ": Ri e a Pin o A., Kildal J., Visuo-Tac ile Mixed Reali y o O line Cobo P o- g amming. In: Companion o he 2020 ACM/IEEE In e na ional Con e ence on Human-Robo In e ac ion. HRI ’20. Associa ion o Compu ing Machine y; 2020:403-405. En e la p ime a y segunda publicación de e is as indexadas se publica un a ículo desc ibiendo los siguien es pasos dados as habe analizado los esul ados y las conclusiones de la p ime a. Ri e a Pin o A., Kildal J., & Lazkano E. Análisis de una expe iencia mul imodal de ealidad mix a pa a la p og amación de un cobo a a és de su gemelo 1.4 Resul ados de la in es igación 7 digi al. Re is a de la Asociación In e acción Pe sona O denado (AIPO). 2021; 2(2), 19-33. Es e a ículo ue publicado a a és de la in i ación ecibida as la pa icipación en el cong eso de In e acción Pe sona-O denado (IPO), que ue pa e del Cong eso Español de In o má ica (CEDI 20/21), y as habe ganado el p emio a mejo abajo de in de más e en la emá ica de in e acción o o gado po la Asociación In e acción Pe sona-O denado (AIPO). El e ce a ículo ue esc i o en el con ex o del p oyec o COGILE que es un p oyec o del p og ama ELKARTEK, que iene como obje i o p omo e p oyec os de in es i- gación con al o po encial indus ial con el in de mejo a la compe i i idad en los ámbi os de la indus ia in eligen e, las ene gías más limpias y la salud pe sonaliza- da2. 1.5 En o no de in es igación Es a in es igación ha sido lle ada a cabo en Teknike , un cen o de in es igación y desa ollo que se encuen a en Eiba y que o ma pa e del Basque Resea ch and Technology Alliance (BRTA). Cuen a con dis in os campos de especialización en e los cuales se encuen a la obó ica y la in e acción pe sona- obo . Teknike en oca su ac i idad en la gene ación de conocimien o y ans e encia a la indus ia en o ma de soluciones ecnológicas. De hecho, como cen o de in es igación si e a una amplia a iedad de sec o es como son los de máquina-he amien a, ab icación, ene gías eno ables, ae onáu ica y espacial, biomedicina o au omoción en e o os. Sis emas Au ónomos e In eligen es: La unidad de Sis emas Au ónomos e In- eligen es (SAI) cuen a con una amplia expe iencia en el desa ollo de sis emas in eligen es con un al o ni el de au onomía. La unidad cuen a con es líneas de abajo p incipales: Robó ica: La unidad lide a la línea de especialización en obó ica de Teknike , de iniendo y coo dinando las ac i idades de o os g upos de in es igación elacionadas con es e campo. La in es igación en obó ica se cen a en do a a los obo s de in eligencia pa a la na egación de pla a o mas mó iles y la ejecución de ayec o ias en b azos obó icos así como p opo ciona a es os úl imos la capacidad de manipula obje os. 2h ps://www.sp i.eus/es/ayudas/elka ek/ 8Capí ulo 1 In oducción Visión po compu ado : Su ac i idad se cen a p incipalmen e en la inspección y con ol de calidad de elemen os, aunque ambién apo a un alo impo an e en la línea de obó ica pa a múl iples a eas como pueden se la calib ación en e disposi i os o la de ección de obje os. In e acción pe sona-máquina: Es a línea de abajo iene como obje i o mejo a la comunicación bidi eccional en e las pe sonas y los obo s o máqui- nas haciendo uso de ecnología que acili e la ansmisión, ep esen ación e in e p e ación de la in o mación emi ida an o po la máquina como po el usua io. El p incipal p opósi o de Teknike es apo a c ecimien o y bienes a a a és de la I+D+i al conjun o de la sociedad, con ibuyendo de mane a sos enible a la compe- i i idad del ejido emp esa ial. El in e és de Teknike en el desa ollo de écnicas de in e acción en e pe sonas y obo s en en o nos indus iales, ha p opiciado es e abajo de in es igación, además de p opo ciona el en o no adecuado pa a ello. 1.5 En o no de in es igación 9 Pa e II Ac i idad In es igado a y apo ación cien í ica 2 Es ado del a e En el con ex o de la cua a e olución indus ial, impulsada po ecnologías como la analí ica de da os, la in eligencia a i icial y el in e ne de las cosas, los p ocesos indus iales deben adap a se con inuamen e a las demandas especí icas de cada a ea, ap o echando es as he amien as pa a op imiza su endimien o y lexibilidad. Es as ans o maciones ambién han in oducido nue as dinámicas en la in e acción en e humanos y obo s en el en o no labo al. Po ejemplo, en algunos casos, es necesa io que los ope a ios colabo en di ec amen e en cie os p ocedimien os mien as el obo ealiza una a ea. Sin emba go, es e ipo de colabo ación no es iable con la obó ica adicional, que depende de ba e as ísicas pa a ga an iza la segu idad. 2.1 Robo s colabo a i os Los obo s colabo a i os ( ambién conocidos como cobo s) son obo s capaces de abaja en colabo ación con el abajado de una mane a segu a [47]. Pa a que un obo pueda se denominado cobo debe cumpli unos equisi os: Segu idad: Los cobo s deben ene ca ac e ís icas de segu idad in eg adas como son senso es de ue za, sis emas de de ección de colisiones y pa adas au omá icas en caso de en a en con ac o con un humano. No malmen e sus diseños cuen an con bo des edondeados, ma e iales sua es o que abso ben impac os pa a educi daños en caso de colisión. In e acción con humanos: Los cobo s deben se capaces de in e ac ua de o ma in ui i a con los ope ado es, lo cual supone que puedan se p og amados di ec amen e po el usua io (guiado manual) o a a és de in e aces de ácil comp ensión. Limi ación de ue za y elocidad: Así se e i a causa daños en caso de con ac o con una pe sona. Es os pa áme os se ajus an en unción a la p oximidad con los ope a ios. 13 De ección del en o no: Deben inco po a senso es pa a ecoge in o mación del en o no y eacciona an e cambios en el mismo. Es e ac o es c ucial en una a ea colabo a i a donde obo y ope a io compa en el espacio de abajo. Es os equisi os pe mi en que los obo s y los abajado es puedan coexis i en el mismo en o no de abajo sin necesidad de con a con jaulas de segu idad o ba e as ísicas. La capacidad de los cobo s pa a se p og amados ácilmen e po abajado es sin conocimien os écnicos es un equisi o impo an e pa a su ácil adopción po pa e de las indus ias manu ac u e as [33]. El guiado manual [44] es la écnica que pe mi e p og ama un obo mo iéndolo lib emen e con la mano al ededo de su campo de abajo. La acción de p og ama un b azo obó ico de iniendo su compo - amien o a a és de un guiado manual ambién es conocido como p og amación po demos ación [13]. Mo e un b azo obó ico de o ma manual es in ui i o pa a los abajado es que, de es a o ma pueden ans e i su conocimien o del abajo a desempeña sin la necesidad de con a con un conocimien o écnico de p og amación ni de la cinemá ica del obo . 2.2 Realidad Vi ual, Mix a y Aumen ada La p og amación po demos ación es un mé odo de p og amación de b azos o- bó icos muy in e esan e debido a que educe conside ablemen e la di icul ad que supone p og ama un b azo obó ico. Es o se debe a que el ope a io ansmi e su conocimien o al obo o sis ema. Además, se consigue educi el iempo empleado en la p og amación ya que no equie e de esc ibi código como se hace a a és de la p og amación adicional. Como se ha dicho an e io men e, es el mé odo de p og amación adecuado pa a aplicaciones en en o nos dinámicos. Sin emba go, es e mé odo de p og amación ambién iene limi aciones. Po un lado, el b azo obó ico equie e de su manipulación ísica. Po o o lado, las ayec o ias gene adas po demos ación pueden no se las más e icien es o segu as, ya que no se op imizan au omá icamen e. Pa a conoce la iabilidad de la p og amación po demos ación a a és de dispo- si i os de ealidad i ual y mix a, se debe conoce a qué ipo de ecnología hacen e e encia es os concep os y la ecnología exis en e que pe mi a al usua io abaja con el gemelo digi al [17] de un b azo obó ico pa a pode p og ama lo. La ealidad i ual es un concep o ela i amen e nue o en la e a ecnológica. Fue en 1994 cuando Paul Milg am y Fumio Kishino acuña on el concep o de con inuo de la 14 Capí ulo 2 Es ado del a e i ualidad[48]. Es e concep o desc ibe un espec o con inuo donde los ex emos de inen expe iencias comple amen e eales y comple amen e i uales. En la zona in e media se encuen an aquellas expe iencias que no son pu amen e eales ni pu amen e i uales. Toda esa egión del con inuo se denomina ealidad mix a. Pa a en onces ya habían sido c eados dis in os disposi i os y expe iencias de ealidad i ual. Una de las p ime as expe iencias es Senso ama [24], que ue c eada po Mo on Heiling en 1962. Es e disposi i o o ecía al usua io una expe iencia isual es e eoscópica, sonido es é eo, sensación de ien o, e ec os ol a i os y mo imien o del asien o. En cuan o al p ime iso de ealidad aumen ada (Fig. 2.1), ue en 1968 cuando I an Su he land c eó un disposi i o que mos aba dibujos en o ma de malla sob e el mundo eal [71]. Fig. 2.1: P ime iso de ealidad aumen ada c eado po I an Su he land. En 2002, se in odujo la ealidad i ual isual en la medicina [2, 21, 23, 67] con el in de en ena y mejo a las habilidades de los ci ujanos. La ecnología de cascos de isión de ealidad i ual y aumen ada ha e olucionado len amen e has a que en la década pasada esu gió con cie a ue za. En 2012 Google p esen ó un p o o ipo a anzado de sus ga as de ealidad aumen ada. El p opósi o de Google con es e disposi i o e a que se in eg ase como una he amien a más en la sociedad. En los siguien es años le siguie on o os disposi i os simila es pe o de ealidad i ual como son Oculus Ri [39], PlayS a ion VR o HTC Vi e pe mi iendo la inme sión en simulaciones de en o nos ealis as. Es os disposi i os se desa olla on p incipalmen e con un p opósi o lúdico. Los disposi i os de ealidad ex endida no sólo es án des inados a o ece una ex- pe iencia isual. También exis en disposi i os que o ecen in o mación al usua io a a és de o o sen idos. Los disposi i os háp icos [57] pe mi en una expe iencia 2.2 Realidad Vi ual, Mix a y Aumen ada 15 3 Impac o de un sis ema de ealidad mix a mul imodal pa a el guiado manual de un holog ama de cobo En es e capí ulo se desc ibe el p ime paso de in es igación ealizado pa a es udia si es posible p og ama un b azo obó ico a a és del guiado manual u ilizando disposi i os de ealidad mix a. Pa a ello, en es e p ime hi o el obje i o p opues o consis e en la manipulación de un modelo simple de obo . Haciendo un análisis de los dis in os disposi i os de ealidad mix a exis en es, consi- de amos que lo ideal se ía pode o ece al usua io una expe iencia inme si a que le pe mi a pe cibi una isión es e eoscópica del obo que se p e ende ep esen a . Además, la manipulación di ec a del obo en luga del uso de coo denadas y cua- e niones de o ación busca da acceso al desempeño de es a a ea a pe sonas que ca ecen de es os conocimien os écnicos. Po úl imo, una de las mayo es ca encias de la ealidad mix a isual es la ausencia de pe cepción de angibilidad al in e ac- ua con holog amas. El uso de disposi i os háp icos puede sol en a esa al a de sensación de es a manipulando un holog ama. Conc e ando el obje i o de es a p ime a ase, o mulamos dos p egun as de in es i- gación: ¿Es posible p og ama un b azo obó ico po guiado manual usando disposi i- os ac uales de ealidad mix a? ¿Qué impac o iene el disposi i o háp ico en el guiado manual? Pa a pode da espues a a es as dos p egun as se p e ende desa olla una aplicación p o o ipo que pe mi a el guiado manual de un obo holog á ico mien as que el usua io sea capaz de pe cibi la sensación de es a ocando ísicamen e esa ep esen ación holog á ica del obo . 23 A a és de un es udio de usua io es posible medi la iabilidad de es e ipo de a eas median e el uso de ecnologías de ealidad mix a además de la opinión de los usua ios. 3.1 Disposi i os y ecnología u ilizada T as ealiza un análisis de los dis in os disposi i os de ealidad mix a en el es ado del a e, conside amos u iliza los siguien es disposi i os: HoloLens: Es un iso de ealidad mix a es e eoscópico que pe mi e p oyec a holog amas sob e el mundo eal e in e ac ua con ellos haciendo uso de ges os que pe mi en aslada los, o a los y escala los. Po o o lado, el disposi i o cuen a con al a oces que pe mi en ep oduci sonidos espaciales que, a a és de la HRTF consigue que el oído pe ciba que el sonido p ocede de un pun o conc e o en el espacio (Fig. 3.1). Fig. 3.1: Disposi i o de ealidad mix a HoloLens 1. Pe mi e mos a holog amas sob e el mundo eal e in e ac ua con ellos. Ul ahap ics S a os: Es un disposi i o háp ico que u iliza ul asonidos pa a gene a sensaciones ác iles en el ai e. La en aja p incipal de es a ecnología es que no se equie e po a el disposi i o. Se coloca en una supe icie y es capaz de emi i sensaciones ác iles en un espacio de has a 70cm. Es e disposi i o cuen a a su ez con Leap Mo ion, un disposi i o que es capaz de analiza la posición de la mano con g an p ecisión y a a és del cual es posible i ualiza la pose de la mano de una mane a más p ecisa que con HoloLens (Fig. 3.2). A di e encia de o os disposi i os háp icos, és e no eje ce ue zas de esis encia al mo imien o de la mano del usua io. 24 Capí ulo 3 Impac o de un sis ema de ealidad mix a mul imodal pa a el guiado manual de un holog ama de cobo Fig. 3.2: Disposi i o háp ico que unciona a a és de emiso es de ul asonidos y una cáma a que pe mi e i ualiza la pose de la mano. En e el so wa e que se ha necesi ado pa a lle a a cabo el abajo desa ollado se encuen an los siguien es p og amas y lib e ías: Uni y 1 : Es un mo o g á ico cuyo p opósi o p incipal es el de c ea ideojuegos. Además, es posible hace uso de él pa a c ea en o nos g á icos 3D cuyo p opósi o no sea lúdico (como es el caso de es a aplicación o aplicaciones de simulación en e o os). Una de las en ajas de es e mo o g á ico es que pe mi e compila p og amas pa a múl iples pla a o mas en e las que se encuen a “Uni e sal Windows Pla o m” que es compa ible con HoloLens. Mic oso MRTK: Es una lib e ía que pe mi e con igu a el en o no desa olla- do en Uni y pa a pode desplega lo en HoloLens además de agiliza cie os p ocesos del desa ollo como son el uso de comandos de oz o la in e acción con los holog amas en e o os. Ki s de desa ollo de Ul ahap ics y Leap Mo ion: So wa e especí ico que pe mi e con ola y ecibi in o mación de es os disposi i os. 3.2 Con igu ación de los disposi i os Pa a pode hace uso simul áneo de ambos disposi i os, se ha p epa ado la con igu- ación que se mues a en la Fig. 3.3. Un PC es el enca gado de ejecu a la aplicación de Uni y. A dicho PC se encuen a conec ado el disposi i o Ul ahap ics S a os ía USB pa a pode ecibi in o mación de Leap Mo ion (disposi i o que pe mi e cap a la pose de las manos) y ep esen a la en el en o no i ual, al igual que 1h ps://uni y.com/ 3.2 Con igu ación de los disposi i os 25 en ia in o mación a Ul ahap ics con el in de gene a zonas ác iles en su á ea de ac uación. Fig. 3.3: Con igu ación de los dis in os disposi i os u ilizados en el desa ollo. Po o o lado, HoloLens se comunica con la aplicación al PC ía WiFi pa a pode mos a dis in os elemen os en el en o no. HoloLens pe mi e ins ala las aplicaciones di ec amen e en el disposi i o, lo cual hace que exis a una meno la encia en e las acciones del usua io y la espues a de la aplicación. Sin emba go, debido a que es necesa io comunica HoloLens con Ul ahap ics y Leap Mo ion, se man u o es a con igu ación. 3.3 Escena de en enamien o: “Labo a o io i ual” Como abajo p e io al p o o ipo plan eado, se desa olló una escena con la que pode conoce las posibilidades y limi aciones de los disposi i os u ilizados (Fig. 3.4). Es a aplicación cuen a con dis in os elemen os con los que el usua io puede in e ac ua a a és de ambos disposi i os. El disposi i o háp ico debe de alinea se con la escena holog á ica pa a pode isualiza la ep esen ación de las manos en el en o no de ealidad mix a supe pues as a las manos eales del usua io. Es a alineación se hacía de o ma manual colocando las HoloLens en una posición ija p ede inida ela i a a Ul ahap ics S a os. La escena cons a de dis in os elemen os con dis in as uncionalidades. Pa a pode in e ac ua con un elemen o, el usua io debe cen a su mi ada (que si e como cu so del iso HoloLens) en el obje o y u iliza el comando de oz “mo e ” pa a desplaza au omá icamen e dicho obje o al cen o de la escena, que es donde se encuen a la ep esen ación i ual de Ul ahap ics S a os. Los dis in os elemen os in e ac uables son los siguien es: 26 Capí ulo 3 Impac o de un sis ema de ealidad mix a mul imodal pa a el guiado manual de un holog ama de cobo Fig. 3.4: Vis a gene al de la escena de p ueba pa a conoce las posibilidades de la ecnología u ilizada. Es e a: Una bola con la que el usua io puede in e ac ua aga ándola y sol án- dola en la zona de de ección de Leap Mo ion. Cuando el usua io se encuen a suje ando la es e a, el disposi i o háp ico emi e ul asonidos gene ando al usua io la sensación de es a suje ando una es e a. P oduc os químicos: Consis en en dos asos de p ecipi ado los cuales con ienen un líquido en su in e io . La demos ación consis e en indica a a és de sensaciones que el p oduc o con enido en el aso es pelig oso. Además de gene a zonas isuales indicando el pelig o cuando el usua io ap oxima su mano al aso, se p oducen dis in as sensaciones pa a ad e i al usua io del iesgo. Mezcla química: La mezcla química se ealiza a pa i de los dos p oduc os químicos desc i os p e iamen e. T as su mezcla, el p oduc o esul an e es un líquido bu bujean e cuyas pompas pueden se explo adas con la palma de la mano del usua io. 3.4 Escena de guiado manual del obo holog á ico T as analiza las capacidades de los disposi i os u ilizados median e la escena del labo a o io i ual, se diseñó y desa olló la escena que cons a de un pequeño b azo obó ico ic icio de 6 g ados de libe ad y que no cuen a con es icciones de gi o en ninguno de sus ejes. Es e aspec o no es un p oblema pa a esponde a las p egun as de in es igación plan eadas, aunque sí es un de alle a ene en cuen a de ca a a u u os diseños e implemen aciones. Como se mues a en la Fig. 3.5, en el ex emo 3.4 Escena de guiado manual del obo holog á ico 27 del obo (en azul) se encuen a pegada una es e a (que es á siendo suje ada po el usua io) igual que en la escena de en enamien o, que pe mi e mo e el obo a una posición obje i o. En el cen o de la escena se puede dis ingui la ep esen ación del disposi i o háp ico sob e la cual es posible mo e el b azo obó ico al igual que los obje os en la escena an e io . Po o o lado, en la escena ambién hay una caja de he amien as (obje o ama illo) que se i á como pun o obje i o pa a ealiza el guiado manual. Fig. 3.5: Pun o de is a del usua io de la escena de ealidad mix a du an e la manipulación de un b azo obó ico holog á ico. En la esquina in e io de echa se mues a la pe spec i a del en o no eal. Cuando el usua io coloca su mano den o de la zona de in e acción de Ul ahap ics S a os se mues a una e sión holog á ica de la mano supe pues a sob e su mano eal. Es o indica que el disposi i o Leap Mo ion de ec a co ec amen e la mano de la pe sona. En caso de no apa ece la mano i ual, signi ica que no es capaz de econoce la pose de la mano. Una ez la mano i ual apa ece en la escena, el usua io, al igual que en la escena an e io , puede suje a la es e a que se encuen a en el ex emo del obo y mo e la po la zona de acción del disposi i o de seguimien o de la mano. Mien as se mue e dicha es e a, el obo calcula la cinemá ica in e sa pa a ep esen a los segmen os del obo de o ma adecuada pa a que pueda llega a su pose obje i o. Po o o lado, el disposi i o háp ico ansmi e la sensación de ene una es e a sob e la palma de la mano. Po úl imo, en la pa e delan e a de la ep esen ación del disposi i o háp ico se mues a un con ol deslizan e que pe mi e o a en el eje e ical la pinza del obo . La in e acción del usua io con la escena no se limi a al uso de ges os. También se ha implemen ado el uso de comandos de oz, acili ando la ejecución de ó denes en e al uso de menús que, además de hace más complicada la in e acción con ellos en ealidad mix a, equie e que el usua io des íe la mi ada de la egión de in e és de la 28 Capí ulo 3 Impac o de un sis ema de ealidad mix a mul imodal pa a el guiado manual de un holog ama de cobo escena pa a selecciona una opción. Median e el comando de oz “mos a ayuda” el sis ema mues a la lis a de comandos de oz disponibles en la aplicación que pe mi en de ene el mo imien o del obo (s op obo ) o desbloquea la opción de mo e el obo ( esume obo ). Se puede e la aplicación de ealidad mix a en uncionamien o en el co espondien e ideo2. 3.5 Es udio de usua io Pa a pode con es a las p egun as de in es igación que han dado pie al desa ollo del p o o ipo p esen ado en es e capí ulo, se ha lle ado a cabo un es udio de usua io. Las p egun as de in es igación que se plan ea on en un inicio son: ¿Es posible p og ama un b azo obó ico po guiado manual usando disposi i- os ac uales de ealidad mix a? ¿Qué impac o iene el disposi i o háp ico en el guiado manual? El es udio de usua io ha con ado con la colabo ación de 16 pe sonas sin expe iencia en ealidad mix a ni en p og amación de b azos obó icos. La mayo ía de pa ici- pan es se encon aban en el ango de edad de en e 18 y 30 años, 2 pa icipan es en e 31 y 50 años y o os 2 pa icipan es en e 51 y 65 años de edad. An es de comenza el es udio de usua io, odos los pa icipan es ue on in o mados de la ecolección anónima de in o mación du an e el es udio de usua io y que e an lib es de abandona el es udio en cualquie momen o y que, en al caso, se desca a ía oda la in o mación ecogida en su ejecución. No obs an e, ningún pa icipan e decidió abandona el es udio. La es uc u a del es udio de usua io es la siguien e: Cumplimen ación del cues iona io demog á ico: En el cues iona io se p e- gun a po dis in os da os demog á icos además de su expe iencia p e ia con disposi i os de ealidad i ual, mix a y aumen ada. En enamien o en ealidad mix a: Los pa icipan es lle a on a cabo un en e- namien o de 15 minu os en el "labo a o io i ual". En él ap endie on cómo in e ac ua con los disposi i os y la escena pa a pode desen ol e se con mayo comodidad en la a ea expe imen al. 2h ps://you u.be/caq8G CCW U 3.5 Es udio de usua io 29 Ejecución de la a ea expe imen al: La a ea expe imen al se lle ó a cabo en la “escena de guiado manual del obo holog á ico” donde los usua ios debían coloca el b azo obó ico holog á ico pinzando la caja de he amien as holog á ica. Es a a ea debían ealiza la seis eces, es con el disposi i o háp ico conec ado y o as es sin el disposi i o háp ico. Cues iona io de e aluación: En e ejecuciones los usua ios espondían al cues- iona io SEQ que ex endimos con la p egun a ace ca de la sa is acción as la ejecución de la a ea. El cues iona io SEQ pe mi e al usua io exp esa con simplicidad y apidez la di icul ad pe cibida en una a ea. Al se una única p e- gun a, es ideal pa a medi la expe iencia inmedia a as comple a la ejecución de una a ea. Pa a conclui el es udio de usua io los usua ios ellena on dos cues iona ios. El p ime o es el NASA-TLX que ue ex endido con dos p egun as adicionales en elación a la sensación de con ol del obo y la “ isicalidad” del expe imen o. A a és de es e cues iona io se p e ende e alua la ca ga cogni i a pe cibida du an e la ealización de la a ea. Es ideal pa a ealiza una compa ación en e las di e en es condiciones de in e acción p esen adas en es e abajo. Po o o lado, ambién pe mi e iden i ica los ac o es especí icos que a ec an a la ca ga cogni i a. El segundo cues iona io es aba o mado po 4 a i maciones. Los pa icipan es debían esponde cuán o de acue do o en desacue do es aban con ellas a a és de una escala de ipo Like de 7 pun os. La p ime a p egun a de in es igación se á espondida a pa i de la ejecución de la a ea po pa e de los pa icipan es. Sin emba go, iden i ica el impac o del disposi i o Ul ahap ics S a os en el desa ollo de la a ea, sí equie e un p ocedimien o especial pa a no comp ome e el esul ado del es udio. Du an e el es udio de usua io, como se ha desc i o p e iamen e, los usua ios han ealizado dos ejecuciones iguales con la di e encia de que en una de ellas no hubo sensación angible du an e el mo imien o del obo . Haciendo que la mi ad de los usua ios comiencen ejecu ando la a ea en una de las condiciones y la o a mi ad de los usua ios la o a, queda balanceada la posible in luencia de habe expe imen ado an es una condición en e a la o a. 3.6 Resul ados del es udio Los da os ecogidos se pueden clasi ica en cuan i a i os ( ecogidos de las ejecuciones de los usua ios en la aplicación de ealidad mix a) y cuali a i os ( ecogidos a a és de los cues iona ios). 30 Capí ulo 3 Impac o de un sis ema de ealidad mix a mul imodal pa a el guiado manual de un holog ama de cobo Pa a da espues a a la segunda p egun a de in es igación, hemos analizado los esul ados ob enidos con e oalimen ación háp ica y sin ella. Al con a con da os pa eados, se aplicó el es de Wilcoxon [74] o el - es [69] (en unción si los da os ecogidos seguían una dis ibución no mal o no) pa a comp oba si exis e una di e encia signi ica i a. En es e es udio hemos conside ado que exis e una di e encia signi ica i a cuando el alo p esul an e es in e io a 0.05. Den o de los esul ados cuan i a i os se encuen an las siguien es a iables: Dis ancia de e o : Es la dis ancia en e el pun o obje i o y el de inido po el usua io. Los esul ados ([(M V+H =2.706 mm, SD V+H =2.351 mm);( M V =2.259 mm, SD V =1.998 mm)]) no mos a on una di e encia signi ica i a en e la ejecución con e oalimen ación háp ica (V+H) y sin ella (V). Tiempo o al: Es el iempo o al dedicado a ealiza una ejecución. Desde que el usua io comienza la a ea has a que de ine la o ien ación de la pinza. En es e caso, los esul ados ([(M V+H =24.027 s, SD V+H =21.483 s);( M V =26.614 s, SDV=27.473 s)]) ampoco mos a on una di e encia signi ica i a Tiempo mo iendo el obo holog á ico: Es a segunda a iable empo al ecoge el iempo acumulado de odos los momen os en los que el usua io se encon- aba suje ando la es e a del ex emo del cobo holog á ico. Al igual que en el caso an e io , los da os ([(M V+H =16.338 s, SD V+H =12.638 s);( M V =16.242 s, SDV=11.747 s)]) no mues an una di e encia signi ica i a. Relación de iempo mo iendo el holog ama: En an o po uno, se ha ecogi- do la elación del iempo que ha es ado el usua io mo iendo el holog ama con espec o al iempo o al dedicado a la a ea. Los da os ([(M V+H =0.748, SD V+H =0.165);( M V =0.715, SD V =0.197)]) sugie en una simili ud en e am- bas dis ibuciones. A a és del - es se puede obse a que no exis e una di e encia signi ica i a en e ambas dis ibuciones. Pé didas de la es e a: Po úl imo se ha ecogido cuán as eces el usua io ha sol ado acciden almen e la es e a del ex emo del holog ama (dejando pa ado el holog ama has a que uel e a suje a lo de nue o). Nue amen e, los da os ([(M V+H =6.681, SD V+H =7.553);( M V =7.319, SD V =8.577)]) no mues an una di e encia signi ica i a. Po o o lado, las p egun as del SEQ sob e la opinión de los pa icipan es espec o a la di icul ad de la a ea y la sa is acción con el esul ado, no e ela on una di e encia signi ica i a, aunque los esul ados ue on posi i os ( a ea sencilla y al a sa is acción con el esul ado ob enido). Sin emba go, en el cues iona io NASA-TLX ex endido, la 3.6 Resul ados del es udio 31 4.3 Con igu ación y comunicación del sis ema La con igu ación del sis ema cons a de dos pa es comunicadas en e sí. Po un lado, se encuen a la aplicación desa ollada pa a HoloLens 2, mien as que en el o o lado se encuen a odo el sis ema de ROS. Ambos lados se comunican a a és de la lib e ía ROS# (que ha sido in eg ada en la aplicación pa a HoloLens 2) y a a és de websocke s del módulo osb idge de ROS. Fig. 4.2: Esquema del lujo de comunicación en e la aplicación de HoloLens 2 y ROS. Como se mues a en la Fig. 4.2, la comunicación comienza en el lado de Uni y donde se publican las coo denadas de la pose de inida pa a el ex emo del obo . Pos e io men e, un nodo en ROS es enca gado de plani ica la ayec o ia pa a log a mo e el ex emo del b azo obó ico al obje i o y, desde la aplicación de Uni y se lee un “ opic” de ROS que mues a en iempo eal la o ación de cada eje del obo pa a ac ualiza el es ado del gemelo digi al holog á ico de la aplicación de ealidad mix a. Pa a es e p o o ipo, se a a abaja con el gemelo digi al del obo colabo a i o UR10 que cuen a con 7 g ados de libe ad y una longi ud de 1300 mm. 4.4 Diseño de la in e acción y la aplicación El diseño de la in e acción y de la aplicación en su conjun o juega un papel unda- men al en el desa ollo del sis ema. De es e diseño depende que el usua io pueda comp ende de mane a in ui i a cómo in e ac ua y cómo exp esa sus in enciones 38 Capí ulo 4 Un en o no de ealidad mix a pa a p og ama un obo a a és de su gemelo digi al pa a que el gemelo digi al ejecu e co ec amen e la ope ación deseada. Pa a ello se han enido en cuen a algunos de los p incipios especí icos de las in e aces 3D de inidos en [5]. De en e los dis in os p incipios que se de inen, se ha enido en cuen a p incipalmen e el de la simplicidad en la in e acción. De es e modo, el usua io no eque i á de un la go p oceso de ap endizaje que pueda p o oca al usua io un echazo a la aplicación. Es c ucial encon a el equilib io en e pone disponibles las he amien as y elemen- os necesa ios pa a desempeña la a ea a a és del disposi i o de ealidad mix a y, a su ez, no sa u a de elemen os el en o no i ual. Si el escena io no es á comple o, no se puede ealiza la a ea, y si se sa u a de elemen os, puede con undi al usua io y di icul a la ealización de la a ea. Con la ausencia de la e oalimen ación háp ica, su ge la necesidad de u iliza o os canales de in e acción, an o pa a que el usua io eciba in o mación como pa a que exp ese su in ención a la aplicación. En es e caso, se ha hecho uso del canal audi i o pa a alida la ejecución de acciones como son aga a y sol a el ex emo del obo . Se han desa ollado dos en oques p incipales pa a p og ama el b azo obó ico: 1. De inición de la pose obje i o del ex emo del b azo obó ico. 2. De inición de la ayec o ia del ex emo del b azo obó ico. El usua io puede selecciona qué mé odo de p og amación u iliza a a és del menú p incipal. Po o o lado, a a és del mismo menú, se puede accede al módulo pa a el análisis del en o no con el in de limi a los mo imien os del b azo holog á ico pa a e i a colisiones. Es e módulo debe u iliza se an es de inicia la p og amación. Los dos escena ios que pe mi en la p og amación del b azo obó ico cuen an con elemen os en común. Uno de ellos es el holog ama que le si e al usua io pa a de ini la pose a la que quie e que llegue el ex emo del b azo obó ico. Es e holog ama ha pasado po a ios diseños i e a i os con el obje i o de acili a su comp ensión. El elemen o cen al en odos los diseños es una es e a, elegida po su asociación in ui i a con la acción de se aga ada. A con inuación, se de allan las es e siones p incipales del diseño que se mues an en la Fig. 4.5: P ime a e sión: Una es e a p incipal acompañada de un p isma ec angula ala gado que indica la di ección deseada pa a o ien a el ex emo del obo . 4.4 Diseño de la in e acción y la aplicación 39 T as una e aluación in e na, se concluyó que el p isma no apo aba cla idad y se desca ó. Segunda e sión: Se sus i uye el p isma po una es e a que o bi a al ededo de la es e a p incipal, ep esen ando el sen ido del ex emo del obo . A a és de es e diseño, la de inición de la pose se ealiza ía en dos pasos. Es e diseño p esen ó di icul ades en la selección p ecisa de la es e a o bi an e debido a su amaño. Ve sión inal: Se eg esa al diseño inicial, pe o eemplazando el p isma po una lecha idimensional que indica el sen ido del ex emo del obo . Es a geome ía, po su o ma in ui i a, acili a la comp ensión del usua io sob e el p opósi o del holog ama. Fig. 4.3: De izquie da a de echa, la e olución en el diseño del holog ama que pe mi e de ini la pose del ex emo del obo . Pin ado en na anja el núcleo del obje o que de ine la posición obje i o y en colo ojo la pa e que de ine la o ien ación. La in e acción con el holog ama se basa en ges os na u ales. El ope a io puede ealiza un ges o de aga e simulando suje a una es e a ísica. Mien as man iene el aga e, cualquie mo imien o de la mano se e leja en el desplazamien o del holog ama. Además, la o ación de muñeca hace que el holog ama ealice una o ación equi alen e, pe mi iendo una p og amación in ui i a. En cuan o a la p og amación, el usua io puede elegi en e dos mé odos pa a de ini el compo amien o del b azo obó ico. Las siguien es secciones desc iben es as dos al e na i as. 4.4.1 De inición de la ayec o ia del ex emo del obo Es e mé odo pe mi e de ini al usua io la ayec o ia que quie e que el ex emo del b azo obó ico holog á ico siga. Pa a ello, el usua io debe de ini an o la posición obje i o como los pun os in e medios a eco e . La o ma de egis a esos pun os 40 Capí ulo 4 Un en o no de ealidad mix a pa a p og ama un obo a a és de su gemelo digi al es suje ando la es e a. Con una ecuencia de 3 Hz, el sis ema g aba la pose del holog ama que ep esen a el ex emo del obo . En onces, se dibuja una es e a ama illa semi anspa en e en esa posición pa a indica que se ha g abado la pose como se puede ap ecia en la Fig. 4.4. Cada pose es á compues a po una posición 3D y una o ación en o ma de cua e nión. Fig. 4.4: Vis a en p ime a pe sona del modo de p og amación desc ibiendo la ayec o ia. A a és de comandos de oz, ambién es posible de ini un pun o en el espacio. Pa a ello, el usua io coloca el dedo índice de la mano p e iamen e de inida en el menú de con igu ación en la posición deseada y señalando en el sen ido al que quie e que se o ien e el ex emo del b azo obó ico holog á ico y u iliza el comando de oz “posiciona bola”. En caso de que una pose obje i o se ma que ue a del ango máximo que alcanza el b azo obó ico, la aplicación lo pin a á di ec amen e en colo ojo semi anspa en e indicando que no es posible alcanza dicha pose. Si las poses obje i o se encuen an den o del ango de alcance máximo del b azo obó ico, se ecogen en un nodo de ROS que se enca ga de calcula a a és de “Mo eI !” si es posible llega a esos pun os obje i o o no. Du an e la ejecución del mo imien o del gemelo digi al, el ex emo del obo deja una es ela (en o ma de pequeños cubos na anjas) que ep esen a la ayec o ia seguida po el ex emo del obo . Es a ayec o ia puede se limpiada a a és del comando de oz “limpia ayec o ia”. Los comandos de oz disponibles es an es son: Menú: Vuel e al menú p incipal. 4.4 Diseño de la in e acción y la aplicación 41 Calib a: Desbloquea la posición del gemelo digi al y mo e lo a o a posición del espacio que odea al usua io. Bloquea: Bloquea el holog ama del gemelo digi al en la posición en la que se encuen a ubicada. 4.4.2 De inición de la pose obje i o del obo La segunda o ma de p og ama el gemelo digi al del b azo obó ico es de iniendo únicamen e la pose inicial y inal del ex emo del b azo obó ico. Fig. 4.5: Diseños de las es e as del obo que pe mi en de ini el pun o inicial y inal obje i o del ex emo del gemelo digi al del obo . En es e caso, la escena holog á ica cuen a con dos es e as (Fig. 4.5): la es e a na anja con la lecha oja que de ine la pose inicial y la es e a e de con lecha azul que ep esen a la pose obje i o del b azo obó ico. El usua io puede mo e las es e as al igual que en el modo de p og amación an e io . Debido a que las dos es e as pueden es a a una dis ancia conside ablemen e la ga, el usua io puede plani ica la ayec o ia y p e isualiza la an es de ejecu a la. Po o o lado, el usua io puede o dena di ec amen e que se mue a al pun o de des ino en caso de que sea posible sin mos a la p e isualización. Si el usua io decide p e isualiza la ayec o ia, apa ece á un an asma del obo en la misma posición en la que se encuen a el gemelo digi al. En el caso de que “Mo eI !” alcance una solución, el an asma del obo se pin a á de colo blanco (Fig. 4.6). En cambio, si no consigue calcula una solución, el obo se e á de colo ojo. Es e mé odo de p og amación y el que consis e en la de inición de la ayec o ia del ex emo del b azo obó ico cuen an con comandos de oz en común (menú, calib a , bloquea y limpia ayec o ia). Po o o lado, ambién cuen a con sus comandos de 42 Capí ulo 4 Un en o no de ealidad mix a pa a p og ama un obo a a és de su gemelo digi al Fig. 4.6: Holog ama del gemelo digi al en su posición ac ual, jun o al holog ama que mues a la plani icación del la ayec o ia. oz especí icos que son: “empieza” pa a mo e el b azo obó ico a la pose de inicio si es posible; “mo e ” pa a mo e el b azo obó ico a la pose obje i o si es posible; “plani ica” pa a plani ica la ayec o ia a segui en e los dos pun os de inidos y p e isualiza dicha plani icación; y “ejecu a” pa a ejecu a el plan. 4.4.3 Escaneo del espacio ci cundan e Con el in de que la solución p opues a po Mo eI ! sea compa ible con el en o no eal, el sis ema necesi a conoce qué obs áculos hay p esen es. Pa a ello, se ha añadido una opción en la aplicación en la que el usua io debe posiciona el obo holog á ico en la posición donde se ubica á el obo eal. Después, el usua io da la o den de escanea a a és del comando “escanea”. Du an e el análisis, el usua io isualiza á un mensaje indicando que debe espe a a que inalice el análisis. A a és de la u ilidad “spa ial awa eness” que o ece HoloLens 2, que c ea una malla que cub e odos los elemen os del en o no ce canos al usua io como se ap ecia en la Fig. 4.7, el p og ama en ía la in o mación de cada é ice de la malla al plani icado de Mo eI ! a a és de un se icio de ROS y c ea un cubo de 5 cen íme os de lado como obs áculo pa a plani ica la escena. Es e mé odo de escaneo se p esen a como una al e na i a a la de inición manual de la zona de abajo al ededo del obo , o eciendo una p ime a ap oximación hacia la au oma ización de es a a ea. T as analiza su desempeño, hemos cons a ado que esul a adecuado pa a escena ios donde no es imp escindible conside a pequeños de alles del en o no. No obs an e, a medida que aumen a la complejidad del á ea 4.4 Diseño de la in e acción y la aplicación 43 Fig. 4.7: Imagen del mallado del en o no eal que ealiza HoloLens 2. de abajo, se uel e más desa ian e log a una ep esen ación su icien emen e p ecisa. En el co espondien e enlace 3 se puede e un ídeo con el sis ema en uncionamien- o. 4.5 Es udio de usua io Se lle ó a cabo un es udio de usua io pa a alida el diseño e implemen ación de las dos écnicas de p og amación (de iniendo la ayec o ia o de iniendo el pun o inicial y inal) desde la pe spec i a de usua ios que no con aban con expe iencia en la p og amación de b azos obó icos. Los 14 pa icipan es que o ma on pa e de es e es udio ecibie on una explicación sob e el uncionamien o de HoloLens 2 independien emen e de su expe iencia con disposi i os de ealidad mix a. Además, an es de comenza con la pa e p incipal del es udio, los pa icipan es pudie on in e ac ua unos minu os con un escena io de en enamien o con el in de habi ua se al uso de es a ecnología y la in e acción con los holog amas. La in e acción más ele an e en es a escena ue con la ep esen ación holog á ica del ex emo del obo . Los usua ios podían p oba de qué mane a e a la mejo pa a suje a y mo e los holog amas po oda la escena. Se decidió lle a a cabo el es udio en un en o no indus ial con el in de sabe ambién el compo amien o del disposi i o bajo condiciones de uido y donde el 3h ps://you u.be/Ee8JChQE6zk 44 Capí ulo 4 Un en o no de ealidad mix a pa a p og ama un obo a a és de su gemelo digi al econocimien o de oz pudiese e se a ec ado. De es a mane a, se podía e alua el uncionamien o del disposi i o en un en o no de abajo ealis a. El es udio es aba compues o po las dos escenas desc i as p e iamen e. En la p ime a escena, los usua ios enían que de ini la pose deseada del ex emo del obo hacien- do uso de la es e a con la lecha. El obje i o pa a cada ejecución es aba ma cado con un pequeño cubo ojo i ual. La a ea del pa icipan e consis ía en desplaza el b azo obó ico holog á ico haciendo uso de la ep esen ación del ex emo del obo a los cubos ojos i uales. El pa icipan e debía ealiza es ejecuciones colocan- do el ex emo del obo en los cubos que se encon aban en posiciones dis in as den o del alcance del obo . En la segunda escena, el usua io debía “dibuja ” la ayec o ia comple a a ealiza po el ex emo del b azo obó ico. Al igual que en la an e io escena, el usua io enía como obje i o ap oxima el b azo obó ico al obje i o ep esen ado po un cubo ojo. Se ecogie on dos ipos de in o mación en el es udio de usua io. El p ime ipo de in o mación e a cuan i a i o y es á elacionado con el endimien o del usua io (ob enida a a és de las acciones que ealiza el usua io den o de la aplicación). El segundo e a cuali a i o y el obje i o e a conoce la opinión subje i a del usua io. Pa a ello se pidió a los usua ios que espondie an 2 p egun as en una escala de 7 pun os de ipo Like : SEQ: En gene al, ¿cómo de ácil e ha esul ado la a ea? ¿Cómo de sa is echo has quedado con el esul ado? En la p ime a p egun a, cuan o mayo sea el alo , más sencillo es ealiza la a ea pa a el usua io. Del mismo modo, en la segunda p egun a, cuan o mayo sea el alo , mayo es la sa is acción del usua io con el esul ado ob enido en la p og amación. Es as dos p egun as ue on o muladas as cada ejecución ob eniendo así un o al de 6 espues as po usua io. T as inaliza el es udio, los usua ios espondían el cues iona io SUS que consis e en 10 p egun as que miden la usabilidad de un sis ema o p og ama. Pa a conclui , los pa icipan es ue on en e is ados con el in de ecoge su opinión. 4.6 Resul ados del es udio Como se ha adelan ado en la sección an e io , el es udio se lle ó a cabo con 14 pa icipan es de los cuales 8 e an homb es y 6 muje es. 11 de ellos enían en e 26 4.6 Resul ados del es udio 45 y 30 años, 2 pa icipan es enían en e 31 y 35 años y una sola pe sona es aba en el ango de 41 a 45 años. Todos habían comple ado es udios uni e si a ios en las siguien es á eas: in o má ica, elec ónica, au oma ización e ingenie ía indus ial. Aunque 4 de los pa icipan es u iesen expe iencia con ga as de ealidad i ual en ideojuegos, ninguno de los pa icipan es enía expe iencia con disposi i os de ealidad mix a. El análisis compa a i o en e las dos o mas de p og amación u o como obje o de análisis las siguien es a iables: iempo mo iendo el ex emo del obo , iempo sin mo e el ex emo del obo y dis ancia a la posición obje i o. La media de iempo empleado pa a mo e el ex emo del obo ue meno de iniendo la ayec o ia (M=10.2 s, IC 95 % =[8.2 s, 12.2 s]) que únicamen e de iniendo la pose obje i o (M=12.41 s, IC95 %=[11.22 s, 13.6 s]). El p omedio de iempo compu ado de inac i idad ( iempo en el que el pa icipan e e lexionaba sob e el mo imien o a ealiza , iempo de cálculo eque ido po Mo eI ! o po el p ocesamien o de los comandos de oz, e in e alos en los que el obo es á en mo imien o) ue meno en la opción de p og ama el obo median e la pose inal (M=28.39 s, CI95 %=[24.84 s, 31.94 s]) en e a la p og amación median e la de inición de la ayec o ia (M=30.87 s, CI95 %=[25.82 s, 35.92 s]). Respec o al e o de ap oximación come ido, la media ob enida en la de inición del pun o obje i o (M=10.988 mm, CI 95 % =[9.58 mm, 12.4 mm]) ue meno que cuando se de inía la ayec o ia (M=15.036 mm, CI 95 % =[13.13 mm,16.94 mm]). También se analiza on los cues iona ios espondidos po los usua ios. Los cues iona- ios seleccionados ayudan a comp ende la acilidad o di icul ad que supone u iliza es e ipo de aplicaciones desde el pun o de is a subje i o del usua io. Todas las espues as ecogidas en el SEQ pa a los dos casos e aluados ue on de 6 y 7, es deci , en ambos casos los pa icipan es pensa on que la a ea e a sencilla de comple a . La media ue lige amen e supe io en el caso de ene que de ini el pun o inal (6.86) en e al de aza la ayec o ia (6.71). En la p egun a de qué de sencillo e a ealiza la a ea, la media ue la misma en ambos casos (6.52). Po úl imo, es a aplicación ob u o una pun uación de 87.68 en el cues iona io SUS, lo que signi ica que es a ía en el ango ‘B’ de la escala de Bango [7], 2.32 pun os po debajo de la ma ca más al a. Es a pun uación si úa a la aplicación sob e el 98 % de las aplicaciones e aluadas a a és de es e cues iona io. Las p egun as 4 y 10 en ocan su in e és en conoce la acilidad con la que el usua io es capaz de ap ende 46 Capí ulo 4 Un en o no de ealidad mix a pa a p og ama un obo a a és de su gemelo digi al el uncionamien o de la aplicación. El alo medio en las espues as con una escala del 0 al 4 ue on un 3.36 y un 3.5, espec i amen e. El es udio concluía con una en e is a semies uc u ada. El obje i o e a ecoge in o mación y comen a ios que pudie an ayuda a in e p e a las espues as de los cues iona ios. Cualquie comen a io sob e la aplicación y el es udio e a bien enido, aunque se les suge ía que diesen su opinión ace ca de los siguien es aspec os: El sis ema y la aplicación como mé odos de p og amación de obo s. Su expe iencia in e ac uando con un sis ema de ealidad mix a. Di icul ad en la in e acción con holog amas. Di icul ad en ap ende a u iliza el disposi i o de ealidad mix a y la aplicación. Aspec os que se echan en al a o que pueden se mejo ados. La mayo ía de los usua ios comen a on que la aplicación e a sencilla de usa y la in e acción in ui i a, lo que hacía que la cu a de ap endizaje u ie a un c ecimien o muy ápido. El co o pe iodo de p ác ica que u ie on an es del es udio de usua io ue su icien e pa a pode in e ac ua con la escena du an e el es udio. El p incipal p oblema pa a los pa icipan es e a la p ime a ez que in en aban aga a un holog ama ya que no les pa ecía sencillo has a habe lo in en ado unas cuan as eces. Po o o lado, los pa icipan es dije on que el uso de comandos de oz encajaba bien en es e ipo de aplicaciones. También coincidie on en que e a posible p og ama un b azo obó ico a a és de es a aplicación sin eque i conocimien os de obó ica ni de p og amación. Además, e a posible agiliza la mane a de de ini una pose obje i o en e a hace lo a a és de écnicas ac ualmen e u ilizadas en la indus ia (ej., usando el “ each pendan ”). Sin emba go, los pa icipan es cues iona on la p ecisión que se puede llega a alcanza a a és de la aplicación de ealidad mix a. Dependiendo de la a ea a ealiza , es a solución pod ía no se lo su icien emen e p ecisa como pa a sa is ace los equisi os de un escena io eal. Como solución a es e p oblema, algunos pa icipan es sugi ie on la posibilidad de aumen a la zona obje i o con el in de mejo a la p ecisión de posicionamien o. En elación al mé odo de p og amación po dibujado de la ayec o ia, algunos pa icipan es sugi ie on habili a la posibilidad de modi ica poses in e medias as de ini las, en luga de ene que ol e a dibuja la ayec o ia en e a. Po o o lado, pese a que los comandos de oz e an sencillos de eco da , bajo condiciones de un uido ambien e ele ado, algunos pa icipan es u ie on que epe i a ias eces los comandos pa a que ue an de ec ados po el sis ema. Además, cie os comen a ios apun a on a la al a de in o mación del es ado de la aplicación du an e el iempo de cálculo de 4.6 Resul ados del es udio 47 En el lado de ROS se encuen an los dis in os nodos que o ecen se icios elaciona- dos al mo imien o del obo y el p oceso de calib ación del ale ón con espec o al obo , y ópicos que o ecen in o mación con espec o al es ado del obo . Además, ambién es á el nodo enca gado de comunica se con el con olado del obo . A a és del con olado , es posible manda comandos de posición al obo y lee el es ado de cada uno de sus a iculaciones, que se i á pa a ac ualiza el es ado del gemelo digi al en la escena de ealidad mix a. 5.4 Diseño de la in e acción y la aplicación La in e acción con los dis in os holog amas sigue siendo a a és de los ges os que pe mi e el disposi i o escogido (HoloLens 2) pa a la aplicación. El holog ama de p e isualización de la plani icación de la ayec o ia mues a dis in os colo es en unción al es ado en el que se encuen e. Du an e el iempo en el que el sis ema calcula la ayec o ia, el holog ama se mues a pin ado de colo blanco. Una ez haya inalizado la plani icación, en caso de que “Mo eI !” haya conseguido halla una ayec o ia álida, el holog ama se e á de colo e de mos ando la ayec o ia calculada. En caso de no consegui calcula una ayec o ia álida, el colo que mues e el holog ama se á el ojo y se queda á en es á ico. Po o o lado, el holog ama de la he amien a que el usua io u iliza pa a indica la pose obje i o pa a el b azo obó ico ue modi icado. Aho a, su o ma es igual que la he amien a eal. Pese a que la o ma es é ica de la base del diseño an e io (Fig. 4.3) pueda esul a más indica i a de obje o mo ible, haciendo uso de la geome ía de la he amien a se puede ayuda al usua io a de ini con una mayo p ecisión en qué posición quie e que es a se si úe con espec o al obje i o a alcanza . También se sus i uyó el sis ema de comandos de oz an e io po un sis ema de diálogo con el que el usua io puede exp esa de una mane a más de allada y comple a sus in enciones. El usua io debe u iliza el comando de oz “KUKA” pa a habili a el econocimien o de la ase hablada, que se da á po e minada con un silencio de 1 segundo. El audio g abado es en iado al se icio de AZURE Speech- o-Tex que de uel e su ansc ipción. T as ecibi en o ma de ex o la ansc ipción del mensaje del usua io, se p ocesa su mensaje a a és del sis ema de diálogo KIDE4I. El sis ema de diálogo cuen a con a ios módulos: el enca gado de ex ae elemen os cla e y la pola idad de la ase, el enca gado del conocimien o (on ología) y el enca gado de ges iona el diálogo. G acias a su modula idad es posible sus i ui cualquie a de sus módulos po o a al e na i a. Como ejemplo, el módulo de ex acción de elemen os cla e y pola idad puede es a basado en eglas o en “La ge Language Models” (LLMs). El p ocesamien o de la ase acaba cuando el sis ema de diálogo de uel e como 54 Capí ulo 5 En o no de ealidad mix a pa a eleope a un obo ísico en una a ea de inspección de ale ones espues a una acción iden i icada, jun o a in o mación complemen a ia en caso de que uese necesa ia. Las dis in as acciones que el diálogo puede p ocesa en es e con ex o son las siguien es: Calib a: Comienza el p oceso de calib ación pa a coloca el ale ón co ec a- men e con espec o al b azo obó ico. Ejemplo: Calib a el ale ón con espec o al obo . Recoloca : Desbloquea la posición de los holog amas de al o ma que el usua io pueda mo e la escena a o a posición del mundo eal. Ejemplo: Recoloca la escena. Bloquea : Bloquea la posición de los holog amas impidiendo que el usua io pueda mo e los de su posición. Ejemplo: Bloquea la escena. Plani ica : Manda una señal al nodo de ROS enca gado de plani ica una ayec o ia a la pose obje i o. Ejemplo: Plani ica la ayec o ia a la pose obje i o. Ejecu a : Ejecu a una ayec o ia p e iamen e plani icada. Ejemplo: Ejecu a el plan calculado. Posiciona : Coloca el holog ama de la he amien a en una posición p ede inida y plani ica la ayec o ia desde la posición ac ual del obo . Ejemplo: Posiciona la he amien a en el ne io A. 5.5 P ocedimien o de p og amación del obo pa a la a ea La a ea asociada a es e desa ollo consis e en una inspección colabo a i a de un ale ón en e el obo y el usua io. Cada uno se encuen a en uno de los ex emos del ale ón e i án mo iendo sus espec i as he amien as con el in de inspecciona los ne ios en busca de alguna posible obs ucción en ellos. An es de comenza con la p og amación del b azo obó ico, el usua io debe calib a la pose del ale ón con espec o al b azo obó ico. Es a calib ación se ealiza de o ma manual y pa a ello debe coloca la cáma a si uada a un lado del ex emo del obo mi ando hacia la placa de calib ación si uada en el sopo e del ale ón. La calib ación se ha lle ado a cabo usando el so wa e de isión HALCON y la cáma a IDS UI-5240CP enca ando una placa de calib ación de 100mm de ancho y al o (Fig. 5.2). 5.5 P ocedimien o de p og amación del obo pa a la a ea 55 Fig. 5.2: Placa de calib ación u ilizada pa a ob ene la pose del ale ón con espec o a la cáma a colocada jun o al ex emo del b azo obó ico. P e io a es a calib ación, ambién se ha enido que ealiza o a calib ación en e la placa y el ale ón. Pa a ello, se ha colocado la placa de calib ación en la posición deseada y, a a és de una cáma a 3D se ha ob enido la nube de pun os del ale ón y la placa. Teniendo los modelos 3D de cada uno de los elemen os, a a és de una unción de ma ching, se puede conoce la elación exis en e en e ambos elemen os de una mane a p ecisa (e o de posición del o den de 1 mm). Teniendo en cuen a el e o que se puede come e con el sis ema de calib ación y iendo las dimensiones de la he amien a y las dimensiones de los ne ios del ale ón, se puede obse a que es iable el uso de es e sis ema. Po el lado de la he amien a, las dimensiones a ene en cuen a son 30 mm de ancho y 70 mm de al o. Po pa e de los ne ios del ale ón, el ne io más pequeño cuen a con 80 mm de al u a y 45 mm de anchu a. Conociendo la elación de pose en e la placa y el ale ón, la pose de la cáma a con espec o a la base del obo y calculando la elación en e la cáma a y la placa de calib ación a a és del nodo de calib ación, el sis ema calcula la elación que exis e en e la base del obo y el ale ón. De es e modo, el sis ema es capaz de coloca co ec amen e el ale ón holog á ico con espec o al gemelo digi al del b azo obó ico. Además, es a in o mación ambién se ca ga á en el plani icado de “Mo eI !” pa a pode ene en cuen a las es icciones de mo imien o del obo . 56 Capí ulo 5 En o no de ealidad mix a pa a eleope a un obo ísico en una a ea de inspección de ale ones T as comple a la con igu ación de la escena, el usua io lanza la aplicación de ealidad mix a en HoloLens 2. En ella se pueden e el gemelo digi al del b azo obó ico jun o a la ep esen ación holog á ica de la he amien a y el ale ón. A a és del sis ema de diálogo, el usua io puede ealiza las dis in as acciones an e io men e desc i as den o de la escena. Pa a ello, p e iamen e debe ac i a el sis ema de diálogo a a és del comando de oz “KUKA” y espe a a que se ep oduzca un sonido que es el que indica que, a pa i de ese momen o, la ase que diga a a és del mic ó ono se á p ocesada po el sis ema de diálogo. Cuando el usua io se queda en silencio du an e 1 segundo, el sis ema de diálogo en ende á que ha e minado la ase y p ocesa á la in o mación ecogida. El p ime paso de la p og amación consis e en la ap oximación del b azo obó ico a uno de los ne ios del ale ón. Pa a ello, el usua io debe suje a la he amien a holog á ica con la mano y desplaza la has a un pun o ce cano del ne io obje i o. Una ez haya ap oximado el holog ama, el usua io debe á indica que quie e plani ica una ayec o ia a a és del sis ema de diálogo. Fig. 5.3: Holog ama semi anspa en e de colo blanco que indica que se es á calculando una ayec o ia álida a la pose obje i o. Du an e el iempo de cálculo de la ayec o ia, apa ece á un holog ama semi anspa- en e de colo blanco como se puede obse a en la Fig. 5.3 en la misma posición que el gemelo digi al. Si la plani icación de la ayec o ia esul a exi osa y se ob iene una ayec o ia álida, la aplicación cambia el colo del holog ama a e de (Fig. 5.4) y ep oduce el mo imien o calculado con el obje i o de p e isualiza la ayec o ia que es posible ealiza , de al o ma que el usua io pueda analiza la an es de su ejecución. En caso con a io, es deci , si la plani icación no ob iene una ayec o ia álida, la aplicación cambia el colo del holog ama a ojo como se mues a en la Fig. 5.5 y se man end á es á ico indicando que no se ha log ado una ayec o ia álida. 5.5 P ocedimien o de p og amación del obo pa a la a ea 57 Fig. 5.4: Holog ama semi anspa en e de colo e de que indica que se ha podido calcula la ayec o ia a la pose obje i o de inida po el usua io. Una ez el usua io consigue plani ica una ayec o ia álida, puede ejecu a la a a és del sis ema de diálogo. El holog ama de p e isualización de la ayec o ia desapa ece á y, an o el gemelo digi al como el obo eal se mo e án de mane a sinc onizada. Fig. 5.5: Holog ama semi anspa en e de colo ojo que indica que no ha sido posible calcula la ayec o ia a la pose obje i o de inida po el usua io. Finalmen e, el obo debe in oduci la he amien a en uno de los ne ios. Pa a ello, se han de inido unas poses ijas ela i as a la he amien a (una pose po cada ne io disponible). A a és del sis ema de diálogo, el usua io posiciona la he amien a en uno de los ne ios y se lanza una llamada a la plani icación de la ayec o ia has a ese pun o. Del mismo modo que an es, el holog ama semi anspa en e indica á el esul ado de la plani icación. 58 Capí ulo 5 En o no de ealidad mix a pa a eleope a un obo ísico en una a ea de inspección de ale ones A a és del enlace1a pie de página se puede e un ideo del sis ema en unciona- mien o. 5.6 Es udio de usua io Se ealizó un es udio de usua io pa a obse a si ealmen e es posible p og ama un b azo obó ico a a és de disposi i os de ealidad mix a pa a ealiza una a ea colabo a i a de inspección de un segmen o de ale ón. 13 pe sonas pa icipa on en es e es udio que enía como obje i o el análisis de 2 de los 4 ne ios del ale ón y, pa a ello, debían in oduci la he amien a que se encon aba en el ex emo del obo en dichos ne ios. An es de inicia el es udio de usua io, se ecibió el consen imien o de los pa icipan es a g aba da os de sus ejecuciones además de los cues iona ios pa a pos e io men e u iliza los de o ma anónima en el análisis de uso de la aplicación desa ollada. La a ea asignada pa a cada usua io es la desc i a en la sección 5.5. Du an e la ejecución de la a ea se ecogie on los siguien es da os: el iempo de ejecución o al de la a ea, el iempo de in e acción con la he amien a holog á ica, el iempo u ilizado en la in e acción po oz, el iempo en el que el usua io pe manece inac i o y el núme o de eces que el usua io ha mo ido la he amien a. T as el es udio, al igual que en el abajo de in es igación an e io , se pidió a los usua ios ellena el cues iona io SUS (Sys em Usabili y Scale) y e alua es ases más elacionadas con el sis ema de diálogo en una escala de ipo Like de 5 pun os: La in e p e ación de las acciones comandadas po oz es p ecisa. La in e acción con el sis ema a a és del diálogo po oz es e icien e. Conside o que in e ac ua con el sis ema a a és de la in e acción po oz es ú il. A a és del cues iona io SUS se puede ealiza una medición es anda izada de la usabilidad de la aplicación desa ollada y pe mi e ealiza una compa ación de usabilidad con di e en es sis emas. Es adecuado pa a e alua in e aces g á icas de dis in o ipo y da una isión gene al de cómo los usua ios pe ciben el sis ema en su 1h ps://you u.be/wpLqU5O21a4 5.6 Es udio de usua io 59 conjun o. Se decidió p escindi del NASA-TLX en es e caso ya que no había in ención de compa a dis in as in e aces. Pa a conclui el es udio y conoce mejo la opinión y las sensaciones de los pa i- cipan es du an e la ealización de la a ea, se les dio la opo unidad de esponde cuáles e an pa a ellos los pun os más y menos a o ables de la aplicación. Pa a educi la di e encia de des eza en e ejecuciones, p e io al comienzo del es udio, se pe mi ió a los pa icipan es p ac ica el mo imien o de holog amas con las ga as y acos umb a se a la isualización de los holog amas a a és de ellas. 5.7 Análisis y discusión de los esul ados El es udio de usua io ue lle ado a cabo con 13 pa icipan es con una edad media de 22.46 años (SD = 1.941). Pa a odos los pa icipan es, es a ue su p ime a expe iencia u ilizando un disposi i o de ealidad mix a. Los esul ados cuan i a i os ue on posi i os aunque dejaban en e e lo que pos e- io men e epo a ían los usua ios en la en e is a inal como ca encias o pun os de mejo a. El iempo medio empleado pa a ealiza la a ea al comple o ue de 337.4 segundos. De ellos, 46.7 segundos e an dedicados al mo imien o de la he amien a y 125.2 a la in e acción po oz. El iempo es an e (165.5 segundos) ue iempo que el usua io es u o inac i o, espe ando la espues a del sis ema o isualizando el mo imien o del obo . En cuan o al núme o de eces que los pa icipan es mo ie on la he amien a, en p omedio ue de 8.77 mo imien os, siendo 3 mo imien os el mínimo eque ido po la a ea. Pese a habe ob enido un alo lige amen e alejado del alo mínimo, es comp ensible que hayan eque ido más mo imien os pa a posiciona la he amien a. En e los dis in os mo i os posibles se encuen a la comodidad a la ho a de ealiza g andes o aciones del holog ama de la he amien a y depende á de la lexibilidad y capacidad de o ación de la muñeca de cada usua io. El análisis del cues iona io SUS epo ó una pun uación de 79.23. De acue do con la escala de Bango se puede conside a la aplicación como “acep able” y en no a co esponde a una ‘C’ que dis a 77 cen ésimas de la siguien e no a (‘B’). 60 Capí ulo 5 En o no de ealidad mix a pa a eleope a un obo ísico en una a ea de inspección de ale ones Las p egun as elacionadas con el sis ema de diálogo esul a on posi i as en odos los casos. La e icacia de la in e acción a a és del sis ema de diálogo ue señalada po el 72.2 % de los pa icipan es mien as que el 27.8 % es an e no la conside ó ni e icaz ni un obs áculo pa a la in e acción. Además, odos los pa icipan es conside a on que in e ac ua con el sis ema a a és del sis ema de diálogo e a ú il. 5.8 Conclusiones El e ce abajo de in es igación ha enido como obje i o e alua la iabilidad de p og ama un b azo obó ico pa a ealiza una a ea colabo a i a de inspección de un ale ón a a és del gemelo digi al del b azo obó ico eal. Además de ealiza cambios en la in e az de usua io de la aplicación, se ha in eg ado un sis ema de diálogo o ien ado a a eas y basado en la semán ica que pe mi e una comunicación a a és de oz el luga de los has a aho a u ilizados comandos de oz básicos habili ando una in e acción más na u al con el sis ema. Además de las dos p incipales en ajas de es as aplicaciones de ealidad mix a (que son: no necesi a conocimien os de p og amación de obo s y la eleope ación), el es udio de usua io mues a una ecepción posi i a po pa e de los usua ios as u iliza la aplicación. El uso de ases comple as en luga de comandos simples o palab as pe mi e a los usua ios p opo ciona de alles al sis ema cuando sea necesa io. Es a capacidad sumada a la manipulación di ec a de los holog amas usando las manos, pe mi e una in e acción comple a con el escena io i ual. Po o o lado, p opo ciona in o mación no solo po el canal isual sino ambién u ilizando el canal audi i o a o ece la comp ensión del es ado de la aplicación y la eleope ación al usua io. Las 13 pe sonas que lle a on a cabo el es udio no enían expe iencia con disposi i os de ealidad mix a. Sin emba go, es impo an e señala que el amaño de la mues a puede se limi ado pa a ex ae conclusiones gene alizables, po lo que se ía in e e- san e amplia el es udio más adelan e con un núme o mayo de pa icipan es. Las 13 pe sonas ue on capaces de comple a el es udio y coloca la he amien a anclada al obo eal en los dos ne ios a a és del uso de la aplicación. El éxi o de la a ea en odos los casos pe mi e alida que la ecnología u ilizada es compa ible con la aplicación p opues a. Se iden i ica on pun os de mejo a pendien es en la aplicación de ca a a u u as e siones. Es os son la in e acción con la he amien a u ilizada pa a acili a la acción de aga a y posiciona la he amien a en la escena. 5.8 Conclusiones 61 6 Conclusiones y abajo u u o Es a esis ha enido como obje i o p incipal es udia la posibilidad de p og ama un b azo obó ico a a és de su gemelo digi al haciendo uso de ecnologías de ealidad mix a que pe mi an simpli ica los equisi os cogni i os pa a ealiza es a a ea. La complejidad inc emen al de los desa ollos ealizados ha concluido con un p o o ipo que pe mi e a usua ios sin conocimien os ni expe iencia p e ia p og ama un b azo obó ico pa a inspecciona un ale ón, a a és de in e acciones mul imodales sencillas e in ui i as. La in es igación ealizada pe mi e esponde a i ma i amen e a la cues ión p incipal plan eada: Sí, es iable u iliza la ealidad mix a pa a p og ama un b azo obó ico haciendo uso de una in e az que o ezca mé odos de in e acción al e na i os al guiado manual de un obo ísico. Sin emba go, es a in es igación ha iden i icado ambién limi aciones en las écnicas de ealidad ex endida p opues as y es udiadas. En cuan o al ha dwa e, po un lado, el ango de ac uación de los disposi i os háp icos es limi ado pa a muchas aplicaciones en iempo eal, aunque su uso iene un impac o posi i o. Además, la cap u a de sonido median e los mic ó onos in eg ados en los cascos de ealidad mix a p esen a on una calidad de icien e en en o nos con uido, obligando a algunos usua ios a epe i sus comandos. No se puede ob ia que, en cie as ocasiones, el sis ema de econocimien o de oz a ex o in e p e a inco ec amen e las ó denes, ejecu ando acciones no deseadas. En cuan o a las o mas de in e acción empleadas, da al usua io la posibilidad de p e isualiza la ayec o ia del obo an es de ejecu a la median e una is a 3D le pe mi e coloca se en la pe spec i a deseada pa a ealiza un análisis adecuado. Es e en oque ep esen a una mejo a signi ica i a en la comp ensión del mo imien o en compa ación con las in e aces de pan alla adicionales, donde es necesa io in e - p e a el mo imien o del b azo obó ico a a és de p oyecciones bidimensionales. La manipulación del en o no i ual median e ges os ambién ha enido una buena acogida en los es udios ealizados. Se ha comp obado que la de inición de poses obje i o a a és de la manipulación de holog amas esul a ac ible e in ui i a. Sin emba go, la p ecisión alcanzada po el usua io al posiciona el holog ama sob e un obje i o es limi ada. Es po ello, que la e iciencia de la aplicación es a á condicionada po los equisi os de p ecisión y de iempo de la a ea a ealiza . 63 [40] M. B. Luebbe s, C. B ooks, M. J. Kim, D. Sza i y B. Hayes. ‘Augmen ed Reali y In e ace o Cons ained Lea ning om Demons a ion’. En: P oceedings o he 2nd In e na ional Wo kshop on Vi ual, Augmen ed, and Mixed Reali y o HRI (VAM-HRI). 2019 ( id. pág. 19). [41] Z. Makha ae a y Huseyin A. V. ‘Augmen ed Reali y o Robo ics: A Re iew’. En: Robo ics 9.2 (2020) ( id. pág. 16). [42] S. Mak is, P. Ka agiannis, S. Koukas y A. S. Ma haiakis. ‘Augmen ed eali y sys em o ope a o suppo in human– obo collabo a i e assembly’. En: CIRP Annals 65.1 (2016), págs. 61-64 ( id. pág. 16). [43] I. Malý, D. Sedlᡠcek y P. Lei ão. ‘Augmen ed eali y expe imen s wi h indus ial obo in indus y 4.0 en i onmen ’. En: 2016 IEEE 14 h In e na ional Con e ence on Indus ial In o ma ics (INDIN). 2016, págs. 176-181 ( id. pág. 19). [44] D. Massa, M. Callega i y C. C is alli. ‘Manual guidance o indus ial obo p og amming’. En: Indus ial Robo : An In e na ional Jou nal 42 (ago. de 2015), págs. 457 - 465 ( id. pág. 14). [45] A. Masu o sky, P. Chojecki, D. Runde e al. ‘Con olle -F ee Hand T acking o G ab- and-Place Tasks in Imme si e Vi ual Reali y: Design Elemen s and Thei Empi ical S udy’. En: Mul imodal Technologies and In e ac ion 4.4 (2020) ( id. pág. 20). [46] I. Mau ua, I. Fe nández, A. Tellaeche e al. ‘Na u al mul imodal communica ion o human– obo collabo a ion’. En: In e na ional Jou nal o Ad anced Robo ic Sys- ems 14.4 (2017), pág. 1729881417716043. ep in : h ps://doi.o g/10.1177/ 1729881417716043 ( id. pág. 20). [47] G. Michalos, S. Mak is, P. Tsa ouchi e al. ‘Design conside a ions o sa e human- obo collabo a i e wo kplaces’. En: P ocedia CI P 37 (2015), págs. 248-253 ( id. pág. 13). [48] P. Milg am y F. Kishino. ‘A Taxonomy o Mixed Reali y Visual Displays’. En: IEICE T ans. In o ma ion Sys ems ol. E77-D, no. 12 (dic. de 1994), págs. 1321 - 1329 ( id. págs. 5, 15). [49] D. Mou zis, J. Angelopoulos y N. Panopoulos. ‘Closed-Loop Robo ic A m Manipula ion Based on Mixed Reali y’. En: Applied Sciences 12.6 (2022) ( id. pág. 19). [50] D. Ni, A. YC. Nee, S. Ong e al. ‘Poin cloud augmen ed i ual eali y en i onmen wi h hap ic cons ain s o eleope a ion’. En: T ansac ions o he Ins i u e o Measu emen and Con ol 40.15 (2018), págs. 4091-4104 ( id. pág. 18). [51] D. Ni, A. W. W. Yew, S. K. Ong y A. Nee. ‘Hap ic and isual augmen ed eali y in e ace o p og amming welding obo s’. En: Ad ances in Manu ac u ing 5 (ago. de 2017) ( id. págs. 18, 20). [52] J. No be o Pi es. ‘Robo -by- oice: expe imen s on commanding an indus ial obo using he human oice’. En: Indus ial Robo : An In e na ional Jou nal 32.6 (ene. de 2005). Ed. po Guido Bugmann, págs. 505-511 ( id. pág. 20). [53] F. Obe mai , J. Al hale , U. Seile e al. ‘Main enance wi h Augmen ed Reali y Remo e Suppo in Compa ison o Pape -Based Ins uc ions: Expe imen and Analysis’. En: 2020 IEEE 7 h In e na ional Con e ence on Indus ial Enginee ing and Applica ions (ICIEA). 2020, págs. 942-947 ( id. pág. 64). 70 Bibliog a ía [54] S.K. Ong, A.W.W. Yew, N.K. Thanigai el y A.Y.C. Nee. ‘Augmen ed eali y-assis ed obo p og amming sys em o indus ial applica ions’. En: Robo ics and Compu e -In eg a ed Manu ac u ing 61 (2020), pág. 101820 ( id. pág. 18). [55] SK. Ong, AYC. Nee, AWW. Yew y NK. Thanigai el. ‘AR-assis ed obo welding p og am- ming’. En: Ad ances in Manu ac u ing 8.1 (2020), págs. 40-48 ( id. pág. 18). [56] M. Os anin y A. Klimchik. ‘In e ac i e Robo P og aming Using Mixed Reali y’. En: IFAC-Pape sOnLine 51 (ene. de 2018), págs. 50-55 ( id. pág. 20). [57] J. Pe e y E. Vande Poo en. ‘Touching Vi ual Reali y: A Re iew o Hap ic Glo es’. En: ACTUATOR 2018; 16 h In e na ional Con e ence on New Ac ua o s. 2018, págs. 1 - 5 ( id. pág. 15). [58] T. Pe e sen, J. P e lo e, C. Skou up, T. Engedal y T. Loks ad. ‘Augmen ed eali y o p og amming indus ial obo s’. En: The Second IEEE and ACM In e na ional Symposium on Mixed and Augmen ed Reali y, 2003. P oceedings. 2003, págs. 319 - 320 ( id. pág. 18). [59] D. Puljiz y B. Hein. Concep s o End- o-end Augmen ed Reali y based Human-Robo In e ac ion Sys ems. 2019. a Xi : 1910.04494 [cs.RO] ( id. pág. 16). [60] D. Puljiz, E. S öh , K. S. Ries e e , B. Hein y T. K öge . ‘Senso less Hand Guidance using Mic oso Hololens’. En: 2019 14 h ACM/IEEE In e na ional Con e ence on Human-Robo In e ac ion (HRI). IEEE. 2019, págs. 632-633 ( id. pág. 19). [61] D. Puljiz, B. Zhou, K. Ma y B. Hein. HAIR: Head-moun ed AR In en ion Recogni ion. 2021. a Xi : 2102.11162 [cs.RO] ( id. pág. 19). [62] C. P. Quin e o, S. Li, M. KXJ. Pan e al. ‘Robo P og amming Th ough Augmen ed T ajec o ies in Augmen ed Reali y’. En: 2018 IEEE/RSJ In e na ional Con e ence on In elligen Robo s and Sys ems (IROS). 2018, págs. 1838-1844 ( id. pág. 18). [63] E. Rosen, D. Whi ney, E. Phillips e al. ‘Communica ing and con olling obo a m mo ion in en h ough mixed- eali y head-moun ed displays’. En: The In e na ional Jou nal o Robo ics Resea ch 38.12-13 (2019), págs. 1513-1526 ( id. pág. 20). [64] E. Rosen, D. Whi ney, E. Phillips e al. ‘Communica ing obo a m mo ion in en h ough mixed eali y head-moun ed displays’. En: Robo ics Resea ch. Sp inge , 2020, págs. 301-316 ( id. pág. 19). [65] P. Rücke , F. Meine s y K. T ach . ‘Augmen ed Reali y o eaching collabo a i e obo s based on a physical simula ion’. En: Tagungsband des 3. Kong esses Mon age Handhabung Indus ie obo e . Ed. po Tho s en Schüpps uhl, Ki s en T ach y Jö g F anke. Be lin, Heidelbe g: Sp inge Be lin Heidelbe g, 2018, págs. 41-48 ( id. pág. 20). [66] A. San Ma in y J. Kildal. ‘Audio-Visual Mixed Reali y Rep esen a ion o Haza d Zones o Sa e Pedes ian Na iga ion o a Space’. En: In e ac ing wi h Compu e s 33.3 (oc . de 2021), págs. 311 - 329. ep in : h ps://academic.oup.com/iwc/a icle-pd /33/3/ 311/41062380/iwab028.pd ( id. pág. 19). [67] N. Seymou , A. Gallaghe , R. Sanziana e al. ‘Vi ual Reali y T aining Imp o es Ope a ing Room Pe o mance’. En: Ann Su g 236 (oc . de 2002), págs. 458-463 ( id. pág. 15). [68] R. Sodhi, I. Poupy e , M. Glisson y A. Is a . ‘AIREAL: in e ac i e ac ile expe iences in ee ai ’. En: ACM T ansac ions on G aphics (TOG) 32.4 (2013), pág. 134 ( id. pág. 20). [69] S uden . ‘The p obable e o o a mean’. En: Biome ika (1908), págs. 1 - 25 ( id. pág. 31). Bibliog a ía 71 [70] Y. Su, X. Chen, T. Zhou, C. P e y y G. Chase. ‘Mixed eali y-in eg a ed 3D/2D ision mapping o in ui i e eleope a ion o mobile manipula o ’. En: Robo ics and Compu e - In eg a ed Manu ac u ing 77 (2022), pág. 102332 ( id. pág. 18). [71] I. E. Su he land. ‘A head-moun ed h ee dimensional display’. En: Seminal G aphics: Pionee ing E o s Tha Shaped he Field, Volume 1. New Yo k, NY, USA: Associa ion o Compu ing Machine y, 1998, págs. 295-302 ( id. pág. 15). [72] M. Walke , H. Hedaya i, J. Lee y D. Sza i . ‘Communica ing Robo Mo ion In en wi h Augmen ed Reali y’. En: P oceedings o he 2018 ACM/IEEE In e na ional Con e ence on Human-Robo In e ac ion. HRI ’18. Chicago, IL, USA: Associa ion o Compu ing Machine y, 2018, págs. 316-324 ( id. pág. 19). [73] K. Wang y T. Tang. ‘Robo p og amming by demons a ion wi h a monocula RGB ca- me a’. En: Indus ial Robo : he in e na ional jou nal o obo ics esea ch and applica ion 50.2 (ene. de 2023), págs. 234-245 ( id. pág. 18). [74] F. Wilcoxon. ‘Indi idual compa isons by anking me hods’. En: B eak h oughs in s a is ics. Sp inge , 1992, págs. 196-202 ( id. pág. 31). [75] C. Xue, Y. Qiao y N. Mu ay. ‘Enabling Human-Robo -In e ac ion o Remo e Robo ic Ope a ion ia Augmen ed Reali y’. En: 2020 IEEE 21s In e na ional Symposium on “A Wo ld o Wi eless, Mobile and Mul imedia Ne wo ks” (WoWMoM). 2020, págs. 194-196 ( id. pág. 17). [76] L. Yang, S. Xiao, T. Wang, Y. Shi y K. D iggs-Campbell. ‘Robo ics ia Expe ien ial Ac i e Lea ning Wi h Imme si e Technology: A Pedagogical F amewo k Designed o Enginee ing Cu icula’. En: IEEE Access 12 (2024), págs. 65706-65715 ( id. pág. 19). 72 Bibliog a ía Pa e III A ículos publicados 7 Mul imodal Mixed Reali y Impac on a Hand Guiding Task wi h a Holog aphic Cobo Au ho s Andoni Ri e a Pin o, Johan Kildal y Elena Lazkano Publishe Mul idisciplina y Digi al Publishing Ins i u e (MDPI) Jou nal Mul imodal Technologies and In e ac ion Yea 2020 Qua ile Q3 DOI h ps://doi.o g/10.3390/m i4040078 75 Mul imodal Technologies and In e ac ion A icle Mul imodal Mixed Reali y Impac on a Hand Guiding Task wi h a Holog aphic Cobo Andoni Ri e a Pin o 1,2,* , Johan Kildal 1and Elena Lazkano 2 1TEKNIKER, Basque Resea ch & Technology Alliance (BRTA), C/ Iñaki Goenaga 5, 20600 Eiba , Spain; johan.kildal@ eknike .es 2Compu e Sciences and A i icial In elligence Depa men , Uni e si y o he Basque Coun y/Euskal He iko Unibe si a ea (EHU/UPV), 48940 Leioa, Spain; [email p o ec ed] *Co espondence: andoni. i e a@ eknike .es Recei ed: 17 Sep embe 2020; Accep ed: 28 Oc obe 2020; Published: 31 Oc obe 2020   Abs ac : In he con ex o indus ial p oduc ion, a wo ke ha wan s o p og am a obo using he hand-guidance echnique needs ha he obo is a ailable o be p og ammed and no in ope a ion. This means ha p oduc ion wi h ha obo is s opped du ing ha ime. A way a ound his cons ain is o pe o m he same manual guidance s eps on a holog aphic ep esen a ion o he digi al win o he obo , using augmen ed eali y echnologies. Howe e , his p esen s he limi a ion o a lack o angibili y o he isual holog ams ha he use ies o g ab. We p esen an in e ace in which some o he angibili y is p o ided h ough ul asound-based mid-ai hap ics ac ua ion. We epo a use s udy ha e alua es he impac ha he p esence o such hap ic eedback may ha e on a pick-and-place ask o he w is o a holog aphic obo a m which we ound o be bene icial. Keywo ds: human– obo in e ac ion; cobo ; augmen ed eali y; mid-ai hap ics; holog am; mul imodal 1. In oduc ion Indus y 4.0 [ 1 ] is he e m used o an ongoing ou h indus ial e olu ion, acco ding o which ac o ies o he u u e will comp ise machine y, wa ehousing and p oduc ion acili ies in he shape o cybe -physical sys ems. Collabo a i e obo s, also known as ‘cobo s’, a e one such ype o echnological asse s ha in e ac and coope a e wi h wo ke s wi hin he same sha ed wo kspace. In o de o ag a obo as collabo a i e, i needs o mee some key equi emen s [ 2 ]. The i s equi emen is us , which is essen ial o collabo a ion and ensu es he sa e y o he human wo ke du ing he ask. A obo wi h his ea u e also needs o ma ch o imp o e he e iciency o he ask pe o mance (e.g., he ime spen doing he wo k). Rela ed o us , i is also necessa y o he use o eel a sense o con ol. In case o eeling uncom o able, he human wo ke mus be able o in ui i ely s op he obo . Finally, he obo has o be p edic able in o de o a oid unexpec ed mo emen s ha could endange he human wo ke . The abili y o cobo s o be p og ammed easily by echnically naï e wo ke s is an impo an equi emen o hei easy adop ion by manu ac u ing indus ies [ 3 ]. ‘Manual guidance’ ( he echnique o p og am a obo by eely mo ing i by hand wi hin he wo kspace [ 4 ]) is a e y use ul and widely used echnique o p og am obo s in an easy and echnically non-demanding way. This is also known as p og amming by demons a ion (PbD) [ 5 ]. Mo ing a obo ic a m by hand is in ui i e o wo ke s, who a e able o ans e hei job expe ise o he obo wi hou he need o echnical knowledge o obo kinema ics o p og amming languages. Making use o hand guidance o p og amming imposes, howe e , he equi emen is ha he obo has o be a ailable (and no engaged in any o he au oma ion- ela ed ask) o a wo ke o ha e Mul imodal Technol. In e ac . 2020,4, 78; doi:10.3390/m i4040078 www.mdpi.com/jou nal/m i Mul imodal Technol. In e ac . 2020,4, 78 2 o 21 exclusi e access o he obo while p og amming i o a new ask. This non-p oduc i e ime o obo e- aining has an e iden nega i e impac on p oduc i i y. As a way a ound his limi a ion, we p opose pe o ming manual guidance on he holog aphic ep esen a ion o he digi al win [ 6 ] o he cobo ha needs o be p og ammed, by using cu en o - he-shel mixed- eali y (MR) equipmen . C ea ing a holog am o he obo ha is only isual, howe e , has he limi a ion ha is lacking he angibili y o g abbing and mo ing a physical obo . In o de o eplica e he expe ience o physical hand-guidance mo e closely, in his pape we p opose ha some aspec o he angibili y o he obo migh be ep oduced by p o iding ac ile eedback o he hand ha holds he obo . To do so in a seamless way (i.e., wi hou a aching any equipmen o he wo ke s hand), we explo e he possibili ies o e ed by a mid-ai hap ics echnology ha makes use o ul asound-based ac ua ion. The goal is ha he spa ial and empo al combina ion o isual and ac ile augmen a ions may con ey a mo e ealis ic ep esen a ion o he obo , suppo ing manipula ion ac ions ha esemble in e ac ing wi h he physical obo . Rele an p io wo k aiming owa ds manipula ing a holog am does exis in he li e a u e, as i is e iewed in he nex sec ion. Such examples om he s a e o he a made use o di e en kinds o augmen ed eali y and i ual eali y de ices in o de o p og am a obo ic a m mo emen . One o he ou comes om such wo k was he lack o na u alness o he manipula ion, which u he suppo s ou app oach o c ea ing a isuo- ac ile mul imodal in e ace. In p elimina y ea lie wo k [ 7 ], we p o o yped his concep by c ea ing an applica ion wi h which he use could pe o m a pick-and-place ask o he w is o a holog aphic obo . This ask ep esen s a pa o he hand guidance p og amming p ocess. We also epo ed an ini ial pilo e alua ion wi h a small g oup o use s, wi h he aim o ob ain ea ly indica ion o he impac ha using hap ic eedback in pe o ming he ask migh ha e on ask execu ion and use expe ience. Fi e inexpe ienced use s collabo a ed in he p elimina y s udy wo k whe e we ob ained a i s imp ession ela ed o he use expe ience and dis ance e o and o al ime spen in he ask alues. While esul s sugges ed ha he in e ac ion migh be p omising, ha pilo s udy was non-conclusi e, gi en he small use g oup and he limi ed amoun o da a collec ed. In his pape , we epo a ull s udy wi h 16 naï e use s pe o ming he same ask and p ocedu e, bu collec ing a la ge se o esul s wi h he employmen o addi ional esea ch me hodologies. Wi h he goal o ob ain mo e solid insigh in o pe o mance and use expe ience aspec s, we employed a b oade ange o bo h quan i a i e and quali a i e me hods and me ics. We moni o ed and analysed addi ional quan i a i e me ics, and we collec ed subjec i e expe ience da a wi h he use o addi ional use esea ch me hods: ex ended e sions o he alida ed SEQ ques ionnai e and he NASA-TLX index. The same ou -ques ion ad hoc ques ionnai e as in he p e ious pape was also s ill used o compa ison (all ques ionnai es used in he s udies a e included in Appendix A) and we moni o ed some da a ela ed o he use pe o mance o compa e pe o mance wi h isual only eedback and he mul imodal expe ience. Wi h he p esen s udy, we wan ed o shed ligh on wo aspec s o he in e ac ion p oposed. Fi s , we wan ed o know how easible i was o a use o pe o m hand guidance o a i ual obo using o - he-shel mixed eali y de ices. The de ices ha we ocused on we e (i) a Hololens HMD de ice o c ea e isual holog ams and (ii) an Ul ahap ics S a os Explo e de ice o c ea e he ac ile eedback on he use ’s hand. In addi ion, and mo e speci ically, we wan ed o lea n abou he ole ha adding ul asound-based ac ile s imula ion migh play in he use ’s pe o mance and in he UX ob ained. Thus, we o mula ed he ollowing wo esea ch ques ions: • Is i possible o p og am a obo ic a m h ough hand guidance using cu en mixed eali y de ices? • Wha is he impac o he Ul ahap ics S a os de ice in manual guidance h ough he applica ion? To adap he expe imen al ask o naï e use s (wi h no p io expe ience collabo a ing wi h obo s), we simpli ied a p og amming-by-demons a ion ask o a ask o pick-and-place o he w is o he obo . Mul imodal Technol. In e ac . 2020,4, 78 3 o 21 In his way, he use could g ab he holog aphic obo end e ec o , displacing i in o a new posi ion. The simpli ica ion o he ask comes om no aking in o accoun he kinema ics cons ain s o he physical obo , which is an impo an pa in a PbD solu ion because i de ines he o a ion and mo emen limi s o he obo . Howe e , we pu he esea ch ocus on he impac ha he angibili y o he holog am has du ing he execu ion o he ask. The es o he pape is s uc u ed as ollows. Sec ion 2 e iews he p io wo k. Sec ion 3desc ibes he design o he expe imen al use s udy epo ed in his pape . In he Sec ion 4, we desc ibe he expe imen al use s udy p ocedu e and he esul s a e epo ed in Sec ion 5. These esul s a e analysed in Sec ion 6. Finally, in Sec ion 7, we p esen he conclusions and u u e wo k. 2. S a e o he A As we know i oday, augmen ed eali y almos exclusi ely add esses he isual channel, wi h some examples o audi o y augmen a ion as well. Howe e , as a back as 1962, he concep o mul iple senso y modali ies was p oposed by Mo on Heilig’s Senso ama [ 8 ]. This de ice is one o he i s machines ela ed o he mul imodal i ual eali y (VR), wi h s e eoscopic 3D iew, s e eo sound, wind and smell e ec s and mobile sea . In 2002, isual i ual eali y was in oduced in medicine [ 9 ] in o de o ain and, hus, imp o e su geon’s skills. Du ing he ollowing yea s, a numbe o s udies con inued o ocus on his a ea [ 10 – 12 ]. Head-moun ed display (HMD) echnology has ad anced in hese ecen yea s, allowing he ep esen a ion o complex 3D scenes ende ed in eal ime and wi h a good image quali y and ame a io pe second. Oculus Ri [ 13 ], PlayS a ion VR o HTC Vi e a e examples o HMDs which allow a ealis ic imme si e simula ion o a i ual wo ld. Rega ding augmen ed eali y HMDs, Google p esen ed in 2012 he ad anced p o o ype “Google Glasses” in 2012, a de ice which had he aim o coexis ing in he socie y. In 2015 Google decided no o sell hei de ice comme cially o he public and, in 2017, hey p esen ed a new elease aimed o business and indus ial en i onmen . Human– obo in e ac ion (HRI) has made p o ilic use o augmen ed eali y, as seen in ecen e iew publica ions, such as in [ 14 ], which iden i ies a oadmap o he ield. In he same way, in [ 15 ], a e iew o ad anced obo p og amming app oaches is p esen ed whe e he au ho s explain he cu en augmen ed eali y-based p og amming app oaches. Augmen ed eali y and i ual eali y i pe ec ly in he manu ac u ing indus y as suppo o ope a o s. A good example is ound in Mak is e al. [ 16 ] o he p og amming o welding obo s, o in [ 17 ] o indus ial obo s suppo ed by i ual eali y. Using di e en me hodologies, algo i hms and ools like in [ 18 ], i is possible o imp o e aining, p og amming, main enance and p ocess moni o ing. De ining iducial ma ke s in he 3D wo ld [ 19 ] ha a e di ec ly linked o he eal obo close spo s wo king wi h augmen ed eali y o de ining he pa h ha he obo has o ollow [ 20 ] could also simpli y he di icul y o he ask. Rela ed o he sa e y equi emen s o human– obo collabo a ion in indus ial se ings, in [ 21 ], au ho s p esen a dep h-senso based model o wo kspace moni o ing and an in e ac i e AR use in e ace o sa e human– obo collabo a ion. Th ough hese kinds o augmen ed eali y de ices, he i ual ep esen a ion o a obo makes he sa e y ac o easy o comply wi h. Mo eo e , due o he possibili y o o e lapping addi ional in o ma ion o e he eal wo ld, i is possible o imp o e ime o comple e he ask using ma ks and labels [ 22 ]. In 2017 [ 23 ], Ni e al. de eloped an augmen ed eali y sys em ha mixes hap ic and isual expe iences o he p og amming o welding obo s using a hap ic PHANToM de ice. In his case, au ho s used a sc een o isual augmen ed eali y. Puljiz e al. [ 24 ] p esen ed a wo k on p og amming a collabo a i e obo using Mic oso Hololens mixed eali y HMD wi h a KUKA KR-5 collabo a i e obo and ROS as an ope a ing sys em. Luebbe s e al. [ 25 ] p esen ed a no el augmen ed eali y in e ace o he isualiza ion and di ec ed Mul imodal Technol. In e ac . 2020,4, 78 4 o 21 con ol o obo skill lea ning om demons a ion (L D). Rosen e al. [ 26 ] p oposed a mixed- eali y HMD isualisa ion o he in ended obo mo ion, allowing use s also o adjus he goal pose o he end e ec o h ough hand ges u es. In addic ion, [ 27 – 29 ] a e examples o sys ems in which sys ems ha use mixed eali y HMD we e used o he in e ac i e p og amming o indus ial obo s. A limi a ion common o all he p io wo k is he lack o hap ic eedback ha can inc ease he ealism o he pick-and-place ask. An excep ion is [ 23 ], whe e he au o s did use a PHANToM hap ic de ice, bu he isual expe ience was limi ed o a sc een. I he applica ion does no con ain p ede ined a ge poin s o pe o m he ask, a naï e use would ha e di icul ies o mo e he obo and ha e spa ial pe cep ion. Mo eo e , we decided o use a mid-ai hap ic de ice as an al e na i e. Wi h he cu en ly a ailable mixed eali y (MR) head-moun ed displays, he capabili y o ep esen ing a holog am o a obo and i s wo kspace allows c ea ing a be e con ex o pe o m a ask [ 30 ]. Wi h hand acking echnologies, he wo ke could pe o m he pick-and-place ask in a simila way as wi h a physical obo . In he examples om he li e a u e men ioned abo e, he mo emen is done in he ai wi hou g abbing any physical objec , and consequen ly wi h a lack o angibili y, which could be add essed by using a hap ic de ice, making he execu ion o he ask po en ially mo e in ui i e and na u al [ 31 ]. In he wo k p esen ed he e, he hap ic de ice selec ed is an Ul ahap ics S a os de ice, which is able o p esen ac ile sensa ion on he skin in mid-ai , wi hou he in usion o a physical in e ace. The main goal o he p esen s udy was o combine he use o a hap ic de ice wi h a MR i ual en i onmen o measu e he easibili y and he imp o emen in oduced by he Ul ahap ics S a os de ice. 3. Design o he Expe imen al Use S udy The goal was o in es iga e he esea ch ques ions men ioned abo e, ega ding he p og amming o he obo s h ough manual guidance o he holog aphic ep esen a ion o i s digi al win, in he sub- ask o pe o ming a pick-and-place ope a ion in he con ex o a i ual scene and obo . Fo his implemen a ion, we used a Mic oso Hololens mixed eali y de ice o p o ide isual augmen ed eali y. This de ice consis s o 2 anspa en lenses in 16:9 aspec a io, senso s including an ine ial measu emen uni , dep h came a, en i onmen unde s anding came as and mic ophones among o he s, and inpu /ou pu connec ions (Blue oo h, Wi-Fi, e c.) which allow communica ion be ween his head-moun ed display wi h he hap ic de ice. As men ioned, ac ile eedback was gene a ed using an Ul ahap ics S a os Explo e ul asound ac ua o [ 32 ]. This op ion o mid-ai ende ing o ac ile sensa ions was deemed mo e app op ia e han al e na i es such as hap ic glo es, o an ‘AIREAL’ [ 33 ] ai o ex emi e de ice. The Ul ahap ics S a os de ice consis s o 256 ul asound ansduce s ha a e combined o c ea e angible sensa ions on speci ic poin s in space ha he hand occupied a each momen in ime. I p esen s he ad an age ha i does no equi e wea ing any physical de ice on he hand, al hough i has he limi a ion ha he in e ac ion space is small (up o less han 70 cm abo e he ac ua ing panel). This de ice in eg a es a Leap Mo ion hand acke ha pe mi s he localiza ion o he use ’s hand wi hin he in e ac ion space. Th ough he posi ion o he hand and he capaci y o c ea e local ai dis u bances, i is possible o c ea e a ange o sensa ions on he use ’s skin. When he use places his/he hand in he in e ac ion egion, a holog aphic hand is supe imposed wi h he eal hand, which co esponds o he econs uc ion o he use ’s hand as i is acked by he Leap Mo ion de ice. Using hese de ices and he Uni y c oss-pla o m game engine, we c ea ed a 3D en i onmen which simula ed a collabo a i e obo ha mo ed wi hin he in e ac ion space o he Ul ahap ics de ice. The se up o un he applica ion is shown in Figu e 1. A PC managed he c ea ion o he 3D en i onmen and, wi h a sc ip , i also collec ed all he da a du ing he ask execu ion. The Ul ahap ics S a os Explo e de ice was connec ed h ough a USB po o he same PC. The Mic oso Hololens Mul imodal Technol. In e ac . 2020,4, 78 11 o 21 Like wi h he p e ious pa ame e s, he dis ibu ions o he da a ob ained we e e y simila in bo h condi ions ((M V+H = 6.681, SD V+H = 7.553); (M V = 7.319, SD V = 8.577)), and no s a is ically signi ican di e ence was ob ained om a Wilcoxon es ( p = 0.698), sugges ing ha he p esence o ac ile eedback migh no in luence he numbe o imes he holog am d opped o om he use ’s hand. Summa ising all he abo e analysis, none o he obse ed quan i ied a iables showed signi ican di e ences be ween condi ions. The ollowing wo sub-sec ions p esen subjec i e da a cap u ed and quan i ied wi h wo s anda d ques ionnai e-based me hods, ex ended SEQ ques ionnai es and he 210 ex ended NASA-TLX es . 5.2. Quali a i e Resul s Now, we a e going o analyse he use s’ opinions ex ac ed om he ex ended SEQ es , he ex ended RAW NASA-TLX es and he cus omized ques ionnai e. 5.2.1. SEQ—Task Di icul y The Single Ease Ques ion is a es ha consis s o only one ques ion abou he di icul y o he ask ha he use has pe o med in he es . A e each ask execu ion, use s egis e on a 7-poin Like scale how easy hey ound i o execu e ha ask ( h ee imes o each es condi ion) whe e a low alue means high di icul y and high alue means a lowe di icul y. Figu e 8shows he dis ibu ion o he answe s p o ided. The Wilcoxon es ( p = 0.147) ound no pe cei ed di e ence in di icul y ha was s a is ically signi ican . The dis ibu ion o he ob ained da a shows he simila i y ((M V+H = 6.291, SDV+H = 1.031); (MV= 6.104, SDV= 0.973)). xx 2 4 6 V + H SEQ Di icul y answe s dis ibu ion V Figu e 8. Dis ibu ion o use s’ answe s abou he ask di icul y a e each execu ion, whe e a high alue ep esen s a di icul ask and low alue an easy ask. 5.2.2. SEQ—Sa is ac ion wi h he Resul We ex ended he SEQ ques ionnai e wi h a second ques ion ha pa icipan s esponded o in he same way (same Like scale) and immedia ely a e he i s one. In his scale, pa icipan s a ed how sa is ied hey we e wi h he esul hey had ob ained in ha ask execu ion, meaning he highe he alue, he be e he pe o mance. Resul s a e plo ed in Figu e 9. In his case, he da a dis ibu ion Mul imodal Technol. In e ac . 2020,4, 78 12 o 21 ob ained is [(M V+H = 6.354, SD V+H = 6.0); (M V = 0.887, SD V = 1.167)], and he Wilcoxon es e u ned a alue (p= 0.033), co esponding o a s a is ically signi ican di e ence be ween se ies. 2 4 6 V SEQ Sa is ac ion wi h he esul x x V + H Figu e 9. Dis ibu ion o pa icipan s’ answe s abou he sa is ac ion wi h he ob ained esul . 5.2.3. NASA-TLX The index ob ained om he “Raw NASA-TLX (Task Load Index)” ques ionnai e is a measu e o he wo k load expe ienced by pa icipan s when execu ing he expe imen al ask. The ques ionnai e consis s o six dimensions, all o which a e a ed on a 21-poin (0 o 20) Like -like scale: men al demand, physical demand, empo al demand, pe o mance le el achie ed, e o expended and us a ion expe ienced. Keeping he same o ma , we added wo dimensions o he ques ionnai e: sense o con ol and pe cei ed physicali y. The sense o con ol dimension has been used as pa o an ex ended TLX ques ionnai e (in e.g., [ 40 ]), and is highly ele an in he ask chosen in his s udy. We added also he pe cei ed physicali y [ 41 ] dimension o assess he subjec i e deg ee o ealism ha ac ile eedback migh be adding o he manipula ion o he holog am. To calcula e he index, we used he aw e sion o NASA-TLX [39], which does no make use o weigh ed pai wise compa isons. Figu e 10 shows he dis ibu ion o he Raw NASA-TLX alues ob ained om he 16 use s, sugges ing a lowe TLX wi h ac ile eedback ((M V+H = 5.646, SD V+H = 3.999); (M V = 6.271, SDV= 4.484) ). Howe e , a e pe o ming he - es , we ob ained a p - alue g ea e han 0.05 (0.096), which means ha no signi ican di e ence be ween he mean o bo h condi ions was ound om ou da a. S ill, we wen on o examine each dimension o TLX indi idually, o see which dimension(s) he di e ence in mean TLX alue o igina ed om. Figu e 11 plo s he da a dis ibu ion o he six cons i uen dimensions o TLX. As a esul , we ound a highly signi ican s a is ical di e ence in he empo al demand ( p - alue < 0.01). Pa icipan s epo ed a lowe empo al demand wi h ac ile eedback om he Ul ahap ics S a os explo e de ice. In addi ion, ega ding he pe cep ion o con ol while ca ying ou he ask, da a om he expe imen e ealed ((M V+H = 14.625, SD V+H = 4.470); (M V = 12.25, SD V = 4.524)) a di e ence ha was also s a is ically signi ican in hei mean di e ence ( p - alue = 0.04), wi h pe cep ion o con ol being supe io when he use pe o med he ask wi h ac ile eedback om he Ul ahap ics S a os Explo e de ice (Figu e 12). Mul imodal Technol. In e ac . 2020,4, 78 13 o 21 0 5 10 15 20 V Task load indexes dis ibu ion XX V + H Figu e 10. Dis ibu ion o he ask load indexes o he ask pe o mance wi h and wi hou hap ic eedback espec i ely. 0 5 10 15 20 V + H V Men al demand 0 5 10 15 20 Physical demand 0 5 10 15 20 Tempo a y demand 0 5 10 15 20 E o expended 0 5 10 15 20 Pe o mance achie ed 0 5 10 15 20 F us a ion expe ienced V + H V V + H V V + H V V + H V V + H V xx xxx x x x xx x x ** Figu e 11. Dis ibu ions o esponses in bo h condi ions (wi h and wi hou ac ile eedback) in he six scales ha o m he NASA-TLX ques ionnai e. No ice ha , in all cases, he pola i y o he scales e lec a be e ou come he lowe he alues, including he pe o mance scale. 5 10 15 20 V + H x x Con ol sensa ion da a dis ibu ion V Figu e 12. Dis ibu ion o he answe s o he con ol sensa ion while pe o ming he ask. Mul imodal Technol. In e ac . 2020,4, 78 14 o 21 Simila ly, pe cei ed physicali y inc eased when he use s pe o med he ask wi h hap ic eedback as opposed o wi hou i . This di e ence ( p - alue = 4.751 × 10 4 ) can be seen in Figu e 13 ((MV+H = 15.437, SDV+H = 6.375); (MV= 3.521, SDV= 4.843)). 0 5 10 15 20 V Physicali y dis ibu ion da a x x V + H Figu e 13. Dis ibu ion o he answe s o he physicali y while pe o ming he ask. 5.2.4. Ad Hoc Ques ionnai e Finally, we adminis e ed he same ad hoc ques ionnai e as in he p elimina y s udy [ 7 ]. This ques ionnai e consis ed o ou s a emen s ha he use s had o answe o on a Like 7-poin scale, indica ing whe he hey ag eed wi h hem (3) o no (−3): •Q1—Wi h ac ile eedback, I ha e pe cei ed a ce ain ad an age o ca y ou he ask. •Q2—I ha en’ done comple e he ask as e when I el he ball. •Q3—I ha e achie ed be e accu acy wi h ac ile eedback. • Q4—The pe cep ion ha I was handling he obo was he same wi h and wi hou ac ile eedback. The dis ibu ion o he answe s is shown in Figu e 14. −3 −2 −1 0 1 2 3 Q1 Q2 Q3 Q4 Subjec i e pe cep ion o condi ion compa ison Figu e 14. Resul s o he subjec i e opinion om he pa icipan s abou he mul imodal obo manipula ion ask. Mul imodal Technol. In e ac . 2020,4, 78 15 o 21 Some consensus was shown o Q1 and Q4, wi h opinions ega ding Q3 and Q4 dis ibu ed a ound he neu al egion o he scale (wi h a a he e en spli o opinions). Thus, o Q1, 13 ou o he 16 use s pe cei ed qui e a clea ad an age in ca ying ou he ask wi h ac ile eedback. As o Q4, pa icipan s la gely suppo ed he opinion ha handling he holog am wi h o wi hou ac ile eedback el di e en . 6. Discussion o he Resul s Wi h he esul s ob ained, we can e alua e he impac o he p esence o ac ile eedback om an Ul ahap ics S a os de ice on he ask pe o mance and on he use expe ience. Rega ding he objec i e quan i a i e me ics measu ed om he pa icipan s’ ask execu ions (dis ance e o , ime spen on he ask, ne ime g abbing he ball, a io be ween bo h ime alues, numbe o imes he pa icipan los he ball), we obse ed ha he e ec o in oducing ac ile eedback was small and, in ac , we ound no s a is ically signi ican di e ences be ween condi ions. An immedia e conclusion ha can be d awn om his is ha he p esence o he ac ile eedback om an Ul ahap ics did no a ec pe o mance on he ask o he expe imen , ei he posi i ely o nega i ely. In con as , wi h he analysis o quan i ied subjec i e da a ob ained h ough he a ious ques ionnai es adminis e ed, some esul s eme ged ha showed posi i e e ec s om he p esence o ac ile eedback, wi h no nega i e e ec s de ec ed. S a ing wi h he ex ended SEQ ques ions (ease o ask execu ion and sa is ac ion wi h esul ob ained), mean alues o he dis ibu ions sugges ed posi i e e ec s om he p esence o eedback, al hough hose di e ences we e no ound o be s a is ically signi ican . A simila end was ound o he TLX index and o i s six cons i uen dimensions, whe e, in all cases, mean alues o esponse dis ibu ions we e nume ically lowe wi h ac ile eedback, sugges ing posi i e e ec s om i s p esence. S a is ical compa ison o dis ibu ions showed ha he di e ence was signi ican in he case o empo al demand, whe e i was epo ed o be lowe (wi h a high le el o s a is ical signi icance) when ac ile eedback was p esen . This same end showing a posi i e e ec was also p esen in he ca ego ies ha ex ended he NASA-TLX ques ionnai e (no included in he calcula ion o he TLX index): sense o con ol and pe cei ed physicali y. In bo h cases, no only we e dis ibu ion means highe in he condi ion wi h ac ile eedback, bu he di e ences we e s a is ically signi ican in bo h cases, wi h a pa icula ly high le el o signi icance in he case o he pe cei ed physicali y. Fu he con i ma ion o he posi i e impac om he p esence o ac ile eedback was ound in he da a collec ed om he ad hoc ques ionnai e ( he ou s a emen s ha pa icipan s could ag ee o disag ee wi h). Rega ding he wo ques ions ga he ing mos consensus in he esponses, Q4 showed ha a clea di e ence was pe cei ed when handing he holog am wi h o wi hou ac ile eedback and, acco ding o he b oad consensus a ound Q1, he p esence o ac ile eedback o e ed an ad an age o he execu ion o he expe imen al ask. We hypo hesize ha he posi i e impac o ha ing ac ile eedback ( e lec ed in he da a om se e al o he me ics) migh ha e been due o he e ec i eness o eedback as a mechanism o con i m o he pa icipan ha he/she was g asping he holog am, as long as he eedback was el . I such g asp go los and he holog am was le behind in he p ocess o d agging i , pa icipan s could no ice immedia ely he change in sensa ion on he palm o hei hand and eac quickly o e ch he holog am again and esume he ask. This could accoun o he signi ican di e ences ound in lowe ing empo al demand, imp o ing he sense o con ol, and p o iding an enhanced pe cep ion o physicali y o he holog am. This in e p e a ion o he esul s was ein o ced by discussions wi h he pa icipan s abou hei expe ience du ing he s udy, who p o ided commen s s a ing ha i was help ul o ecei e ac ile eedback, mos ly because hey could know be e i hey we e holding he obo a each momen o no . Based on he da a p esen ed abo e, ou in e p e a ion is ha he p esence o ac ile eedback was ul illing he expec a ion o pa icipan s o be eeling in hei hands he ( i ual) objec ha hey we e holding. Tac ile eedback inc eased he na u alness o ha expe ience, and he sensa ion el was eassu ingly amilia , pa ing he way o an in e ac ion ha did no need o be lea ned. Mul imodal Technol. In e ac . 2020,4, 78 16 o 21 7. Conclusions and Fu u e Wo k In esponse o he i s esea ch ques ion in he in oduc ion, his pape p esen s he implemen a ion o a unc ional demons a o based on a Hololens head moun ed display, wi h which a use can manipula e (mo e) a holog aphic obo , o he execu ion o a pick and place ask, achie ing posi ioning p ecision ha emains unde 3 mm. This unc ionali y is a building block o in e ac ions in mo e complex p og amming-by-demons a ion scena io. The second esea ch ques ion (impac o ac ile eedback om mid-ai hap ics ac ua o s on a pick and place ask) mo i a ed he main con ibu ion o his pape . The pape epo s a use s udy in which one such ask was pe o med by pa icipan s in wo condi ions, wi h and wi hou ac ile eedback. As discussed abo e, he esul s ob ained sugges ha eedback does no a ec obse ed pe o mance (no signi ican nume ical di e ences we e eco ded, al hough he end was o be e sco es ob ained wi h ac ile eedback). As o he quali a i e esul s, subjec i e sco es om pa icipan s on a se o ques ionnai e-based me hods employed suppo ed also he end ha ac ile eedback was no iceable and wi h an impac ha was posi i e. The s onges e idence o ha was ound on he educ ion o empo al demand, imp o ed sense o con ol, enhanced pe cei ed physicali y o he holog am, plus he consensus among pa icipan s ha he no iceable e ec in oduced by ac ile eedback ga e an ad an age in he success ul execu ion o a pick-and-place ask o a holog aphic obo a m. Building on he esul s ob ained in his pape , ou nex s eps a e ocused on implemen ing a p og amming-by-demons a ion me hod and scena io, based on he handing o a holog aphic obo a m. We will ep oduce a ealis ic con ex in which a eal obo can ep oduce he p ocedu e demons a ed o he holog am. Alongside his p ocess, we will in es iga e u he hap ic ac ua ion echniques and mul imodal in e ac ion ha can lead o imp o ed pe o mance and use expe ience, as well as indi idual he impac o each de ice used in he in e ac ion ask. Au ho Con ibu ions: Concep ualiza ion, A.R.P., J.K. and E.L.; me hodology, A.R.P. and J.K.; so wa e, A.R.P.; alida ion, A.R.P., J.K. and E.L.; o mal analysis, A.R.P. and J.K; in es iga ion, A.R.P. and J.K.; esou ces, J.K.; da a cu a ion, A.R.P.; w i ing—o iginal d a p epa a ion, A.R.P.; w i ing— e iew and edi ing, J.K. and E.L.; supe ision, J.K. and E.L; p ojec adminis a ion, J.K. and E.L. All au ho s ha e ead and ag eed o he published e sion o he manusc ip . Funding: This esea ch ecei ed no ex e nal unding. Acknowledgmen s: We would like o hank he people who pa icipa ed in his s udy o he ime hey dedica ed. Con lic s o In e es : The au ho s decla e no con lic o in e es . Appendix A. E alua ion Ques ionnai e All he da a ela ed o his pape can be ound in he ollowing link: h ps://d i e.google.com/ d i e/ olde s/12HaSSw9czindIjUhUp YFsSgGqphuo n?usp=sha ing. Mul imodal Technol. In e ac . 2020,4, 78 17 o 21 Figu e A1. Demog aphic ques ionnai e some da a abou he pa icipan . Figu e A2. Ex ended SEQ. The use had o ill ou one o hese pape s o each execu ion. Mul imodal Technol. In e ac . 2020,4, 78 18 o 21 Figu e A3. Ex ended RAW NASA TLX ques ionnai e. The use s had o comple e one ow a e he h ee execu ions wi h hap ic eedback. The same p ocedu e a e he h ee execu ions wi hou hap ic eedback. Mul imodal Technol. In e ac . 2020,4, 78 19 o 21 Figu e A4. Cus omized ques ionnai e. The use s had o comple e i a he end o he e alua ion. Re e ences 1. Henning, K. Recommenda ions o Implemen ing he S a egic Ini ia i e Indus ie 4.0; Fo schungsunion: Be lin, Ge many, 2013. 2. Michalos, G.; Mak is, S.; Tsa ouchi, P.; Guasch, T.; Kon o akis, D.; Ch yssolou is, G. Design conside a ions o sa e human- obo collabo a i e wo kplaces. P ocedia CIRP 2015,37, 248–253. [C ossRe ] 3. Kildal, J.; Tellaeche, A.; Fe nández, I.; Mau ua, I. Po en ial use s’ key conce ns and expec a ions o he adop ion o cobo s. P ocedia CIRP 2018,72, 21–26. [C ossRe ] 4. Massa, D.; Callega i, M.; C is alli, C. Manual guidance o indus ial obo p og amming. Ind. Robo In . J. 2015,42, 457–465, [C ossRe ] 5. Billa d, A.; Calinon, S.; Dillmann, R.; Schaal, S. Su ey: Robo p og amming by demons a ion. In Handbook o Robo ics; Sp inge : Be lin/Heidelbe g, Ge many, 2008; Volume 59. 6. El Saddik, A. Digi al Twins: The Con e gence o Mul imedia Technologies. IEEE Mul imed. 2018 ,25, 87–92. [C ossRe ] 7. Ri e a-Pin o, A.; Kildal, J. Visuo-Tac ile Mixed Reali y o O line Cobo P og amming. In HRI ’20: Companion o he 2020 ACM/IEEE In e na ional Con e ence on Human-Robo In e ac ion; Associa ion o Compu ing Machine y: New Yo k, NY, USA, 2020; pp. 403–405, [C ossRe ] 8. Heilig, M.L. Senso ama Simula o . U.S. Pa en 3,050,870, 28 Augus 1962. 9. Seymou , N.; Gallaghe , A.; Sanziana, R.; O’B ien, M.; Vipin, B.; Ande sen, D. Vi ual Reali y T aining Imp o es Ope a ing Room Pe o mance. Ann. Su g. 2002,236, 458–463. [C ossRe ] [PubMed] 10. Gallaghe , A.G.; Ri e , E.M.; Champion, H.; Higgins, G.; F ied, M.P.; Moses, G.; Smi h, C.D.; Sa a a, R.M. Vi ual eali y simula ion o he ope a ing oom: P o iciency-based aining as a pa adigm shi in su gical skills aining. Ann. Su g. 2005,241, 364. [C ossRe ] [PubMed] 11. G an cha o , T.P.; K is iansen, V.; Bendix, J.; Ba d am, L.; Rosenbe g, J.; Funch-Jensen, P. Randomized clinical ial o i ual eali y simula ion o lapa oscopic skills aining. B . J. Su g. 2004 ,91, 146–150. [C ossRe ] [PubMed] 12. Agga wal, R.; Wa d, J.; Balasunda am, I.; Sains, P.; A hanasiou, T.; Da zi, A. P o ing he e ec i eness o i ual eali y simula ion o aining in lapa oscopic su ge y. Ann. Su g. 2007 ,246, 771–779. [C ossRe ] [PubMed] 13. Luckey, P. Oculus Ri . 2012. A ailable online: h ps://en.wikipedia.o g/wiki/Oculus_Ri (accessed on 30 Oc obe 2020). 14. Makha ae a, Z.; Va ol, H.A. Augmen ed Reali y o Robo ics: A Re iew. Robo ics 2020,9, 21, [C ossRe ] 15. Zhou, Z.; Xiong, R.; Wang, Y.; Zhang, J. Ad anced Robo P og amming: A Re iew. Cu . Robo . Rep. 2020 , [C ossRe ] 16. Mak is, S.; Ka agiannis, P.; Koukas, S.; Ma haiakis, A.S. Augmen ed eali y sys em o ope a o suppo in human– obo collabo a i e assembly. CIRP Ann. 2016,65, 61–64, [C ossRe ] 17. Bu gha d , A.; Szybicki, D.; Gie lak, P.; Ku c, K.; Pie u´s, P.; Cygan, R. P og amming o Indus ial Robo s Using Vi ual Reali y and Digi al Twins. Appl. Sci. 2020,10, 486, [C ossRe ] Mul imodal Technol. In e ac . 2020,4, 78 20 o 21 18. Ande sson, N.; A gy ou, A.; Nägele, F.; Ubis, F.; Campos, U.E.; de Za a e, M.O.; Wil e dink, R. AR-Enhanced Human-Robo -In e ac ion—Me hodologies, Algo i hms, Tools. P ocedia CIRP 2016,44, 193–198, [C ossRe ] 19. Pe e sen, T.; P e lo e, J.; Skou up, C.; Engedal, T.; Loks ad, T. Augmen ed eali y o p og amming indus ial obo s. In P oceedings o he Second IEEE and ACM In e na ional Symposium on Mixed and Augmen ed Reali y, Tokyo, Japan, 10 Oc obe 2003; pp. 319–320. 20. Ong, S.; Yew, A.; Thanigai el, N.; Nee, A. Augmen ed eali y-assis ed obo p og amming sys em o indus ial applica ions. Robo . Compu . In eg . Manu . 2020,61, 101820, [C ossRe ] 21. Hie anen, A.; Pie e s, R.; Lanz, M.; La oka ano, J.; Kämä äinen, J.K. AR-based in e ac ion o human- obo collabo a i e manu ac u ing. Robo . Compu . In eg . Manu . 2020,63, 101891, [C ossRe ] 22. Akan, B.; Çü üklü, B. Augmen ed eali y mee s indus y: In e ac i e obo p og amming. In P oceedings o he SIGRAD 2010: Con en Agg ega ion and Visualiza ion, Väs e ås, Sweden, 25–26 No embe 2010; Linköping Uni e si y Elec onic P ess: Linköping, Sweden, 2010; pp. 55–58. 23. Ni, D.; Yew, A.W.W.;; Ong, S.K.; Nee, A. Hap ic and isual augmen ed eali y in e ace o p og amming welding obo s. Ad . Manu . 2017,5, [C ossRe ] 24. Puljiz, D.; S öh , E.; Ries e e , K.S.; Hein, B.; K öge , T. Senso less Hand Guidance using Mic oso Hololens. In P oceedings o he 2019 14 h ACM/IEEE In e na ional Con e ence on Human-Robo In e ac ion (HRI), Daegu, Ko ea, 11–14 Ma ch 2019; pp. 632–633. 25. Luebbe s, M.B.; B ooks, C.; Kim, M.J.; Sza i , D.; Hayes, B. Augmen ed Reali y In e ace o Cons ained Lea ning om Demons a ion. In P oceedings o he 2nd In e na ional Wo kshop on Vi ual, Augmen ed, and Mixed Reali y o HRI (VAM-HRI), Daegu, Ko ea, 11–14 Ma ch 2019. 26. Rosen, E.; Whi ney, D.; Phillips, E.; Chien, G.; Tompkin, J.; Konida is, G.; Tellex, S. Communica ing and con olling obo a m mo ion in en h ough mixed- eali y head-moun ed displays. In . J. Robo . Res. 2019,38, 1513–1526. [C ossRe ] 27. Os anin, M.; Klimchik, A. In e ac i e Robo P og aming Using Mixed Reali y. IFAC-Pape sOnLine 2018,51, 50–55, [C ossRe ] 28. Rücke , P.; Meine s, F.; T ach , K. Augmen ed Reali y o eaching collabo a i e obo s based on a physical simula ion. In Tagungsband des 3. Kong esses Mon age Handhabung Indus ie obo e ; Schüpps uhl, T., T ach , K., F anke, J., Eds.; Sp inge : Be lin/Heidelbe g, Ge many, 2018; pp. 41–48. 29. Rosen, E.; Whi ney, D.; Phillips, E.; Chien, G.; Tompkin, J.; Konida is, G.; Tellex, S. Communica ing obo a m mo ion in en h ough mixed eali y head-moun ed displays. In Robo ics Resea ch; Sp inge : Cham, Swi ze land, 2020; pp. 301–316. 30. B ooks, F.P. G asping Reali y Th ough Illusion&Mdash;In e ac i e G aphics Se ing Science. In CHI ’88: P oceedings o he SIGCHI Con e ence on Human Fac o s in Compu ing Sys ems; ACM: New Yo k, NY, USA, 1988; pp. 1–11, [C ossRe ] 31. Iki s, M.; B ede son, J.D. The Visual Hap ic Wo kbench. In Visualiza ion Handbook; Hansen, C.D., Johnson, C.R., Eds.; Bu e wo h-Heinemann: Bu ling on, MA, USA, 2005; pp. 431–447, [C ossRe ] 32. Ca e , T.; Seah, S.A.; Long, B.; D inkwa e , B.; Sub amanian, S. Ul aHap ics: Mul i-poin mid-ai hap ic eedback o ouch su aces. In P oceedings o he 26 h Annual ACM Symposium on Use In e ace So wa e and Technology, S And ews, UK, 8–11 Oc obe 2013; pp. 505–514. 33. Sodhi, R.; Poupy e , I.; Glisson, M.; Is a , A. AIREAL: In e ac i e ac ile expe iences in ee ai . ACM T ans. G aphics 2013,32, 134. [C ossRe ] 34. S uden . The p obable e o o a mean. Biome ika 1908,6, 1–25. [C ossRe ] 35. Wilcoxon, F. Indi idual compa isons by anking me hods. In B eak h oughs in S a is ics; Sp inge : Be lin/Heidelbe g, Ge many, 1992; pp. 196–202. 36. R Co e Team. R: A Language and En i onmen o S a is ical Compu ing; R Founda ion o S a is ical Compu ing; R Co e Team: Vienna, Aus ia, 2018. 37. Bye s, J.; Bi ne , A.; Hill, S. Ad ances in Indus ial E gonomics and Sa e y; Taylo & Amp: London, UK, 1989; pp. 481–485. 38. Measu ingU: 10 Things To Know Abou The Single Ease Ques ion (SEQ). A ailable online: h ps:// measu ingu.com/seq10/ (accessed on 19 Sep embe 2020). 39. Ha , S.G. NASA- ask load index (NASA-TLX); 20 yea s la e . In P oceedings o he Human Fac o s and E gonomics Socie y Annual Mee ing; Sage Publica ions: Los Angeles, CA, USA, 2006; Volume 50, pp. 904–908. equi emen s and mo e which we desc ibe below, he de i- ces used ha pe mi us o ca y ou his design, he so wa e and ha dwa e se up equi ed, and he desc ip ions o bo h p oposed p og amming me hods in his pape (by de ining he las pose and by de ining he ajec o y). 3.1. Design equi emen s To achie e ha , we iden i ied he ollowing equi emen s: Simpli y he equi ed knowledge ela ed o spa ial coo di- na es and abou how o use he obo ic a m model he use wo ks wi h. The holog aphic digi al win o he obo . An accu a e i ual model o he obo (holog aphic digi al win), in e ms o physical dimensions, kinema ics, and dynamics. The planning and he go e nmen o mo emen s o he i ual obo ha e o be done wi h he same ope a ing sys em and so wa e ha will be used by he physical obo . This gua an ees ha bo h he eaching expe ience o he use o he holog aphic obo and he p og am gene a ed du ing he eaching session a e di ec ly ans- e able om he i ual o physical HRC se up. As he obo ic a m could be su ounded by obs acles (e.g., ools o boxes) and o e a able, i is needed o de ine he es o he objec s which compose he scene o a oid collisions while planning i s mo emen . A isual AR de ice om he cu en s a e-o - he-a eco- sys em ende s he di e en holog ams which compose he i ual scene. Easy- o-lea n use in e ac ion me hods wi h he applica- ion by di ec holog am manipula ion using he hands and by oice commands o execu e di e en ac ions. A oid in o ma ion o e load om an excessi e numbe o holog aphic ep esen a ions, which migh in e e e wi h he pe cep ion o objec s in he eal scene. Make use o he audi o y eedback o ob ain he bene i s o mul imodal in o ma ion ep esen a ion. Fo example, audi o y con i ma ion o ac ions. A ep esen a i e holog am o he end e ec o ha con- eys he a o dance o in e ac ing wi h i using a na u al in e ac ion, using a ges u e ecogni ion module. In his way, he use will no spend a long ime lea ning how o in e ac wi h he sys em. Wi h all hese equi emen s, a e analyzing he cu en s a e-o - he-a abou AR de ices and a ailable so wa e, we decided o use HoloLens 2 HMD as i was he MR de ice ha bes sui ed ou equi emen s, such as being able o use na u al in e ac ion h ough oice and ges u es. In addi ion, Uni y was chosen as a de elopmen pla o m, and Mixed Reali y Toolki o accele a e he p og amming p ocess o MR applica ions. In o de o compu e all wha conce ns o he obo beha io , we decided o use ROS. Thanks o ‘Mo eI !’we will be able o compu e he in e se kinema ics o he obo ic a m aking in o accoun i s mo emen es ic ions and limi- a ions. To communica e he MR applica ion wi h ROS we use he adap ed e sion o ROS# Bischo & Vollenweide (2020) lib a y (base p ojec de eloped by Siemens Bischo (2019)) in Uni y side, h ough which i is possible o es ab- lish a connec ion, ead and w i e in opics, and also make use o se ices and ac ions. 3.2. Sys em con igu a ion and communica ion In his sec ion we desc ibe he se up used o allow he com- munica ion be ween he HoloLens applica ion wi h ROS which is he esponsible o compu ing he obo ic a m mo emen s. As i is desc ibed in Figu e 1, he low o he applica ion s a s wi h he wo ke de ining one a ge pose h ough HoloLens 2 applica ion. The pose is de ined using a holo- g am ha ep esen s he 6D pose o he obo ic a ms end e ec o . Thanks o he communica ion c ea ed be ween ROS and he HoloLens applica ion wi h ROS#, he a ge pose (geome y_msgs/Pose) is sen o a ROS se ice ha is esponsible o planning wi h ‘Mo eI !’, whe he i exis s o no , a alid ajec o y o ha eques . In he same call, he ac ion o be pe o med (s d_msgs/S ing) is sen : “add” o s ack he di e en poin s o a ajec o y o be planned, “plan” o plan he ajec o y, “execu e” o execu e he p e i- ously planned ajec o y and “ ese ” o emo e he possible s o ed poin s o planned ajec o ies. I so, he applica ion will ecei e a posi i e answe ha will allow he use o exe- cu e he planned pa h. O he wise, he answe will no pe mi he execu ion o a plan as i is no success ully compu ed. On he o he hand, on he ROS side, a opic is publishing he s a e o he obo (senso _msgs/Join S a e) all he ime. This in o ma ion is ead in he HoloLens applica ion o ep- esen he cu en s a us o he obo each ime. When a message is published wi h he cu en join s a es in ROS, he applica ion in HoloLens e ie es hem and upda es he digi al win’s pose. 3.3. AR applica ion and in e ac ion design Rela ed o he applica ion design equi emen s, we ook hem in o conside a ion o he design desc ibed below. We mainly ocused ou e o s on educing he isual Figu e 1. Se up scheme o un he applica ion wi h he connec ed de ices. The uni y side ep esen s he applica ion unning in HoloLens 2. INTERNATIONAL JOURNAL OF HUMAN–COMPUTER INTERACTION 4749 in o ma ion shown by he MR glasses and ep esen ing i using he audi o y channel. We also ook in o accoun he audi o y eedback o ep- esen he ac ion o g abbing and eleasing he end e ec o o eplace he hap ic eedback used in he p e ious wo k. Wi h a simple use in e ace, we can achie e he less skilled and naï e use s lea n how o p og am a obo ic a m while o ge ing abou he echnical pa o he ask. Fo his pu pose, we also wo ked on di ec holog am manipula ion using he hands. We de eloped an applica ion ha add essed all he p e i- ously de ined equi emen s. When he use launches he applica ion, a menu panel (Figu e 2) is displayed in on o hem wi h some selec able bu ons, wo o which a e ela ed o he de eloped p og am- ming me hods. Ano he bu on opens he se ings menu, and he e is also one bu on wi h which he use could mo e he digi al win and scan he su ounding a ea in o de o ake in o accoun he possible obs acles ha he eal obo ic a m should a oid. The a ailable se ings allow he use o selec his/he dominan hand, keep o au oma ically emo e he p o- g ammed ajec o y isualiza ion (explained in his sec ion below) a e a ew seconds. The use can de ine he pose o he obo ic a m end e ec o using an o ange sphe e ( he cen e o which is indi- ca ed by he posi ion o he end e ec o ) wi h a ed a ow ( o indica e he o ien a ion o he end e ec o ) (Figu e 3). The end e ec o ep esen a ion had wo di e en designs be o e he cu en one. The i s one consis ed o a sphe e wi h a cylinde indica ing he di ec ion he use wan ed he end e ec o o look a . In he second al e na i e, he end e ec o was composed o a sphe e and a smalle sphe e o bi ing a ound he main one. The disad an age o he i s design was ha he meaning o he cylinde was con using o he use . In he second one, he p oblem was he di icul y o mo ing he smalle sphe e, e en i he design was isually cleane han he i s one. Wi h he selec ed design, o de ine a new a ge posi ion and publish new coo dina es, he use mo es he sphe e by in e ac ing wi h i using his/he hand (g ab-mo e- elease). The hand acking module in eg a ed in HoloLens 2 allows he use o in ui i ely use his/he hand and make he g ab ges u e in he sphe e, mo e i o ano he posi ion, and lea e i in a new one. Simila ly, o de ine a new o a ion, he use only needs o wis he w is . This o a ion is easily ecog- nizable o he use , hanks o he a ow. When he hand acking module de ec s he picking ges- u e on he sphe e, as he e is no ac ile eedback, he sys em plays a sound o con i m o he use ha he sphe e is being g abbed. Simila ly, when he use eleases he sphe e o d ops i acciden ally, he sys em plays ano he sound o con- i m he ac ion o eleasing olun a ily o o wa n ha he end e ec o has been d opped acciden ally. This sound is e y use ul while p og amming he obo ic a m because i indica es apidly ha he use los he ball i his ac ion was no made on pu pose. The s udy in Pin o e al. (2020) showed ha highligh ing senso ially he e en o acciden ally d opping he obo om he hand was key o p ese ing a good UX. Cu en ly, his is no a common p oblem now due o he imp o emen o he hand- acking module. Rega ding he p og amming ask, he use can choose be ween wo ways o de ine he beha io o he obo ic a m. 3.3.1. Me hod 1: De ining he ajec o y In his me hod, while he end e ec o ’s sphe e is being mo ed by he use , i de ines he ajec o y o be pe o med. The a e o he sys em o de ining poses is 3 Hz (i.e., 3 poses pe second). The objec i e is ha he obo ollows he ajec o y de ined by he use , by passing along he poses de ined by he use on he ajec o y. Each pose is composed o a 3D posi ion and a qua e nion o he o a ion. Th ough a oice command (loca e ball), i is also possible o de ine a poin in space using he hand. In his case, he sphe e is placed in he posi ion o he index inge o he use and wi h he o ien a ion he inge is poin ing owa ds. A new sphe e is c ea ed in he same loca ion, and i is col- o ed in yellow un il ‘Mo eI !’calcula es i he obo can each he de ined posi ion. I he sphe e is ou o he obo bounds, his is di ec ly pain ed in ed and he new pose will no be compu ed by ‘Mo eI !’. A e calcula ing he new pose, i ha pose is easible, he de ined sphe e is pain ed in g een and in ed o he wise (Figu e 4). The mo emen o he obo ic a m d aws a ail be ween con iguous de ined poses indica ing he ajec o y ha he Figu e 2. Main menu o he applica ion whe e he use can selec he p og am- ming me hod o go in o he se ings menu. Figu e 3. Rep esen a ion o he end e ec o loca ion. Th ough hese sphe es, he use could de ine whe e he/she wan s o s a and end he obo ’s end e ec o mo emen . 4750 A. RIVERA-PINTO ET AL. end e ec o o he obo ic a m makes du ing he mo emen om he i s posi ion o he second. The ep esen a ion o he ail is composed o small o ange boxes (15 mm side leng h). The goal wi h his eedback was o add unde s and- abili y o he use since i shows bo h, he planned ajec- o y oge he wi h he checkpoin s. In o de o execu e o enable/disable he di e en op ions a ailable, he use mus use he oice commands. The oice commands a e he ollowing: Menu: Re u ns om p og amming space o he main menu. Calib a e: Allows he use o mo e he digi al win pick- ing and placing i in he su ounding space. Lock: Locks he digi al win holog am in he space so ha i canno be mo ed. Clean T ajec o y: Remo es all he de ined sphe es and ajec o y boxes ha had been d awn due o he mo e- men o he obo . Loca e Ball: Mo es he sphe e o he index inge o he use and looking a he di ec ion o he index inge . In case o de ec ing bo h hands, he sphe e will be loca ed in he main hand (p e iously de ined in he se ings menu). 3.3.2. Me hod 2: De ining he s a ing and ending poses The second way o de ine he obo ic a m’s beha io is by de ining exclusi ely he s a ing and ending poin s (Figu e 5). In his case, he use has o mo e wo sphe es. The o ange sphe e wi h he ed a ow de ines he s a ing pose (posi ion and o a ion), while he g een sphe e wi h he blue a ow de ines he ending pose (Figu e 3). In he same way, he use can mo e bo h sphe es as hey can in he o he p og amming mode. Rega ding he holog aphic digi al win loca ion, he sys- em allows he use o mo e i a ound and loca e i , o ins ance, on a able ins ead o lea ing i loa ing in he ai . Figu e 4. Use poin o iew. The di e en goal sphe es a e colo ed in yellow (poses ha a e no calcula ed ye ), g een ( eached poses) and ed (un eachable poses). Figu e 5. Use and hi d-pe son pe spec i e o he applica ion. S a ing and ending poses de ini ion mode unning a mo emen and d awing he planned ajec o y. INTERNATIONAL JOURNAL OF HUMAN–COMPUTER INTERACTION 4751 Using oice commands, i is possible o allow he mo emen o he lock o he digi al win in he cu en posi ion. In his p og amming me hod, he use only de ines wo poin s ha can be qui e a om each o he . The use can plan he ajec o y and p e iew i be o e execu ing i , o hey can mo e he end e ec o and plan a new ajec o y. The e is also he possibili y o execu e he mo emen wi h- ou p e iewing he obo ’s ajec o y. In case he use decides o p e iew he ajec o y, a aded holog am o he obo ic a m will appea in he same loca ion as he digi al win ep esen a ion. I Mo eI ! eaches a solu ion, i will be colo ed in whi e and will ep esen he planned mo emen . O he wise, he holog am will be colo ed in ed, indica ing ha i was no possible o ob ain a solu ion. Fo his me hod, he i s ou oice commands o he p e ious me hod (menu, calib a e, lock and clean ajec o y) a e a ailable again, as well as some speci ic oice commands, which a e he ollowing: S a : Mo es he obo ic a m o he s a ing pose (o ange sphe e) i i is possible. Mo e: Mo es he obo ic a m o he ending pose (g een sphe e) i i is possible. Plan: A ajec o y is planned and displayed h ough HoloLens 2 s a ing om he cu en posi ion o he pose o he g een sphe e. Execu e: A e planning a pa h, his command execu es he planned pa h. 3.4. Su ounding space scanning Fo he ajec o y e u ned by Mo eI ! o be compa ible wi h he physical en i onmen , he sys em needs o know wha obs acles a e p esen . The use loca es he holog am o he digi al win in he posi ion in which he eal obo would be placed la e and scans i a e ecognizing he oice command “scan”. The ex message “please wai ”is shown in he use ’s ield o iew while he ask is being pe o med. Using he spa ial awa eness u ili y ha HoloLens 2 p o- ides, which c ea es a mesh co e ing all he physical objec s in he su oundings, we send he posi ion o each e ex ha he mesh is composed o o add a 5 cen ime e size box as an obs acle o he ‘Mo eI !’planning scene (Figu e 6). To pe o m his ask, we c ea ed a se ice in ROS, he inpu o which was an a ay o 3-dimensional ec o s ep e- sen ing he posi ion o each e ex. The se ice i sel was esponsible o publishing each obs acle in he ‘Mo eI !’ scene. Once i inishes he ask, he HoloLens 2 applica ion ecei es a eedback message o no i y he use ha he ask is done, and he ex message is hen emo ed. This scan me hod in ends o be an al e na i e o manu- ally de ining he wo kspace o he obo . The module we de eloped is a i s app oach o au oma e his ask. Valida ing his me hod, we could check ha scanning simple a eas (e.g., a wo king able o a con eyo bel ) can be con- side ed good enough o de ine he mo emen es ic ions. Ne e heless, mo e complex wo kspaces (e.g., a able wi h di e en ly shaped objec s) will no be ep esen ed wi h enough accu acy, i can be seen in Figu e 6. 4. Use s udy We conduc ed a use s udy o alida e he design and imple- men a ion o hese wo e sions o he in e ac i e obo p o- g amming echnique, om he pe spec i e o naï e use s in obo p og amming. We i s desc ibe he design and p o- cedu e o he use s udy we conduc ed wi h 14 pa icipan s, and hen we epo he esul s ob ained. 4.1. S udy p ocedu e Be o e s a ing he s udy, we ob ained in o med consen om each pa icipan . We le each pa icipan know ha all he da a we would ob ain ela ed o hei pa icipa ion would be anonymously used and collec ed. They we e ee o lea e he s udy a any momen du ing hei pa icipa ion in case hey disag eed wi h any hing. The design o he s udy was app o ed by he e hics commi ee o he o ganiza- ion hos ing he s udy. A i s , whe he hey had used in he pas an ex ended eali y (XR) de ice o no , he pa icipan s ecei ed an explana ion abou how he HoloLens 2 de ice wo ks. Then, hey had some minu es o in e ac in a aining scena io wi h some holog ams in o de o lea n he di e en in e ac- ions. The mos ele an in e ac ion shown in his scene was wi h he end e ec o holog aphic ep esen a ion. The use s could y he bes way o hem o pick and mo e holo- g ams a ound he in e ac i e scene and, hus, educe he impac o being naï e using his echnology. We decided o ca y ou his use s udy in an indus ial en i onmen in o de o know also he beha io o he de ice unde noisy condi ions whe e he oice de ec ion could be a ec ed, unde s anding he pa icipan ’s oice. A e es ing he MR de ice, he use s s a ed he main pa o he s udy. In he i s scene, he use s had o de ine he desi ed pose o he end e ec o wi h he sphe e wi h an a ow. The a ge goal was ma ked wi h a small i ual ed cube. This ed cube emi ed a spa ial sound in o de o help he Figu e 6. View o he RViz applica ion showing he cu en obo ic a m pose and he wo kspace. 4752 A. RIVERA-PINTO ET AL. pa icipan o loca e i easie in he i ual scene. As explained be o e, he use g abbed he sphe ical holog am by using he hand and mo ed and o a ed i o pe o m he pose de ini ion pa o he ask. Once he inal pose was de ined, he use planned he ajec o y o be pe o med and had he obo execu e i by saying he oice command. The pa icipan comple ed he execu ion o he ask by saying he oice command “ inish”. A e ha , he ed cube mo ed o a new a ge poin o he nex epe i ion o he ask. Du ing he execu ion, we sa ed he ime spen pe o ming he ask, which pa o ha ime was mo ing he sphe e, and he dis ance om he use -de ined pose o he a ge . The pa icipan s pe o med his ask h ee imes and, a e each execu ion, hey answe ed o wo ques ions. Bo h made use o he same 7-poin Like scale. The ques ions asked we e he ollowing: SEQ: O e all, how di icul o easy you ind his ask? How sa is ied a e you wi h he esul ? In he i s ques ion, he highe he alue, he easie he ask is o hem. In he second ques ion, he highe he alue, he mo e sa is ied hey a e wi h he esul . The i s ques ion was he ’Single Ease Ques ion’(SEQ) which asks abou he di icul y o he ask. Wi h he same o ma as he SEQ, ques ionnai e, we added a second ques- ion abou he use ’s sa is ac ion wi h he esul ob ained. La e , in he second scene, hey had o de ine he digi al win’s ajec o y om he ini ial pose o he a ge mo ing he sphe e and hus, se ing di e en waypoin s in he space. As in he p e ious scene, he same alues we e eco ded. The use s also answe ed he same ques ions a e each execu ion. Once hey inished he pa hey had o in e ac wi h he applica ion, hey comple ed he sys em usabili y scale (SUS) ques ionnai e, consis ing o 10 s a emen s o which pa ici- pan s had o exp ess hei deg ee o ag eemen wi h in a 5- poin scale. Finally, we conduc ed a semi-s uc u ed in e iew in which we asked pa icipan s o elabo a e abou hei expe i- ence in e ac ing wi h he sys em du ing he s udy. The ollowing ideo (h ps://you u.be/Ee8JChQE6zk) shows a walk h ough o wha he use s udy consis ed in. 4.2. Analysis o he esul s We analyzed he collec ed da a om he pa icipan s and he esul s ob ained om he s udy. F om he 14 pa ici- pan s ha ook pa in he s udy, 8 we e male and 6 emale. Mos o hem we e in he age ange o 26–30 (11 pa ici- pan s), 2 we e in he age ange o 31–35 and 1 was he ange o 41–45. All he pa icipan s had comple ed hei bachelo ’s deg ee in he ollowing expe ise a eas: compu e science, elec onics, au oma ion and indus ial enginee ing. None o hem had ied a MR de ice be o e, bu 4 had es ed VR glasses o gaming. 4.2.1. Task pe o mance We moni o ed he ime (in seconds) he pa icipan s spen mo ing he sphe e as well as he ime dedica ed o planning and execu ing he p oposed ajec o y and he dis ance gap be ween he a ge posi ion and inal pose o he obo holo- g am p oduced du ing he s udy. The da a abou ime spen by he use s o mo e he end e ec o ep esen a ion (da a om h ee execu ions by each pa icipan o each design e sion) is epo ed in Figu e 7. The mean ime o mo e he sphe e in case o de ining he whole ajec o y (M ¼10.2s, CI 95% ¼[8.2, 12.2]) was lowe han when hey jus de ined he end poin (M ¼12.41s, CI 95% ¼[11.22, 13.6]). Rela ed o he ime conce ning o he pe iod spen hink- ing on which mo emen is necessa y, he ime equi ed by ‘Mo eI !’ o compu e he pa h o pe o m he mo emen , he execu ion ime and he oice commands equi ed o pe - o m he ask, we ob ained he esul s in Figu e 8. In his case, he mean is lowe when he use de ines he goal only (M ¼28.39s, CI 95% ¼[24.84, 31.94]) by less han 3 seconds compa ed o he ime egis e ed om he ajec- o y execu ions (M ¼30.87s, CI 95% ¼[25.82, 35.92]). Analyzing he gap (in millime e s) be ween he a ge posi ion and he ending loca ion o he obo ’s end e ec o (Figu e 9), we go ha he mean was lowe de ining he a - ge poin (M ¼10.988 mm, CI 95% ¼[9.58, 12.4]) han de in- ing he ajec o y (M ¼15.036 mm, CI 95% ¼[13.13,16.94]). Figu e 7. Mean and 95% con idence in e al o he ime (in seconds) spen by use s mo ing he sphe e o he a ge posi ion. Figu e 8. Pa o he execu ion ime mean and 95% con idence in e al o ime (in seconds) ha pa icipan s spen wi hou manipula ing he holog am. INTERNATIONAL JOURNAL OF HUMAN–COMPUTER INTERACTION 4753 This di e ence migh ha e been caused by he ime di e - ence pe o ming he ask in bo h p og amming me hods. 4.2.2. Ques ionnai e da a Wi h ega d o he SEQ ques ionnai e assessing ask di i- cul y in a 1 o 7 Like scale, among all he answe s om he use s, all eco ded esponses o ei he e sion o he in e ace we e in he le els 6 and 7 o he scale, indica ing ha in bo h cases pa icipan s hough ha he ask was e y easy o comple e. No iceably, he 14 pa icipan s con- side ed sligh ly easie o execu e he ask de ining he ending poin (6.86) han d awing he ull ajec o y (6.71). The answe s o he sa is ac ion wi h he esul o he ask ques ion showed high alues ha indica es ha hey el sa is- ied wi h he esul s ob ained a e pe o ming he ask. The pa icipan s epo ed ha bo h asks we e equally easy (6.52). The las ques ionnai e he use s illed is Sys em Usabili y Scale (SUS). SUS is a ool used o measu e he usabili y o an objec , de ice o applica ion. The esul an sco e ob ained om he use s was 87.68. This sco e in a accep abili y scale is conside ed as accep able and in a Bango ’s g ade scale Bango e al. (2009) as ‘B’, 2.32 poin s below he highes ma k, which places he applica ion o e he 98% pe cen ile. The ques ions 4 and 10 a e ela ed o he applica ion lea nabili y. The mean ob ained om hese ques ions in a scale om 0 (wo se) o 4 (be e ) we e 3.36 and 3.5 espec i ely. 4.2.3. Semi-s uc u ed in e iew As he inal s age in he use s udy, a semi-s uc u ed in e - iew was conduc ed wi h each pa icipan . The goal o his in e iew was o ga he subjec i e in o ma ion and com- men s ha could help o in e p e hei esponses. An expe imen e held he in e iew as a con e sa ion in which pa icipan s we e asked o p o ide hei opinion abou a i- ous aspec s ega ding hei in e ac ion wi h he sys em and abou he sys em i sel . Speci ically, pa icipan s we e encou aged o commen on and elabo a e on he ollowing aspec s: The sys em and he applica ion as a me hod o p og am obo s. Thei subjec i e expe ience o in e ac ing wi h he AR sys em. Ease o in e ac ion wi h he holog ams. Ease o lea ning o use HMD de ice and AR applica ion. Aspec s ha we e missing o could be imp o ed. Any addi ional commen s. A gene al commen om he pa icipan s was ha he applica ion was easy o use and he in e ac ion was in ui i e. The lea ning cu e was e y as . The b ie u o ial ecei ed in he in oduc ion o he s udy was epo ed o be su icien o hen in e ac wi h he scene du ing he s udy. The main p oblem o he pa icipan s was he i s con ac wi h he holog ams when g abbing hem was no done easily be o e a ew ials o p ac icing. The oice commands and he way o mo e he holog ams i well o he ask in pa icipan s’ opinion, helping o accele a e he obo p og amming p o- cess. Pa icipan s also ag eed ha i was possible o pe o m his ask o use s ha did no ha e he skills no he know- ledge o p og am a obo ic a m wi h cu en s a e-o - he-a echniques (e.g., using a each pendan ). As using he appli- ca ion is possible o se as e he a ge pose han doing i physically, i is easible o es di e en goal poses o plan and choose he mos app op ia e plan ha sa is ies he needs o he use and imp o ing he ime pe o mance. Howe e , some o he use s ques ioned he accu acy ob ained h ough hese p og amming me hods. Depending on he ask, some hough ha his solu ion in his cu en o m migh no be su icien ly accu a e o sa is y he equi emen s in a eal scena io. One pa icipan sugges ed es ing he accu acy by pe o ming he p og amming ask wi h he applica ion in a eal scene o measu e he esul ing e o . O he pa icipan s p oposed a unc ionali y o allow zooming in o he a ge o inc ease he pose accu acy. Rela ed o he p og amming me hod by d awing he a- jec o y, some pa icipan s sugges ed allowing modi ica ion o he pose o he in e media e poin s ins ead o needing o ese he en i e pa h. In he same ein, he conca ena ion o ac ions could be in e es ing, o ins ance, in o de o in e ac wi h he ool handled by he obo ic a m. Ano he al e na- i e p oposed was o in e pola e all he de ined poin s so as o smoo h ou he de ined ajec o y. The oice commands we e easy o emembe . Howe e , unde noisy condi ions (as was he case in he s udy, which was conduc ed in an indus ial labo a o y en i onmen ), some pa icipan s had o epea he same oice command mo e han once be o e i was unde s ood by he sys em. Some pa icipan s also complained ha he sys em did no p oduce enough eedback in o ming abou i s s a us, such as while he sys em was compu ing a ajec o y o execu ing he planned pa h. Rega ding he AR HMD de ice, some pa icipan s poin ed ou ha , e en i HoloLens 2 sui s he ask well, i s ield o iew is no ye big enough o p o ide ull use com- o . Linked o his limi a ion, some pa icipan s had di i- cul ies picking he holog am when i was loca ed a a low heigh . Figu e 9. Mean and 95% con idence in e al o dis ance e o posi ioning he end e ec o ’s holog am in he goal posi ion. 4754 A. RIVERA-PINTO ET AL. 5. Discussion This sec ion p o ides a discussion o he use s udy da a analysis p esen ed in he p e ious sec ion. The da a ela ed o he use pe o mance in he ask o eaching an ac ion o he obo , sugges s ha bo h designs p o ided simila a e age pe o mance in a ange be ween 10.2 and 12.4 seconds on a e age. While no di ec compa i- son was pe o med wi h eaching a physical obo by dem- ons a ion, he expec ed ime o comple e such ask would be expec ed o be compa able. Such a di ec compa ison should be pe o med in he u u e, wi h a ully implemen ed MR obo p og amming in e ace. Rega ding he posi ioning accu acy ob ained, we obse ed ha posi ioning e o was in he app oxima e ange be ween 11 and 15 mm. To pu his in pe spec i e, we compa e i wi h da a om ano he s udy, published in A e alo A boleda e al (2021). They epo edly achie ed e y simila accu acy alues, in he app oxima e ange be ween 11 and 13.5 mm, wi h a sys em designed o a di e en mixed eal- i y applica ion. Whe he such accu acy is su icien ly high will depend on he na u e o he obo ic applica ion being p og ammed. S a egies o imp o e i could include he use o compu e ision echniques o each he objec i e. As a sepa a e s a - egy (and as he pa icipan s in he s udy sugges ed), he cu - en end e ec o ep esen a ion could be eplaced wi h a di e en holog am design ha helped he use achie e mo e p ecise posi ioning. As o he usabili y and use expe ience ob ained while p og amming he obo wi h his in e ace, all he pa ici- pan s ound he applica ion easy o use, in ui i e, and use ul o he ask o obo p og amming. They el com o able using he applica ion a e he aining session wi h he de ice, as well as sa is ied wi h he esul ob ained, as e lec ed in he SEQ ques ionnai e da a. Many pa icipan s epo ed ha he possibili y o ha ing con ol o e changing he pose o indi idual poin s o he ajec o y ha hey we e de ining could imp o e he p o- g amming expe ience. In his way, o make any modi ica- ions o a ajec o y, hey would no need o d aw he whole ajec o y again. Ins ead, hey could jus make changes in speci ic in e media e poin s o weak and imp o e he p o- posed ajec o y. Some pa icipan s also sugges ed g an ing he use con- ol o e when each in e media e do o a ajec o y is de ined in space. In he cu en implemen a ion, as he use mo es he holog am o he end e ec o , a ail o he ajec- o y ollowed by he end e ec o is d awn behind by adding one poin in space a a egula 3 Hz a e, a he p ecise pos- i ion whe e he end e ec o was a each in e al. In he p o- posed new design, no ail would be au oma ically d awn as he end e ec o mo ed. Ins ead, he use would decide in which posi ions o he ajec o y ha she was ollowing should a passing poin be de ined. In ela ion o he HoloLens 2 de ice, some use s com- plained abou i s na ow ield o iew. Al hough his speci i- ca ion o he de ice has imp o ed since i s i s e sion, i seems no o be su icien ly b oad o wo k wi h holog ams as big as he ones ende ed in he s udy. As an excep ion o his gene al opinion, one o he use s (who had expe ience using VR de ices) decla ed ha hey p e e ed ha ing less ield o iew han in VR glasses o a oid ge ing dizzy a e using he de ice con inuously o an ex ended pe iod o ime. Acco ding o he esul s o he SUS ques ionnai e, he usabili y o he in e ac i e sys em was sui able o he ask in he s udy. F om among he 10 ques ions in SUS, 2 o hem (ques- ions 4 and 10) indica e lea nabili y o he sys em. Such lea nabili y le el was high o all pa icipan s, sugges ing ha he equi emen o use s o easily lea n and wo k wi h he applica ion was sa is ied. Rega ding o he equi emen s s a ed in sec ion 3, esul s ob ained om he s udy and ou own assessmen o he sys- em sugges ha his i s design and implemen a ion add ess hem all. 6. Conclusions and u u e wo k In his pape , we desc ibe he design and implemen a ion o a mixed- eali y mul imodal in e ace wi h which a use can each new ajec o ies o a obo a m by holding and mo ing he holog am o i s digi al win by hand, in a mixed- eali y scena io. This in e ac i e codeless echnique o p og am he obo is no only simila o eaching he phys- ical e sion o he obo a m by demons a ion, bu i also uses he same so wa e a chi ec u e o he calcula ion o ajec o ies and subsequen gene a ion o he p og am. I is hus a echnique in ended o p og am he obo by in e ac - ing wi h i s physical o holog aphic digi al win e sion alike. Ou pu pose was o de elop a use - iendly HRI in e - ace o ease he obo p og amming expe ience, allowing an inexpe ienced wo ke o execu e a ask ha equi es speci ic skills and expe ience. The ad an ages o his design compa ed o he s a e-o - he-a emain in he mix o di ec manipula ion o he digi al win by an in e ac ion module based on hand ack- ing and p og amming a obo ic a m by de ining he end e ec o ’s inal pose ins ead o de ining indi idually he end pose’s posi ion and o a ion ( he in e ace p oposed suppo s he in eg ali y o he in e ac ion). We ha e desc ibed he applica ion design p ocess and i s implemen a ion. We ha e hen epo ed a use s udy (n ¼14) o alida e he undamen als o he p esen design app oach, as well as he implemen a ion o his in e ace. We ha e assessed he ou come o he s udy wi h quan i a i e and quali a i e me ics o e iciency and p ecision, as well as by obse ing and enqui ing abou i s usabili y and ob ained use expe ience in a ask o p og amming by demons a ion new obo ajec o ies, solely in e ac ing wi h he holo- g aphic digi al win o he obo in a mixed eali y scena io. Findings om he s udy sugges ha i may be easy and easible o a naï e use o p og am new ajec o ies o a obo ic a m h ough he use o his in e ace and by solely in e ac ing wi h i s holog aphic digi al win. Quan i a i e esul s sugges ha he ime equi ed o p og am a new INTERNATIONAL JOURNAL OF HUMAN–COMPUTER INTERACTION 4755 ajec o y ( om d agging he holog am along i o alida ing he ajec o y calcula ed by he obo ’s ope a ing sys em) may be accep ably sho . The a e age dis ance e o o he a ge posi ion may also be small acco ding o esul s om he s udy, al hough he su iciency o he p ecision obse ed will depend on he equi emen s o each speci ic obo ic applica ion. The pape discusses possible app oaches o imp o e p ecision in u u e e sions o he in e ace. Some such app oaches p esen he po en ial o g an he use wi h addi ional con ol o e he ajec o y eaching p ocess, spe- ci ically a echnique in which he use can choose explici ly which poin s in space o include in he ajec o y. Modi ying he in e ac ion in his way should no only esul in quicke p og amming (due o less epe i ions o he whole ajec o y s oke), bu mos impo an ly in an imp o ed use expe i- ence due o he enhanced con ol o e he eaching p ocess. Fu u e wo k will no only in es iga e hese al e na i e e sions o he in e ace, bu will also alida e he whole obo p og amming app oach by execu ing in he physical win he p og am c ea ed by in e ac ing wi h i s holog aphic digi al win. Disclosu e s a emen No po en ial con lic o in e es was epo ed by he au ho (s). Funding This esea ch ecei ed unding om The Cen e o he De elopmen o Indus ial Technology (CDTI). 5R- Red Ce e a de Tecnolog ıas ob o icas en ab icaci on in eligen e (CER-20211007). ORCID Andoni Ri e a-Pin o h p://o cid.o g/0000-0001-8550-5312 Johan Kildal h p://o cid.o g/0000-0002-0630-7260 Elena Lazkano h p://o cid.o g/0000-0002-7653-6210 Re e ences A e alo A boleda, S., R€ ucke , F., Die ks, T., & Ge ken, J. (2021). Assis ing manipula ion and g asping in obo eleope a ion wi h augmen ed eali y isual cues [Pape p esen a ion]. P oceedings o he 2021 CHI Con e ence on Human Fac o s in Compu ing Sys ems. h ps://doi.o g/10.1145/3411764.3445398 Bambu^ sek, D., Ma e na, Z., Kapinus, M., Be an, V., & Sm  z, P. (2019). Combining in e ac i e spa ial augmen ed eali y wi h head-moun ed display o end-use collabo a i e obo p og amming [Pape p es- en a ion]. 2019 28 h IEEE In e na ional Con e ence on Robo and Human In e ac i e Communica ion (RO-MAN) (pp. 1–8). h ps:// doi.o g/10.1109/RO-MAN46459.2019.8956315 Bango , A., Ko um, P., & Mille , J. (2009). De e mining wha indi id- ual SUS sco es mean: Adding an adjec i e a ing scale. Jou nal o Usabili y S udies,4(3), 114–123. h ps://dl.acm.o g/doi/10.5555/ 2835587.2835589 Ba en ine, C., McNay, A., P a enbichle , R., Smi h, A., Rosen, E., & Phillips, E. (2021). A VR Teleope a ion Sui e wi h Manipula ion Assis [Pape p esen a ion]. Companion o he 2021 ACM/IEEE In e na ional Con e ence on Human-Robo In e ac ion (pp. 442–446), Boulde , CO, USA. h ps://doi.o g/10.1145/3434074.3447210 Bischo , M. (2019). ROS#. h ps://gi hub.com/siemens/ os-sha p/. h ps://gi hub.com/siemens/ os-sha p/ Bischo , M., Vollenweide , E. (2020). ROS# o HoloLens.h ps:// gi hub.com/E icVoll/ os-sha p/. Bolano, G., Roennau, A., Dillmann, R., & G oz, A. (2020). Vi ual eal- i y o o line p og amming o obo ic applica ions wi h online eaching me hods [Pape p esen a ion]. 2020 17 h In e na ional Con e ence on Ubiqui ous Robo s (UR) (pp. 625–630). h ps://doi. o g/10.1109/UR49135.2020.9144806 Bu gha d , A., Szybicki, D., Gie lak, P., Ku c, K., Pie u s, P., & Cygan, R. (2020). P og amming o indus ial obo s using i ual eali y and digi al wins. Applied Sciences,10(2), 486. h ps://doi.o g/10.3390/ app10020486 Chan, W. P., Sak , M., Quin e o, C. P., C o , E., & Van de Loos, H. F. M. (2020). Towa ds a mul imodal sys em combining aug- men ed eali y and elec omyog aphy o obo ajec o y p og am- ming and execu ion [Pape p esen a ion]. 2020 29 h IEEE In e na ional Con e ence on Robo and Human In e ac i e Communica ion (RO-MAN) (pp. 419–424). h ps://doi.o g/10.1109/ RO-MAN47096.2020.9223526 C uz Ulloa, C., Dom ınguez, D., Del Ce o, J., & Ba ien os, A. (2022). A mixed- eali y ele-ope a ion me hod o high-le el con ol o a legged-manipula o obo . Senso s,22(21), 8146. h ps://doi.o g/10. 3390/s22218146 De Pace, F., Go jup, G., Bai, H., Sanna, A., Lia okapis, M., & Billinghu s , M. (2020). Assessing he sui abili y and e ec i eness o mixed eali y in e aces o accu a e obo eleope a ion [Pape p es- en a ion]. 26 h ACM Symposium on Vi ual Reali y So wa e and Technology.h ps://doi.o g/10.1145/3385956.3422092 Delme ico, J., Po anne, R., Bogo, F., Oleyniko a, H., Vollenweide , E., Co os, S., Nie o, J., & Polle eys, M. (2022). Spa ial compu ing and in ui i e in e ac ion: b inging mixed eali y and obo ics oge he . IEEE Robo ics & Au oma ion Magazine,29(1), 45–57. h ps://doi. o g/10.1109/MRA.2021.3138384 Fang, H., Ong, S.-K., & Nee, A. Y. (2014). No el AR-based in e ace o human- obo in e ac ion and isualiza ion. Ad ances in Manu ac u ing,2(4), 275–288. h ps://doi.o g/10.1007/s40436-014- 0087-9 Gad e, S. Y., Rosen, E., Chien, G., Phillips, E., Tellex, S., & Konida is, G. (2019). End-use obo p og amming using mixed eali y [Pape p esen a ion]. 2019 In e na ional Con e ence on Robo ics and Au oma ion (ICRA) (pp. 2707–2713). h ps://doi.o g/10.1109/ICRA. 2019.8793988 Hie anen, A., Pie e s, R., Lanz, M., La oka ano, J., & K€ am€ a € ainen, J.-K. (2020). AR-based in e ac ion o human- obo collabo a i e manu- ac u ing. Robo ics and Compu e -In eg a ed Manu ac u ing, 63(June), 101891. h ps://doi.o g/10.1016/j. cim.2019.101891 Jacob, R. J., Sibe , L. E., McFa lane, D. C., & Mullen, M. P. J , (1994). In eg ali y and sepa abili y o inpu de ices. ACM T ansac ions on Compu e -Human In e ac ion,1(1), 3–26. h ps://doi.o g/10.1145/ 174630.174631 Kildal, J., Tellaeche, A., Fe n andez, I., & Mau ua, I. (2018). Po en ial use s’key conce ns and expec a ions o he adop ion o cobo s. P ocedia CIRP,72(2018), 21–26. h ps://doi.o g/10.1016/j.p oci .2018. 03.104 LeMasu ie , G., Allspaw, J., & Yanco, H. A. (2021). Semi-au onomous planning and isualiza ion in i ual eali y. LeMasu ie , G., Allspaw, J., Wonsick, M., Tukpah, J., Padi , T., Yanco, H., Phillips, E. (2022). Designing a use s udy o compa ing 2D and VR human-in- he-loop obo planning in e aces.5 h In e na ional Wo kshop on Vi ual, Augmen ed, and Mixed Reali y o HRI.h ps://open e iew.ne / o um?id=HNeeXUiQjkc Lo sa is, K., Fousekis, N., Koukas, S., Ai alio is, S., Kousi, N., Michalos, G., & Mak is, S. (2021). Augmen ed eali y (AR) based amewo k o suppo ing human wo ke s in lexible manu ac u ing. P ocedia CIRP, 96(2021), 301–306. h ps://doi.o g/10.1016/j.p oci .2021.01.091 Mal y, I., Sedl a cek, D., & Lei ~ ao, P. (2016). Augmen ed eali y expe i- men s wi h indus ial obo in indus y 4.0 en i onmen [Pape p esen a ion]. 2016 IEEE 14 h In e na ional Con e ence on Indus ial In o ma ics (INDIN) (pp. 176–181). h ps://doi.o g/10.1109/INDIN. 2016.7819154 4756 A. RIVERA-PINTO ET AL. Masu o sky, A., Chojecki, P., Runde, D., La ci, M., P zewozny, D., & Gaeble , M. (2020). Con olle - ee hand acking o g ab-and-place asks in imme si e i ual eali y: Design elemen s and hei empi - ical s udy. Mul imodal Technologies and In e ac ion,4(4), 91. h ps:// doi.o g/10.3390/m i4040091 Ne es, J., Se a io, D., & Pi es, J. N. (2018). Applica ion o mixed eal- i y in obo manipula o p og amming. Indus ial Robo : The In e na ional Jou nal o Robo ics Resea ch and Applica ion,45(6), 784–793. h ps://doi.o g/10.1108/IR-06-2018-0120 Ong, S. K., Yew, A., Thanigai el, N., & Nee, A. Y. (2020). Augmen ed eali y-assis ed obo p og amming sys em o indus ial applica- ions. Robo ics and Compu e -In eg a ed Manu ac u ing, 61(Feb ua y), 101820. h ps://doi.o g/10.1016/j. cim.2019.101820 Ong, S., Nee, A., Yew, A., & Thanigai el, N. (2020). AR-assis ed obo welding p og amming.Ad ances in Manu ac u ing,8(1), 40–48. h ps://doi.o g/10.1007/s40436-019-00283-0 Os anin, M., Mikhel, S., E lampie , A., Sk o so a, V., & Klimchik, A. (2020). Human- obo in e ac ion o obo ic manipula o p og am- ming in mixed eali y [Pape p esen a ion]. 2020 IEEE In e na ional Con e ence on Robo ics and Au oma ion (ICRA) (pp. 2805–2811). h ps://doi.o g/10.1109/ICRA40945.2020.9196965 Pin o, A. R., Kildal, J., & Lazkano, E. (2020). Mul imodal mixed eali y impac on a hand guiding ask wi h a holog aphic cobo . Mul imodal Technologies and In e ac ion,4(4), 78. h ps://doi.o g/10. 3390/m i4040078 Puljiz, D., & Hein, B. (2019). Concep s o end- o-end augmen ed eal- i y based human- obo in e ac ion sys ems. h ps://a xi .o g/abs/ 1910.04494 Puljiz, D., S € oh , E., Ries e e , K. S., Hein, B., & K € oge , T. (2019). Gene al hand guidance amewo k using Mic oso HoloLens. 2019 IEEE/RSJ In e na ional Con e ence on In elligen Robo s and Sys ems (IROS) (pp. 5185–5190). h ps://doi.o g/10.1109/IROS40897.2019.8967649 Puljiz, D., Zhou, B., Ma, K., & Hein, B. (2021). HAIR: Head-moun ed AR In en ion Recogni ion. h ps://a xi .o g/abs/2102.11162 Quin e o, C. P., Li, S., Pan, M. K., Chan, W. P., Machiel Van de Loos, H. F., & C o , E. (2018). Robo p og amming h ough augmen ed ajec o ies in augmen ed eali y [Pape p esen a ion]. 2018 IEEE/RSJ In e na ional Con e ence on In elligen Robo s and Sys ems (IROS) (pp. 1838–1844). h ps://doi.o g/10.1109/IROS.2018.8593700 San Ma in, A., & Kildal, J. (2021). Audio- isual mixed eali y ep e- sen a ion o haza d zones o sa e pedes ian na iga ion o a space. In e ac ing wi h Compu e s,33(3), 311–329. h ps://doi.o g/10.1093/ iwc/iwab028 Su, Y., Chen, X., Zhou, T., P e y, C., & Chase, G. (2022). Mixed eali y- in eg a ed 3D/2D ision mapping o in ui i e eleope a ion o mobile manipula o .Robo ics and Compu e -In eg a ed Manu ac u ing, 77(Oc obe ), 102332. h ps://doi.o g/10.1016/j. cim.2022.102332 Walke , M., Hedaya i, H., Lee, J., & Sza i , D. (2018). Communica ing obo mo ion in en wi h augmen ed eali y. P oceedings o he 2018 ACM/IEEE In e na ional Con e ence on Human-Robo In e ac ion (pp. 316–324). h ps://doi.o g/10.1145/3171221.3171253 Xue, C., Qiao, Y., & Mu ay, N. (2020). Enabling human- obo -in e - ac ion o emo e obo ic ope a ion ia augmen ed eali y [Pape p esen a ion]. 2020 IEEE 21s In e na ional Symposium on “A Wo ld o Wi eless, Mobile and Mul imedia Ne wo ks”(WoWMoM) (pp. 194–196). h ps://doi.o g/10.1109/WoWMoM49955.2020.00046 Zhou, Z., Xiong, R., Wang, Y., & Zhang, J. (2020). Ad anced obo p og amming: A e iew. Cu en Robo ics Repo s,1(4), 251–258. h ps://doi.o g/10.1007/s43154-020-00023-4 Abou he au ho s Andoni Ri e a Pin o is a esea che a Teknike and PhD candida e a Uni e si y o he Basque Coun y (UPV/EHU) since 2019. He has a MSc in Compu a ional Enginee ing and Sma Sys ems (UPV/EHU) and esea ches human-compu e in e ac ion in he con ex o obo ics by using VR and AR de ices. Johan Kildal specializes in in e ac ion design and esea ch o accessi- bili y, mobili y and Human-Robo Collabo a ion. He was P incipal Resea che o eigh yea s a Nokia Resea ch (Finland), iling eigh pa - en s o inno a i e in e ac ions. Cu en ly, he esea ches a TEKNIKER abou collabo a ion wi h obo s in indus y. Elena Lazkano is Associa e P o esso in he Compu e Science and AI Depa men , Uni e si y o he Basque Coun y (UPV/EHU). MSc in AI (KUL, Belgium) and PhD in Compu e Sciences (UPV/EHU). She leads he obo ics b anch o he RSAIT esea ch g oup, as esea che in he ield o in elligen obo ics. INTERNATIONAL JOURNAL OF HUMAN–COMPUTER INTERACTION 4757 9 Collabo a i e Robo Teleope a ion in Mixed Reali y En i onmen o Inspec ion Tasks Au ho s Andoni Ri e a Pin o, C is ina Ace a, Johan Kildal, Izaskun Fe nández y Elena Laz- kano Publishe MIT P ess Jou nal PRESENCE-VIRTUAL AND AUGMENTED REALITY Yea 2024 Qua ile Q4 DOI h ps://doi.o g/10.1162/PRES_a_00439 111 Ri e a e al. 49 he domain knowledge consis s o he ac ions o be ex- ecu ed by he a ge sys em (in his case, he obo ) in a sys em- eadable o ma and he wo ds ha he use can use o igge hose ac ions. Dialogue- ela ed knowl- edge includes he in e ac ions ha he sys em may ha e wi h he use in a pa ame ic o m, and he implica ions o di e en si ua ions ha may a ise in he in e ac ion (e.g., wha o do when he use does no p o ide all he necessa y in o ma ion o execu e a speci ic ac ion). One o he main ad an ages o he use o seman ic echnologies in KIDE4I is ha i allows an easy imple- men a ion and adap a ion o di e en indus ial use cases, as one o i s main p emises is euse. In his case, mos o he necessa y ins ances o dialogue manage- men a e eused om an ini ial KIDE4I use case (Ace a e al., 2022) and, as o he domain knowledge, KIDE4I also p o ides esou ces o he exploi a ion o exis ing lexical da abases o ins an ia ion. As no ed abo e, KIDE4I is a modula amewo k. Tha is, in o de o ob ain an ac ion ha is execu able by he a ge sys em, which is igge ed by a use command, di e en componen s a e in ol ed. Once a ansc ibed use command is ecei ed by he dialogue sys em, he i s s ep o i s in e p e a ion is o ex ac i s key com- ponen s (i.e., he e b—which usually igge s he a ge ac ion—and i s complemen a y in o ma ion—which usually de e mines he speci ic de ails o he ac ion, such as he a ge obo componen o ha ac ion), which is pe o med by he key elemen ex ac ion module. Once he key elemen s a e ex ac ed, his in o ma ion is con- sul ed agains he seman ic eposi o y, which will de e - mine which is he ac ion o be execu ed by he obo and any addi ional in o ma ion. All his in o ma ion low is o ches a ed by he dialogue manage , which is also in cha ge o ollowing he modelling in he dialogue knowledge in he seman ic eposi o y, de e mining he nex s ep in he dialogue p ocess. Finally, he pola i y in e p e e is esponsible o de e mining he pola i y o use commands (i.e., whe he hey mean a con i ma ion o a nega ion) when he dialogue manage de e mines ha a speci ic sys em eques equi es a pola answe (i.e., yes o no). In his pa icula case, KIDE4I’s implemen a ion has been named KIDE4Inspec ion. Simila ly o KIDE4I adap a ions, KIDE4Inspec ion (Ace a e al., 2022) ol- lows a simple low whe e he i s s ep is o de e mine he ac ion o be execu ed acco ding o he use com- mand. I ha ask is no success ul, KIDE4Inspec ion will igge a sys em esponse in o ming he use ha he ac ion could no be in e p e ed, ollowed by a eques o e o mula e hei command. Howe e , i he sys em is able o de e mine he ac ion, i will p oceed, i equi ed by he in e p e ed ac ion, o assign he co esponding a gumen s o ha ac ion (e.g., he a ge owa ds which he ac ion will be execu ed). Again, i he sys em is no able o ob ain he equi ed ac ion a gumen s, i will ig- ge a message in o ming he use and eques ing o p o- ide such in o ma ion. I he in o ma ion p o ided by he use is co ec (acco ding o wha is modelled in he on ology), he low will con inue. O he wise, he sys- em will gi e a second chance o he use o p o ide he a gumen s by asking he in o ma ion again. Finally, he ou pu will be he ac ion and he ele an in o ma ion, in a o ma ha can be execu able by he HoloLens ap- plica ion, i.e., he in e media y be ween he use and he obo . 3.4 Robo ic A m P og amming P ocedu e As men ioned be o e, he ask p esen ed in his pa- pe in ol es he inspec ion o he ne es o an aile on o 2.44 m in leng h. Each end o he aile on was sec ioned and he longi udinal ne es we e isible, going om end o end inside he aile on. On one end o he aile on, he obo ic a m mus posi ion a ool wi h a mi o o e one o he ne es. On he o he end, he use mus hold a lase measu ing de ice o e he same ne e. I he lase beam e lec s o he mi o , i indica es ha he ne e is no blocked (see Figu e 3). The lowcha in Figu e 4 ou lines he p ocedu es ollowed o he p og amming ask. The g ay nodes ep- esen he beginning and he ending o he p og am, he yellow nodes ep esen ac ions he use pe o ms in he applica ion, and he blue diamond boxes a e decisions o be aken by he use . The i s s ep o he ask in ol es de e mining he ela i e pose be ween he obo and he aile on. The 50 PRESENCE: VOLUME 34 Figu e 3. On he le , an image depic ing he layou o he collabo a i e ask whe e he use is on he opposi e side o he aile on om whe e he obo ic a m is loca ed. On he igh , an image showing he same layou wi h a pe son in e ac ing wi h he holog aphic ool. Figu e 4. Flowcha o use ’s in e ac ions wi h he MR applica ion. aile on is a he same ime he a ge and an obs acle o be a oided. A calib a ion pla e is placed on one o he suppo ba s o he aile on in a known posi ion el- a i e o he aile on. Addi ionally, an RGB came a is posi ioned on boa d nex o he obo ’s end e ec o . The use mo es he eal obo ic a m manually o align i wi h he calib a ion pla e while he came a cap u es he scene. Using he HALCON machine ision so wa e, a ROS node is in cha ge o cap u ing an image om he Ri e a e al. 51 onboa d came a (IDS UI-5240CP) acing he calib a- ion able (100 mm ×100 mm size) and compu ing he pose o he calib a ion pla e ela i e o he came a. Wi h his in o ma ion, along wi h he came a’s known loca ion ela i e o he base o he obo ic a m and he calib a ion pla e’s known loca ion ela i e o he aile on (es ablished h ough an ex e nal calib a ion p ocess), he sys em can de e mine he posi ion o he aile on ela i e o he obo ic a m’s base. Acco ding o he esul s e- po ed by he calib a ion o he came a, he commi ed e o in he acquisi ion o he calib a ion pla e’s posi- ion is less han 1 mm. I is impo an ha his alue is as low as possible because he ne es o he aile on a e qui e na ow o he end e ec o ool we moun ed on he obo ic a m’s end e ec o , and he ool could hi he ne es. Fo he calib a ion o he aile on wi h espec o he calib a ion pla e, we used a Pho oneo 3D came a which p o ides a 2D image and a poin cloud. Th ough he 2D image, we ob ained he pose o he calib a ion pla e wi h espec o he came a. Besides, by using he poin cloud, we ma ched he 3D model o he aile on o ob ain he pose o he aile on wi h espec o he came a. Wi h his in o ma ion we go he pose o he aile on wi h espec o he calib a ion pla e. The expec ed e o in his cali- b a ion was below 1.5 mm. The calib a ion o he onboa d came a and he obo ic a m was made by cap u ing mul iple images o a known calib a ion pa e n om di e en angles and dis ances. We used an IDS UI-5240CP came a wi h which we ob- ained an e o below a millime e . The in o ma ion o he pose o he aile on wi h e- spec o he onboa d came a, alongside he 3D model o he aile on, a e loaded in o “Mo eI !” o compu e he ajec o ies while a oiding collisions. A e comple ing he scene se up, he use launches he MR applica ion on he HMD. The holog aphic digi al win o he obo ic a m, along wi h he i ual aile on and a ep esen a ion o he ool a ached o he end e ec o , is displayed o he use in he MR scene. Using he dialogue sys em, he use s can o de a a- ie y o ac ions o he sys em. By issuing he oice com- mand “KUKA,” he dialogue sys em is ac i a ed. A al- ida ion sound is played o con i m ha he oice com- mand has been de ec ed, and a ex appea s in he use ’s ield o iew, p omp ing hem wi h he ques ion “Which ac ion do you wan o pe o m?” The use answe s by speaking aloud and a silence o 1 second is in e p e ed by he sys em as he end o he o de . The cap u ed oice is p ocessed, and he ansc ip ion is displayed in on o he use as well as con eyed h ough audio. Once he ph ase is ansc ibed, i is sen o he seman ics-based ask-o ien ed dialogue sys em ha e- u ns he ac ion h ough a REST API communica ion. These a e he di e en ac ions he dialogue can p o- cess om use s’ inpu : Calib a e: S a s he calib a ion p ocess in o de o place he aile on in he co ec posi ion wi h espec o he obo ic a m. (Example ph ase: “Calib a e he ela ion be ween he obo and he aile on.”) Reloca e: Unlocks he holog aphic scene allowing he use o mo e i in he su ounding space as well as o a ing i . (Example ph ase: “Reloca e he scene.”) Lock: Locks he holog aphic scene p e en ing i s mo emen om he use . (Example ph ase: “Lock he scene.”) Plan: Plans a ajec o y o he obo ic a m om he cu en con igu a ion o he a ge pose. (Example ph ase: “Plan he ajec o y o he a ge posi ion.”) Execu e: In case i exis s and i is alid, execu es he planned obo ajec o y. (Example ph ase: “Execu e he planned pa h.”) Place: Se s he pose o he end e ec o in one o he ne es ( ha has o be de ined by he use ). (Example ph ase: “Place he end e ec o on he ne e A.”) A i s ins ance be o e s a ing he p og amming p o- cedu e, he use can mo e and lock he posi ion o he whole holog aphic scene keeping he calib a ed dis- ances be ween he di e en holog ams. This ac ion will allow he use o place he scene in a mo e com o - able zone o in e ac wi h i . In addi ion, h ough oice 52 PRESENCE: VOLUME 34 Figu e 5. Use ’s poin o iew while he sys em is planning he ajec o y. in e ac ion, he use can e ie e he p e iously calcu- la ed pose o he aile on wi h espec o he base o he obo and display ha ela i e posi ion in he i ual en- i onmen . The i s s ep o he p og amming p ocedu e consis s in se ing he a ge pose o he obo ic a m’s end e ec- o . This s ep in ol es placing he ool ep esen a ion in he desi ed eal-wo ld pose. To achie e i , use s g ab he holog am wi h hei hand and mo e i o he a ge posi- ion and o ien a ion. They hen elease he holog am o inalize he posi ioning. In o de o de ine he o ien a- ion, he use s mus o a e hei w is so he holog am o a es by pi o ing a ound he g abbed poin o he objec . The i s ac ion in obo ajec o y p og amming is planning. The sys em a emp s o ind a pa h om he cu en pose o he obo o he a ge pose de ined by he holog aphic ool. When his ac ion is de ec ed, a semi- anspa en whi e holog am o he obo ic a m appea s o e he digi al win un il he ajec o y plan is esol ed by “Mo eI !” (see Figu e 5). Once he sys em ob ains a esul , i i e u ns a alid ajec o y, he whi e holog am will be colo ed g een and will display a p e- iew o he planned ajec o y (see Figu e 6). O he wise, he holog am will be colo ed ed and emain s a iona y (see Figu e 7). I he planned ajec o y is sa is ac o y, he use can command he obo o execu e he plan by means o he dialogue sys em. The p e iew o he ajec o y will hen disappea , and he holog am o he digi al win will s a mo ing acco ding o he plan, simul aneously wi h he eal obo ic a m. The planning and execu ion s eps can be epea ed as many imes as necessa y o each he desi ed a ge pose. The inal s ep o he ask in ol es e ined posi ion- ing. This s ep is speci ic o he p oposed ask, whe e he a ge poses a e p ede ined wi h espec o he wo ked objec (i.e., he use who uses he applica ion does no de ine his pose). In he con ex o aile on inspec ion, we ha e p ede e mined one pose o each ne e, aligning he ool o enable senso eadings om he o he side. The use does no ha e o mo e he holog aphic ool because his was al eady done in he p e ious s ep. In- e ac ion wi h he sys em is limi ed o he dialogue and he ool will be placed au oma ically in he eques ed posi ion and a ajec o y plan will also be eques ed. As o he collabo a i e ask, a e he use mo es he eal obo ic a m o one o he aile on ne es by in e ac - ing wi h he applica ion, he use places he eal lase on he opposi e side o he aile on and checks he s a us o he inspec ed ne e. The lase has wo ligh s ha p o- ide eedback o he use . The i s indica es whe he he Ri e a e al. 53 Figu e 6. Use ’s poin o iew while he sys em was able o compu e a alid ajec o y (g een holog am). Figu e 7. Use ’s poin o iew while he sys em was no able o compu e a alid ajec o y ( ed holog am). lase is on o o . The second indica es whe he o no he lase beam has e u ned o he beam emi e . 4 Use S udy We conduc ed a use s udy o alida e and assess how he p oposed MR design aligns wi h he obo p o- g amming ask om he pe spec i e o use s who ha e no p io expe ience wi h MR. In his sec ion, we will desc ibe he p ocedu e ha was ollowed in he use s udy, which in ol ed 13 pa - icipan s. We will also discuss he da a ha was collec ed du ing and a e he use s udy and p esen an analysis o he esul s ob ained. 4.1 S udy P ocedu e All pa icipan s p o ided hei consen be o e s a ing he use s udy, allowing o he collec ion and 54 PRESENCE: VOLUME 34 anonymous analysis o da a. They we e also in o med ha hey could wi hd aw om he s udy a any ime wi hou p o iding an explana ion. The e hics commi ee o he hos ing o ganiza ion app o ed he s udy design and p o ided o e sigh h oughou he p ocess. The objec i e o his use s udy was o assess he ea- sibili y o p og amming a eal obo ic a m in an ac ual ask using i s holog aphic ep esen a ion, as well as o e alua e pa icipan s’ pe cep ions o he MR applica ion in e ms o i s in e es , help ulness, and use - iendliness. Du ing he s udy, pa icipan s we e asked wi h p o- g amming he obo ic a m, ollowing he p ocedu e desc ibed in he p e ious sec ion, o wo o he ou a ailable ne es. The ask in ol ed aligning he ool wi h he ne e, planning a alid ajec o y, and execu ing i . Pa icipan s s a ed wi h he i s ne e a he op and hen p og essed o he hi d ne e a he bo om. Ad- di ionally, pa icipan s had o plan a new ajec o y o posi ion he ool inside he aile on acco ding o p e- de ined poses. Use s we e asked o place he ool i s aligned wi h he aile on so ha he second mo emen would be in a s aigh line wi hin he ne e. The second mo emen was exclusi ely made by using he oice in- pu . Once he a ge was eached by he obo ic a m, pa icipan s we e equi ed o place he lase on he o he side o he same ne e and alida e he success ul e u n o he lase beam. Rega ding he eco ded da a du ing he execu ion, we collec ed (as dependen a iables) he ime spen on each execu ion, he ime spen manipula ing he holo- g aphic ool, he numbe o imes he holog aphic ool was mo ed pe execu ion, and he sen ences used wi h he dialogue sys em o pe o m a ious ac ions. Following he comple ion o he s udy, pa icipan s we e asked o comple e he Sys em Usabili y Scale (SUS) ques ionnai e (B ooke, 1995), ex ended wi h h ee addi ional s a emen s ela ed o he dialogue sys em. •The in e p e a ion o he oice commands is accu- a e. •The in e ac ion wi h he sys em h ough oice com- mands is e icien . •I conside ha in e ac ing wi h he sys em h ough oice commands is use ul. Fu he mo e, pa icipan s we e gi en he oppo uni y o answe wo open-ended ques ions abou wha hey liked he mos and wha hey disliked he mos abou he applica ion. P io o he a o emen ioned p ocedu e, pa icipan s we e p o ided wi h app oxima ely se en o en minu es o amilia ize hemsel es wi h a simila en i onmen . This aining session aimed o each hem how o in e - ac wi h a holog am and educe any signi ican skill gap be ween he wo execu ions hey pe o med du ing he s udy. 4.2 Analysis o he Resul s The use s udy was ca ied ou wi h 13 people who ga e hei consen o collec da a anonymously om hei execu ions while hey we e pe o ming he ask. The a e age age o he pa icipan s was 22.46 (SD = 1.941). All pa icipan s we e s udying o a bachelo ’s deg ee in mecha onics. This was he i s expe ience wi h a MR de ice o all he pa icipan s. We collec ed ime ela ed o he ime spen pe o m- ing he whole ask, he ime spen mo ing he holo- g aphic ool, he ime spen using he dialogue sys em, he ime while he use was doing no hing, he numbe o imes he use mo ed he holog aphic ool, and he dialogue in e ac ion success a io. 4.2.1 To al Task Time. This me ic measu es he whole ime spen planning he mo emen o bo h ne es and also execu ing he ajec o ies. The da a epo s he ollowing esul s [M =337.4 s; CI95% =[314.0, 360.8]]. 4.2.2 Time Mo ing he Tool. We eco ded he ime use s spen mo ing he ool o ge i in o he pose hey wan ed. The coun s a ed when he use s g abbed he ool and s opped when hey d opped i . The esul s o he whole ask a e he ollowing: [M =46.7 s; CI95% = [41, 7, 51.7]]. 4.2.3 Voice In e ac ion Time. This me ic epo s he ime ha he use spen p oducing oice commands and ha ing hem unde s ood by he dialogue sys em (which, Ri e a e al. 55 in some cases, in ol ed epea ing he same oice com- mand mo e han once): [M =125.2 s; CI95% =[110.9, 139.3]]. 4.2.4 Time S opped. This me ic compu es he o- al ime use s spen no pe o ming any ac i e ac ion. They we e ypically wai ing o a s ep in he p ocess o be comple ed, o p og ess was hal ed because he ac ion hey eques ed could no be execu ed: [M =165.5 s; CI95% =[148.1, 182.9]]. 4.2.5 Numbe o Tool Mo emen s. The da a e- po ed abo e ep esen s he numbe o imes he use g abbed and d opped he sphe e used o indica e a a - ge posi ion in space: [M =8.77; CI95% =[7.8, 9.74]]. 4.2.6 Dialogue In e ac ion Success Ra io. The di- alogue in e ac ion success a io was calcula ed by di- iding he o al sen ences he sema ics-based dialogue sys em could p ocess by he o al p ocessed sen ences. The alue measu ed o his me ic was 88.37%. The sen ences used by he pa icipan s we e simila o he sen ences shown in Sec ion 3.4. Those ph ases we e gi en as examples o he pa icipan s, al hough hey we e ee o use di e en sen ences wi h equi alen meaning. Failu es in he speech o ex se ice we e due o he backg ound noise o he indus ial en i onmen . In addi ion, one eason pa icipan s we e unsuccess ul in hei a emp o gi e a command h ough he dialog sys em was ha hey did no comple e he sen ence o go s uck mid-sen ence, so in o ma ion was missing and he sys em could no pe o m an ac ion. 4.3 Analysis o Ques ionnai e Resul s The mean SUS sco e ob ained was 79.23. Acco d- ing o Bango ’s g ade scale (Bango e al., 2009), usabil- i y o he applica ion is accep able, and in he g ade scale i co esponds o a “C,” al hough only 77 hund ed hs below a a ing ha would classi y i as g ade “B.” The dis ibu ion o he answe s gi en o each ques- ion is epo ed in Figu e 8. Fo he igu e, as well as o compu ing he sco e, he pola i y o he nega i e ques- ions was in e ed. Thus, highe sco es indica e mo e posi i e answe s. Acco ding o he answe s o he addi ional h ee ques ions, epo ed in Figu e 9, he esul s show ha , om he use s’ pe spec i e, he in e p e a ion o he oice commands was accu a e in ela ion o he ac ion hey in ended o eques he sys em o pe o m (Q11). The e ec i eness o oice commands was poin ed ou by 72.2% o he pa icipan s, while he emaining 27.8% conside ed i nei he e ec i e no an obs acle o in e ac- ion (Q12). In addi ion, all pa icipan s conside ed ha in e ac ing wi h he sys em by using oice commands was use ul (Q13). The pa icipan s’ answe s o he open ques ions abou wha hey liked and disliked he mos abou he sys em help in e p e he esul s ob ained om he ques ionnai e. The mos ele an posi i e aspec o he applica ion o he pa icipan s was he oice sys em (46% o he an- swe s highligh ed he p os o using a dialogue sys em o in e ac ing wi h he applica ion). The esponses also highligh ed he eleope abili y choice o he sys em, p e- en ing isks om exposu e o he obo , ha is, being able o ope a e a obo om a emo e loca ion, which also helps educe isk om exposu e o he obo . On he o he hand, he main d awback pa icipan s ound in he applica ion was he di icul y o in e ac wi h he ool in i s holog aphic ep esen a ion (38% o he pa icipan s ema ked on his aspec ). In addi ion, pa icipan s no ed ha oice de ec ion was no su i- cien ly accu a e. I is likely ha his lack o accu acy was caused by he backg ound noise o he indus ial se - ing ( ep esen a i e o he en i onmen al condi ions his sys em would be in a eal p oduc ion line). This was p obably agg a a ed by he quali y o he mic ophone in he HMD de ice, which should ideally be supe io . 5 Discussion The esul s om he use s udy show ha e e y pa icipan was able o comple e he ask o p og am- ming a obo ic a m by in e ac ing wi h i s holog aphic digi al win using he sys em desc ibed in his pape . 56 PRESENCE: VOLUME 34 Figu e 8. Dis ibu ion o he answe s om he use s o he SUS ques ionnai e. Figu e 9. Dis ibu ion o he answe s om he ques ions ela ed o he dialogue sys em. This esul should be pu in pe spec i e by he ac ha e e y pa icipan was nai e in he use o MR de ices as well as in he p og amming o obo ic a ms. The esul s om he use s udy help cha ac e ize he pe o mance ob ained. Use s inished he whole ask in an a e age o 337.4 seconds (CI95% =[314.0, 360.8]), ha is, 5–6 minu es in o al. In all he cases, he ask was success ully com- ple ed, and he use could inish he whole ask. This g oss o al ime included he p og amming o a leas i e poses o he obo , in each one wi h he in e ac- ion wi h he dialogue sys em, compu a ion o ajec o- ies, inspec ion and alida ion by he pa icipan s, plus execu ion. Ri e a e al. 57 F om he o al a e age ime spen pe o ming he ask, he ime use s spen mo ing he ool o de ine a new pose accoun s o only 13.85% o he o al ime (46.7 seconds on a e age, CI95% =[41.8, 51.7]). Wi h an a e age o nea ly nine in e ac ions pe o med o de- ine each new pose, each in e ac ion ook an a e age o a ound 5 seconds o pe o m. Conside ing he ime alues epo ed in somewha simila s udies in he li e - a u e (such as in Le e al., 2020), he ime equi ed by use s o de ine a a ge pose is compa able o he ime we obse ed in ou s udy. They epo ed an a e age o 39.33 seconds o comple e hei ask, which consis ed o a d ag-and-d op ask. In ou case, we eco ded an a e - age o 46.7 seconds as a sum o e e y ins ance he use mo ed he holog aphic ool ep esen a ion du ing i s posi ioning on he wo ne es used in he use s udy. Rega ding he ime spen wi h oice in e ac ion, his ac i i y ep esen ed mo e han a hi d o he o al ask execu ion ime (125.2 seconds). The oice in e ac- ion ime s a ed wi h he ac i a ion o he dialogue sys em by p onouncing he p omp oice command, and i las ed un il an ac ion was ecognized. I is ele- an o emphasize ha in his pa o he ask execu ion, some use s encoun e ed di icul ies o be unde s ood by he sys em. This migh be due o he p esence o backg ound noise in he labo a o y (loca ed in an in- dus ial building wi h obo s and machines ope a ing inside cells), in which backg ound noise was simila o he noise ypically ound in an indus ial en i onmen . The emaining ime spen in ask execu ion co e- sponded o pe iods in which he use was idle (e.g., while he sys em was compu ing o execu ing a pa o he sequence), o ime wi h non-p oduc i e ac ions (e.g., wi h he use ying o g ab he holog aphic ool). The a e age ime ha he use was idle o non- p oduc i e was 165.5 seconds (CI95% =[148.1, 182.9]). These 2.5–3 minu es accoun ed o almos hal o he o al execu ion ime. Pa icipan s (who, as said, had no p io expe ience manipula ing holog ams) epo ed in some cases in he pos s udy open ques ion ha hey had ound i di icul o g ab he holog am o he ool a i s , bu ha he li le amoun o p ac ice om pa icipa ing in he s udy al eady diminished such di icul ies. T aining and p ac ice ecei ed p io o execu ing he expe imen ask las ed only 10 minu es pe pa ic- ipan . I is likely o expec ha de o ing mo e ime o he aining pa p io o he s udy would ha e educed he ime and numbe o a emp s equi ed o g ab he holog am. As a esul , i is likely ha i would ha e also educed he us a ion expe ienced by some o he pa - icipan s, and i migh ha e imp o ed hei UX. Con e sely, pa icipan epo s in he open ques ion abou he bes aspec s o he applica ion sugges ha he in e ac ion wi h he sys em h ough a dialogue sys em is a good op ion, as i simpli ies he p ocess o pe o ming he ask. Al oge he , pa icipan s ound ha he way o eleope a e he obo wi h his XR sys em was easy. They el ha mo e aining will be bene icial be o ehand o be e con ol he inpu in e ace o he de ice as well as o know wha op ions a e a ailable o dialog in e ac- ion. Howe e , wi h he sho ime hey we e p o ided o lea n abou he use o he applica ion, hey el hey we e su icien ly p epa ed o pe o m well. 6 Conclusions and Fu u e Wo k In his pape , we desc ibed he design o an appli- ca ion wi h which i is possible o command a obo ic a m h ough i s holog aphic digi al win and we e al- ua ed i in an aile on inspec ion ask in an indus ial en i onmen . This design sol es he challenge o ele- ope a ing a obo o e a dis ance by eplica ing nex o he ope a o he emo e obo and i s ele an su - ounding scena io. The solu ion p oposed is indepen- den o how a he obo is loca ed om he ope a o . I allows he ope a o no o need o be nex o he obo ic a m o p og am i s beha io . Because he op- e a o does no need o displace epea edly all he way o he loca ion o he obo , he ime equi ed and he physical e o exe ed by he ope a o o p og am he obo a e d as ically educed. These educ ions will be bigge he u he he obo is in di e en p oduc ion scena ios. Wi h he pu pose o imp o ing he in e ac ion wi h he scene, we de eloped and in eg a ed in he XR appli- ca ion a seman ic-based ask-o ien ed dialogue sys em 58 PRESENCE: VOLUME 34 ha allows a oice communica ion wi h he applica ion by using na u al language a he han basic commands. Apa om he wo main ad an ages o MR applica- ions o obo p og amming, which a e no needed o p og amming skills and eleope abili y, he use s udy esul s epo a posi i e ecep ion by use s in using mul- imodal echnology o p og am a obo ic a m h ough i s holog aphic digi al win. The use o mo e ex ended sen ences ins ead o simple commands allowed he use s o p o ide de ails o he ac ion o he sys em when i was equi ed. This capabili y in addi ion o he di ec in e ac ion wi h he holog ams pe mi ed a comple e in- e ac ion wi h he i ual scena io. On he o he hand, he eedback p o ided no only by he isual channel bu also using he audi o y channel helped he use s o un- de s and e e y ime he s a us o he applica ion and he eleope a ion. A use s udy was ca ied ou wi h 13 people who had ne e used an XR HMD. They all could comple e he ask o posi ioning he obo ic a m’s end e ec o in he a ge ne es. Findings om he s udy sugges ha he applica ion enables inexpe ienced use s o p og am he obo by using XR echnologies. The success o he ask pe o mance in all cases alida es ha he echnology used is compa ible wi h he p oposed applica ion. Rega ding u u e wo k, also linked o he eedback ecei ed in he use s udy, we iden i ied ha he in e ac- ion wi h he holog aphic ool needs o be imp o ed o enable a smoo he and mo e consis en pe o mance o he use s. Besides he design and implemen a ion o he module, wo aspec s ha could be key o his imp o e- men a e he pe o mance o hand acking implemen ed in u u e HMD de ices, and he habi ua ion o use s o g abbing and mo ing a holog am. In he con ex o a u u e use s udy, such habi ua ion should be eased by p o iding a mo e signi ican aining s age be o e da a collec ion o sys em e alua ion. Limi a ions Thi een pa icipan s ook pa in he use s udy. While his numbe may no be su icien o conside he esul s ully ep esen a i e o all po en ial use s, u u e s udies should in ol e mo e pa icipan s o achie e mo e obus conclusions. Decla a ions Funding The esea ch o his pape has been inancially suppo ed by he Elka ek P og amme, Basque Go e n- men (Spain), p ojec COGILE (KK-2021 / 00016). E hical App o al An in e nal boa d has e iewed he e hical de- sign o he use s udy, ollowing guidance om he Eu opean Commission on E hics in Social Science and Humani ies.1 Con lic o In e es The au ho s ha e no ele an inancial o non- inancial in e es s o disclose. The au ho s ha e no com- pe ing in e es s o decla e ha a e ele an o he con- en o his pape . REFERENCES Ace a, C., Fe nández, I., & So oa, A. (2021). Todo: A co e on ology o ask-o ien ed dialogue sys ems in indus y 4.0. In Fu he wi h Knowledge G aphs (pp. 1–15). IOS P ess. 10.3233/SSW210031 Ace a, C., Fe nández, I., & So oa, A. (2022). Kide4i: A gene ic seman ics-based ask-o ien ed dialogue sys em o human-machine in e ac ion in indus y 5.0. Applied Sci- ences,12(3). 10.3390/app12031192 Bambuˆ sek, D., Ma e na, Z., Kapinus, M., Be an, V., & Sm ž, P. (2019). Combining in e ac i e spa ial augmen ed eali y wi h head-moun ed display o end-use collabo a i e obo p og amming. 2019 28 h IEEE In e na ional Con e ence on Robo and Human In e ac i e Communica ion,1–8. 10.1109/RO-MAN46459.2019.8956315 1h ps://ec.eu opa.eu/in o/ unding- ende s/oppo uni ies/ docs/2021-2027/ho izon/guidance/e hics-in-social-science-and -humani ies_he_en.pd