Herramientas de comprensión de lenguaje natural y de reconocimiento facial aplicadas a un entorno de realidad virtual

Herramientas de comprensión de lenguaje natural y de reconocimiento facial aplicadas a un entorno de realidad virtual Por Grado en Desarrollo de Videojuegos Facultad de Informática Dirigido por Borja Manero Iglesias Alejandro Romero Hernández NATURAL LANGUAJE UNDERSTANDING AND FACE RECOGNITION TOOLS APPLIED TO VIRTUAL REALITY Madrid, 2022–2023 Herramientas de comprensión de lenguaje natural y de reconocimiento facial aplicadas a un entorno de realidad virtual Memoria que se presenta para el Trabajo de Fin de Grado en la convocatoria de Febrero Anass Carreau Allagui Dirigido por Borja Manero Alejandro Romero Grado en Desarrollo de Videojuegos Facultad de Informática Universidad Complutense de Madrid Madrid, 2023 Agradecimientos Me gustaría expresar mi gratitud hacia todas las personas que han contribuido en mi formación académica y me han brindado los conocimientos necesarios para llevar a cabo este proyecto. En primer lugar, quiero agradecer a Borja Manero, Meriem El Yamri y Alejandro Romero por confiar en mi capacidad para llevar a cabo el proyecto de manera individual y por incluirme en el experimento de Didascalias. Estoy profundamente agradecido por su orientación y apoyo durante el desarrollo de mi trabajo de fin de grado. Su sabiduría y experiencia han sido fundamentales para el éxito de mi proyecto. Sus sugerencias y retroalimentación han sido de gran valor para mí y me han ayudado a mejorar significativamente mi trabajo. También quiero expresar mi gratitud por su dedicación y esfuerzo en la docencia, que ha sido contagiosa para todos los demás. Por otra parte, quiero mencionar la valiosa ayuda recibida de Ibis y Mírela. Sus interesantes conversaciones en los descansos de los experimentos me han permitido ver la perspectiva de la enseñanza desde su punto de vista. También estoy agradecido a la Universidad Complutense por proporcionarme los recursos necesarios para llevar a cabo el proyecto. Por último, pero no menos importante, quiero dar las gracias a mi familia y amigos por su apoyo moral y motivación, incluso en momentos difíciles relacionados con el proyecto anterior. Gracias a todos ii Resumen La educación es uno de los factores más influyentes respecto al avance y progreso de personas y sociedades. Además de la adquisición de conocimientos y habilidades, la educación proporciona valores, hábitos, creencias y virtudes a personas que en un futuro serán trabajadores o padres. Por esta razón es importante centrarse en los métodos educativos actuales y promover toda innovación al sector de la educación. Para eso es necesario contar con docentes experimentados con la habilidad de poder solucionar los conflictos en clase con seguridad y decisión de la mejor manera posible. La comunicación entre un alumno y el profesor es vital para la solución de estos conflictos. Cuando se habla de comunicación hay que tener en cuenta la comunicación no verbal y la verbal. Hay que saber mostrar las intenciones con el lenguaje natural pero también es importante tener en cuenta las expresiones faciales y el lenguaje corporal ante los ojos de un alumno. En este proyecto, se investigan y se implementan tecnologías que permiten el procesamiento del lenguaje natural y el reconocimiento facial en un juego serio de temática educativa. Durante la ejecución se analizan las intenciones del usuario con una inteligencia artificial de comprensión del lenguaje. Por otra parte, se han implementado funcionalidades para poder hacer un seguimiento de ojos y analizar la frecuencia cardiaca y las emociones. De este proyecto, se concluye que las nuevas tecnologías pueden ser de gran ayuda para poder evaluar a futuros docentes y ofrecerles una experiencia lo más realista posible de un entorno conflictivo. Palabras clave Juego serio, interacción, comprensión del lenguaje, educación, expresiones faciales, realidad virtual, comunicación iii Abstract Education is one of the most influential factors in the advancement and progress of individuals and societies. In addition to the acquisition of knowledge and skills, education provides values, habits, beliefs, and virtues to people who will be workers or parents in the future. That’s why it’s important to focus on current educational methods and promote innovations in the education sector. To do this, it is necessary to have teachers experienced with the ability to solve classroom conflicts safely and in the best possible way. The communication between a student and a teacher is vital for the resolution of these conflicts. When talking about communication, it is important to consider nonverbal and verbal communication.it is crucial to know how to show intention with natural language, but it is also important to consider facial expressions and body language in front of a student. In this project, we investigate and implement technologies that allow the processing of natural language and facial recognition in an educational-themed serious game. During the execution, the user’s intentions are analyzed with a natural language understanding artificial intelligence. Furthermore, other functionalities have been implemented to be able to eye tracking and analyze heart rate and emotions. From this project, it is concluded that modern technologies can be of significant help in evaluating future teachers by offering them an experience as realistic as possible of a conflictive environment. Keywords Serious game, interaction, language comprehension, education, facial expressions, virtual reality, communication. iv Índice general Página 1. Introducción 1 1.1. Motivación................................... 1 1.2. Objetivos ................................... 1 1.2.1. Objetivos Generales . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2.2. Objetivos Específicos . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3. Estructura del documento . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2. Estado del arte 4 2.1. Historia de la realidad virtual . . . . . . . . . . . . . . . . . . . . . . . . 4 2.1.1. Estereopsis .............................. 5 2.1.2. Simuladores aeroespaciales . . . . . . . . . . . . . . . . . . . . . . 5 2.1.3. El auge de la realidad virtual en los 90 . . . . . . . . . . . . . . . 7 2.1.4. La tecnología VR en la actualidad . . . . . . . . . . . . . . . . . . 8 2.2. Tendencias de los videojuegos y los Serious Games . . . . . . . . . . . . . 11 2.2.1. Impacto de los videojuegos en la sociedad . . . . . . . . . . . . . 11 2.2.2. Seriousgames............................. 13 2.2.3. Proyecto Classroom VR . . . . . . . . . . . . . . . . . . . . . . . 14 2.3. Reconocimiento facial en la actualidad . . . . . . . . . . . . . . . . . . . 15 2.3.1. EmteqLabs.............................. 16 2.4. Reconocimiento del lenguaje natural en la actualidad . . . . . . . . . . . 16 2.4.1. Reconocimiento del lenguaje natural por voz . . . . . . . . . . . 17 3. Desarrollo y herramientas 19 3.1. Herramientas de trabajo . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.1.1. Tecnologíabase............................ 20 3.1.2. Dispositivos Utilizados . . . . . . . . . . . . . . . . . . . . . . . . 20 3.1.3. Comunicación............................. 22 3.2. Desarrollo del trabajo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.1. Metodología de trabajo . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.2. Implementación............................ 23 4. Herramienta de reconocimiento facial 26 4.1. Investigación y comprensión de Emteqvr . . . . . . . . . . . . . . . . . . 26 4.1.1. Valencia y Arousal . . . . . . . . . . . . . . . . . . . . . . . . . . 26 4.1.2. Activación de los músculos faciales (Expresividad) . . . . . . . . . 27 4.1.3. Seguimiento de la frecuencia cardíaca . . . . . . . . . . . . . . . . 29 4.1.4. Movimiento ocular (Solo con gafas con rastreador ocular) . . . . . 30 v UCM 4.2. Implementación en Unity . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 5. Herramienta de comprensión del lenguaje natural 34 5.1. Investigación y comprensión de Wit.ai . . . . . . . . . . . . . . . . . . . 34 5.1.1. Variables................................ 34 5.2. Proyectodewit.ai............................... 35 5.3. Implementación del proyecto de Wit.ai en Unity . . . . . . . . . . . . . . 36 6. Conclusiones y trabajo futuro 38 6.1. Conclusiones.................................. 38 6.1.1. Conclusiones Reconocimiento facial . . . . . . . . . . . . . . . . . 38 6.1.2. Conclusiones Reconocimiento del lenguaje natural . . . . . . . . . 38 6.2. Trabajofuturo ................................ 39 Introduction 40 Conclusions and Future Work 42 Bibliografía y enlaces de referencia 44 vi Índice de figuras 2.1. Eye toy para la Playstation 2 (2003) . . . . . . . . . . . . . . . . . . . . 4 2.2. Estereoscopio de Charles Wheatstone (1832) . . . . . . . . . . . . . . . . 5 2.3. Helmet-Mounted Display (1967) . . . . . . . . . . . . . . . . . . . . . . . 6 2.4. Proyecto Super Cockpit (1970s - 1980s) . . . . . . . . . . . . . . . . . . . 7 2.5. VirtualityPod(1991)............................. 7 2.6. Mario Tennis para la Virtual Boy (1995) . . . . . . . . . . . . . . . . . . 8 2.7. Oculus Rift Developer Kit (2012) . . . . . . . . . . . . . . . . . . . . . . 9 2.8. HTCVivePro(2018)............................. 10 2.9. Omni One (Pendiente de lanzamiento) . . . . . . . . . . . . . . . . . . . 11 2.10. League of Legends de Riot Games (2009) . . . . . . . . . . . . . . . . . . 12 2.11.VRChat(2014)................................ 12 2.12. Microsoft Flight Simulator (2020) . . . . . . . . . . . . . . . . . . . . . . 13 2.13. Aprendilandia de Planeta de Agostini (1999) . . . . . . . . . . . . . . . . 14 2.14.CharacterAnimator ............................. 15 2.15.RedNeuronal................................. 16 2.16. Echo Dot (5.ªgeneración, modelo de 2022) . . . . . . . . . . . . . . . . . 17 3.1. GithubDesktop................................ 19 3.2. GoogleDrive ................................. 20 3.3. Wit.ai ..................................... 20 3.4. EmteqPRO .................................. 21 3.5. ViveProEye ................................. 21 3.6. Quest2 .................................... 22 3.7. Class Game Scene antes . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.8. Class Game Scene después . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.9. Antiguoscript................................. 23 3.10. Árbol de comportamiento Escena1 . . . . . . . . . . . . . . . . . . . . . 24 3.11. Componentes VR de Unity . . . . . . . . . . . . . . . . . . . . . . . . . . 25 4.1. The circumplex model of affect . . . . . . . . . . . . . . . . . . . . . . . 27 4.2. Gráfico de activación de músculos . . . . . . . . . . . . . . . . . . . . . . 27 4.3. Posicion de los músculos . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 4.4. Gráfico que muestra los intervalos de las señales de los sensores de ECG y PPG...................................... 29 4.5. Unidad de medición inercial (IMU) . . . . . . . . . . . . . . . . . . . . . 30 4.6. Rastreadorocular............................... 30 4.7. Expresionesfaciales.............................. 31 4.8. Guardado de datos en Json . . . . . . . . . . . . . . . . . . . . . . . . . 32 vii UCM 2.1.1. Estereopsis La definición de videojuego del diccionario de Cambridge tampoco contempla nuevas tecnologías como la realidad aumentada (RA) o realidad virtual (RV), tecnologías que basan su funcionamiento en la Estereopsis, un efecto óptico descrito por primera vez por Sir Charles Wheatstone en 1839 y comprobado gracias al estereoscopio, un instrumento que permite ver dos imágenes planas como una sola y con efecto de profundidad [9]. En el mundo real, el ojo humano percibe la distancia y ve las cosas en tres dimensiones gracias a la visión binocular. Los ojos de la persona media distan unos 7-8 centímetros de si, lo que provoca que vea las cosas desde dos perspectivas distintas a la vez, una por cada ojo. El cerebro entonces se encarga de juntar estas imágenes en una sola mediante la estereopsis [10]. Gracias a este efecto es posible darle a las películas 3D el efecto de profundidad, pero más importante, en contexto de este trabajo, también a las gafas de realidad virtual. El funcionamiento de estas es relativamente sencillo, cada lente de las gafas muestra una perspectiva de lo que se esté mostrando movida, idealmente la misma distancia que la que hay entre los ojos del usuario, y esto es suficiente para provocar la estereopsis. Figura 2.2: Estereoscopio de Charles Wheatstone (1832) 2.1.2. Simuladores aeroespaciales La estereopsis fue conceptualizada por varios campos artísticos, desde películas a experiencias sensoriales, pero fue usada con fines prácticos en 1966 por Thomas Furness [11], un ingeniero militar del ejército del aire estadounidense [12]. Los cazas y aviones de la armada yankee a finales de los años 60 era un puzzle de instrumentos, sensores, botones y palancas, y eso traía consigo un problema. ¿Dónde se supone que va a poder ver toda esa información el piloto? El cockpit estaba tan lleno de instrumentación que era muy difícil añadir además un panel o pantalla capaz de representar todo lo necesario para ser efectivo en el aire, al fin al cabo el piloto no solo tendría que estar atento a lo que ocurría en su nave, sino además a posibles amenazas del exterior. Por ello, Thomas se encargó de diseñar una nueva manera de representar información de tal forma que fuese fácil de ser interpretada por el usuario. La solución fue fácil, se dió cuenta que podría representar todo de manera muy pequeña si esta estuviera cerca de la cara del piloto. El 5 UCM primer modelo fue el llamado Helmet-Mounted Display, acabado en 1967, y solamente mostraba la información por uno de los ojos. Figura 2.3: Helmet-Mounted Display (1967) Sus modelos posteriores sí aprovechaban la estereopsis, y acabó culminando en un proyecto llamado Super Cockpit, un visor más avanzado que se asimila a lo que conocemos como los cascos de realidad virtual y que terminó por convertirse no solo en una herramienta útil para el fácil acceso de información de vuelo, si no también en los primeros simuladores de vuelo gracias a la introducción de elementos de virtualización de entornos sustentado por gráficos de vectores [13]. Además de esto, Thomas ha seguido investigando e innovando hasta 2002 sobre varios aspectos de la realidad virtual [14], siendo uno de los pilares fundamentales de la tecnología. A día de hoy, es profesor de el College of Enineering de Washington [15]. y sigue impartiendo clases y conferencias. 6 UCM Figura 2.4: Proyecto Super Cockpit (1970s - 1980s) 2.1.3. El auge de la realidad virtual en los 90 El uso de la tecnología VR no vió la luz en el mundo de los videojuegos hasta comienzos de los años 90, en el que la empresa Virtuality Group [16] empezó a desarrollar videojuegos para salas de arcade, y que más adelante tuvo colaboración por parte de SEGA [17] para el desarrollo de nuevos videojuegos como e iteraciones del headset, como el VR-1 [18] presente en varios parques temáticos de la compañía nipona. Figura 2.5: Virtuality Pod (1991) 7 UCM La realidad virtual se había convertido en tendencia, haciendo que otras empresas como Nintendo [19] también se interesaran por la tecnología. Un claro ejemplo de ello fue la Virtual Boy [20], una consola que pese a su ambiciosa promesa de traer el gaming VR a casa de los jugadores, fue un fracaso comercial con solamente 770.000 unidades vendidas, aguantando solo un año en el mercado. [21] Esto se debió a que la tecnología aún era muy primitiva y cara, por lo que los compromisos que traía esta nueva consola, como la limitación de colores (solamente escalas de rojo y negro) y lo poco cómodas que eran de usar debido a la ausencia de un sistema de enganche a la cabeza y lo mucho que afectaban los pequeños movimientos con la cabeza a la estabilidad de la imágen hicieron que no fuese una opción atractiva para el consumidor. [21] Este fracaso provocó que la industria se volviera escéptica del uso de la realidad virtual “casera”, por lo que los años venideros solo se verían nuevas innovaciones en centros de juegos recreativos o en parques temáticos que sí disponían de gafas más avanzadas y por ello mucho más caras. Figura 2.6: Mario Tennis para la Virtual Boy (1995) [22] 2.1.4. La tecnología VR en la actualidad En 2012, Palmer Freeman Luckey [23] lanza una campaña de financiación en Kickstarter [24] para su producto, Oculus Rift, el cual fue un éxito consiguiendo una financiación de más de 2 millones de dólares de los 250.000 que se pedían inicialmente y creando un nuevo estándar para los videojuegos en realidad virtual. Los backers iniciales recibieron una unidad de desarrollo y fue recibido muy bien tanto por la comunidad gaming como de otros campos científicos. [25] Oculus había sido capaz de traer de vuelta al mainstream la realidad virtual, y muchas empresas de videojuegos, sobre todo indie, centraron su atención en desarrollar para estas plataformas. [26] 8 UCM Figura 2.7: Oculus Rift Developer Kit (2012) [27] A día de hoy seguimos bajo el estándar creado por Oculus, pero surgieron por el camino nuevos proyectos de otras empresas que han traído al mundo de la realidad virtual nuevas aportaciones, como por ejemplo Google con Google Cardboard [28], que permite a los usuarios transformar su teléfono Android en una puerta de entrada al mundo VR solamente usando dos simples lentes y cartón. Esto significó que el usuario casual o interesado en la tecnología podría probar una experiencia VR muy similar a la ofrecida por las gafas del mercado.[29] Las pantallas incorporadas en los kits de desarrollo de Oculus eran las mismas que la mayoría de los móviles de gama media/alta de la población, lo cual permitía ofrecer una experiencia similar a excepción de la calidad de construcción de la carcasa (cartón en vez de plástico de buena calidad). [30] Un desarrollo importante sobre todo en la manera en la que controlamos e interactuamos con los entornos virtuales fue producido gracias a HTC [31], quienes lanzaron al mercado su propia iteración de unas gafas de realidad virtual en el 2016, las HTC Vive, pero que traían consigo un par de mandos que permiten al jugador interactuar con el espacio virtual de manera mucho más realista, ya que este gracias a los sensores externos que incluye el conjunto podría ver y usar sus proprias manos dentro del juego. 9 UCM Figura 2.8: HTC Vive Pro (2018) Además de avances en la inmersión en las gafas, varias empresas han dedicado sus esfuerzos mejorar la experiencia VR trayendo al mundo digital otros aspectos del mundo real, como bHaptics [32], que produce guantes, chalecos y trajes que transmiten mediante señales hápticas (vibraciones producidas por motores que van incorporados en los accesorios) mayor inmersión al jugador. Por ejemplo, en un juego de disparos, si el usuario está usando un TactSuit X40 [33] (un chaleco producido por bHaptics), éste podrá sentir cómo y dónde es alcanzado en un juego de disparos. Otro ejemplo es el de Virtuix [34] con sus plataformas que permiten al jugador controlar el movimiento de su personaje caminando por una cinta similar a las que se usan en los gimnasios. Existen otras empresas que se centran en traer al entorno virtual otros aspectos de la vida real, la misma HTC ha popularizado el uso de trackers de movimiento corporal, que permiten transmitir al ordenador los movimientos que ejecuta el usuario no solamente con las manos (juntamente con los mandos), pero también de otras miembros del cuerpo gracias al uso de varios sensores repartidos por todo el cuerpo. La última iteración del sensor, el Vive tracker 3.0 es mucho más pequeño en comparación, haciendo que la experiencia del usuario sea más realista y sin compromisos. [35] 10 UCM Figura 2.9: Omni One (Pendiente de lanzamiento) 2.2. Tendencias de los videojuegos y los Serious Games 2.2.1. Impacto de los videojuegos en la sociedad Los videojuegos se han convertido en un pilar fundamental de la vida de muchas personas, gracias a los avances tecnológicos que nos han permitido pasar de jugar en máquinas de 8 bits en solitario o con amigos presentes físicamente como con la Nintendo Entertainment System (más conocida como NES) [36] a poder estar siempre comunicados y socializando a través de juegos en línea en nuestros ordenadores o consolas. Juegos como League of Legends de Riot Games [37], Counter Strike Global Offensive de Valve [38] o Fortnite de Epic Games [39] mantienen cifras astronómicas de jugadores concurrentes [40], e indican una tendencia: la sociedad necesita estar entretenida en todo momento. 11 UCM Figura 2.10: League of Legends de Riot Games (2009) El apartado social es un factor muy importante de esta nueva tendencia, y se ve reforzado por el popular uso de las redes sociales. Hoy en día estamos más interconectados que nunca, podemos compartir nuestra vida a través de historias de Instagram [41], compartir memes o nuestros pensamientos en Twitter [42] o hasta adentrarnos en mundos virtuales donde podemos conocer nuevos amigos o hasta pareja usando la realidad virtual. Un ejemplo de esto es VR Chat [43], un juego en el que los usuarios pueden elegir o hasta diseñar su propio avatar y entrar en diferentes salas de convivencia con otros jugadores de todo el mundo. Aunque no es necesario disponer de gafas de realidad virtual para jugar, la experiencia es mucho mejor si se dispone de ellas. También soporta tracking de cuerpo completo, por lo que el avatar del jugador podrá plasmar su lenguaje corporal a través de su personaje. Figura 2.11: VR Chat (2014) 12 UCM 2.2.2. Serious games El ser humano se ha acostumbrado a estar constantemente siendo bombardeado con estímulos, tiene que estar entretenido en todo momento. Lo que antes podría ser un rato sin hacer nada o de descanso se ha convertido en un momento en el que nos ponemos a mirar redes sociales, a chatear o a jugar. Esto es relevante porque significa que los métodos de aprendizaje tradicionales están quedando obsoletos, son aburridos de acuerdo a los estándares actuales. Por ello se ven cada vez más herramientas como Duolingo [44] para el aprendizaje y práctica de Idiomas o ejemplos mucho más concretos como la plataforma de aprendizaje del popular CRM, Salesforce, en su plataforma gratuita de aprendizaje, Trailhead [45], donde el rango y la puntuación del usuario es un indicador de su nivel y sabiduría sobre la tecnología, pudiendo este ganar puntos completando cursos que le sirven además para obtener certificaciones oficiales. Estas nuevas maneras de aprender se presentan como un método mucho más ameno y divertido para aquellas personas que, sin elementos de gamificación [46], no tendrían tanto incentivo o motivación para estudiar por su cuenta. Volviendo a la definición de videojuego ofrecida por Oxford, podríamos considerar el simulador de vuelo de Thomas Furness uno, ya que se trata de un juego en el que el usuario mediante botones mueve elementos en una pantalla. Sin embargo, este proyecto no era accesible a todo el mundo, fue el resultado de una investigación para el ejército de los Estados Unidos y de uso privado. Hoy en día es posible con un ordenador común que tenga tarjeta gráfica básica ejecutar los mejores simuladores de vuelo del mercado. Por ejemplo, Microsoft Flight Simulator [47] es un videojuego de simulación de vuelo desarrollado por Microsoft [48] que ofrece al jugador una experiencia casi real de lo que sería estar en control de diferentes tipos de aeronaves, desde avionetas pasando por aviones comerciales hasta jets de combate [49]. En una actualización reciente del juego fue añadida la posibilidad de emplear gafas y mandos de realidad virtual, permitiendo así una experiencia aún más realista. Figura 2.12: Microsoft Flight Simulator (2020) 13 UCM Estos simuladores no son simplemente un juego, son empleados para el entrenamiento real de pilotos. Este tipo de juegos son los llamados serious games, o juegos serios en español, ya que su objetivo principal no solo es entretener, sino educar. Permiten al usuario poner en práctica sus habilidades en un entorno muy similar al real, pero sin consecuencias. El término fue acuñado por primera vez por el investigador Clark C. Abt en su libro con el mismo nombre, Serious Games [50], lanzado en 1970. En él, establece las principales ideas del término, la idea de impartir conocimiento a base de juegos no pensados con el fin de entretener, sino de educar. En los años 70 los videojuegos apenas tenían presencia (como referencia, el videojuego Pong [51] fue lanzado en 1972), por lo que obviamente se refería a juegos tradicionales. Sin embargo, el mismo principio se puede aplicar a los videojuegos y se basan en exactamente lo mismo, enseñar sobre una materia específica a la vez que se entretiene al jugador. El concepto de los Serious Games no tuvo visibilidad hasta finales de la década de los 90, donde investigadores empezaron a plantear la posibilidad de crear juegos específicos con un fin educativo. Un popular ejemplo de este concepto fue ejecutado en 1999 por Planeta de Agostini en la Península Ibérica, Aprendilandia fue una saga de juegos educativos por fascículos en formato CD-ROM. Estos consistían en varios minijuegos que educaban sobre matemáticas, lengua, ética y ciencias ambientales a niños de a partir 3 años de edad. Figura 2.13: Aprendilandia de Planeta de Agostini (1999) 2.2.3. Proyecto Classroom VR Traer estos conceptos a las aulas permite aumentar la motivación de los alumnos, desarrollar sus competencias en la diversas materias y crear un entorno seguro para ellos, sin embargo, se pueden aplicar estos mismos principios a los propios educadores. A la vez que la enseñanza se van quedando anticuada, no solo de contenido, sino también de metodología, existe la necesidad de educar a los futuros profesores con base en los nuevos métodos. En eso se basa el proyecto de Classroom VR, ün juego en realidad virtual para mejorar las capacidades comunicativas de profesores de secundaria"[5, 4], realizado por alumnos de la Facultad de Informática de la Complutense de Madrid [52]. Este consiste en usar el videojuego como herramienta de formación para futuros profesores, simulando situaciones complicadas con los alumnos y que se preparen y sepan actuar ante ellas. En el juego, el jugador toma la posición del profesor, pudiendo controlar su movimiento y hablar a través de su micrófono, y dependiendo de las acciones tomadas, 14 UCM de realidad virtual pero la experiencia con la unión a las gafas proporciona un amplio abanico de funcionalidades a desarrollar. Es necesario instalar el SDK de emteq[66], ya que nos proporciona la integración entre la experiencia inmersiva del entorno 3D de Unity y los datos de la máscara. Figura 3.4: EmteqPRO Vive Pro Eye Gafas de realidad virtual con eye-tracking. Este dispositivo fue usado para la parte de reconocimiento facial dado que incluye seguimiento de los ojos y la opción de acoplar el dispositivo emteqPRO.Estas gafas fueron usadas en la parte del reconocimiento facial. Figura 3.5: Vive Pro Eye Quest 2 Gafas de realidad usadas en la parte del reconocimiento del lenguaje natural dado que ya no se usó el emteqPRO. Estas gafas son más fáciles de montar dado que no necesitan ningún cable, consiguiendo así una fácil preparación para crear el entorno. 21 UCM Figura 3.6: Quest 2 3.1.3. Comunicación Google Meet Para la realización de reuniones con el tutor del proyecto usamos Google Meet, proporcionando un enlace una semana antes de la reunión por el correo. Su frecuente uso en todos los ámbitos lo hace ser la mejor opción para reuniones. 3.2. Desarrollo del trabajo 3.2.1. Metodología de trabajo La metodología de trabajo ha variado a lo largo del proyecto. El proyecto, que al principio era grupal, terminó siendo individual debido a diferentes circunstancias. Todas las implementaciones descritas en esta memoria son obra del autor. La metodología de trabajo consistió en tener reuniones con el director y el codirector del proyecto para enseñar los avances del proyecto y resolver dudas que han surgido durante el desarrollo. Todos estos avances están disponibles en un repositorio de github. La parte de reconocimiento facial esta en : https://github.com/arome90/Didascalias/tree/Emteq Las implementaciones del reconocimiento del lenguaje natural se encuentran en : https://github.com/arome90/Didascalias/releases/tag/v3.0.1 22 UCM 3.2.2. Implementación Se ha reestructurado el código de la aplicación Classroom VR para tener un código más limpio y legible. También se han eliminado algunas abstracciones hechas en el pasado dado que cada escena tiene factores diferentes, pero se han dejado las abstracciones que si son comunes a todos los escenarios. Por otra parte, se han cambiado cosas de la escena y se han eliminado u ocultado todos los componentes que se han dejado de usar (código y objetos de las escenas). En el siguiente ejemplo se puede observar cómo se han simplificado los objetos de la escena de la escena de juego. Figura 3.7: Class Game Scene antes Figura 3.8: Class Game Scene después Gestión de la clase Antes se usaba la clase MySceneManager.cs para llevar a cabo las acciones de los alumnos y todo lo que ocurre en el aula, pero para simplificar el código, se ha refactorizado cambiando la estructura y algunos comportamientos. Figura 3.9: Antiguo script Para ello se han creado dos clases y un árbol de comportamiento para llevar a cabo la acción y reacción de los alumnos. •Clase Student: Contiene los datos del estudiante. De esta manera cada estudiante tiene este script asociado y contiene la información sobre su nombre, sexo y pupitre asignado. Este script también tiene información acerca de si el alumno es problemático o si está sentado o de pie en el aula. Cabe destacar también que ahora cada alumno tiene el componente de Audio para poder emitir el sonido desde su posición. Además, se han creado métodos interesantes para poder realizar acciones específicas. Se han creado nuevos métodos que permiten al estudiante moverse a una posición concreta (fuera o dentro de clase), cambiar de pupitre con un compañero, levantarse o sentarse en su silla 23 UCM •Clase Class Manager: Se utiliza para administrar todos los eventos de la clase. Este script se encarga de generar estudiantes y sus posiciones, sus tipos de cuerpo y sus nombres. También tiene una referencia a las distintas posiciones a las que el profesor puede mandar al alumno. Esta clase también se encarga de administrar la respuesta del profesor y controla la visión del profesor •Árbol de comportamiento: Para controlar la inteligencia artificial de los alumnos en cada escena. En este caso se muestra el árbol de la Escena 1. Se explicará paso por paso la inteligencia artificial de esta escena: Figura 3.10: Árbol de comportamiento Escena1 1Se espera x segundos para que se llame al cuadrado de acción y con ello al método de acción Alumno. Este método llama a la acción del alumno de la escena 1 que es gritar una expresión desagradable. 2Se llama al método ignore que empieza dos corrutinas. La primera corrutina espera x segundos y elige el camino en el que el profesor ignora al alumno si no se ha elegido otro camino antes de ese tiempo. La segunda corrutina se encarga de gestionar la visión del profesor de manera que si el profesor deja de mirar al alumno durante x segundos también se elige el camino en el que el profesor ignora al alumno. Por otra parte, tenemos los métodos Shout y Near que se llaman de manera iterativa hasta que se cumpla la condición que condicione uno de los 3 caminos (ignore, shout, 24 UCM near). Para que se cumpla la condición de shout el profesor debe gritar o faltar el respeto al alumno con alguna expresión o palabra desagradable. Para que se cumpla la condición de Near, el alumno debe acercarse a determinada distancia al alumno problemático y calmarlo o posponer la situación con el lenguaje natural. 3Se espera x segundos y se llama al método termina Actualización de los componentes VR Dado que las nuevas actualizaciones de Unity nos ofrecen directamente un paquete de realidad virtual y con más ventajas, se eliminó la funcionalidad de OVR y se instalaron los paquetes VR de Unity. Se puede elegir un Input predefinido para todas las gafas, configurar el input con botones únicos para cada gafa virtual y añadir componentes para controlar el movimiento del usuario y el movimiento de la cámara. Figura 3.11: Componentes VR de Unity 25 Capítulo 4 Herramienta de reconocimiento facial 4.1. Investigación y comprensión de Emteqvr Para comprender el funcionamiento de emteq es necesario entender que los datos fisiológicos que nos proporcionan los métodos de la SDK se consiguen a partir de diferentes técnicas. En el proyecto es necesario usar emteqPRO para analizar el movimiento de los ojos, el ritmo cardiaco y las expresiones faciales. Esto se consigue con los siguientes métodos : •Expresividad o activación de los músculos faciales, a través de la electromiografía (EMG) •Supervisión de la frecuencia cardíaca y variabilidad de la frecuencia cardíaca, a través de la fotopletismografía (PPG) •Movimiento de la cabeza, a través de la unidad de medida inercial (IMU) •Movimiento ocular, a través del seguimiento ocular [67] Emteq proporciona en un archivo CSV todas las variables necesarias para poder analizar los datos de nuestro interés.Asimismo, existen varios métodos para acceder a diferentes variables durante la ejecución del código en Unity. 4.1.1. Valencia y Arousal Para entender los datos obtenidos hay que saber el significado de la valencia y Arousal. El arousal es “Es una activación general fisiológica y psicológica del organismo, que varía en un continuo que va desde el sueño profundo hasta la excitación intensa”. Goult Krane, 1992. Por otro lado, la valencia hace referencia a la atracción (valencia positiva) o aversión (valencia negativa) que provoca un determinado objeto o situación. La tristeza, el temor, el odio tienen valencia negativa. Mientras que la alegría, el entusiasmo, tienen valencia positiva [68]. Estas variables son trazadas con frecuencia en el gráfico siguiente [69], en el cual pueden presentarse todos los estados emocionales 26 UCM Figura 4.1: The circumplex model of affect 4.1.2. Activación de los músculos faciales (Expresividad) Para poder medir la actividad eléctrica generada por el movimiento de nuestros músculos, se usa la electromiografía (EMG). La médula espinal emite señales eléctricas a los músculos a través de las neuronas motoras que inervan el músculo directamente en la unión neuromuscular. La actividad eléctrica se mide en µV y tiene correlación con la cantidad de actividad muscular. Para calcular la amplitud de la señal EMG se utiliza la fórmula de la media cuadrática (RMS) de la envolvente de la señal filtrada. La media cuadrática proporciona una visión directa del poder de activación en el electromiograma en un momento dado (observar siguiente figura) [67]. Figura 4.2: Gráfico de activación de músculos En este ejemplo se puede observar cómo hay tres expresiones diferentes (sonrisa, ceño fruncido, sorpresa) con sus respectivos datos. En el gráfico de la sonrisa se puede observar que los sensores zygomaticus(izquierda y derecha, naranja y marrón respectivamente) y 27 UCM los sensores orbicularis (izquierda y derecha, verde y morado respectivamente ) tienen mayor activación que el resto de los sensores. Se puede distinguir como en cada expresión se activaron unos músculos más que otros, permitiendo que podamos distinguir diferentes expresiones. Para situar los diferentes músculos se muestran dos imágenes, una referente a la posición de los músculos en el Emteq y otra a la posición en el rostro. Como se puede observar en las dos imágenes siguientes, tenemos cuatro grupos de músculos. Excepto el músculo corrugador (situado en la parte interna del arco superciliar, debajo del orbicular de los párpados y marcado con un color morado ), todos los demás son pares teniendo uno a cada lado de la faz. Los músculos frontales están situados en la frente y con la tecnología emteq se colocan sobre la zona de la imagen marcada imagen con color rojo. Los músculos orbiculares están localizados justo debajo de la piel rodeando los ojos y en la imagen corresponden al color verde. En la parte inferior, exactamente en la mejilla, marcados con el color azul se sitúan los músculos cigomáticos. EmteqPRO Face Figura 4.3: Posicion de los músculos “Como la cara es la fuente más rica de información de valencia” [70], la EMG facial proporciona una ventana para rastrear los cambios de valencia. 28 UCM 4.1.3. Seguimiento de la frecuencia cardíaca Para supervisar la frecuencia cardíaca se usa un sensor de fotopletismografía (PPG), integrado en la máscara emteq PRO. Este sensor utiliza una tecnología basada en la luz para detectar los picos sistólicos (y la tasa de flujo sanguíneo) controlados por el bombeo del corazón. Durante el ciclo cardíaco, periódicamente, se produce una variación de la presión arterial (también en las capas externas y vasos pequeños de la piel). Para medir el flujo de sangre periférica se pueden usar sensores ópticos que se colocan en la frente, la punta de los dedos, el lóbulo de la oreja u otro tejido capilar. Figura 4.4: Gráfico que muestra los intervalos de las señales de los sensores de ECG y PPG El PPG es un sensor que no requiere preparación de la piel, a diferencia de los dispositivos de ECG. Con los picos (relativos al ciclo cardiaco) de las señales de los sensores (ver figura anterior) y sus distancias, se pueden extraer métricas útiles como la medición de la variabilidad de la frecuencia cardíaca (HRV) y los latidos por minuto (BPM). La variabilidad de la frecuencia cardíaca (HRV) se utiliza para medir los cambios en el arousal y el estrés. Se puede calcular a partir de series temporales de intervalos de las distancias entre latidos cardíacos sucesivos, extraídos de los datos del sensor de ECG, o a partir de series temporales de intervalo de los datos de la señal PPG que nos proporciona el sensor de Fotopletismografía (PPG). Aunque hay una pequeña diferencia entre los dos intervalos, existe una alta correlación entre ambos, y los parámetros de la variabilidad de la frecuencia cardíaca (HRV) calculados mediante ambos métodos no difieren significativamente [67]. Movimiento de la cabeza El emteqPRO viene integrado con una unidad de medición inercial (IMU) para el seguimiento del movimiento de la cabeza. La IMU contiene 3 sensores, un giroscopio, un acelerómetro y un magnetómetro. Cada sensor proporciona datos acerca de los ejes de las tres dimensiones (x, y, z). Estos sensores son fáciles de integrar en soluciones portáti29 UCM les y no son invasivos. Numerosos estudios están utilizando la detección inercial para el reconocimiento de actividad en protocolos experimentales activos y para inferir el estado emocional subyacente del usuario [67]. Figura 4.5: Unidad de medición inercial (IMU) 4.1.4. Movimiento ocular (Solo con gafas con rastreador ocular) El seguimiento ocular es un método que permite el seguimiento continuo de los movimientos oculares. Esta tecnología nos permite rastrear hacia dónde están apuntando los ojos y en qué se están fijando. Los rastreadores oculares son sensores que miden el movimiento ocular en relación con la cabeza y los cambios en el tamaño de la pupila. Algunos rastreadores oculares populares utilizan técnicas de visión por computadora y luces infrarrojas para rastrear la pupila del ojo y están incorporados en gafas VR como el HTC VIVE Pro Eye y el Pico Neo 3 Pro Eye [67]. Figura 4.6: Rastreador ocular 30 UCM Figura 5.4: Wit Configuration 5. Crea un script en Unity que utilice la clase "Wit"del paquete para enviar y recibir datos de tu modelo de lenguaje de Wit.ai Figura 5.5: Componente Wit en Unity 6. Utiliza los datos devueltos por Wit.ai para controlar los eventos y la lógica Figura 5.6: Código para obtener datos Dado que Wit no permite la grabación continua de momento. He tenido que llamar a un método que active Wit cada vez que se completa una solicitud o se para la grabación para simular la continuidad. 37 Capítulo 6 Conclusiones y trabajo futuro 6.1. Conclusiones 6.1.1. Conclusiones Reconocimiento facial “El Reconocimiento Facial: Una Tecnología en Constante Evolución, pero con Limitaciones Actuales." Respecto a esta parte del proyecto, no se ha logrado alcanzar el objetivo debido a que la precisión para el reconocimiento de expresiones no ha sido la esperada. Pero hay que tener en cuenta que, aunque los algoritmos han mejorado en los últimos años todavía no existe una tecnología en el mercado que sea capaz de distinguir las emociones con precisión. Las técnicas que se han usado para poder acercarse al objetivo no han podido pulirse debido a circunstancias ocasionadas durante el proyecto. Una de las razones del difícil y lento avance del proyecto es la falta de recursos en trabajos grupales que dependen de dispositivos. El hecho de tener que turnar las gafas Vive Pro Eye y el emteq cada cierto tiempo desaceleran el proyecto. Además, Emteq avisó de que iba a dejar de actualizar sus funcionalidades para el campo de la realidad virtual. Aunque en la parte practica las cosas no fueron como uno hubiera deseado, hay que tener en cuenta que cualquier avance en un proyecto, aunque se haga obsoleto, tiene una gran aportación para el futuro. Lo mas importante es aprender y la parte de investigación y el esfuerzo para la implementación son el verdadero resultado de un proyecto. Por lo tanto, la principal conclusión es que es necesario tener acceso a una tecnología más eficiente con actualizaciones para poder llevar a cabo el reconocimiento de las emociones. 6.1.2. Conclusiones Reconocimiento del lenguaje natural “El Reconocimiento de lenguaje natural: Un campo de estudio prometedor “ En cuanto a la integración del reconocimiento de lenguaje natural, vistos los objetivos planteados al principio, considero que el resultado obtenido ha sido satisfactorio. 38 UCM Por poner un, pero, quizás hace falta analizar las intenciones del proyecto de Wit y con ayuda de un profesional del campo de la educación o psicología determinar si hace falta añadir o quitar alguna intención. Por otra parte, quizás haga entrenar más la inteligencia artificial para que sea más precisa. Por último, hay que tener en cuenta que se puede mejorar la calidad de la escucha de voz instalando el SDK que nos ofrece Oculus; fácil de integrar con wit.ai dado que está pensado para ser la mejor opción. Sin embargo, cabe destacar que se deja una base solida para en un futuro poder explotar al máximo la tecnología del reconocimiento de voz. Además, la investigación sobre este campo ha sido profunda y se descubrieron nuevas mejoras para el futuro del proyecto con la implementación de nuevas tecnologías. En resumen, creo que las tecnologías que se pueden implementar en un futuro van a ser muy útiles para la base ya creada y van a acercar al usuario al objetivo principal; tener un entorno conflictivo lo mas cercano a la realidad. 6.2. Trabajo futuro Para un futuro muy cercano, mi intención es continuar con el proyecto hasta alcanzar una herramienta estable sin bugs que tenga exprimido el máximo de posibilidades de desarrollo. Para ello será necesario continuar investigando sobre las herramientas con inteligencia artificial para simular una interacción con los alumnos más realista y precisa Por otra parte, será necesario al tener la próxima versión estable, poder contar con un nuevo experimento y valorar los resultados para avanzar por ese camino. Cabe destacar también que, si en un futuro el presupuesto permite unas gafas de realidad con mejores prestaciones, se podrá hacer un rastreo de los ojos y tenerlo en cuenta para el simulador. Especificando más sobre las futuras implementaciones, en primer lugar, sería tener todo el código limpio para que sea más fácil el desarrollo de la herramienta. En segundo lugar, arreglar el escenario 2 y 3 para que se cumpla con las restricciones impuestas por los expertos en reuniones de Didascalias. A su vez, también es importante profundizar la inteligencia artificial de todas las escenas y tener todas las mecánicas de alumnos posibles en un aula real para proporcionar al usuario una sensación de realismo. Sería interesante también agregar nuevas mecánicas al profesor que permitan sentir al usuario un libre albedrío. Con ayuda de profesionales, se podrían estudiar otros nuevos escenarios para poder entrenar mejor al futuro docente y tener más feedback en los futuros experimentos. Algunos nuevos escenarios pueden ser en otra aula (tecnología, gimnasio) o fuera del aula, como en un patio o en los pasillos antes o durante el descanso de una clase. Por último, teniendo en cuenta la reciente actualización de Chat GPT, se podría implementar esta tecnología en el proyecto. Esta herramienta se podría usar para generar respuestas automatizadas en tiempo real. 39 Introduction Motivation The human evolution has allowed the creation of safe environments for the preparation and deal with activities that, due to their complexity, danger or risk in general, are difficult to replicate in the real world. An example of this are flight simulators used by pilots of all levels to learn or perfect their flying skills, which, thanks to their constancy and attention to detail, to be like the real experience. This project has a similar purpose, to offer education professionals a tool in which they can develop their skills to deal with various conflicts that can take place in different classes. It’s worth noting that this project is based on other previous research projects enclosed by the Didascalias research project (RTI2018-096401-A-I00). The first project deals with the importance of verbal communication and the second with nonverbal communication, specifically body language. These projects investigate how player actions can be interpreted in a serious game and reflected in student attitudes to obtain feedback on case the actions were correct or not. Like in flight simulators, details are what allow the tool to be a replacement for real experience. In this case, we will search through the linguistic expressions and facial expressions of the person. In this way, the game takes into the words and faces of the person to deal with different conflicting situations, making the experience more realistic and contributing to the development of more innovative education and adapted to the needs of students today. Goals The goal of this project is to investigate, renew and implement technologies to apply to different scenarios of a previously designed conflict with the intention of educating and valuing future teachers. The specific objectives are: o Adapt the scene system to allow it to maintain its previous functions. o Refactor the code and correct all bugs from the previous project. o Analyze and compare the different facial recognition systems available on the market. o Understand and create test scenes to learn how to use emteqvr and to obtain the biometric information of the accessory (heart rate, quantification of the electrical impulses of the electrodes, ...) using the tools already created by Emteq Labs. 40 UCM o Introduce the Wit.ai voice command tool and learn how to use it for natural language recognition. o Investigate and understand how language can be used in conjunction with facial recognition to improve teacher-student interaction. o Obtain and serialize information in real-time to be able to process and draw conclusions about this information. o Implement this new serialized information in the already created classroom scenarios. Document structure This document is divided into 6 chapters, each dedicated to a specific topic. The first chapter contains an introduction to the TFG (final degree project) with its motivations and main objectives to be fulfilled for its successful development. Chapter 2 - State of the art In the state of the art chapter, the current situation of video games and virtual reality technologies is discussed: current trends and technologies (especially innovations in virtual reality headset hardware and accessories) and educational or utilitarian games, also known as Serious Games. Chapter 3 - Methodology and Development Next, the methodology used, and different tools employed are discussed. This chapter mentions the process of adapting the previous project, updates to some components, and fixes made. It also explains the artificial intelligence with Behavior Designer Chapter 4 - Facial recognition tool The fourth chapter is dedicated to understanding the operation of Emteq Labs’ device, emteqvr. It presents the tool and techniques used. Chapter 5 - Natural language compression tool In this chapter, the process of natural language compression achieved using Wit.ai is described, as well as its integration and the variables used in the project. Chapter 6 - Conclusions and future work In this chapter, the conclusions obtained from the final degree project will be presented, with an analysis of aspects that can be improved and a discussion of the continuation of the project in the future. 41 Conclusions and Future Work Conclusions Facial Recognition "Facial Recognition: A Technology in Constant Evolution, but with Current Limitations" Regarding this part of the project, the goal has not been achieved due to the lack of precision for expression recognition. However, it should be noted that, although algorithms have improved in recent years, there is still no technology on the market that can distinguish emotions with precision. The techniques used to approach the goal could not be refined due to circumstances caused during the project. One of the reasons for the difficult and slow progress of the project is the lack of resources in group work that depends on devices. The fact of having to alternate the Vive Pro Eye and the emteq glasses every certain time slows down the project. Furthermore, Emteq warned that it was going to stop updating its functionalities for the field of virtual reality. Despite the fact that things in practice were not as one would have wanted, it should be taken into account that any progress in a project, while it becomes obsolete, has a great contribution for the future. The most important thing is to learn and the research and implementation part are the true result of a project. As a result , the main conclusion is that it’s necessary to have access to more efficient technology with updates to be able to perform the recognition of emotions. Conclusions Natural Language Recognition "Natural Language Recognition: A Promising Field of Study" Regarding the integration of natural language recognition, given the objectives set at the beginning, I consider that the result obtained has been satisfactory. One disadvantage , perhaps it is necessary to analyze the intentions of the Wit project and with the help of a professional in the field of education or psychology to determine if it is necessary to add or remove any intention. On the other hand, the artificial intelligence needs to be trained more to be more precise. Finally, it should be taken into account that the quality of voice listening can be improved by installing the SDK offered by Oculus; it is easy to integrate with wit.ai as it is designed to be the best option. However, it should be noted that a solid base is left for the future to fully exploit the voice recognition technology. In addition, the research on this field has been deep and new 42 UCM improvements for the future of the project have been discovered with the implementation of innovative technologies. So basically, I believe that the technologies that can be implemented in the future will be very useful for the already created base and will contribute to the achievement of the final goal. Future work In the near future, my intention is to continue with the project until a stable tool without bugs that has exploited the maximum development possibilities is reached. To do this, it will be necessary to continue researching on artificial intelligence tools to simulate a more realistic and accurate interaction with students. On the other hand, it will be necessary to have the next stable version, to be able to conduct a new experiment and evaluate the results to move forward on that path. It is also worth noting that, if in the future the budget allows for glasses with better performance, it will be possible to track the eyes and take it into account for the simulator. Specifying more about future implementations, first, it would be to have all the code clean so that the development of the tool is easier. Secondly, fix scenario 2 and 3 so that it meets the restrictions imposed by experts in Didascalias meetings. In turn, it is also important to deepen the artificial intelligence of all scenes and have all possible student mechanics in a real classroom to provide the user with a sense of realism. It would also be interesting to add new mechanics to the teacher that allow the user to feel free will. With the help of professionals, new scenarios could be studied to better train the future teacher and have more feedback in future experiments. Some new scenarios could be in another classroom (technology, gym) or outside the classroom, such as in a courtyard or in the halls before or during a class break. Finally, taking into account the recent update of Chat GPT, this technology could be implemented in the project. This tool could be used to generate automated responses in real-time. 43 Bibliografía [1] R. P. Cant and S. J. Cooper, “Use of simulation-based learning in undergraduate nurse education: An umbrella systematic review,” Nurse Educ. Today, vol. 49, pp. 63– 71, Feb. 2017. [2] M. Kezunovic, A. Abur, G. Huang, A. Bose, and K. Tomsovic, “The role of digital modeling and simulation in power engineering education,” IEEE Trans. Power Syst., vol. 19, pp. 64–72, Feb. 2004. [3] P. L. Myers, III, A. W. Starr, and K. Mullins, “Flight simulator fidelity, training transfer, and the role of instructors in optimizing learning,” International Journal of Aviation, Aeronautics, and Aerospace, vol. 5, no. 1, p. 6, 2018. [4] B. Manero Iglesias and A. Romero Hernández, Classroom VR: a VR game to improve communication skills in secondary-school teachers. PhD thesis, 2020. [5] B. Manero Iglesias and A. Romero Hernández, ClassRoom VR-Motion Capture (CVR-MC): un juego en RV para la mejora de la expresión corporal de los profesores de secundaria. PhD thesis, 2021. [6] C. Dictionary, “Definición de videojuego.” https://dictionary.cambridge.org/es/ diccionario/ingles/video-game. [7] Sony, “Página web de sony playstation.” https://www.playstation.com/. [8] Microsoft, “Página web de xbox.” https://www.xbox.com/. [9] B. Bowers, Sir Charles Wheatstone FRS: 1802-1875. IET, 2001. [10] Distinguished Research Professor Emeritus and Founder of the Centre for Vision Research Ian P Howard, I. P. Howard, B. J. Rogers, and Department of Experimental Psychology Brian J Rogers, Binocular Vision and Stereopsis. Oxford University Press, 1995. [11] “Thomas a. furness.” https://ise.washington.edu/facultyfinder/ thomas-a-furness. [12] “U.S. air force.” https://www.airforce.com. [13] AWE, “Tom furness (grandfather of AR and VR) - “being the future” at AWE 2015,” June 2015. [14] A. Garcia-Palacios, H. Hoffman, A. Carlin, T. A. Furness, and C. Botella, “Virtual reality in the treatment of spider phobia: a controlled study,” Behav. Res. Ther., vol. 40, pp. 983–993, Sept. 2002. 44 UCM [15] “What is ISE?.” https://ise.washington.edu/about/what-is-ise, Oct. 2015. [16] “Home.” https://virtuality.com, July 2015. [17] “SEGA.” https://www.sega.com/. [18] S. Am3[1], A. M. Sega, and . S. Am5[3], “VR-1.” https://segaretro.org/VR-1, June 2022. [19] “Nintendo official site: Consoles, games, news, and more.” https://www.nintendo. com. [20] “Nintendo virtual boy.” http://retromaquinitas.com/consolas/consolas-nintendo/ virtual-boy/. [21] S. Boyer, “A virtual failure: Evaluating the success of nintendo’s virtual boy,” The Velvet Light Trap, pp. 23–33, Sept. 2009. [22] O. Gaming, “Mario’s tennis (1995) [virtual boy],” June 2019. [23] P. F. Luckey, “Cuenta de twitter de palmer freeman luckey.” https://twitter.com/ PalmerLuckey. [24] “Oculus rift: Step into the game.” https://www.kickstarter.com/projects/ 1523379957/oculus-rift-step-into-the-game?lang=es. [25] S. Parkin, “Oculus rift,” MIT Technology Review, Apr. 2014. [26] H. Stockdale, “Why virtual reality is a haven for indie developers.” https://www.indiegamewebsite.com/2020/03/17/ why-virtual-reality-is-a-haven-for-indie-developers/, Mar. 2020. [27] “Oculus rift development kit preview.” https://www.pcmag.com/reviews/ oculus-rift-development-kit. [28] “Conseguir cardboard – google VR.” https://arvr.google.com/intl/es_es/ cardboard/get-cardboard/. [29] D. MacIsaac, “Google cardboard: A virtual reality headset for $10?,” Phys. Teach., vol. 53, pp. 125–125, Feb. 2015. [30] R. Triggs, “Oculus rift teardown reveals samsung galaxy note 3 display inside.” https: //www.androidauthority.com/oculus-rift-note-3-display-412660/, Aug. 2014. [31] “HTC.” https://www.htc.com/. [32] Bhaptics, “Página web de bhaptics.” https://www.bhaptics.com/. [33] Bhaptics, “Página del TactSuit X40.” https://www.bhaptics.com/tactsuit/ tactsuit-x40. [34] “Omni one.” https://omni.virtuix.com/. Accessed: 2022-8-28. [35] H. Vive, “Introducing: HTC VIVE tracker 3.0,” Mar. 2021. [36] I. Wikipedia, Nintendo Entertainment System: Igry Dlya Nes, Final Fantasy, Ninja Gaiden, Spisok Igr Na Nes, Elite, the Legend of Zelda, Final Fantasy II. Books LLC, Wiki Series, Sept. 2011. 45 UCM [37] Riot, “League of legends.” https://www.leagueoflegends.com. [38] Valve, “Counter-Strike: Global offensive.” https://blog.counter-strike.net. Accessed: 2022-8-29. [39] E. Games, “Epic games’ fortnite.” https://www.epicgames.com/fortnite/. [40] L. Gu and A. L. Jia, “Player activity and popularity in online social games and their implications for player retention,” in 2018 16th Annual Workshop on Network and Systems Support for Games (NetGames), pp. 1–6, June 2018. [41] Meta, “Página web de instagram.” https://www.instagram.com/. [42] Twitter, “Página web de twitter.” https://twitter.com. [43] “VRChat.” https://hello.vrchat.com/. [44] “Duolingo - aprende un idioma completamente gratis @.” https://www.duolingo.com. [45] “Trailhead.” https://trailhead.salesforce.com. [46] V. Gaitán, “Gamificación: el aprendizaje divertido,” Recuperado el, vol. 15, 2013. [47] “Microsoft flight simulator game of the year edition on steam.” https: //store.steampowered.com/app/1250410/Microsoft_Flight_Simulator_Game_of_ the_Year_Edition/. [48] “Microsoft: nube, ordenadores, aplicaciones y juegos.” https://www.microsoft.com. [49] “Microsoft flight simulator game of the year edition on steam.” https: //store.steampowered.com/app/1250410/https://news.xbox.com/en-us/2020/ 12/22/microsoft-flight-simulator-virtual-reality-update-available-now//. [50] C. C. Abt, C. C. Abt, and C. C. Abt;, “serious games de clark abt - iberlibro.” https://www.iberlibro.com/buscar-libro/titulo/serious-games/ autor/clark-abt/, 1970. [51] The Editors of Encyclopedia Britannica, Pong. May 2020. [52] “Facultad de informática.” https://informatica.ucm.es. [53] Adobe, “Página web de character animator.” https://www.adobe.com/es/products/ character-animator/facial-motion-capture.html. [54] N. Verdejo, “Desarrollan sistema de reconocimiento facial que puede identificar expresiones con mayor precisión.” https://wwwhatsnew.com/2022/07/07/ desarrollan-sistema-de-reconocimiento-facial-que-puede-identificar-expresiones-con-mayor-precision. [55] J. Tian, “Facial expression recognition in classroom environment based on improved xception model.” https://www.spiedigitallibrary. org/journals/journal-of-electronic-imaging/volume-31/issue-5/051416/ Facial-expression-recognition-in-classroom-environment-based-on-improved-Xception/ 10.1117/1.JEI.31.5.051416.short?SSO=1&tab=ArticleLink. [56] G. Cuesta, “Descubre las tecnologías más utilizadas para el análisis de las emociones faciales.” https://openexpoeurope.com/es/ descubre-las-tecnologias-mas-utilizadas-para-el-analisis-de-las-emociones-faciales/. 46