Repositorio Institucional de Documentos

María Escriche Andrés 29/09/2013 1 María Escriche Andrés 29/09/2013 2 Literatura basada en técnicas de RA para niños de 7 a 9 años. Resumen. En este Trabajo de Fin de Grado se han investigado las capacidades y potencialidades que ofrece la tecnología de la Realidad Aumentada y se han aplicado estos conocimientos a un libro infantil, enriqueciéndolo a través de esta tecnología y aumentando así su interactividad. En el desarrollo del mismo, se ha generado el Storyboard de la aplicación, se han realizado las aplicaciones de Realidad Aumentada, se han creado los modelos 3D y animaciones que podrían incluirse, y se ha realizado el diseño gráfico del prototipo del libro. María Escriche Andrés 29/09/2013 3 Índice. 1. Introducción, objetivo y estructura de la memoria…………………..3 1.1 Introducción a la realidad aumentada. …………………………………..3 1.2 Objetivo…………………………………………………………………. 4 1.3 Estructura de la memoria……………………………………………...….5 2. Herramientas de desarrollo para la Realidad Aumentada. ……….…6 2.1 Distintas filosofías para trabajar la Realidad Aumentada……………...…6 2.2 Estudio y selección de plataformas para el desarrollo de la aplicación…..9 3. Recursos posibles que puede controlar FLARManager…………..…12 4. Desarrollo de la aplicación…………………………………………..14 4.1 Storyboard y Diseño gráfico………………………………………….….14 4.2 Esquema general del código realizado…………………………………...25 4.3 Modelos 3D realizados para la aplicación. ………………………….…..28 5. Funcionamiento de la aplicación…………………………………....30 6. Diagrama de Gantt……………………………………………….….34 7. Conclusiones y trabajo futuro……………………………………….35 8. Referencias……………………………………………….………….37 9. Apéndices……………………………………………………………39 María Escriche Andrés 29/09/2013 4 1. Introducción, objetivo y estructura de la memoria. En este apartado se da una descripción general de qué es la Realidad Aumentada y de qué formas puede implementarse. También se enuncia el objetivo de este Trabajo de Fin de Grado y se describe la estructura de la memoria. 1.1 Introducción a la realidad aumentada. [1] La Realidad Aumentada es una tecnología a través de la cual se mezcla el entorno físico con elementos virtuales en tiempo real. Unido a las técnicas de interacción se puede ampliar la información que proporciona el mundo físico, a la vez que se puede mejorar la interactividad del usuario. Ejemplos de su uso podrían ser la representación textual de datos superpuestos sobres escenas u objetos reales y escenas gráficas 3D interactivas integradas en otras reales. Esta realidad mixta se puede mostrar a través de distintos dispositivos (ordenador, móvil, tablet…). Los elementos que intervienen en una aplicación de Realidad Aumentada son la cámara del dispositivo con el que se utiliza la aplicación, los modelos o elementos multimedia generados virtualmente, y los elementos de referencia. La Figura 1.1 muestra un ejemplo de un modelo virtual sobre el elemento de referencia, en este caso un marcador impreso. Figura 1.1. Modelo 3D sobre marcador impreso. María Escriche Andrés 29/09/2013 5 La interacción entre los componentes virtuales y el contenido real se puede lograr de diferentes formas. Las más utilizadas son:  Las que recurren a marcadores o imágenes. [2]  Las que se basan en creación de mapas. [3]  Las que se basan en sensores. [4] La descripción cada una de estas formas de interacción se encuentra en el apartado 2.1 de la memoria. Se puede encontrar más información sobre la Realidad Aumentada en el Apéndice1. 1.2 Objetivo. El objetivo del PFG consiste en especificar y crear un prototipo de un proyecto de un libro basado en Realidad Aumentada para niños entre 7 y 9 años que, gracias a esta tecnología, se vuelve interactivo y utiliza la imagen de un modo más novedoso. Se quiere con ello demostrar el uso de las potencialidades de la RA, resolviendo los problemas tecnológicos que surgirían durante la implementación del prototipo del libro. Durante el desarrollo del proyecto se busca integrar en el libro diversas posibilidades de uso de marcadores, y mostrar algunos ejemplos de modelos y animaciones que se podrían utilizar en un libro como el propuesto. María Escriche Andrés 29/09/2013 6 1.3 Estructura de la memoria. La memoria se estructura de la siguiente manera:  En el capítulo 2 se describen diferentes herramientas de desarrollo para la RA, mostrando las distintas filosofías que existen a la hora de trabajar con la Realidad Aumentada y las plataformas para llevarla a cabo. Se finaliza justificando la herramienta que va utilizarse en este Trabajo de Fin de Grado.  En el capítulo 3 se indican los recursos posibles que FLARManager puede controlar y que son requeridos por la aplicación objeto de este TFG.  En el capítulo 4 se explica cómo se ha desarrollado la aplicación en el ámbito de la Realidad Aumentada (estructura básica del código), en el del modelado 3D (resultados finales de los modelos y animaciones utilizados) y en el de la estructura y diseño gráfico del libro.  En el capítulo 5 se muestra el funcionamiento básico de la aplicación a través de imágenes tomadas durante el uso de la misma.  En el capítulo 6 se presenta el Diagrama de Gantt.  Se finaliza con los capítulos 7 y 8, que corresponden a las referencias utilizadas y apéndices requeridos. María Escriche Andrés 29/09/2013 7 2. Herramientas de desarrollo para la Realidad Aumentada. En este apartado se describen tres filosofías para trabajar con la Realidad Aumentada, se resume el estudio sobre las posibles plataformas que permiten desarrollar la aplicación y se finaliza justificando la selección de la herramienta que va utilizarse en este Trabajo de Fin de Grado. 2.1 Distintas filosofías para trabajar la Realidad Aumentada. Las tres filosofías más comunes para trabajar con la realidad aumentada son:  Las aplicaciones basadas en marcadores o imágenes.  Las aplicaciones basadas en creación de mapas.  Las aplicaciones basadas en sensores. Aplicaciones basadas en marcadores o imágenes. Las aplicaciones basadas en marcadores trabajan con recuadros en los que están impresas imágenes simples (marcadores) o complejas, que sirven para que el programa, a través del marcador, determine la posición y orientación del modelo asociado a éste. Consideramos una situación como la que se muestra en la Figura 2.1, en la que una persona sujeta un marcador delante de una cámara conectada a un ordenador. En la pantalla del ordenador se ve la escena que graba la cámara y un modelo superpuesto sobre el marcador impreso. Figura 2.1. Realidad Aumentada con marcadores. María Escriche Andrés 29/09/2013 8 El proceso informacional actúa de la siguiente manera: La cámara captura la imagen del mundo real y lo envía al computador. El software en el computador busca una forma de marcador que coincida que el marcador utilizado y, si lo encuentra, calcula la posición de la cámara relativa al marcador. Una vez reconocida la posición de la cámara, se renderiza un modelo gráfico desde esa posición, se superpone sobre la imagen capturada y se visualiza el conjunto final. Todo el proceso anterior se realiza en tiempo real, de forma que el modelo siempre aparece sobre el marcador en la posición correcta. Un ejemplo de una librería que permite utilizar esta filosofía en ARToolKit. Aplicaciones basadas en creación de mapas. Las aplicaciones basadas en creación de mapas no utilizan marcadores o imágenes impresas para calcular la posición del modelo o elementos virtuales. Realizan el seguimiento de la cámara en una escena de la que no se tiene conocimiento previo, creando un mapa rudimentario del entorno (como se muestra en la figura 2.2). A partir de él, se insertan objetos virtuales en la escena, y estos se posicionan en relación con los objetos reales del entorno. Está técnica está pensada para entornos estáticos. Un ejemplo de libraría útil sería PTAM. [5] Figura 2.2. Seguimiento de la escena con PTAM. María Escriche Andrés 29/09/2013 9 Aplicaciones basadas en sensores. Las aplicaciones basadas en sensores tampoco utilizan marcadores, sino que hacen uso de distintos sensores, como GPS, brújula, giroscopio y acelerómetro, para obtener la posición absoluta y la orientación del dispositivo. A partir de estos datos, se consigue ubicar ciertos puntos de referencia cercanos obtenidos de una base de datos y generar sobre ellos el contenido virtual que se añadirá en la pantalla del dispositivo. Estas aplicaciones están diseñadas generalmente para dispositivos móviles. Un ejemplo de herramienta para este tipo de aplicaciones es Layar. [6] Figura 2.3. Aplicación del móvil a partir de Layar. Dado que para el Trabajo de Fin de Grado se quiere trabajar con marcadores que se incluirán en el libro de Realidad Aumentada, se ha seleccionado la primera filosofía para el desarrollo del proyecto. María Escriche Andrés 29/09/2013 16 Introducción de la historia. En esta escena hay dos solapas que ocultan dos marcadores. Al abrir la primera se muestra el modelo 3D de la protagonista de la historia sobre el marcador. Cuando se abre la segunda solapa se muestran tres planos 2D con textura. El conjunto de planos 2D rota verticalmente según el movimiento horizontal del ratón, creándose el efecto de una galería de imágenes. No hay interacción entre los marcadores de la escena (ver la Figura 4.1). En la primera página se presenta a la protagonista y en la segunda comienza el caso a resolver: la protagonista, Sara, va a casa de un vecino y éste le cuenta que le ha desaparecido algo de dinero que guardaba en el salón. Ella le pregunta quiénes fueron los últimos que estuvieron en la casa y su vecino le habla de tres personas, que serán los sospechosos (fotos planos 2D). En las Figuras 4.2 y 4.3 se muestra el diseño gráfico de la primera escena. La Figura 4.2 presenta las páginas con las solapas cerradas, tal y como las encontraría el niño cuando abriera el libro. En la Figura 4.3 se ven las páginas con las solapas levantadas. En este momento el niño podría ver en la pantalla del ordenador los dos modelos sobre los marcadores. Figura 4.1. Primera escena del Storyboard. María Escriche Andrés 29/09/2013 17 Figura 4.2. Diseño gráfico de la primera escena. Solapas cerradas.. Figura 4.3. Diseño gráfico de la primera escena. Solapas abiertas.. María Escriche Andrés 29/09/2013 18 Búsqueda de pistas. En esta segunda escena hay una ilustración que ocupa ambas páginas. Hay también tres solapas que se integran en la imagen, completando la ilustración. Al levantar las solapas se muestran modelos 3D de muebles. No hay interacción entre los marcadores de la escena (ver la Figura 4.4). Sara investiga el salón en busca de pistas, y encuentra tres (modelos 3D): 1. La estantería donde guardaba el dinero su vecino está muy desordenada, quien robó no tuvo mucho cuidado de dejarlo bien. 2. Hay una pulsera de colores olvidada junto a una silla. 3. Al lado del sofá hay una huella de barro de una zapatilla. En las Figuras 4.5 y 4.6 se muestra el diseño gráfico de la segunda escena. La Figura 4.5 presenta las páginas con las solapas cerradas, tal y como las encontraría el niño cuando abriera el libro. En la Figura 4.6 se ven las páginas con las solapas levantadas. En este momento el niño podría ver en la pantalla del ordenador los tres modelos sobre los marcadores. Figura 4.4. Segunda escena del Storyboard. María Escriche Andrés 29/09/2013 19 Figura 4.5. Diseño gráfico de la segunda escena. Solapas cerradas.. Figura 4.6. Diseño gráfico de la segunda escena. Solapas abiertas.. María Escriche Andrés 29/09/2013 20 Sospechoso 1: Asistente. En esta escena hay una solapa bajo la que se encuentra un marcador y un sobre que guarda otro. Los dos marcadores interactúan entre sí. Cuando ambos son visibles (una vez que se ha levantado la solapa del primero y se ha sacado el segundo del sobre) se muestra un plano con textura y se reproduce un clip de sonido (ver la Figura 4.7). El asistente llega esa misma tarde a la casa para realizar su trabajo y Sara aprovecha para investigar sus cosas. Encuentra su móvil y una vez da con el código para desbloquearlo (segundo marcador, sonido), encuentra un mensaje que da a entender que él no ha podido ser. En las Figuras 4.8 y 4.9 se muestra el diseño gráfico de la tercera escena. La Figura 4.8 presenta las páginas con la solapa y el sobre cerrados, tal y como los encontraría el niño cuando abriera el libro. En la Figura 4.9 se ven las páginas con la solapa levantada y el sobre abierto. En este momento el niño sacaría el marcador guardado en el sobre y lo pondría al lado del otro para ver el modelo y reproducir el sonido. Figura 4.7. Segunda escena del Storyboard. María Escriche Andrés 29/09/2013 21 Figura 4.8. Diseño gráfico de la tercera escena. Solapas cerradas. Figura 4.9. Diseño gráfico de la tercera escena. Solapas abiertas. María Escriche Andrés 29/09/2013 22 Sospechoso 2: Vecina. En esta escena hay dos solapas. Al levantar la primera aparece un modelo 3D de un estante con zapatos. Al levantar la segunda aparece un segundo marcador. Este marcador controla la rotación del modelo y permite ver lo que hay en su otra cara. Por lo tanto, los dos marcadores de esta escena interactúan entre sí (ver Figura 4.10). Sara visita a la vecina en su casa e investiga en su habitación. Ve unas pulseras parecidas a la que encontró, lo que le hace sospechar, así que busca las zapatillas. La mujer tiene un armario que puede rotarse, con zapatos, pero cuando mira a ambos lados no ve nada, así que se queda con la duda. En las Figuras 4.11 y 4.12 se muestra el diseño gráfico de la cuarta escena. La Figura 4.11 presenta las páginas con las dos solapas cerradas, tal y como los encontraría el niño cuando abriera el libro. En la Figura 4.12 se ven las páginas con las solapas levantadas. En este momento el niño sacaría el marcador guardado en la segunda solapa, lo pondría al lado del primero y lo rotaría para rotar el modelo que se mostraría en pantalla. Figura 4.10. Cuarta escena del Storyboard. María Escriche Andrés 29/09/2013 23 Figura 4.11. Diseño gráfico de la cuarta escena. Solapas cerradas. Figura 4.12. Diseño gráfico de la cuarta escena. Solapas abiertas. María Escriche Andrés 29/09/2013 24 Sospechoso 3: Vecina adolescente. En esta escena hay dos solapas. Al abrir la primera aparece un modelo 3D de las zapatillas. La segunda solapa se abre dos veces: en la primera se muestra un marcador que contiene el la animación de un modelo 3D (letras que se ordenan) y en la segunda otro marcador que activa este modelo. Por lo tanto, en esta escena los dos marcadores bajo la segunda solapa interactúan entre sí, mientras que el primero es independiente (ver Figura 4.13). Sara consigue entrar también en el dormitorio de la tercera sospechosa, y encuentra las zapatillas cubiertas de barro (modelo 3D). Mirando un poco más, encuentra un diario con una carta para una amiga, cuyo final está escrito en clave (marcador 2, animación 3D). Cuando encuentra el alfabeto para descifrarlo (marcador 3), puede terminar de leerlo, donde queda patente que ella ha sido la causante del robo. En las Figuras 4.14 y 4.15 se muestra el diseño gráfico de la quinta escena. La Figura 4.14 presenta las páginas con las dos solapas cerradas, tal y como los encontraría el niño cuando abriera el libro. En la Figura 4.15 se ven las páginas con las solapas levantadas. En este momento el niño vería ambos modelos en la pantalla del ordenador. Figura 4.13. Quinta escena del Storyboard. María Escriche Andrés 29/09/2013 25 Figura 4.14 Diseño gráfico de la cuarta escena. Solapas cerradas. Figura 4.15 Diseño gráfico de la cuarta escena. Solapas abiertas. María Escriche Andrés 29/09/2013 32 Escena 2: En esta escena hay tres marcadores independientes. Cada uno de ellos contiene un modelo 3D estático. Los tres modelos pueden mostrarse simultáneamente. Escena 3: En esta escena dos marcadores que interactúan entres sí. El primero contiene un modelo, pero cuando se muestra solo el modelo no aparece. Al colocar el segundo marcador a su lado aparece el modelo (plano con textura) y se reproduce un clip con sonido. María Escriche Andrés 29/09/2013 33 Escena 4: En esta escena hay dos marcadores que interactúan entre sí. El primero contiene un modelo 3D y el segundo controla la rotación de este modelo. En la siguiente secuencia de imágenes se muestra cómo al rotar el segundo marcador, el modelo rota con él. María Escriche Andrés 29/09/2013 34 Escena 5: En la última escena hay tres marcadores: uno independiente y dos que interactúan entre sí. El primero muestra un modelo 3D. Los otros dos se combinan para mostrar una animación: uno de ellos contiene el modelo y el otro controla su visibilidad. En la siguiente secuencia de imágenes se muestra la interacción entre marcadores y el progreso de la animación. Sólo cuando el segundo marcador es visible, se activa la animación. María Escriche Andrés 29/09/2013 35 6. Diagrama de Gantt. En el siguiente diagrama se muestra el conjunto de tareas que se han realizado para lograr el objetivo de este Trabajo de Fin de Grado, junto a la duración de cada una de ellas y su el período de su realización. Las tareas han llevado a cabo entre los meses de Marzo y Noviembre de 2013. El dossier se ha ido realizando junto a cada una de las tareas, por lo que la tarea con este nombre se refiere a la unificación de contenidos, mejoras e introducción de nuevos contenidos, y maquetación de la misma. La realización del Trabajo de Fin de Grado ha conllevado un total de 870 horas aproximadas de trabajo. María Escriche Andrés 29/09/2013 36 7. Conclusiones y trabajo futuro. Recordemos que el objetivo del PFG consiste en especificar un proyecto de un libro basado en Realidad Aumentada para niños entre 7 y 9 años que, gracias a esta tecnología, se vuelve interactivo y utiliza la imagen de un modo más novedoso. Se quiere con ello demostrar el uso de las potencialidades de la RA, resolviendo los problemas tecnológicos que surgirían durante la implementación del libro. Durante el desarrollo del proyecto se busca integrar en el libro diversas aplicaciones basadas en el uso de marcadores, y mostrar algunos ejemplos de modelos y animaciones que se podrían utilizar en un libro como el propuesto. A través del aprendizaje de varios programas (FLARManager junto a Flash Builder, 3ds Max, Processing,) y del estudio de las distintas opciones que ofrece la Realidad Aumentada, tanto respecto a filosofías para trabajar con ella, como de plataformas con las que implementarla, se ha podido escoger el modo y el entorno de trabajo, así como realizar la aplicación planteada. Durante la realización del proyecto se han integrado los conocimientos de muchas de las asignaturas de la carrera, como Entornos 3D, Informática, Comunicación Multimedia, Composición y Edición de imágenes, Diseño gráfico y comunicación, Taller de diseño y Oficina Técnica. Se ha conseguido el objetivo deseado para el proyecto, ya que se ha logrado mezclar la tecnología de la Realidad Aumentada con un libro infantil, de modo que su contenido se enriquezca. Se han realizado distintas aplicaciones con RA en las que se ha conseguido interacción entre marcadores, muestra de varios modelos, inclusión de sonido, etc. Además, se han diseñado e introducido modelos y animaciones propios para la aplicación con éxito y se ha realizado el diseño gráfico que muestra cómo sería la aplicación real. La parte más complicada durante el desarrollo de este Trabajo de Fin de Grado ha sido la generación del código para realizar las distintas aplicaciones de Realidad Aumentada ya que, debido a que no se tienen conocimientos muy amplios sobre programación, el proceso de introducción de nuevo código y depuración de errores ha sido muy costoso, y no se han podido realizar aplicaciones de un alto nivel de complejidad. La parte más María Escriche Andrés 29/09/2013 37 interesante ha sido la realización de modelos 3D y animaciones, ya que era un tipo de modelado con el que apenas se había trabajado antes y con el que se han conseguido buenos resultados. Como trabajo futuro sería mejorable la puesta en marcha de la aplicación que, debido a la capacidad del ordenador de trabajo, tiene problemas (pocos modelos complejos a la vez, problemas al cargar varios elementos distintos, etc.). Esto obliga a que la aplicación se haya tenido que dividir en aplicaciones más pequeñas, y que no pueda funcionar todo el libro con una misma aplicación. Además, podrían incluirse otro tipo de aplicaciones que incluyesen botones, vídeo, etc. María Escriche Andrés 29/09/2013 38 8. Referencias. [1] Tony Mullen. Realidad Aumentada. Crea tus propias aplicaciones. Anaya. Año de edición: 2011. ISBN: 978-84-415-3127-7 http://es.wikipedia.org/wiki/Realidad_aumentada [2] http://www.aumenta.me/?q=node/36 [3]http://www.tesis.uchile.cl/tesis/uchile/2011/cfrodriguez_jl/pdfAmont/cfrodriguez_jl.pdf [4] http://www.zuinqstudio.com/es/blog-21-realidad-aumentadasmartphones [5] http://santiagolopezdigital.blogspot.com.es/2011/05/avance-mayoptam.html http://digilabs.com.ar/ar/ptam-parallel-tracking-and-mapping [6] https://www.layar.com/ [7] http://processing.org [8] http://spanish.unity3d.com/ [9] http://www.qualcomm.com/solutions/augmented-reality [10] http://www.metaio.com/ [11] http://www.artoolworks.com/products/web/flarmanager/ [12] http://www.artoolworks.com/products/web/flarmanager/ [13] MEDIAactive. Manual de 3ds MAX 2013. Marcombo. Año de edición: 2013. ISBN: 978-84-267-1889-1 María Escriche Andrés 29/09/2013 39 [14] http://www.looneydoodle.com/2010/04/flar-manager-multi-markermulti-collada/ http://www.youtube.com/watch?v=_x4SfItKyR0 http://blog.aumentality.com/videotutoriales/videotutorial-animacion-3d-enrealidad-aumentada/ http://blog.aumentality.com/ [15] http://www.youtube.com/watch?v=LuXOow0CXLI http://www.youtube.com/watch?v=uQCCA_18Q7E http://www.youtube.com/watch?v=hSfP2rDNh-4 María Escriche Andrés 29/09/2013 40 8. Apéndices. En el impreso que se entrega junto a la memoria se encuentran los siguientes Apéndices:  Apéndice 1: Introducción a la Realidad Aumentada.  Apéndice 2: 3ds Max. Aprendizaje del modelado 3D.  Apéndice 3: Processing. Aprendizaje sobre la Realidad Aumentada.  Apéndice 4: Aplicación a realizar y plataforma para su desarrollo.  Apéndice 5: Estudio de las capacidades de FLARManager.  Apéndice 6: Desarrollo de la aplicación.