Repositorio Institucional de Documentos

MÁSTER EN INGENIERÍA DE SISTEMAS E INFORMÁTICA EVALUACIÓN DE DIFERENTES PARADIGMAS CON NIÑOS DE EDUCACIÓN ESPECIAL Directora : Sandra Baldassarri Codirectora : Eva Cerezo Departamento de Informática e I TRABAJO FIN DE MÁSTER CURSO 2010-2011 MÁSTER EN INGENIERÍA DE SISTEMAS E INFORMÁTICA EVALUACIÓN DE DIFERENTES PARADIGMAS DE INTERACCIÓN CON NIÑOS DE EDUCACIÓN ESPECIAL Autor: César Ortea Suárez : Sandra Baldassarri : Eva Cerezo Informática e I ngeniería de Sistemas 15 de Junio de 2011 MÁSTER EN INGENIERÍA DE SISTEMAS E INFORMÁTICA EVALUACIÓN DE DIFERENTES DE INTERACCIÓN CON NIÑOS DE EDUCACIÓN ESPECIAL EVALUACIÓN DE DIFERENTES PARADIGMAS DE INTERACCIÓN CON NIÑOS DE EDUCACIÓN ESPECIAL Resumen Los juegos por ordenador son herramientas de enseñanza-aprendizaje efectivas porque permiten que los usuarios aprendan mediante la participación activa a través de distintas formas de interacción, además de promover la resolución de problemas y, al mismo tiempo, enfatizan la exploración y el auto-descubrimiento. Además, se trata de un modo de entretenimiento y diversión para los niños sin que perciban que al mismo tiempo están aprendiendo. Sin embargo, el diseño y desarrollo de estos juegos, en particular aquellos destinados a niños pequeños, no es una tarea simple. Para obtener un buen producto es necesaria la participación de usuarios reales para que verifiquen la usabilidad (facilidad de uso), la experiencia de usuario (emociones que provoca en el usuario) y la accesibilidad (flexibilidad para acomodarse a las necesidades de cada usuario). En este trabajo, en primer lugar, se lleva a cabo un estudio exhaustivo del estado del arte de los métodos de evaluación que se utilizan con niños, los cuales se clasifican en función de sus características principales, se comentan sus ventajas y desventajas principales y, además, se enumeran los artículos que emplean dichos métodos. A partir del estudio del estado del arte, se seleccionan varios métodos de evaluación con el objetivo de realizar un estudio comparativo sobre diferentes técnicas de interacción natural con niños muy pequeños y niños con algún tipo de discapacidad cognitiva o física. Para ello, se parte de un juego de granja desarrollado mediante interacción tangible (a través de juguetes en una superficie horizontal) y se implementa una versión del mismo que puede ser utilizada por medio de teclado, ratón o por pantalla táctil. Posteriormente, para ambas interfaces se realiza un análisis de los datos (cuantitativo) de acuerdo a los métodos de evaluación escogidos, para valorar la usabilidad, la experiencia de usuario y la accesibilidad con usuarios reales. Los resultados, indican principalmente la necesidad de realizar mejoras en las futuras iteraciones que se realicen. Abstract Computer games are very valuable education-learning tools for children, because they allow users to learn through active participation, to promote problem solving and to emphasize exploration and self-discovery. Also, games are an entertainment for children without perceiving that, at the same time, they are learning. However, the design and development of these games, particularly those intended for young children, is not a simple task. It is necessary to involve real users to verify the usability (ease of use), the user experience (user emotions) and accessibility (flexibility to accommodate the needs of each user) in order to get a better product. In this work, firstly we carry out a thorough study about the state of the art in evaluation methods with children, which are classified according to their main features. Also, we explain its advantages, disadvantages and papers that use these methods. From the state of the art, we choose several evaluation methods to achieve a comparison of two natural interaction styles. Children with cognitive or physical disabilities, who belong to special education school, participate in order to learn how to fit these two interaction styles to the needs of children with cognitive problems. Accordingly, a farm game based on tangible interaction (handle toys in a tabletop) is implemented in a tactile version with the purpose of obtaining information about usability, accessibility and user experience (UX) of both interfaces. Results indicate the need for improvements in both versions. ÍNDICE 1-INTRODUCCIÓN ............................................................................................................... 7 1.1- Contexto y motivación .............................................................................................. 7 1.2- Objetivos y tareas ..................................................................................................... 8 1.3- Estructura de la memoria ......................................................................................... 9 2-ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS .............................................................. 11 2.1- Diseño y evaluación centrada en el niño ................................................................ 11 2.1.1 Comportamiento de los niños ................................................................................ 12 2.1.2 Rol del niño en el proceso ...................................................................................... 13 2.2- Clasificación de los métodos de evaluación con niños ........................................... 16 2.2.1 Métodos sumativos y formativos ........................................................................... 16 2.2.2 Métodos observacionales y de verbalización ......................................................... 17 2.2.3 Métodos que miden usabilidad / experiencia de usuario ...................................... 18 2.3- Descripción de los métodos de evaluación ............................................................ 19 2.3.1 Sumativos ............................................................................................................... 19 2.3.2 Formativos .............................................................................................................. 37 2.3.3 Sumativos y formativos .......................................................................................... 51 2.3.4 Resumen métodos de evaluación .......................................................................... 63 2.3.5 Resumen trabajos prácticos ................................................................................... 64 2.3.6 Ventajas y desventajas métodos de evaluación ..................................................... 65 3-CASO DE ESTUDIO ........................................................................................................... 73 3.1- Descripción del Juego ............................................................................................. 76 3.2- Retroalimentación del juego .................................................................................. 76 3.3- Objetivos de la comparativa ................................................................................... 81 3.4- Evaluación previa .................................................................................................... 81 3.5- Descripción de la sesión ......................................................................................... 82 3.6- Análisis de los datos ................................................................................................ 84 3.7- Resultados y mejoras .............................................................................................. 99 4-CONCLUSIONES Y TRABAJO FUTURO ............................................................................. 103 4.1- Conclusiones ......................................................................................................... 103 4.2- Trabajo futuro ....................................................................................................... 104 GLOSARIO ....................................................................................................................... 105 ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) ........... 108 A.1- Motor de desarrollo.............................................................................................. 108 A.2- Tecnologías empleadas ........................................................................................ 111 A.3- Análisis y diseño .................................................................................................... 112 A.4- Implementación .................................................................................................... 123 ANEXO B: Cuestionario SEEM (Structured Expert Evaluation Method) ............................... 132 B.1- Cuestionario SEEM (versión tangible) .................................................................. 132 B.2- Cuestionario SEEM (versión táctil) ....................................................................... 134 ANEXO C: Artículos publicados durante el desarrollo de la Tésis ........................................ 137 C.1- Art en el congreso Interacción 2011..................................................................... 137 C.2- Art en el congreso Interact 2011 .......................................................................... 148 BIBLIOGRAFÍA .................................................................................................................. 153 7 CAPÍTULO 1 INTRODUCCIÓN Como introducción al trabajo de Tésis fin de Máster se describe, en primer lugar, el contexto en el que se engloba el estudio, dando detalles de la situación actual y las razones o causas que llevan a plantear el cumplimiento de una serie de objetivos. Finalmente, se explican brevemente los apartados en que se encuentra dividido el trabajo, para facilitar una mejor comprensión y lectura del mismo. 1.1- Contexto y motivación La presente Tesis Fin de Máster ha sido desarrollada dentro del Grupo de Informática Gráfica Avanzada (GIGA) del Instituto de Investigación en Ingeniería de Aragón (I3A) de la Universidad de Zaragoza, bajo la dirección de las doctoras Sandra Baldassarri y Eva Cerezo Bagdasari. En los últimos años, el GIGA ha estado investigando y desarrollando en el campo de la computación afectiva y la interacción natural y multimodal, buscando nuevas formas de acercar las aplicaciones informáticas a diferentes tipos de usuarios. Dentro de este ámbito, esta Tesis Fin de Máster se enmarca en la implementación y evaluación 1 de juegos de ordenador para favorecer accesibilidad y la experiencia de usuario en niños con diferentes tipos de discapacidad. Impartir el conocimiento mediante un ordenador tiene la ventaja de que favorece el aprendizaje de los niños de una forma más personalizada y autónoma, ayuda a progresar a una velocidad adecuada a sus posibilidades e incentiva el desarrollo de nuevas habilidades. Esto posibilita a los educadores la utilización de diferentes estrategias didácticas para cada individuo y grupos de trabajo. En el caso de los niños que poseen algún tipo de discapacidad cognitiva, este aprendizaje individualizado adquiere todavía mucha más importancia. Estos últimos años los niños han adquirido protagonismo como usuarios de tecnologías interactivas. Sin embargo, los métodos de evaluación 2 de estas tecnologías, en su mayoría, se han desarrollado para su uso con adultos y, como requieren ciertas habilidades de los usuarios, no se sabe con certeza si es posible su utilización con niños [KBV03]. De esta manera, hoy en día existe un gran interés en adaptar diferentes métodos de evaluación a la capacidad de desarrollo cognitivo y social de los niños para hacer posible su aplicación con éstos [BM04]. En consecuencia, son solicitados para tomar parte en la mayoría de etapas del proceso de diseño de un producto [DR04] pero, no obstante, se necesitan más estudios en los que se evalúen productos centrados en los niños ya que existen pocos trabajos de evaluación o estudios donde se comparan diferentes métodos de evaluación con niños. CAPÍTULO 1: INTRODUCCIÓN 8 El GIGA tiene experiencia en el desarrollo y evaluación de juegos de ordenador orientados a niños con diferentes con diferentes estilos de interacción [MBC10], [BCB10]. Los juegos por ordenador deben aportar principalmente entretenimiento [PKW03], que forma parte del conjunto de sensaciones, sentimientos o emociones que se producen en el usuario cuando maneja un sistema interactivo (Experiencia del Usuario ó UX) 3 [XRS09]. También, deben tener un objetivo que se pueda conseguir de una forma eficaz, eficiente y satisfactoria, lo que define la usabilidad 4 [Usa98]. De esta forma, los juegos deben reaccionar y responder de una forma adecuada para que el usuario pueda cumplir este objetivo, proporcionando al mismo tiempo diversión. Además, si están orientados a niños con algún del tipo de discapacidad, es necesario que la interacción con las aplicaciones se realice de forma multimodal (con diferentes modalidades) para favorecer la accesibilidad 5 . Los métodos de interacción natural, entre las que destacan las interfaces táctiles 6 y tangibles (TUIs) 7 , se han explorado como una forma de acercar a los niños a los contenidos digitales ya que existen investigadores que afirman su gran potencial con niños, mientras que otros sugieren que dichas interfaces no tienen los supuestos beneficios que se esperan [MRH07]. Por lo tanto, es necesario profundizar e investigar acerca de los beneficios y ventajas que proporcionan las diferentes formas de interacción naturales, en particular cuando las aplicaciones informáticas están destinadas a niños muy pequeños o a niños con algún tipo de discapacidad cognitiva. 1.2- Objetivos y tareas En base a lo comentado en el apartado anterior, se han determinado los siguientes objetivos y tareas para esta Tesis Fin de Máster: • Realizar un estudio completo del estado del arte en métodos de evaluación con niños. Para ello, es necesario revisar toda la bibliografía existente con el fin de especificar las ventajas y desventajas de los diferentes métodos de evaluación y su viabilidad para trabajar con niños pequeños. • Implementar un juego de ordenador mediante el paradigma tradicional de interacción persona-ordenador para ser comparado con su versión tangible. La programación del juego se realizará utilizando un motor gráfico basado en el lenguaje C++ y la librería de animación Cal3D. Además, se implementarán programas que permitan analizar los datos registrados en cada partida de la versión implementada. • Realizar una evaluación final del juego con ambas interfaces. La evaluación se realiza en un colegio de educación especial con niños que padecen algún tipo de discapacidad, tanto motora como cognitiva. La elección de los métodos a emplear se hace en base a las ventajas y desventajas de cada uno de ellos detectadas en el estado del arte. El objetivo de esta evaluación consiste en valorar los beneficios de cada tipo de interacción. Para ello, se analiza la usabilidad, que permite advertir posibles conflictos o problemas mientras los niños experimentan con el juego, la experiencia de usuario para saber si los niños se divierten, aburren o prefieren una de las dos interfaces y, finalmente, la accesibilidad para determinar si tienen problemas para manejar los dispositivos de entrada de cada interfaz o para comprender las instrucciones dadas en el juego. CAPÍTULO 1: INTRODUCCIÓN 9 1.3- Estructura de la memoria La presente memoria trabajo fin de Máster procura reflejar, de una forma precisa y descriptiva, las distintas fases y etapas seguidas en el desarrollo del trabajo fin de Máster, así como los resultados obtenidos y las conclusiones finales. La memoria se estructura en cuatro apartados y 3 anexos, que se describen brevemente a continuación. El segundo capítulo realiza un completo estudio del arte, en función de la bibliografía revisada, de métodos de evaluación empleados con niños como parte del proceso de desarrollo de un producto. Para ello, se elabora una clasificación de dichos métodos agrupándolos en base a distintos parámetros y se detallan casos reales en los que se ponen en práctica estos métodos con sus particularidades. Además, se concluye si es viable la utilización de cada método con niños, comentando sus ventajas y desventajas. En el tercer capítulo se describe la comparativa de un mismo juego de ordenador con dos formas diferentes de interacción natural: táctil, en una pizarra digital, y tangible, en un tabletop. En el capítulo se detalla el funcionamiento del juego en ambas versiones, la evaluación llevada a cabo en un colegio de educación especial y los métodos de evaluación empleados, así como el análisis y resultados conseguidos de los datos registrados en la evaluación. El cuarto capítulo contiene las conclusiones extraídas, tanto en el estudio del estado del arte de métodos de evaluación con niños como en la comparativa, además de las posibilidades de trabajo futuro. Los tres anexos contienen, respectivamente, el análisis, diseño e implementación de la versión táctil del juego de la granja, el cuestionario SEEM creado para llevar a cabo la comparativa y los artículos publicados durante el desarrollo del trabajo fin de Máster. Finalmente, la Bibliografía contiene las referencias que se han consultado para la realización del presente trabajo y a los que se hace mención a lo largo de esta memoria. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 16 2.2- Clasificación de los métodos de evaluación con niños Un método de evaluación se define como aquellos procedimientos, objetivos o subjetivos, utilizados para obtener y organizar la información obtenida en relación a los objetivos, normas o criterios establecidos. Aunque cada método tiene unas características que lo diferencian del resto, hay una serie de similitudes entre ellos que posibilitan la elaboración de una clasificación que los organice en función de estos aspectos comunes. En primer lugar, es posible diferenciar aquellos métodos de evaluación que son sumativos frente a los métodos formativos, ya que los primeros pretenden medir una serie de parámetros definidos previamente, mientras que los segundos persiguen descubrir puntos de conflicto en el juego. Uno de los mayores desafíos a la hora de adaptar los métodos de evaluación a los niños, es decidir cuál es la forma más conveniente para obtener datos significativos. De esta forma, se distingue entre métodos basados en la observación y la verbalización. La diferencia principal es que, los primeros, no requieren que el niño manifieste de ninguna forma su experiencia con el juego evaluado. Finalmente, cada método de evaluación puede tener como objetivo recoger distintos tipos de información. En concreto, pueden buscar valorar la experiencia que tiene el usuario mientras interactúa con el juego, o bien descubrir partes del mismo que puedan ocasionar algún problema (usabilidad). En la bibliografía revisada existen casos de estudio en los que se emplean métodos de evaluación centrados en el niño. Estos métodos pueden estar diseñados explícitamente para su uso con niños o pueden ser adaptaciones de métodos definidos originalmente para su uso con adultos. En el trabajo presentado se describen diversos estudios que ponen en práctica los métodos de evaluación definidos, haciendo hincapié en las particularidades de cada uno para posibilitar la intervención del niño en proceso. Sin embargo, es poco probable que un solo método de evaluación sea capaz de descubrir todos los aspectos de un producto, por lo que es conveniente utilizar más de un método de evaluación [Bar06]. A continuación, se explican en detalle cada una de las características resaltadas para conformar la clasificación de los diferentes métodos de evaluación. Hay que reseñar que en este caso la clasificación se encuadra atendiendo a un tipo muy concreto de producto: los juegos por ordenador. 2.2.1 Métodos sumativos y formativos La primera distinción entre los métodos de evaluación consiste en separar los métodos sumativos y formativos. Los métodos sumativos son aquellos que se llevan a cabo para evaluar la eficacia del diseño final de un juego o para comparar alternativas de diseño que compiten en términos de usabilidad [HAW03]. Este tipo de métodos miden parámetros como, por ejemplo, la eficiencia, efectividad o satisfacción del usuario. La idea es que al comienzo del CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 17 diseño de un producto nuevo se plantean unos objetivos y al llevar a cabo la evaluación se evalúan estos objetivos. Por lo tanto, lo que se mide viene dado por los objetivos del proyecto, que es mejorar algo ya existente. De esta forma, se comprueba si realmente se mejora o no comparando medidas. Por otra parte, los métodos formativos no miden, sino que intentan identificar aspectos de un producto que puedan causar problemas al usuario, con el objetivo de remediarlos para mejorar el producto. Estas evaluaciones formativas se centran en determinar posibles problemas de usabilidad en el juego, los cuales suelen ser eliminados durante el proceso de desarrollo de un producto antes de que sea comercializado [HAW03]. Cuando se trata de juegos y niños, la definición se debe ampliar con más conceptos y no evaluar únicamente la usabilidad, sino también problemas de diversión, de colaboración o de aprendizaje. Por lo tanto, el resultado de las evaluaciones formativas consiste en descubrir breakdowns, es decir, puntos o situaciones del juego que generan algún tipo de problema o dificultad en el usuario. 2.2.2 Métodos observacionales y de verbalización Tras la división de los métodos de evaluación en sumativos o formativos, la siguiente diferenciación es la forma en la que se obtiene la información del niño, distinguiendo entre observacionales y de verbalización. Mientras los métodos observacionales confían en la capacidad del usuario para expresar sus opiniones mediante el lenguaje corporal cuando interactúan con una tecnología determinada, los métodos de verbalización confían en la aptitud de los usuarios para articular opiniones de una forma verbal [Rea07]. De esta forma, en los métodos observacionales un evaluador externo se encarga de recoger sus impresiones acerca de la experiencia del usuario mientras éste interactúa con el juego evaluado y, por lo tanto, el usuario no tiene que valorar su experiencia. Además, son métodos que se pueden llevar a cabo con niños de todas las edades debido a que no son conscientes de que están siendo evaluados y solamente tienen que experimentar con el juego. Sin embargo, en los métodos de verbalización el niño debe expresar de alguna manera cómo ha sido su experiencia. Normalmente, los niños pequeños no suelen estar directamente involucrados en el diseño de productos creados específicamente para ellos [BLH00]. La razón principal es que la mayoría de métodos utilizados por los evaluadores para establecer la comunicación con los usuarios están basados en verbalizar [RBC06], ya que el lenguaje es una herramienta muy poderosa de comunicación y la información que se extrae de los comentarios es muy valiosa. Entre otras cosas pueden indicar problemas que es probable que no se descubran simplemente observando [Bar06]. Sin embargo, autores como Winograd et al. [WF86] sostienen que en el diseño de tecnologías interactivas es más importante qué es lo que hacen los usuarios frente a qué es lo que dicen. Cuando un problema observado se acompaña de verbalizaciones u otras indicaciones explícitas, la cantidad de información que demuestra la existencia de un problema es mayor, por lo que es más fácil que un problema sea detectado por varios evaluadores y, de esta manera, la fiabilidad del método será mayor [VBA02]. Por otra parte, hay que destacar que los métodos observacionales y de verbalización exigen un gran CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 18 esfuerzo por parte del evaluador, dado que está obligado a interpretar tanto los signos como los comentarios, además de formalizar las respuestas de alguna manera. 2.2.3 Métodos que miden usabilidad / experiencia de usuario Cada método de evaluación puede tener como objetivo registrar un tipo de información diferente, ya sea relacionada con la usabilidad del juego evaluador, la experiencia que tiene el usuario jugando o ambas. La ISO define la usabilidad como la medida en que los usuarios pueden utilizar determinados productos para lograr objetivos concretos con efectividad, eficiencia y satisfacción en un contexto específico de uso [Usa98]. Por lo tanto, cuando se encuentra un problema de usabilidad significa que el usuario no es capaz de alcanzar un objetivo de una forma eficiente, efectiva o satisfactoria. Los métodos de evaluación de usabilidad sumativos se suelen asociar con datos cuantitativos (datos sobre el rendimiento del usuario) y los métodos de evaluación de usabilidad formativos con datos cualitativos de usabilidad (identificar un problema de usabilidad) aunque, en ocasiones, la evaluación formativa puede tener datos cuantitativos como información complementaria (por ejemplo, el tiempo que cuesta completar una tarea). Sin embargo, en la década de los 90, el objetivo de la interacción personaordenador (HCI 10 ) se ha desplazado desde la productividad hacia la diversión [AZ09] y, además, definiciones de usabilidad como las dadas por Nielsen et al. [Nie03] y Shakel et al. [Sha91] muestran la importancia que tiene la experiencia del usuario cuando se maneja un producto. De esta forma, parámetros de usabilidad como el tiempo necesario para completar una tarea o el número de errores se han puesto en un segundo plano a favor de aspectos hedónicos como la diversión, belleza, o likeability, es decir, recoger experiencias físicas, sensuales, emocionales, sociales y estéticas del usuario. Normalmente, estos aspectos subjetivos se han denominado como experiencia del usuario (UX). En consecuencia, UX o la “nueva usabilidad” es un área de investigación emergente [XRS09], que la ISO la define como "las percepciones de una persona y las respuestas que se derivan de la utilización prevista de un producto, sistema o servicio". Tanto la usabilidad como la UX se deben investigar en el diseño y la evaluación de un producto, lo que se aplica para los juegos en particular. Cuando se evalúa la productividad de las aplicaciones, el objetivo principal es la medida del rendimiento ya que se evalúa si se pueden lograr las tareas de una forma rápida y eficiente. Sin embargo, cuando se desarrollan juegos de ordenador, el criterio de evaluación más importante es qué experiencia proporciona el juego al usuario [BBB08], por lo que no es suficiente con centrarse en la usabilidad. Los juegos han sido diseñados para entretener y divertir, por lo que si la experiencia es positiva satisface al usuario y actúa a modo de estimulante [BBS03]. En la misma línea se expresa Pagulayan et al. [PKW03], afirmando que el objetivo de una evaluación de usabilidad con juegos es centrarse en reducir los obstáculos de diversión más que reducir los obstáculos para lograr una tarea. En la interfaz de un juego predominan aspectos de usabilidad, es decir, objetivos, tareas o la interacción con el juego, CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 19 pero si se presta atención más allá de la interfaz cobran importancia aspectos como la jugabilidad del juego o el tipo de experiencia que se tiene. 2.3- Descripción de los métodos de evaluación A continuación, se organizan y estructuran los diferentes métodos de evaluación en función de la clasificación propuesta con anterioridad. Después de estructurar los métodos según sean sumativos o formativos y de diferenciar si son observacionales o de verbalización, se describe el propio método de evaluación en cuestión. En primer lugar, se da una definición general del método detallando sus características principales y, si es un método desarrollado originalmente para su uso con adultos, se explican los detalles significativos acerca de su posible adaptación para utilizarlo con niños, describiendo si es adecuado para medir la usabilidad, la UX o ambas. El número de métodos de evaluación que se emplean con adultos es muy extenso, y, además, están destinados a diferentes entornos con diferentes objetivos o necesidades [SL07]. Sin embargo, cuando se procura realizar una evaluación con niños, el número de métodos que permiten de algún modo su aplicación con este tipo de usuarios se reduce considerablemente. El trabajo presentado en esta memoria se centra únicamente en desarrollar los métodos de evaluación que pueden emplearse con niños. De ellos, se explican sus características principales y, si no han sido diseñados explícitamente para su uso con niños, también se valora su posible adaptación para ser utilizado con niños. Posteriormente, se describen estudios llevados a cabo con niños en los que se pone en práctica cada método en concreto, los cuales pueden valorar la usabilidad del juego, UX o ambas. Principalmente, se resaltan las peculiaridades de cada caso, como la forma de ejecutar el método, los participantes que intervienen en el estudio o los resultados significativos que se concluyen del análisis de datos. 2.3.1 Sumativos Sumativo y observacional En primer lugar, se detallan dos métodos de evaluación que son sumativos y observacionales: el método SEEM y el LOG. Método SEEM El método SEEM (Structured Expert Evaluation Method) es un método desarrollado para evaluar problemas de usabilidad y UX en cualquier sistema interactivo y donde el niño no tiene ningún rol prefijado en la evaluación. Este método requiere que expertos examinen las partes del juego mediante una lista de comprobación con cuestiones (Fig. 2.), las cuales están basadas originalmente en la teoría de Norman del modelo de acción [Nor98] y en los conceptos de diversión de Malone [Mal80]. Cada cuestión corresponde a varias fases del ciclo de acción de Norman, el cual se compone de 7 fases [Nor98]: establecer objetivo, establecer intención, especificar una CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 20 acción, ejecutar la acción, percibir el estado del mundo, interpretar el estado del mundo y evaluar el resultado. Además, se añade la diversión porque es un aspecto importante en juegos con niños, ya que es una de sus mayores motivaciones para interactuar con la tecnología. Las cuestiones se dividen en seis apartados [BBM06]: objetivo (si se entiende y es divertido), planificar acciones (si se entienden las acciones que deben realizar y son divertidas), ejecución acciones (si las ejecutan con facilidad), navegación entre pantallas (si los sub-objetivos son claros), continuación (se consigue el objetivo sin dificultad y es gratificante) y retroalimentación (si la perciben y es estimulante). Para predecir los problemas, los expertos reciben el juego a evaluar, un manual que explica el uso de SEEM y una descripción del juego y objetivo de la evaluación. Los expertos repasan la lista de comprobación y, cuando advierten un posible conflicto o problema, lo registran en una plantilla de informe de problemas. Este método es idóneo para evaluar aplicaciones orientadas a niños y jóvenes ya que incluye preguntas sobre los objetivos, la retroalimentación recibida o la diversión de las acciones. Fig. 2. Ejemplo de cuestionario SEEM [BBM06] A continuación, se explican algunos trabajos que aplican el método SEEM. El trabajo realizado por Baauw et al. [BBM06] persigue valorar si el método SEEM es adecuado para llevarse a cabo con niños de edades entre 9-11 años. Para ello, se evalúan 2 juegos educacionales, con los que previamente se llevan a cabo dos test de usabilidad [BBB07] y [BM04], por lo que se comparan estos resultados con los que se obtienen en este caso con SEEM. En el estudio participan 20 expertos para mostrar la capacidad del método SEEM como evaluación sumativa localizando problemas de usabilidad. A todos ellos se les da un entrenamiento de 1 hora y media con un juego para niños pequeños, para adquirir experiencia en la utilización del método El entrenamiento contiene una demostración de SEEM con una comparación de los problemas descubiertos mediante el test de usabilidad del juego correspondiente, además de instrucciones acerca de cómo guiarse a través de las CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 21 preguntas del cuestionario. Después, los expertos valoran en parejas 2 sub-juegos de sus respectivos juegos y se discuten los problemas encontrados, además de compararlos con la lista obtenida en el test de usabilidad. El primer grupo practica con el juego “Rainbow the most beautiful fish of the ocean” y su evaluación final es con el juego “Milo”. Por el contrario, el segundo grupo practica con “Milo” y la evaluación final tiene lugar con “Bio mania” (Fig. 3.). Fig. 3. Participantes y juegos para cada grupo [BBM06] Tras llevar a cabo la comparación entre los resultados del test de usabilidad y del método SEEM, los resultados indican que SEEM tiene un porcentaje de acierto elevado en cuanto al número de problemas detectados por los expertos que coinciden con los del test de usabilidad. Los resultados de SEEM son ligeramente mejores para el grupo de mayor edad. En cuanto al porcentaje de cuestiones SEEM que se aplican correctamente, es decir, si estas cuestiones ayudan a los expertos a predecir problemas, no se observan diferencias entre los dos grupos de edad. Hay que destacar que los resultados solamente se han probado para un tipo de juego, por lo que no se sabe si se puede extender a otros tipos. Los resultados tienen tendencias similares para los 2 grupos de edad, por lo que se pueden generalizar para otros juegos educacionales orientados a niños de 9-11 años. Varios investigadores han argumentado que métodos como SEEM pueden predecir problemas reales no encontrados con el test de usabilidad (falsos positivos), por lo que ambos métodos son complementarios [BBB05]. Por lo tanto, estos problemas serían aciertos complementarios. Por el contario, pueden predecir problemas falsos con SEEM no encontrados con el test de usabilidad, por lo que se trataría de una alarma falsa verdadera. En este estudio, bastantes problemas detectados con el método SEEM fueron aciertos complementarios y, para cada grupo de edad, SEEM predice un número similar aciertos complementarios y solamente unas pocas alarmas falsas verdaderas. Bekker et al. [BBB08] compara dos métodos de evaluación con juegos de ordenador educacionales para niños pequeños (4-8 años). Estos métodos son SEEM y una evaluación heurística combinada (HE), los cuales evalúan tanto la usabilidad como la UX. El método HE se compone de la combinación de 2 métodos existentes: 10 heurísticas de usabilidad de Nielsen [Nie94] y 4 heurísticas de conceptos relacionados con la diversión de Malone y Lepper [ML87], cuya taxonomía contiene 4 heurísticas principales: desafío, fantasía, curiosidad y control. El conjunto de heurísticas de Nielsen se elige porque han sido sometidas a pruebas extensas y varias iteraciones de diseño, mientras que las heurísticas de Malone y Lepper se escogen ya que, aunque hay estudios más recientes, capturan la mayoría de aspectos más importantes. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 22 El juego de ordenador seleccionado para la prueba es nuevamente “Milo”, el cual está orientado a niños de 4-8 años. En su evaluación participan 19 expertos: 9 se encargan del juego con la ayuda de SEEM y 10 con la ayuda de HE combinado. Cada experto solamente se dedica a un método y a todos ellos se les da una introducción acerca de los dos métodos de evaluación y reciben un manual de SEEM o HE combinado. Además, se les da un entrenamiento de 1 hora y 30 minutos en donde evalúan otro juego para niños. Una semana más tarde reciben comentarios sobre su informe de la sesión de entrenamiento, en una sesión de 30 minutos (si hay errores habituales referentes al uso de cuestiones, descripción problemas, etc). Después todos los expertos evalúan el juego “Milo” durante 1 hora y 30 minutos. Los expertos tienen que evaluar al menos 6 sub-juegos durante la evaluación. Nuevamente, se comparan los resultados de un test de usabilidad realizado con el mismo juego [BBB07], con los problemas detectados por los expertos en SEEM y HE combinado. Los resultados son mejores para el método SEEM respecto a HE combinado. Además, los expertos son más capaces de asignar una cuestión correcta al problema si utilizan este método. Por último, la mayoría de falsos positivos para ambos métodos (SEEM y HE combinado) son aciertos complementarios, por lo que son similares ya que predicen una cantidad similar de aciertos complementarios y solamente unas pocas alarmas falsas verdaderas. Por otra parte, se evalúa la conveniencia de usar estudiantes como expertos, comparando este estudio con los registros de expertos que aplican SEEM en el estudio de Baauw et al. [BBB05]. Los datos obtenidos determinan que lo estudiantes tienen un conocimiento suficiente para participar en la evaluación. En el trabajo llevado a cabo por Baldassarri et al. [BCB10], se desarrolla un juego educativo implementado para incentivar el desarrollo cognitivo de alumnos con discapacidad a través del uso de personajes virtuales e interacción multimodal y emocional. En primer lugar, se llevan a cabo tests de usabilidad con un grupo de 30 alumnos (10 niñas y 20 niños) con diferentes grados de discapacidad y de edades comprendidas entre 5 y 17 años. Además, dichas sesiones se graban en vídeo para su posterior análisis. Estos dos métodos se explican más en detalle cuando se presentan los métodos en cuestión. Posteriormente, se utiliza el método SEEM, en el que logopedas y profesores actúan como expertos examinando el juego para comprobar los objetivos, las acciones a realizar, la interacción física, la navegación, la secuencia del juego y la retroalimentación a las acciones del alumno. Con el fin de que estos expertos puedan evaluar la herramienta, se crean 2 tipos de cuestionarios apoyados en el método SEEM. El primer cuestionario busca obtener, a través de la observación de los expertos, información cuantificable que permita extraer conclusiones relacionadas con la interacción del alumnado con el juego. Las preguntas incluidas en el mismo van orientadas a detectar qué tipo de hechos se observan mientras el niño juega: si se levanta de la silla, si el niño mira constantemente a un adulto durante el juego o si por el contrario juega absorto, etc. De esta manera, se persigue detectar indicios que determinen si las acciones han sido o no comprendidas claramente, sobre qué es más o menos estimulante para el alumno, etc. El segundo cuestionario está destinado a obtener información sobre el grado de satisfacción de los educadores cuando utilizan la herramienta para la generación de nuevos juegos didácticos. Para ello pone la aplicación en manos de los profesores que, ayudados por un guión de instrucciones, experimentan diseñando nuevas actividades. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 23 LOG El LOG es un método de evaluación sumativo, además de ser observacional, cuyo objetivo es recoger información acerca de la usabilidad del juego evaluado. Un log es un registro automatizado de eventos durante un rango de tiempo en particular, el cual se utiliza para guardar datos o información sobre quién, qué, cuándo, dónde y por qué un evento ocurre para un dispositivo en particular o aplicación. Si se trata de un ordenador se suele hacer registrando en un fichero toda la interacción y elecciones de los usuarios a lo largo del juego. Además, permite extraer datos estadísticos como cuántas personas interactúan a la vez, la actividad física a lo largo del juego, errores o aciertos en la ejecución de acciones o periodos de pausa que den indicios de algún problema. Este método se puede llevar a cabo con niños de todas las edades porque el niño no es consciente de que se están registrando todas sus interacciones con el juego y, de esta manera, solamente experimenta con el juego. El LOG y la automatización, en general, tienen las siguientes ventajas [IV01]: • Incrementa el número características evaluadas del producto evaluado. Debido al tiempo, coste y las limitaciones de recursos, no siempre es posible evaluar todos los aspectos de una interfaz. Las herramientas de LOG hacen que sea posible evaluar los aspectos de las interfaces que de otro modo no se pueden evaluar. • Aumento de la consistencia acerca de los errores descubiertos. Por ejemplo, se pueden detectar patrones de uso que sugieren posibles errores, como la cancelación inmediata de una tarea. • La automatización de algunos aspectos de la evaluación, tales como el análisis o actividades críticas, puede ayudar a los diseñadores que no tienen experiencia en aspectos de la evaluación. • Permite hacer comparaciones de rendimiento entre varios diseños alternativos. • La incorporación de la evaluación en la fase de diseño de desarrollo de un interfaz de usuario, en lugar de ser aplicada después de la implementación. Esto es importante ya que la evaluación, con la mayoría de los métodos no automatizados normalmente sólo se puede hacer después de implementar la interfaz, por lo que los cambios son más costosos. De esta forma, el niño puede tener un rol de probador. Los LOGs se considera como un complemento útil a otros métodos de evaluación, no como un sustituto. Por ejemplo, aspectos como la UX es prácticamente imposible que sean predecibles con métodos automatizados Un ejemplo significativo de un trabajo que aplica esta técnica es [RHM09]. Marco et al. [MBC10] también utilizan LOGs pero como herramienta de soporte al análisis de vídeo, por lo que el estudio se detalla cuando se trata con el método en cuestión. En el trabajo de Rick et al. [RHM09] se estudia cómo colaboran los niños en tabletops multitouch. El dispositivo utilizado es “DiamondTouch”, que se trata de un tabletop (aplicación con el que se interactúa sobre una superficie plana), que puede configurarse para interacción múltiple y simultánea con el contenido digital o para CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 24 interacción individual. La aplicación que se emplea requiere que los grupos de niños asignen una clase donde deben sentarse los estudiantes con respecto a los demás (las mesas son compartidas). De esta forma, la tarea es familiar para los niños y requiere colaboración entre ellos para decidir la situación. Los niños pueden arrastrar con los dedos los estudiantes y mesas, juntarlos o rotar las mesas (Fig. 4.). Fig. 4. Aplicación utilizada, con las mesas y estudiantes que se pueden arrastrar a lo largo de la superficie [RHM09] En este trabajo, se llevan a cabo 30 test con 15 grupos de 3 niños de 3-4 años, pertenecientes a dos colegios. Estos grupos completan la tarea con las condiciones de interacción múltiple o interacción individual en dos sesiones diferentes. Los niños se sitúan en el tabletop y, al comienzo de la sesión, se les explica el funcionamiento del tabletop y la aplicación utilizada. Todas las sesiones se registran en vídeo, grabando la interacción y a los participantes con el fin de obtener información complementaria. Además, no hay diferencia entre la igualdad de participación en ambas condiciones. Principalmente, se busca la relación entre la posición del niño en el tabletop y su contribución a la tarea. Para ello se emplea el análisis de LOGs, que determina el nivel de participación de los niños a partir de sus toques en la superficie del tabletop. Por lo tanto, en un fichero se registra el objeto desplazado, dónde se desplaza y quién hace el movimiento. Los datos se analizan en base a cómo la condición de interacción afecta al tiempo necesitado en completar una tarea, la proporción en que hacen cambios o la igualdad de participación en ambas condiciones. A partir de los LOGs se muestran mapas de actividad que representan cómo la posición de los niños afecta a su interacción. En cuanto a los resultados obtenidos, el número de toques en la interacción múltiple es mucho mayor que en la condición simple (un 50% más), mientras que no hay diferencia en el tiempo necesitado para completar la tarea en ambas condiciones. Sin embargo, en la segunda sesión realizada, los grupos emplean menos tiempo, independientemente de la condición de interacción. Los mapas de actividad se crean a partir de los toques de los niños en la superficie del tabletop, para advertir en qué zonas interactúan más los niños. Por ejemplo, la mayoría de los toques que se hacen en los bordes del tabletop son solamente para recoger las mesas o estudiantes que se encontraban allí al comienzo de la tarea. Cada niño realiza toques sobre la superficie completa, aunque implique moverse por las zonas que ocupan otros niños. Sin embargo, suelen realizar con mayor frecuencia toques en la zona del tabletop en la que se encuentran, por lo que la posición que ocupan en el tabletop tiene influencia en el porcentaje de toques que se hace en un determinado área. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 25 Sumativos y de verbalización En segundo lugar, se detallan aquellos métodos de evaluación que además de ser sumativos, requieren verbalización por parte del usuario. Entre ellos se encuentran: cuestionario likeability, laddering, fun toolkit y drawing intervention. En general, en todos ellos el niño tiene que participar de forma individual y se busca obtener información relativa a la UX, aunque en algunos estudios concretos se pueden advertir posibles indicios de problemas de usabilidad. El rol que desempeña el niño durante el proceso es de usuario, debido a que se evalúan juegos cuya fase de desarrollo ha terminado. Cuestionario likeability El cuestionario likeability se basa en realizar una serie de preguntas al usuario que ha intervenido en el proceso de evaluación, con el fin de obtener su opinión y valoración sobre qué le ha gustado acerca del juego que ha estado probando. Por lo tanto, en primer lugar se deja que el usuario juegue con la tecnología, para luego hacer las preguntas. Los cuestionarios han sido ampliamente utilizados para reunir opiniones e información de forma individual, siendo una aplicación útil dentro de HCI y el diseño de interacción. Por ejemplo, muchos estudios de usabilidad concluyen con un resumen de los resultados de un cuestionario. Sin embargo, la investigación acerca de la eficacia de diferentes estilos de encuestas con niños es relativamente escasa y, en particular, cuando se pide a los niños que contribuyan con sus opiniones. Principalmente, se debe a que no son comunes estudios que examinan la validez y fiabilidad de las respuestas de los niños. Hay diversos factores que tienen impacto en las habilidades de los niños, como son la capacidad de lenguaje, lectura, habilidades motoras y efectos temperamentales como la confianza o el deseo de satisfacer. En la planificación de cualquier encuesta, hay tres áreas en las que se requiere especial atención [Coo04]: 1. Consideración de la muestra: una muestra bien definida de niños debería contemplar una amplia variedad de habilidades y capacidades. 2. Modo de hacer las preguntas: con niños las encuestas se realizan cara a cara, sobre todo cuando se está evaluando una tecnología. Además, también se debe determinar si se realizan individualmente o no. Por ejemplo, si el niño necesita ayuda para leer o contestar las preguntas, es preferible hacerlo individualmente 3. Las propias preguntas. Para diseñar las cuestiones, se proponen 4 principios generales: a. Preguntar el mínimo de información necesaria para cumplir el objetivo. b. Hacer preguntas que se puedan responder. c. Hacer preguntas que se vayan a contestar von veracidad. d. Minimizar las preguntas que se rechazan responder (sin respuesta). El primer principio es especialmente importante en el diseño de cuestionarios con niños, ya que siempre es tentador recopilar más información de la necesaria. Si se consideran los últimos tres principios, se puede garantizar una cierta fiabilidad a través de un diseño cuidadoso de las preguntas y, también, si CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 32 Como conclusión principal, se obtienen beneficios y valores completamente diferentes para ambos estilos de interacción, los cuales definen la preferencia sobre uno de ellos. El control clásico ofrece más precisión (atributo) y es importante porque proporciona un mejor rendimiento (consecuencia). De esta forma, el valor que se desprende es intentar ser el mejor (valor). Sin embargo, el volante ofrece menos precisión o control (atributo), que es influyente porque aporta diversión o un rato agradable (consecuencia), lo que atiende al valor de ser sociable (valor). Fun toolkit Fun toolkit es un método de evaluación sumativo y donde el usuario tiene que verbalizar. Es un método diseñado para su uso con niños y, por lo tanto, se pueda utilizar con niños de cualquier edad. Es una herramienta que requiere una capacidad cognitiva reducida ya que, para responder, el niño puede rellenar o seleccionar mediante el método this-or-that un producto, en lugar de hablar o escribir. Fun toolkit es un método divertido, rápido, equitativo y fácil de utilizar que se compone de 3 herramientas: smileyometer, fun sorter y again again table. • Smileyometer: es una VAS, donde se selecciona entre caras que varían desde una decepcionada a una alegre (escala de 1 a 5) (Fig. 9). Fig. 9. Smileyometer Puede utilizarse antes (se miden las expectativas del niño) y después (sensaciones o diversión experimentada) de que el niño pruebe la tecnología evaluada. • Fun sorter: compara un conjunto de tecnologías o productos relacionados, los cuales se ordenan por diversión, mientras que los espacios en blanco se rellenan con una descripción de la tecnología concreta (Fig. 10). Fig. 10. Fun sorter Con niños menores de 8 años se recomienda hacer tantos fun sorters como ordenaciones haya que realizar. Este instrumento, es el que requiere más carga cognitiva ya que los niños pueden encontrar difícil ordenar las tecnologías de acuerdo a los preguntado. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 33 • Again again table: tabla en la que se determina si se quiere repetir el experimento para cada tecnología. Se contesta mediante ‘Sí’, ‘No’ y ‘Puede ser’ (Fig. 11). Fig. 11. Again again table En las filas se colocan imágenes de los diferentes productos. Una vez se completa el cuadro se asignan calificaciones a las respuestas. La idea de esta herramienta es que es más probable querer repetir un experimento cuanto más te haya gustado. Es un instrumento más útil cuando se evalúan más de 3 productos. A continuación se explican algunos trabajos que aplican fun toolkit: [RM06] y [Rea07]. En el trabajo de Read y MacFarlane [RM06] se comprueba la fiabilidad de cada uno de los 3 instrumentos de los que consta el fun toolkit. Para comprobar los efectos de la edad en dichas herramientas, 47 niños de edades comprendidas entre 7 y 9 años y 26 niños de 12 y 13 años prueban una selección de juegos online a través de una página web, todos los cuales son adecuados para su edad. Los niños pueden probar los juegos que quieran y para cada juego con el que experimentan rellenan un smileyometer. Como resultados relevantes, los niños de 7-9 años tienden a seleccionar la opción más elevada (valor 5, que se corresponde con ‘brillante’ en el caso del smileyometer), mientras que en los niños de mayor edad no se observa esta tendencia. En consecuencia, esta diferencia importante refuerza la hipótesis de que las respuestas dadas por los niños a este tipo de cuestiones dependen de la edad que tengan. Los niños pequeños, cuando utilizan el smileyometer, acostumbran a marcar la opción más elevada, por lo que no son respuestas fiables. Para evaluar la correlación entre again-again table y fun sorter, se lleva a cabo una evaluación con diferentes interfaces de escritura, en concreto un teclado, un tablet PC y lápiz y papel. En el estudio participan 15 niños de 7 a 8 años que completan again-again table y 2 fun sorters referentes a cómo de divertida y usable es la interfaz. Como resultados, se observa una gran correlación entre los resultados de again-again table y fun sorter, por lo que tendrían prácticamente el mismo significado ya que el mayor factor en la decisión de volver a experimentar con el juego es lo divertido que ha sido. Sin embargo, se observar menos relación con el sorter que mide la facilidad de uso. Para comprobar la relación existente entre smileyometer y again-again table, 24 niños de 8-9 años intervienen en la evaluación de estos dos instrumentos. Los resultados obtenidos indican que existe una correlación bastante alta, por lo que se determina que ambos miden lo mismo, es decir, diversión. El smileyometer es más útil con niños mayores y no tiene sentido utilizarlo junto al again again table porque miden el mismo aspecto. Sin embargo, again-again table tiene mayor validez debido a que los niños no son conscientes de que están evaluando el juego. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 34 En otro trabajo, se comprueban los efectos de la edad en el fun toolkit y, para ello, lleva a cabo un estudio con 53 niños de edades en torno a 8-10 años. En esta ocasión emplea el smileyometer antes y después de probar el software [Rea07]. La información obtenida establece que la calificación media dada por los niños antes del experimento es significativamente menor para los niños de 9-10 años frente a los niños de 8-9 años, por lo que estos datos están en consonancia con lo obtenido en el trabajo anterior [RM06]. Sin embargo, cuando se hace después del experimento se observan calificaciones similares en los dos grupos de edad. De esta manera, el smileyometer puede ser utilizado antes como una forma de medir las expectativas del niño y, posteriormente, para medir sus sentimientos o emociones tras experimentar con el juego. Barendregt et al. [BBB06] llevan a cabo otro caso práctico en el que participan 25 niños de 5-7 años y donde se emplea el smileyometer tras su primera experiencia y tras su última experiencia. Los resultados que se extraen concluyen que se aprecia más el juego tras la última de ellas. De esta manera, es conveniente utilizar el smileyometer para seguir el nivel de satisfacción del niño sobre el tiempo. Metaxas et al. [MMS05] utilizan una variación de again-again table en la que se pregunta a los niños si quieren experimentar de nuevo con un juego. Todos los niños contestaron afirmativamente, lo que indica que quizás el juego es atractivo, pero también que utilizar again-again table sin comparar productos es mucho más limitado. Drawing intervention Drawing intervention es un método de evaluación sumativo y de verbalización, donde el usuario tiene que manifestar la UX que experimenta con un producto mediante un dibujo. Este método está diseñado para su uso con niños y, como se basa principalmente en comunicar la experiencia a través de dibujos (también con anotaciones adicionales), los niños no tienen necesidad de hablar ni comentar. Mientras el niño realiza el dibujo, el evaluador puede preguntar sobre los dibujos que está haciendo para una mejor comprensión de los elementos. Además, es un método fácil de aplicar y minucioso, debido a que se descubren valores de los niños considerando el tamaño de los dibujos, su posición en el mismo o la frecuencia con que aparecen los objetos, por lo que permite capturar la UX de una forma que no se puede expresar fácilmente mediante palabras. Aunque se trata de un método de evaluación diseñado para su uso con niños, puede que no sean capaces de intervenir en la evaluación niños de todas las edades ya que necesitan tener la capacidad para hacer un dibujo relacionado con el juego con el que acaban de experimentar. Algunos trabajos en los que se pone en práctica el método drawing intervention son [XRS09] o [XRS08]. El estudio llevado a cabo por Xu et al. [XRS09], como ya se ha descrito anteriormente, propone evaluar el método drawing intervention como herramienta para capturar UX de los niños con diferentes interfaces pertenecientes a 4 juegos distintos: 3 con interacción tangible y 1 con interacción tradicional (ratón). CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 35 El estudio se lleva a cabo con 27 niños de 8-9 años (18 niños y 9 niñas) y con 3 evaluadores, uno de los cuales es el encargado de explicar el procedimiento. Los niños intervienen por parejas (en total hay 12 parejas) menos un grupo formado por 3. Cada niño hace un dibujo inmediatamente después de haber experimentado con cada uno de los interfaces y los datos se recogen en 2 sesiones, llevadas a cabo con una diferencia de 5 o 6 semanas. La posterior codificación de los dibujos la hacen 4 evaluadores, 2 de los cuales han participado en el estudio del colegio. Estos evaluadores crean una lista de codificación en la que se intentan extraer medidas como la diversión (se evalúa como presente o ausente), ‘ajuste del objetivo’ 16 y tangible magic 17 (en el caso de GUI no se tiene en cuenta). Aspectos relacionados con ‘ajuste del objetivo’ se consideran la cantidad de control de usuario sobre la tecnología y la competencia para lograr el objetivo. La noción de tangible magic [OF04], trata sobre las ventajas que proporcionan las interfaces tangibles. Principalmente, considera la novedad de ver objetos que normalmente son inanimados proporcionando retroalimentación y, además, la experiencia positiva y sensaciones extra que se obtienen al manejar objetos. En la primera sesión, los dibujos realizados por los niños se dividen en 4 grupos para así asignar un grupo a cada evaluador, hasta que todos los evaluadores evalúen los 4 grupos de dibujos (todos los dibujos hechos por los niños). Para cada dibujo se rellena una lista de codificación (Fig. 12.) y, posteriormente, se crea una lista que unifica los resultados para cada dibujo de los 4 evaluadores. Fig. 12. Ejemplo de codificación de un dibujo por parte de un evaluador [XRS09] En la segunda sesión, se vuelven codificar siguiendo el mismo esquema aquellos dibujos que generan más conflictos en la primera sesión, es decir, aquellos que tienen varias interpretaciones por parte de los evaluadores. Al finalizar la sesión, cada una de las cuales dura 2 horas, se discuten los resultados durante, aproximadamente, 1 hora. En cuanto a los resultados relevantes que se consiguen, todos los niños son capaces de hacer dibujos acerca de cada una de las tecnologías con las que experimentan, aunque sus estilos varían mucho. Los dibujos del primer grupo son los más relevantes. La razón puede ser que, al ser elegidos en primer lugar, están más motivados. En la mayoría de dibujos se perciben las medidas de diversión ‘ajuste del objetivo’ o tangible magic, mientras que no se observan diferencias significativas en lo que al efecto del evaluador se refiere. En otro estudio de la misma línea de investigación se busca comprobar si los niños son capaces de dibujar lo que han entendido acerca de las interfaces tangibles con las que experimentan [XRS08]. Los 2 juegos evaluados, ambos de interacción tangible, son “snake and ladders game” y una aplicación para pintar. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 36 Como método de evaluación se emplean dos variantes de drawing intervention: • Un único dibujo libre en el que los niños dibujan algo relacionado con lo que han hecho (en papel A4) • 4 dibujos. Para ello se divide una hoja A4 en 4 partes, cada una de las cuales tiene una instrucción sobre lo que se quiere que se dibuje. Las preguntas son las siguientes: o ¿Qué te parece el juego? o ¿Cómo empezaste? o ¿Qué has hecho y cómo has jugado? o ¿Qué ha ocurrido? Los niños participantes en el estudio se dividen en dos grupos. Primero, antes de comenzar a hacer los dibujos, experimentan con el juego. El grupo A lo forman 10 niños entre 8 y 9 años, los cuales primero completan el juego “snake” y después hacen el dibujo libre, mientras que los 12 niños del grupo B tienen entre 9 y 10 años y primero juegan al juego de pintar y hacen los 4 dibujos con instrucciones. En general los dos métodos son fáciles de utilizar para los niños. En la codificación de los dibujos intervienen 3 evaluadores, observando primero los dibujos y discutiendo más tarde los aspectos sobre los mismos. Después, se crea una lista de codificación que tiene 2 partes: la primera corresponde a una visión general del interfaz (elementos dibujados), donde se anota si hay personas dibujadas, elementos de interacción (tabla), de entrada de datos (lápiz) o de salida (imagen en el monitor) y de control (paleta de colores, estilo). La segunda parte intenta capturar tanto aspectos de diversión (sonrisa, palabras) y ‘ajuste del objetivo’ (cantidad de control del usuario), como tangible magic (Fig. 13.). Todos los dibujos hechos por los niños se dividen en 3 conjuntos, cada uno de los cuales se asigna a un evaluador (rellena una lista de codificación para cada dibujo). Posteriormente, se asignan los conjuntos restantes a los evaluadores hasta que cada uno de ellos analice los 3 grupos, esto es, la totalidad de los dibujos. Fig. 13. Aspectos valorados en los dibujos [XRS08] La fiabilidad de los resultados obtenidos es alta. Todos los dibujos incluyen información sobre la localización de la interacción y la mayoría incluye información de entrada y salida. También, alguno de los dibujos incluye experiencia de usuario. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 37 Respecto a las dos variantes del método drawing intervention, los niños no suelen completar la variante de 4 dibujos. Estos dibujos dan información acerca de su entendimiento de la tecnología (especialmente aspectos control y dispositivos de entrada). En el dibujo libre los niños suelen dibujar más elementos, relacionados principalmente con su utilización del interfaz y sus reacciones ante ella. Hay que destacar que el tiempo necesitado para codificar y analizar los dibujos es bastante elevado porque, además de requerirse tiempo en la comprensión y análisis de los elementos dibujados, deben intervenir varios evaluadores. La razón principal se debe a que los dibujos pueden tener una amplia interpretación por parte del evaluador, los cuales pueden entender de manera diferente los elementos dibujados. Por ejemplo, cada uno puede buscar la presencia de objetos diferentes en el dibujo para evaluar un aspecto concreto. Por lo tanto, el dibujo se debe analizar por varios evaluadores para comparar y contrarrestar los resultados obtenidos por cada uno. 2.3.2 Formativos Formativo y observacional Tras describir aquellos métodos de evaluación que son puramente sumativos, se pasa a detallar aquellos que son formativos y, más concretamente, se describe un método de evaluación que es formativo y observacional: Wizard of Oz. Wizard of Oz El método de evaluación Wizard of Oz se basa principalmente en la figura del asistente (wizard 18 ), que se encarga de observar a la interacción de los niños, mientras simultáneamente controla el juego mediante ratón y teclado. Por tanto, se encarga de proporcionar retroalimentación a los niños mientras interactúan, con el objetivo de obtener información acerca de la usabilidad del juego probado. Entre los beneficios que proporciona el asistente está la seguridad de que la experiencia no es desagradable o frustrante para el niño, ya que da respuesta a toda acción y, en consecuencia, el niño mantiene la motivación. Este método se puede llevar a cabo con niños de todas las edades porque se trata de un método observacional donde el niño solamente se dedica a experimentar con el juego. Además, permite que el niño desempeñe un rol de informador ya que juega un papel de comunicador en el proceso de desarrollo de un determinado producto, permitiendo advertir acciones o gestos intuitivos de los niños mientras interactúan con el juego. Algunos trabajos que ponen en práctica el método Wizard of Oz son [MBC10] o [HHT04]. Marco et al. [MBC10] estudian la forma de interactuar de los niños con el tabletop NIKvision. Se trata de un tabletop horizontal especialmente diseñado para niños, con unas dimensiones de 60x40 cm de área de juego y 45 cm de altura. La interacción con los juegos se realiza mediante la manipulación física de juguetes (pequeños animales) sobre la mesa. El dispositivo tiene una salida activa de imagen en dicha superficie y a través de un monitor CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 38 adyacente. Los niños activan diferentes animaciones y sonidos moviendo los juguetes en áreas marcadas por proyección en la superficie de la mesa. El tabletop se compone de tres videojuegos: ‘hacer tarta’ (recoger ingredientes para hacer una tarta), ‘escondite’ (ocultar los animales en la escena para que no los encuentre el granjero) y ‘bebés a dormir’ (dirigir las crías de los animales al lugar donde deben dormir). En todos ellos hay un personaje autónomo, correspondiente a un granjero virtual, que se encarga de dar las instrucciones para progresar en el juego. Para llevar a cabo el método Wizard of oz, los niños de 4-5 años participan por parejas en la evaluación. El asistente se encuentra al lado del prototipo del tabletop NIKvision y, mediante un teclado, va lanzando eventos del juego (cambiar estado y apariencia de los objetos, coger fresas, poner huevo, dar leche, etc) y observando los gestos que hacen los niños con los juguetes y su forma de manejarlos para ir progresando en el juego (Fig. 14.). El niño debe utilizar la gallina para poner huevos, o la vaca para poner leche ya que no se sabe la forma física en que el niño utilizará los animales para ejecutar cada acción. Estos gestos son observados por el asistente, el cual va lanzando los eventos y, por lo tanto, se va obteniendo información de la forma en que los niños realizar las acciones mientras pasan un rato divertido. Fig. 14. El asistente observa a los niños jugando mientras ejecuta eventos con el teclado [MBC10] En cuanto a los resultados conseguidos, se descubren muchos gestos inesperados para ejecutar las acciones por parte de los niños. Por ejemplo, para coger las fresas de los arbustos realizan el gesto de una manera muy similar, agitando los arbustos enérgicamente con los juguetes. Para poner los huevos, los niños cogen la gallina y tras situarla en el nido de la escena golpean el tabletop. Por el contrario, no todos los gestos de los niños se llevan finalmente a cabo. Por ejemplo, en la tarea de alimentar a los animales los niños inclinan el juguete, pero el software no es capaz de reconocer este movimiento. De esta manera este gesto se descarta. Por lo tanto, el método Wizard of Oz permite darse cuenta de acciones o gestos que son intuitivos para los niños para ejecutar las acciones. Otro trabajo que pone en práctica Wizard of Oz es el realizado por Hoysniemi et al. [HHT04], quienes lo emplean para obtener información acerca de cómo realizar los movimientos para interactuar con un juego de ordenador, donde el usuario controla un dragón que simula los movimientos del usuario y escupe fuego cuando el usuario grita. En concreto, se interacciona con el juego mediante el movimiento del cuerpo y la voz. Entre los prototipos utilizados de manera individual, se controla un personaje virtual que corre, salta, nada y trata de escapar de las arañas (Fig. 15.). CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 39 El objetivo del método Wizard of Oz es detectar nuevos movimientos o patrones cuando los niños interactúan con el prototipo. Además, se graban en vídeo todas las sesiones. Fig. 15. 4 prototipos del juego [HHT04] La evaluación participan 34 niños de 7-9 años sin experiencia previa con el juego y tiene lugar en una clase de su propio colegio, con la presencia de personas adultas. Cada sesión dura entre 15 y 30 minutos y los niños intervienen por parejas con el objetivo de que pierdan timidez y para equilibrar la presencia de niños y adultos, ya que los niños están más relajados y comunican más cuando hay otro niño al lado. En la evaluación toman parte el asistente (controla el juego, opera con las cámaras de video y toma notas) y otro evaluador que introduce, guía la prueba y entrevista a los niños entre pruebas. La presencia del asistente en la misma habitación hace más fácil la organización porque hace que responda más exactamente (debido a los comentarios espontáneos de los niños mientras juegan). Entre los datos recogidos, se anotan los movimientos que efectúan los niños y se agrupan por categorías. Por ejemplo, en el prototipo que hay que nadar se diferencian 4 tipos de movimientos distintos en cuanto al estilo imitado por los niños al nadar. También, se registra la forma en la que realizan los movimientos (imitando al avatar, hacia arriba, etc). Los diferentes movimientos también se diferencian en base a su popularidad, es decir, cuáles se realizan con mayor y menor frecuencia. En el caso del prototipo donde el avatar tiene que nadar, los movimientos estilo braza y perro son los dominantes. Formativos y de verbalización A continuación, se explican aquellos métodos de evaluación que son formativos y de verbalización. Este grupo está formado por el método think aloud, a través del cual se pueden obtener diversas adaptaciones para su uso con niños, como la entrevista posttarea, picture card, retrospection, intervención activa, co-discovery, peer tutoring y mission from mars. Por lo tanto, think aloud engloba toda una serie de métodos que registran la información basándose en diferentes técnicas para que los niños verbalicen. En la mayoría de ellos el niño tiene que participar de forma individual, salvo en co-discovery y peer tutoring porque deben participar en grupo, y mission from mars, donde puede intervenir de manera individual o en grupo. El objetivo de estos métodos es descubrir o advertir posibles conflictos de usabilidad, si bien algunos pueden dar información acerca de la experiencia del usuario (UX). CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 40 Think aloud Think aloud es un método de evaluación donde el usuario, simultáneamente, comenta sus impresiones y experimenta con el juego evaluado. Por tanto, requiere que el usuario refleje su pensamiento en cada momento mediante la verbalización. El usuario que interviene en el proceso de desarrollo del producto posee un rol de probador, ya que puede intervenir en fases en las que se comparan diferentes prototipos de un producto, con el objetivo de encontrar problemas de usabilidad. Este método tiene ventajas como que el usuario no tiene que recordar lo que ha hecho, ya que proporciona los comentarios en el momento. Sin embargo, tiene dos grandes inconvenientes para su uso con niños: • Primero, es probable que el niño no tenga los recursos cognitivos suficientes para probar el producto y, a la vez, hacer comentarios sobre su interacción. Debido a que a menudo olvidan comentar sus pensamientos, se necesita insistirles para que continúen verbalizando, por lo que puede provocar que los niños comenten problemas para intentar satisfacer al evaluador, lo que lleva a mencionar problemas que no lo son en realidad [DR04, NW77]. Además, los niños pequeños pueden tener dificultades para verbalizar sus pensamientos [BR00]. En consecuencia, think aloud puede llevarse a cabo con niños pero depende de su capacidad para expresar opiniones, por lo que se necesita instruir previamente al niño y debe practicar antes con el método. • La segunda desventaja es que se pone al niño en una situación incómoda, ya que tiene que explicar sus interacciones con el producto (algo parecido a un monólogo) en presencia de evaluadores. En algunos artículos se desaconseja el empleo de think aloud con niños e incluso se considera que el método solamente funciona bien con niños con una edad superior a los 8 años [DM02]. Van Kesteren et al. [KBV03] determinan que think aloud es un método demasiado complicado para niños, principalmente por tener que ejecutar 2 acciones simultáneas: completar la tarea y dar información verbal, por lo que los niños hacen muy pocos comentarios. Como ya se ha detallado anteriormente, existen adaptaciones o métodos alternativos que sirven de ayuda para que los niños se involucren más fácilmente en la evaluación y así verbalicen acerca de problemas de usabilidad. A continuación, se describen en detalle varios de estos métodos de evaluación. Entrevista post-tarea La entrevista post-tarea es un método de evaluación formativo y de verbalización, cuyo objetivo es encontrar problemas de usabilidad y en el que el niño tiene un rol de probador. El método consiste básicamente en que los niños responden una serie de preguntas relacionadas con el juego evaluado después de completar una tarea o subjuego. De esta forma, se estimula al niño a que verbalice mediante preguntas durante la CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 41 interacción aunque, a diferencia de think aloud, el niño no tiene que interaccionar con el juego y dar información simultáneamente. Un trabajo donde se aplica este método tiene por objetivo valorar el número de problemas que comunican los niños con la entrevista post-tarea en comparación con los advertidos mediante think aloud [BM04]. Para ello, se evalúan 2 productos software, que corresponden a un juego educacional que ayuda a aprender sobre biología (“Bio Mania”) y la sección de niños de una página web (World Wildlife Foundation). En el estudio participan 25 niños de edades comprendidas entre 9 y 11 años, divididos en 11 niños y 14 niñas. Los niños trabajan individualmente (6 niños y 6 niñas primero con un método y el resto con el otro método) y, primero, intervienen en un test de usabilidad donde se les proporciona un conjunto de tareas a realizar, cada una de las cuales se puede hacer en pocos minutos. Estas sesiones también se graban en vídeo. Para recoger los datos, se anota tanto el número de comentarios obtenidos con think aloud y la entrevista post-tarea, como el número de problemas encontrados con ambos método (apartados del software que sean ineficientes, es decir, que sean difíciles, confusos o imposibles de acabar para que el niño complete las tareas satisfactoriamente) y se calcula el promedio. Además, se realizan tests para determinar si hay diferencias entre los resultados obtenidos con cada método. Tras comparar el promedio del número de problemas encontrados por cada niño o el número de veces que el niño necesita ayuda con cada método, no se aprecia diferencia entre ambos métodos y tampoco cuando se incluyen los problemas obtenidos mediante el análisis de vídeo, por lo que la entrevista post-tarea no estimula más a los niños para que verbalicen. Este resultado es diferente del obtenido por Donker et al. [DM02], donde sí que se observa una diferencia significativa entre la entrevista post-tarea y think aloud. Sin embargo, en dicho estudio solamente se tenían en cuenta las respuestas de los niños a las preguntas. En cuanto al género sí que se observan diferencias ya que las niñas informan de más problemas de usabilidad frente a los niños, aunque no hay diferencias cuando también se cuentan los problemas de usabilidad mediante el análisis del vídeo. Por último, se observa que las niñas reciben más ayuda que los niños. Una posible razón puede ser que los niños interactúan de una forma más oportunista, es decir, experimentan con el producto de una forma más exploratoria, mientras que las niñas planean más sus acciones. Picture card Picture card es un método de evaluación formativo y de verbalización. El objetivo de la evaluación es encontrar problemas de usabilidad aunque también se da información acerca de la experiencia del usuario, mientras que el niño tiene un rol de probador en la evaluación. Mediante este método el niño tiene que colocar tarjetas en una caja para indicar los diferentes tipos de problemas que experimenta a lo largo del juego. Las tarjetas se introducen en una caja con compartimentos (tantos como posibles reacciones del niño haya en las tarjetas) y, sobre cada compartimento, hay una palabra asociada (Fig. 16.). CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 48 Co-discovery Co-discovery es un método de evaluación formativo y de verbalización. El objetivo de la evaluación es encontrar problemas de usabilidad, mientras que el niño tiene un rol de probador en la evaluación. En co-discovery los niños deben cooperar con otros niños en la realización y consecución de una tarea con el fin de llegar a un objetivo común y, por lo tanto, es un método colaborativo. Como mínimo deben participar dos niños y se requiere que cooperen equitativamente durante la realización de una tarea, sin competir o sin que uno de los niños tome el control de dicha tarea. Los niños necesitan conseguir un objetivo compartido, por lo que se les fuerza a trabajar juntos y a comunicarse para conseguir el resultado deseado [BB00], por lo que se estimula la verbalización. Hackman y Biers afirman que los usuarios proporcionan un mayor número y más valiosos comentarios que los proporcionados durante una sesión de think aloud [HB92], mientras que Wilson defiende que, en co-discovery, los niños hablan en una situación más natural para ellos frente a si lo hacen ante un adulto [Wil98]. De esta manera, el número de comentarios producidos es mayor que en think aloud porque los niños tienen que trabajar juntos para solucionar los problemas de las tareas y, para ello, tienen que explicarse el uno al otro lo que hacen y piensan. Van Kesteren et al. [KBV03] trabaja con el método co-discovery para lo que participan 19 niños de edades comprendidas entre 6 y 8 años. Divididos por parejas, deben completar las tareas colaborando entre ellos. De esta manera, antes de comenzar, se les explica que el objetivo en la evaluación es que cooperen, no que compitan. Todas las sesiones de co-discovery llevadas a cabo no producen más de 7 comentarios, lo que es un dato bastante bajo y similar a lo obtenido si se emplea think aloud. En la recogida de datos, se distingue cuándo los niños cooperan (intentan involucrar al otro niño) o no cooperan (compiten). Por ejemplo, cuando un niño mira al otro antes de realizar algo es una indicación de cooperación. Los evaluadores necesitan repetir la tarea al menos una vez. En cuanto a los resultados obtenidos, no se observa ninguna diferencia entre comentarios relacionados con planes, acciones o percepciones. Aunque se espera que los niños comenten sus interacciones al estar en una situación más natural para ellos, los datos obtenidos muestran que no es así. La razón es que en co-discovery se estimula a los niños para que cooperen entre ellos, pero no para que verbalicen. También lo más frecuente es la no cooperación entre los niños, sino que tratan de hacer la tarea individualmente (Fig. 19.). Fig. 19. Ejemplos de no cooperación: un niño colorea y el otro pulsa botones (izquierda); tienen un mismo objetivo pero juegan individualmente (centro); pulsan botones a la vez (derecha) [KBV03] CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 49 Esto no es una sorpresa porque aunque los niños jueguen juntos no siempre cooperan. Según Berk [Ber97], hay 3 formas de jugar diferentes: • Juego paralelo: una forma de participación social limitada en la que el niño juega cerca de otro niño con materiales similares pero sin interactuar con el otro. • Juego asociativo: una forma de participación social verdadera en la que los niños participan en actividades diferentes, pero que interactúan intercambiando juguetes y comentando el comportamiento del otro. • Juego cooperativo: una forma de participación social verdadera en la que las acciones de los niños van dirigidas hacia un objetivo común. La forma de jugar cambia desde juego paralelo a cooperativo entre los 2 y 5 años. Los niños que participan en este estudio tienen 6-7 años por lo que deberían ser capaces de cooperar. Sin embargo, en este trabajo se demuestra que los niños no fueron capaces de cooperar en la evaluación. Mission from Mars Mission from Mars es un método de evaluación formativo y de verbalización. Está diseñado para su uso con niños y su objetivo en la evaluación es encontrar problemas de usabilidad. El rol que desempeña el niño es de informador, ya que se lleva a cabo en las primeras fases de desarrollo de un producto para reunir los requerimientos de usuario entre los niños, estableciendo un espacio narrativo entre los participantes en el proceso de diseño, generalmente a través de una historia creada y de una forma divertida. Un ejemplo de utilización del método Mission from Mars es el realizado por Dindler et al. [DEI05] quienes utilizan este método en una fase temprana del proceso de desarrollo de la tecnología “eBag” para entender la naturaleza y rol de una “bolsa del colegio física (school bag)” como punto de partida para el diseño de la parte digital. “eBag” es una tecnología que ofrece a los alumnos la capacidad de acceder y compartir material digital. En el estudio participan 7 niños de 10-11 años (divididos en 3 grupos) y 4 evaluadores que están con los niños, además de una evaluadora que los niños no ven, que es sobre quien gira la historia narrativa (martian). Hay un evaluador por grupo y otra que escribe y reúne la documentación. La idea principal es introducir una historia en la que los alumnos deben participar para conseguir el objetivo de la narrativa, que es obtener información de diseño de “eBag”. El método comienza con una introducción para que los niños traten con los evaluadores de una forma diferente que si fuesen profesores y sirve de partida para la introducción de la narrativa. La historia es ilustrada por una serie de representaciones que se presentan a los niños. Básicamente, se hace entender a los niños que los marcianos están interesados en la forma en que funcionan los colegios en la Tierra y, sobre todo, cómo los alumnos pasan su tiempo durante el día y que se comunicarán con los niños a través de una conexión de vídeo desde su nave espacial (en realidad se comunican con el martian). Cada grupo junto con el evaluador prepara una pequeña presentación de un día de colegio, centrándose en “school bag”. En 2 aulas cercanas se hace la instalación para simular la comunicación con el martian. En la primera se instala el soporte para que el martian se comunique con los 3 grupos. En la segunda aula se instala una cámara donde los niños harán sus presentaciones (la representación física del martian CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 50 es la cámara con el audio (Fig. 20.)). El martian ve a través de un monitor de TV estas presentaciones. Fig. 20. Cámara representando al martian (izquierda) mientras un grupo hace su presentación de school bag [DEI05] Los niños explican el contenido de la bolsa de colegio y como la usan a lo largo del día. Mientras tanto, el martian puede preguntar o pedir que los niños pongan cosas delante de la cámara para tener una mejor visión. Tras 10-15 minutos la sesión se termina y entra el grupo siguiente. La primera fuente de datos es la grabación en vídeo. Como el objetivo del análisis es identificar la bolsa de colegio tradicional y cómo reflejarla en “eBag”, se dividen los requerimientos claves obtenidos en: personalización, estructura y sociabilidad. En cuanto a la personalización, todos los niños dan su propia opinión de la bolsa de colegio. Casi todos los niños optan por presentar sus móviles y suelen darle un toque personal (así como a los lápices o calendarios que incluyen). La forma de estructurar el contenido de la bolsa del colegio varía mucho de un niño a otro. Mientras que las chicas suelen estructurar más el contenido, los niños colocan los utensilios de una forma más aleatoria. En cuanto a la sociabilidad, un ejemplo se da cuando la goma de borrar se convierte en el centro de atención para un grupo de niños (un elemento social) cuando en un principio solo le prestaban interés uno de los miembros del grupo. El espacio narrativo que se crea en este estudio tiene varias consideraciones. En primer lugar, la historia creada está en el límite de ser útil o no, ya que muchos niños sospechan sobre la existencia del marciano, aunque al final es importante ya que los niños discuten entre ellos sus descubrimientos. La instalación del material distribuida en varias salas también juega un papel importante ya que mantiene la motivación y aumenta la credibilidad de la narración. Sin embargo, la experiencia indica que no es necesario que los niños crean o no en la historia, porque basta con que estén motivados o excitados con la tarea. Además, es un método que facilita la verbalización entre los niños. Por el contrario, la duración la duración del método puede ser elevada dependiendo de la historia creada para establecer la narrativa, ya que se necesita tiempo para montar los dispositivos y crear una historia que sea lo más verídica posible. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 51 2.3.3 Sumativos y formativos Por último, se exponen dos métodos que son observacionales y pueden ser tantos sumativos como formativos, dependiendo de cada caso práctico. Además, si bien pueden buscar problemas de usabilidad, también pueden valorar la UX que ha tenido el usuario con el juego. El rol que puede desempeñar el usuario durante el proceso es de informador, por lo que también puede tener rol de probador o usuario. En concreto, los dos métodos de evaluación que cumplen estas características son: test de usabilidad y análisis de grabación en vídeo. Test de usabilidad Un test de usabilidad es una medida empírica de la usabilidad de una herramienta, sitio o aplicación, tomada a partir de la observación de usuarios que llevan a cabo tareas reales. Por tanto, un test de usabilidad permite: • Verificar la existencia de posibles problemas de usabilidad en el producto evaluado. • Encontrar posibles soluciones para los problemas encontrados. Dumas y Redish definen 4 características de esta metodología [DR99]: 1. El objetivo principal de un test de usabilidad es mejorar la usabilidad de un producto. 2. Los participantes representan usuarios reales. 3. Los evaluadores observan y registran lo que los participantes hacen y dicen. 4. Los evaluadores analizan los datos, diagnostican problemas y recomiendan cambios para arreglarlos. Este método se suele utilizar como complementario a otros métodos de evaluación, con el fin de obtener información adicional. Además, el rango de edades sobre el que se puede aplicar abarca desde niños muy pequeños hasta niños más mayores, ya que se trata de un método observacional donde el niño solamente se dedica a entretenerse con el juego. Si el usuario que participa en el test de usabilidad es un niño, Hanna et al. [HRA97] indican una serie de aspectos a tener en cuenta al evaluar un producto software o hardware orientado a niños. La evaluación debe durar alrededor de 30 minutos para niños muy pequeños (2-5 años) y 1 hora con niños más mayores, porque si no pueden cansarse o aburrirse. Además, se debe cambiar el orden de las tareas entre los diferentes niños, con el fin de que las últimas tareas no se hagan siempre cuando el niño está más cansado y, por último, es preferible no incluir en el test niños con mucha experiencia con ordenadores, ya que no se obtiene el tipo de datos necesarios para crear productos que puedan utilizar los niños en general. Como introducción al test de usabilidad, es conveniente establecer una pequeña conversación con el niño para saber más sobre él. En el caso de que los niños no sean muy pequeños conviene tener un guión para introducir al niño en la situación de evaluación y también motivarles haciendo hincapié en la importancia de su rol. La presencia del evaluador disminuye la interferencia de los padres cuando se encuentran en la misma sala CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 52 donde realiza la evaluación los niños. Cuando es necesario que el evaluador preste ayuda o de instrucciones a los niños, es recomendable dar primero algún tipo de idea o advertencia en lugar de explicar cómo hacerlo. Otro apartado a tener en cuenta es que los niños muy pequeños (2-5 años) pueden necesitar algún tipo de entrenamiento previo con el ordenador antes de intervenir en el test. Durante el test de usabilidad, puede ser necesario dividir las tareas para hacerlas más simples y hay que asegurarse de que el niño ha entendido la tarea y recordársela si muestra signos evidentes de haberla olvidado. También es aconsejable mantener la motivación del niño dándole comentarios positivos y un punto muy importante es fijarse en las señales de comportamiento (sonríe, ríe, frunce el ceño, suspira, bosteza, etc) ya que son mucho más fiables que las respuestas de los niños porque los niños, sobre todo cuanto más pequeños son, están ansiosos por satisfacer a los adultos. En otros estudios llevados a cabo, se afirma que las sesiones de observación pueden durar hasta hora y media si se prueban juegos y no aplicaciones, aunque si los niños son observados con un juego con el que ya han experimentado varias veces pierden el interés sobre la hora [Zam05]. La configuración básica de un test de usabilidad de juegos con niños es exactamente igual que un test de usabilidad con la excepción de que no se dan tareas predefinidas (es irrelevante para evaluar juegos), ya que un juego significa entretenimiento y tiene que ser divertido. A continuación se comentan algunos trabajos que realizan tests de usabilidad tanto sumativos como formativos, es decir, o miden varios parámetros o aspectos del juego o buscan encontrar problemas en el juego. Un ejemplo de test de usabilidad sumativo que mide usabilidad es [DR04], mientras que ejemplos formativos que evalúan usabilidad son [BBB07], [KBV03], [BM04] y [Zam08]. Sin embargo, un test de usabilidad también puede valora UX. Ejemplos formativos donde además de usabilidad se mide UX son [LFM08] y [BCB10], mientras que un test de usabilidad sumativo que mide UX es [XRS09]. En el trabajo de Xu et al. [XRS09], como ya se ha descrito, se realiza un estudio donde se evalúa el método drawing intervention como herramienta para capturar UX de los niños con diferentes interfaces pertenecientes a 4 juegos distintos. En el estudio participan 27 niños, divididos en 18 niños y 9 niñas de 8-9 años, los cuales participan por parejas. Experimentando con 3 juegos de interacción tangible (un juego tenis para la Wii, el juego “bon apetit box”, y “soundz”) y un juego con interacción tradicional (mediante ratón). En el test de usabilidad sumativo que se lleva a cabo se toman observaciones de acuerdo a la UX del niño. De esta manera, se buscan comentarios, gestos o señales que aportan referencias de la experiencia que tienen los niños jugando, es decir si se divierten, aburren, están frustrados con el juego y, mientras juegan, se graban las conversaciones y se toman notas de lo observado. En otro estudio se desarrolla un test de usabilidad sumativo que mide la usabilidad del juego “Leescircus”, el cual es un juego educacional con ejercicios para niños que comienzan a leer y que se maneja pulsando objetos y arrastrándolos [DR04]. El niño tiene un rol de usuario en la evaluación. En el estudio participan 70 niños de 5-6 años (32 niñas y 38 niños) que fueron evaluados en un plazo de 3 semanas y de los cuales 33 niños son expertos, es decir, han practicado previamente con el juego. Los niños restantes nunca han visto ni experimentado con el programa (novatos). La evaluación se hace individualmente junto al evaluador durante un periodo de aproximadamente 30 minutos. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 53 Como método de evaluación, además de aplicar el test de usabilidad se emplea el método Talk aloud, que es una adaptación del método think aloud donde se enseña a los niños a que digan qué están haciendo en lugar de que están pensando. Se les comenta cómo realizar el test de usabilidad y se les anima a que hablen durante el mismo. Mientras tiene lugar la evaluación, los evaluadores prestan atención a la pantalla y también observan el comportamiento del niño. Cuando se finaliza el test se pide a los niños que expliquen el significado de 3 iconos que aparecen en el juego, los cuales permiten parar el juego, conocer el número de ejercicios que quedan por hacer y volver a reproducir las instrucciones. Si tanto novatos como expertos comprendiesen el significado de estos iconos, significaría que son de fácil entendimiento. Los evaluadores registran información de la interacción del niño con el juego como, por ejemplo, las veces que pulsa sobre un objeto que no tiene que ser arrastrado, el número de veces que un niño suelta el ratón posicionando el objeto en un lugar que no corresponde con el destino. También se anota cuándo se muestran impacientes, pulsan el ratón con anterioridad o tienen problemas en el entendimiento del ejercicio, además de anotar el número de comentarios hechos. Como análisis de los datos, para determinar las diferencias entre el número de problemas predefinidos sin descubrir por expertos y novatos, se realiza un Análisis multivariante de la varianza MANOVA. Además, se hacen pruebas adicionales con el fin de determinar si los expertos son más precisos en describir el significado de los iconos e inconsistencias no descubiertas. En cuanto a los resultados logrados, los niños expertos cometen menos errores que los novatos y tienen menos dificultades para coger los objetos y arrastrarlos. Sin embargo, para la acción de soltar los objetos no se observa más dificultad para los novatos frente a los expertos. El significado de los iconos no es fácilmente reconocible, ya que solo un 35% fue capaz de explicarlo. En general los niños dan muy pocos comentarios sobre el juego, pero los novatos dan más comentarios sobre retroalimentación e instrucciones y piden terminar el juego más frecuentemente frente a los expertos. Además, los novatos cometen más errores que los expertos, los cuales aprenden antes cómo evitarlos. Sin embargo, cuando los expertos encuentran un problema dan más información. Como no se obtiene gran cantidad de información de los comentarios de los niños, es importante fijarse en sus acciones y señales de comportamiento, como sonreír, reír, fruncir el ceño, suspirar o bostezar. En otro trabajo que pone en práctica el test de usabilidad se evalúa la usabilidad de los niños que experimentan con dos juegos [Zam08]. Para ello, se llevan a cabo 3 test de usabilidad formativos donde el niño tiene un rol de usuario y, posteriormente, se realiza un cuestionario likeability para aplicar el método laddering. En el primer test de usabilidad, se valora un juego de música con 10 niños (7 chicos y 3 chicas) de 7-16 años, los cuales experimentan durante 1 hora y 30 min con el juego. La evaluación tiene lugar en un espacio controlado, el cual está dividido en 2 salas (con un evaluador en cada una). Además, se incita a los niños a que piensen en voz alta, es decir, a que apliquen el método think aloud. En el segundo test, se evalúa un juego de aventuras con 9 niños (4 chicos y 5 chicas) de 7-13 años. La evaluación se hace en un entorno natural o familiar para ellos y, por último, en el tercer test se evalúa el mismo juego que en el caso anterior, con 8 chicos (3 chicas y 5 chicos) de 8-14 años. La localización es nuevamente un entorno familiar para ellos, pero el tiempo que juegan es menor. Mientras en este caso juegan durante 30 min, en el segundo test lo hacen durante 1 hora. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 54 En cuanto a los datos recogidos, durante el test de usabilidad se toman notas de las acciones realizadas por el niño, gestos o comentarios que hace. Se obtienen resultados significativos como que la duración aproximada de un test de usabilidad debe ser de 30 minutos, ya que si dura 1 hora y media o 1 hora los niños se cansan, sobre todo si va seguido de algún tipo de cuestionario o entrevista. Otra apreciación es que tanto un laboratorio como un entorno natural o familiar para los niños (el cual consume mucho más tiempo), son válidos para llevar a cabo el test de usabilidad, aunque es mejor el entorno natural para que los evaluadores se hagan una idea representativa de cómo se utiliza en la realidad el producto. En el estudio realizado por Li et al. [LFM08] se llevan a cabo tests de usabilidad formativo donde se valora la usabilidad y UX. Los niños participantes tienen un rol de informadores ya que intervienen en el proceso de diseño de 3 juegos, dando indicaciones de cómo encarar su desarrollo. Una característica importante de este estudio es que los niños que intervienen y a los que van dirigidos los juegos creados tienen parálisis cerebral con diferentes niveles de afectación. El objetivo principal es crear un juego divertido para los niños que les permita desarrollar habilidades específicas. Se implementan 3 juegos de interacción tangible: • Juego martillo de colores, basado en una tabla con varios cuadrados que se van iluminando con diferentes colores a lo largo del juego. El objetivo es pulsarlos con la cara del martillo que tiene el mismo color antes de que se apaguen. Requiere extender el brazo y mover la muñeca (Fig. 21. Izquierda). • Juego cubo de colores, cuyo objetivo es el mismo que en el juego del martillo, pero en este caso el tamaño del cubo abarca 4 cuadrados de la tabla, los cuales se van iluminando de diferentes colores (Fig. 21. centro). • Bloques de colores con rotación, el cual es una extensión del juego del cubo de colores. En este caso el patrón de los colores mostrados en la tabla es más complicado ya que solamente parejas de cuadrados adyacentes de la tabla tienen el mismo color, para lo que hay que rotar las partes del bloque para que la cara del cubo coincida (Fig. 21. derecha). Fig. 21. 3 juegos tangibles implementados [LFM08] Para llegar a esta implementación, primero se crearon conceptos de 3 juegos diferentes para practicar la supinación, extensión de muñeca, de codo o varias combinaciones (discapacidad física). Estos prototipos primero fueron revisados por terapeutas, los cuales dieron indicaciones acerca de mejoras como, por ejemplo, la importancia de la retroalimentación tanto auditiva como visual ya que anima a los niños y les motiva a practicar. Posteriormente, se llevó a cabo un test de usabilidad con 4 niños de diferentes edades con parálisis cerebral además de 5 niños sin ningún tipo de discapacidad. El objetivo del test era comparar cómo los niños afectados compensaban su problema y cómo se desempeñaban con diferentes tareas. Los niños afectados tuvieron dificultad con los juegos que implicaban coger cosas y los puzles de diferentes colores eran CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 55 difíciles de entender para ambos grupos debido, según los terapeutas, a la falta de retroalimentación en esta simulación no tecnológica. Además, se observó que los niños afectados practicaban los movimientos requeridos pero haciendo movimientos de compensación (no correctos) para conseguir el objetivo muchas veces. Tras la implementación de los 3 juegos se realiza un nuevo test de usabilidad en el que se anotan observaciones mientras los niños experimentan con los 3 juegos de forma individual, bajo la supervisión de un terapeuta. Para ello, participan 7 niños con edades comprendidas entre 4 y 11 años con diferentes niveles de afectación. Cada sesión dura alrededor de 30 minutos, en la cual se prueban los 3 juegos en el siguiente orden: martillo de colores, cubo de colores y bloques de colores con rotación (de menor a mayor complejidad). Los terapeutas explican en primer lugar cómo jugar y, posteriormente, los niños juegan sin recibir instrucciones o ayudas, mientras se anotan observaciones acerca de la precisión, errores, movimientos deseados y movimientos de compensación. En general, los niños se divierten con el juego aunque la preferencia sobre uno u otro varía con la edad. Por ejemplo, los niños pequeños prefieren el juego del martillo, mientras que los niños mayores lo ven demasiado fácil y prefieren los restantes. Los terapeutas observan movimientos deseados espontáneos que no son comunes en sesiones de terapia estándar (extensiones de codo o de los dedos), aunque no hacen otros movimientos como la extensión de la muñeca y también se observan combinaciones de movimientos deseados con movimientos no deseados. Además, se aprecia que los niños consumen mucha energía en los juegos, ya que signos como la respiración pesada o quitarse la ropa da a entender que los niños ponen mucho esfuerzo físico jugando. Los terapeutas confirman este punto y afirman que el juego cumple con su objetivo de entrenamiento de determinadas habilidades para niños con este tipo de discapacidad, por lo que la evaluación demuestra el potencial de la interacción tangible como apoyo a la terapia. Otro trabajo en el que intervienen niños discapacitados es el realizado por Baldassarri et al. [BCB10], quienes emplean un test de usabilidad formativo que valora la usabilidad y UX y donde los niños tiene un rol de informadores, ya que son partícipes desde las primeras fases de desarrollo de la herramienta. Ésta se trata de un juego educativo implementado para incentivar el desarrollo cognitivo de alumnos con discapacidad a través del uso de personajes virtuales e interacción multimodal y emocional (Fig. 22). La aplicación es altamente configurable a las características de cada alumno y permite a los educadores generar nuevas actividades adaptadas. Para ajustar la herramienta a las características de los alumnos con discapacidad, el juego trabaja con diferentes técnicas de interacción para abarcar de la forma más amplia posible el conjunto de limitaciones. La herramienta permite interacción multimodal (visual, sonido, teclas, ratón y dispositivos táctiles) Fig. 22. Interfaz del juego educativo [BCB10] CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 56 Se llevan a cabo tests de usabilidad y se graban en vídeo las sesiones con un grupo de 30 alumnos (10 niñas y 20 niños) de edades comprendidas entre 5 y 17 años con diferentes discapacidades cognitivas, primero observando la interacción de los niños con juegos de ordenador que utilizan habitualmente (para definir el diseño inicial del juego) y después, tras implementar el primer prototipo funcional de la herramienta, valorando su usabilidad, accesibilidad y UX dando mejores pautas para encarar el diseño de la herramienta. Las sesiones se desarrollan en las propias aulas del centro escolar y en ellas se presenta la herramienta educativa ante los alumnos para que trabajen con ella de uno en uno, evitando así la influencia sobre el niño de sus propios compañeros. De los tests de usabilidad se obtienen algunos resultados destacables como que prácticamente la totalidad de los niños comienza a interactuar con la herramienta antes de preguntar cómo se juega y desean volver a jugar, por lo que la mayoría muestra interés por el juego (por ejemplo, el 36% de los niños ríe durante las actividades). Además, casi todos los niños perciben la presencia del personaje virtual. Por otra parte, no se observan diferencias significativas en la interacción de niños con distintos tipos de discapacidades. Es probable que este hecho se deba a que los educadores tienen en cuenta las limitaciones especiales de cada alumno a la hora de configurar y personalizar el juego. Análisis de grabación en vídeo El análisis de grabación en vídeo, como en el caso del test de usabilidad, puede ser sumativo o formativo, además de ser observacional. Consiste en registrar en vídeo, en primer lugar, la interacción de los niños mientras experimentan con el juego a evaluar, para posteriormente examinar los datos registrados con el objetivo de determinar problemas de usabilidad o estimar la UX del usuario. Además, es un método que se suele utilizar como método de evaluación complementario a otros métodos con el objetivo de obtener información adicional. Este método se puede realizar con niños de todas las edades porque se trata de un método observacional donde el niño solamente se dedica a experimentar con el juego y, también, permite que el niño desempeñe un rol de informador, probador o usuario en el proceso de desarrollo del producto. Vermeeren et al. [VBA02] describen DEVAN, que es una herramienta desarrollada para el análisis estructurado y detallado de los datos de vídeo que se registran mientras los usuarios prueban los sistemas interactivos, el cual está desarrollado para su uso con adultos. Representa la interacción en múltiples niveles de abstracción, donde los problemas de usabilidad se encuentran mediante una lista de indicaciones observables para los problemas o irregularidades que puedan ocurrir. Estas indicaciones pueden estar relacionadas con las acciones efectuadas sobre el producto (acción errónea, discontinua, repetida, tarea detenida, etc), o pueden referirse a los comentarios hechos por el usuario o a su comportamiento no verbal (objetivo erróneo, acción aleatoria, dificultad de ejecución, frustración, etc). En base al trabajo anterior [VBA02], Barendregt y Bekker [BB06] crean un esquema de codificación para encontrar problemas de usabilidad y UX con niños pequeños cuando experimentan con juegos de ordenador. Este nuevo esquema tiene en cuenta que los juegos no están basados en tareas, que UX es un factor importante además de la usabilidad y que los niños son diferentes a los adultos. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 57 La lista original tiene en cuenta que los productos están basados en tareas, por lo que muchos de los breakdowns están relacionados con ellas .Aunque los juegos sólo tienen objetivos internos y no externos o tareas [PKW03], se pueden considerar los objetivos internos como tareas. Algunos breakdowns se eliminan de la lista original, como “acción repetida”, “acción correctiva” y “acción discontinua”, mientras que otros se redefinen como “acción incorrecta”. En cuanto a los problemas de diversión, no están cubiertos explícitamente por los breakdowns de DEVAN, por lo que se utiliza la taxonomía de Malone y Lepper [ML87] como punto de partida para detectar problemas de diversión. Esta taxonomía contiene 4 heurísticas principales: desafío, fantasía, curiosidad y control. • Desafío: cuando el desafío de un (sub)juego es muy elevado el niño quiere dejar de jugar o pedir ayuda. La primera ya está en la lista original. La segunda se añade a la lista como “Pedir ayuda al evaluador”. Cuando el desafío es muy bajo el niño quiere parar de jugar o está aburrido. Nuevamente, la primera indicación ya está presente, mientras que se añade la indicación “aburrido” para la segunda. • Fantasía: cuando el niño no está satisfecho con la imaginación del juego expresa disconformidad. Se añade la indicación “insatisfecho”. • Curiosidad: el niño puede estar frustrado porque no progresa o porque no percibe nuevas experiencias en el juego. Este comportamiento se recoge en la indicación “Duda, sorpresa, frustración”. • Control: cuando el niño no puede controlar el juego muestra impaciencia. Por ejemplo, cuando las instrucciones son largas, la retroalimentación no puede ser interrumpida o el juego responde lentamente, los niños pueden pensar que el juego no reacciona. Se añade la indicación “impaciencia”. Además, se añaden nuevas indicaciones para comportamientos de los niños con juegos que no pueden ser codificados con las indicaciones existentes. • Percepción del problema: los niños a veces se quejan de que no pueden oír o ver correctamente algo. Por ejemplo, si el objetivo de un (sub)juego es explicado por un personaje virtual y, en ese momento, otro elemento de la escena genera algún sonido, puede ser difícil de entender la instrucción. Por lo tanto, se añade la indicación “percepción del problema”. • Pasivo: algunos niños pueden dejar de interactuar con el juego sino saben cómo continuar (se quedan sentados y mirando a la pantalla). Además, al tratar con un juego el niño tiene que responder en muchas ocasiones a peticiones de los caracteres, aunque el niño no siempre tiene claro cómo debe actuar. Por lo tanto, el niño puede permanecer pasivo cuando se le pide que ejecute una acción. De esta manera, se añade la indicación “pasividad”. • Explicación errónea: a veces, en un principio, parece que los niños no han tenido ningún problema jugando al (sub)juego, pero después dan una explicación de algo que ha ocurrido y que no es correcto, lo que puede llevar a otros problemas. Se añade la indicación “explicación errónea”. Por tanto, el conjunto final de indicaciones utiliza 8 de los 14 breakdowns originales y 7 nuevas indicaciones: • Indicaciones de DEVAN: acción errónea, problema de ejecución, parar, objetivo erróneo, confuso, acciones aleatorias, duda sorpresa frustración, reconocimiento error, malentendido. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 64 2.3.5 Resumen trabajos prácticos En el apartado siguiente, se hace un resumen de cada trabajo práctico desarrollado en la descripción de los métodos de evaluación, señalando los métodos empleados, el tipo de información recogida, el rol que desempeña el niño, así como las edades de los niños que participan en la evaluación (Tabla 2.). Artículo Métodos Usabilidad/UX Rol del niño Edad niños [NFH09] Análisis vídeo UX Usuario 6-16 años [MFH09] Análisis vídeo Usabilidad Probador 7-8 años [XRS09] Test usabilidad Cuestionario likeability Drawing intervention UX Usuario 8-9 años [KBV03] Think aloud Peer tutoring Intervención activa Retrospection Co-discovery Test usabilidad Usabilidad Usuario 6-8 años [Rea07] Fun toolkit UX Usuario 5-10 años [MBC10] LOG Wizard of Oz Peer tutoring Análisis vídeo LOG, WoO, PT: usabilidad AV: usabilidad, UX PT, WoO: informador LOG, AV: usuario 4-5 años [BM04] Think aloud Entrevista post-tarea Test usabilidad Análisis vídeo Usabilidad Usuario 9-11 años [ZA10] laddering UX Usuario 3-7 años [Bar06] Think aloud Picture card Análisis video Cuestionario likeability TA: usabilidad PC, AV: usabilidad, UX CL: UX Usuario 5-6 años [DR04] Test usabilidad Usabilidad Usuario 5-6 años [AZ09] Laddering UX, usabilidad Usuario - [ZA07] Cuestionario likeability UX Usuario 4-6 años [Zam08] Laddering Think aloud Test usabilidad Análisis vídeo Laddering: UX TA, TU, AV: usabilidad Usuario 7-16 años [HHT04] Wizard of Oz Análisis vídeo Usabilidad Informador 7-9 años [RM06] Fun toolkit UX Usuario 7-13 años CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 65 [XRS08] Drawing intervention UX Usuario 8-10 años [AZA08] Cuestionario likeabilty Análisis vídeo EL: UX AV: usabilidad Usuario 4-7 años [BBM06] SEEM usabilidad, UX No prefijado 5-11 años [BBB08] SEEM usabilidad, UX No prefijado 5-7 años [DEI05] Mission from Mars usabilidad Informador 10-11 años [BCB10] SEEM Test usabilidad Análisis vídeo Usabilidad, UX SEEM: No prefijado Informador 5-17 años (discapacitados) [LFM08] Test usabilidad Usabilidad, UX Informador 4-11 años (discapacitados) [BBB07] Test usabilidad Análisis vídeo usabilidad usuario 5-7 años [EB07] Peer tutoring Intervención activa PT, IA: usabilidad usuario 6-8 años [RHM09] LOG usabilidad usuario 3-4 años Tabla 2. Métodos de evaluación utilizados en cada trabajo, junto con sus características principales 2.3.6 Ventajas y desventajas métodos de evaluación A continuación, en base a los métodos de evaluación empleados con niños que se han estudiado, se enumeran las ventajas y desventajas que implica la utilización de uno u otro método. SEEM Ventajas: 1. Método observacional, por lo que el niño no tiene que comentar su experiencia. 2. Mide tanto usabilidad como UX. 3. Es útil para determinar problemas previstos. 4. De acuerdo con estudios llevados a cabo, la minuciosidad y validez en SEEM es mayor que en un test de usabilidad, mientras que en cuanto a la conveniencia, SEEM da a los evaluadores una orientación mayor cuando predice problemas. Desventajas: 1. Requiere entrenamiento previo por parte de los evaluadores, esto es, practicar con otro juego y mirar el manual que explica el uso de SEEM, por lo que se requiere un tiempo adicional bastante elevado. 2. El niño no tiene un rol prefijado en la evaluación. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 66 LOG Ventajas: 1. Método observacional, por lo que el niño no tiene que comentar su experiencia. 2. Incrementa el número de características evaluadas. 3. Permite evaluar aspectos de las interfaces que de otra forma no se podría hacer (por la limitación de costes, recursos o tiempo) 4. Aumenta la consistencia acerca de los errores descubiertos 5. Se pueden crear estadísticas fácilmente de acuerdo a los eventos registrados. Desventajas: 1. No es posible registrar información acerca de la UX Cuestionario likeability Ventajas: 1. Mediante el método this-or-that se diferencia entre varios productos. 2. No requiere demasiada carga cognitiva si se formulan las preguntas correctamente o se utilizan métodos como this-or-that. Desventajas: 1. Requiere que el niño refleje su experiencia, ya sea verbalizando, escribiendo respuestas, rellenando o señalando uno u otro producto (método this-or-that). 2. No tiene como objetivo valorar la usabilidad. 3. Requiere un tiempo adicional en contestar a las preguntas, aunque no es elevado. 4. Al basarse en preguntas, el niño es más consciente de la respuesta, por lo que puede intentar satisfacer al adulto. Laddering Ventajas: 1. Permite identificar partes del juego que son importantes para lograr las consecuencias deseadas y, de esta forma, cumplir valores personales del niño. 2. Requiere comentar la experiencia dentro de las limitaciones cognitivas de los niños, ya que las preguntas son fáciles y cortas. Desventajas: 1. Requiere que el niño verbalice. 2. No tiene como objetivo valorar la usabilidad. 3. Requiere un tiempo adicional en contestar a las preguntas, aunque no es elevado. 4. Al basarse en preguntas, el niño es más consciente de la respuesta, por lo que puede intentar satisfacer al adulto. 5. El evaluador debe decidir los valores personales de los niños, ya que los niños nunca los mencionan (los niños expresan atributos y consecuencias) 6. Con niños muy pequeños, pueden no construirse ladders significativos CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 67 Fun toolkit Ventajas: 1. Es un método diseñado para su uso con niños 2. Es un método divertido, rápido y fácil de utilizar y que ayuda a los niños a discriminar entre varios productos. 3. Requiere una capacidad cognitiva reducida, ya que para responder se puede no hablar o escribir, sino solamente rellenar o seleccionar mediante el método this-or- that. Desventajas: 1. Requiere que el niño refleje su experiencia, ya sea verbalizando, escribiendo respuestas, rellenando o señalando uno u otro producto (método this-or-that). 2. No tiene como objetivo valorar la usabilidad. 3. Requiere un tiempo adicional en contestar a las preguntas, aunque no es elevado. 4. Al basarse en preguntas, el niño es más consciente de la respuesta, por lo que puede intentar satisfacer al adulto. 5. Niños tienden a seleccionar la opción más alta (por ejemplo, ‘brillante’ en el caso del smileyometer). 6. La fiabilidad de las herramientas varía con la edad (por ejemplo, smileyometer es más efectivo con niños mayores). 7. Los niños más pequeños pueden tener problemas en la construcción del fun sorter. Drawing intervention Ventajas: 1. Método diseñado para su uso con niños. 2. Es fácil de utilizar y minucioso. 3. Sólo requiere hacer un dibujo sobre el producto evaluado, por lo que no requiere que el niño hable. 4. Permite capturar la UX de una forma que no se puede expresar fácilmente mediante palabras. 5. No requiere entrenamiento previo. Desventajas: 1. Requiere que el niño refleje su experiencia mediante un dibujo. 2. No tiene como objetivo valorar la usabilidad. 3. Puede haber una amplia interpretación por parte del evaluador, ya que, por ejemplo, cada uno puede buscar diferentes objetos en el dibujo para evaluar un parámetro en concreto. 4. El tiempo requerido en analizar los dibujos es elevado. 5. Los dibujos se deben analizar por varios evaluadores para comparar y contrarrestar los resultados obtenidos por cada uno, por lo que el tiempo requerido en analizar los datos es elevado. 6. Es un método que necesita más validación, sobre todo en la forma de interpretar los elementos dibujados por parte de los evaluadores. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 68 Wizard of Oz Ventajas: 1. Método observacional, por lo que el niño no tiene que comentar su experiencia. 2. La presencia del asistente asegura que la experiencia no es desagradable o frustrante para el niño, ya que da respuesta (retroalimentación) a toda acción. 3. El niño mantiene la motivación en todo momento. 4. El niño puede dar información de diseño desde fases tempranas de desarrollo de un producto (rol informador). Desventajas: 1. No tiene como objetivo registrar información acerca de la UX. 2. El asistente debe proporcionar en todo momento retroalimentación a los niños para que no pierdan la motivación. Think aloud Ventajas: 1. Permite recoger el pensamiento del niño en cada momento. 2. Verbalizar los pensamientos provoca que el niño sea consciente o se percate de aquello que no entiende. 3. Se obtienen datos significativos de la verbalización, ya que informa de exactamente lo que piensa. Desventajas: 1. Requiere que el niño verbalice. 2. No tiene como objetivo registrar información acerca de la UX. 3. Se necesita instruir previamente al niño, por lo que debe practicar antes con el método. 4. Depende de la capacidad el niño para expresar opiniones. 5. Los niños deben realizar tareas y proporcionar información simultáneamente, lo que es contraproducente. 6. Como le niño tiende a olvidar que debe expresar sus pensamientos, hay que insistirle para que lo haga, por lo que puede intentar satisfacer al adulto 7. Se pone al niño en una situación difícil e incómoda, ya que tiene que explicar su interacción con un producto de forma parecida a un monólogo, en presencia del evaluador. 8. Think aloud solo funciona bien con niños mayores. Entrevista post-tarea Ventajas: 1. Estimula al niño a que verbalice mediante preguntas durante la interacción. 2. No hay que interaccionar con el juego y dar información simultáneamente. Desventajas: 1. Requiere que el niño verbalice. 2. No tiene como objetivo registrar información acerca de la UX. 3. Requiere un tiempo adicional en contestar a las preguntas, aunque no es elevado. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 69 4. Al basarse en preguntas, el niño es más consciente de la respuesta, por lo que puede intentar satisfacer al adulto. Picture card Ventajas: 1. Valora la usabilidad y da indicios de la UX. 2. Estimula al niño a que verbalice con la ayuda de las picture cards. 3. No hay que interaccionar con el juego y dar información simultáneamente. 4. Puede utilizarse para indicar a los niños qué tipo de información interesa (de forma visual). 5. Las representaciones pictóricas pueden servir de recordatorio al niño. Desventajas: 1. Requiere que el niño verbalice. 2. Los niños pueden no entender el significado de las representaciones pictóricas. 3. Al tener que dividir su atención entre las picture cards y el juego, si la caja no está situada cerca del niño y de la pantalla del juego, es más complicado para los niños utilizar las picture cards. Retrospection Ventajas: 1. Estimula al niño a que verbalice mediante preguntas cuando se revisa el vídeo. 2. No hay que interaccionar con el juego y dar información simultáneamente 3. La revisión del vídeo le permite recordar al niño su interacción con el producto evaluado (sirve de ayuda). Desventajas: 1. Requiere que el niño verbalice. 2. No tiene como objetivo registrar información acerca de la UX. 3. Requiere grabar en vídeo previamente la sesión. 4. Requiere la revisión del vídeo con el niño, por lo que la duración de este método es elevada. 5. El niño deber recordar lo que ha hecho mientras ve el vídeo, por lo que puede cansarle o aburrirle. 6. Al basarse en preguntas, el niño es más consciente de la respuesta, por lo que puede intentar satisfacer al adulto. 7. Se desaconseja su uso con niños menores de 6 o 7 años Intervención activa Ventajas: 1. Estimula al niño a que verbalice mediante preguntas durante la interacción. 2. No hay que interaccionar con el juego y dar información simultáneamente. 3. Se obtiene gran cantidad de comentarios verbales de los niños Desventajas: 1. Requiere que el niño verbalice. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 70 2. No tiene como objetivo registrar información acerca de la UX. 3. Requiere tiempo adicional en contestar a las preguntas, las cuales también se formulan antes de empezar la sesión, aunque el tiempo no es elevado. 4. Al basarse en preguntas, el niño es más consciente de la respuesta, por lo que puede intentar satisfacer al adulto. 5. El evaluador tiene que estimular continuamente a los niños participantes. Peer tutoring Ventajas: 1. Es un método diseñado para su uso con niños. 2. Estimula la verbalización al tener que enseñar un niño (tutor) a otros niños (menos experimentados) a interactuar con el juego. 3. No hay que interaccionar con el juego y dar información simultáneamente. 4. La carga cognitiva requerida por el método se divide entre el niño que tiene el papel de tutor y el niño que sigue las instrucciones. 5. El niño puede dar información de diseño desde fases tempranas de desarrollo de un producto (rol informador). Desventajas: 1. Requiere que el niño verbalice. 2. No tiene como objetivo registrar información acerca de la UX. 3. El niño que actúa como tutor debe tener la capacidad de expresarse. 4. El tutor debe tener experiencia con el producto evaluado o practicar con él, por lo que hay un tiempo adicional dedicado a ello. 5. Es un método difícil de aplicar con interfaces fáciles de utilizar, es decir, aquellas con las que los niños pueden interactuar fácilmente sin la necesidad de recibir instrucciones del tutor 6. Si el niño que debe enseñar (tutor) olvida la tarea, la situación del niño al que se tiene que enseñar cambia y pasan a cooperar juntos, es decir, como en el método co-discovery. Co-discovery Ventajas: 1. Estimula la verbalización de los niños, al tener que colaborar entre ellos para conseguir el objetivo. 2. Los niños se encuentran en una situación más natural para ellos, ya que no tienen que hablar con un adulto. Desventajas: 1. Requiere que el niño verbalice. 2. No tiene como objetivo registrar información acerca de la UX. 3. Los niños deben ser capaces de colaborar para conseguir el objetivo, no tomar el control de la tarea. 4. Aunque los niños trabajan juntos, pueden no dar información verbal sobre sus interacciones. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 71 Mission from Mars Ventajas: 1. Es un método diseñado para su uso con niños. 2. Estimula la verbalización de los niños al establecer un espacio narrativo. 3. No hay posibilidad de que los niños intenten satisfacer a los adultos con sus respuestas, ya que los niños no son conscientes de que están siendo evaluados. 4. El niño puede dar información de diseño desde fases tempranas de desarrollo de un producto. Desventajas: 1. Requiere que el niño verbalice. 2. No tiene como objetivo registrar información acerca de la UX. 3. La duración es elevada, ya que se necesita tiempo para montar los dispositivos y crear una historia que sea lo más verídica posible. Test de usabilidad Ventajas: 1. Es un método que puede ser tanto sumativo como formativo. 2. Método observacional, por lo que el niño no tiene que comentar su experiencia. 3. Mide tanto usabilidad como UX. 4. Los niños pueden participar de manera individual o en grupo. 5. Permite captar información sobre los gestos o expresiones de los niños mientras experimentan con el juego, además de su interacción con el mismo. 6. No hay posibilidad de que los niños intenten satisfacer a los adultos con sus respuestas, ya que los niños no son conscientes de que están siendo evaluados 7. Es útil para determinar problemas previstos. 8. El niño puede tener rol de informador. 9. Se suele utilizar como método de evaluación complementario a otros métodos. Desventajas: 1. Es un método que, por sí solo, puede ser insuficiente a la hora de evaluar un juego. 2. Puede no obtenerse información a través de los comentarios de los niños, ya que no se les estimula para que hablen. 3. El tiempo de duración no puede ser elevado porque los niños pueden perder el interés o aburrirse. Análisis de grabación en vídeo Ventajas: 1. Es un método que puede ser tanto sumativo como formativo. 2. Método observacional, por lo que el niño no tiene que comentar su experiencia. 3. Mide tanto usabilidad como UX. 4. Los niños pueden participar de manera individual o en grupo. 5. Al registrar en vídeo la interacción del niño, se recogen todos los detalles de la interacción y UX (si se graba la cara del niño). 6. No hay posibilidad de que los niños intenten satisfacer a los adultos con sus respuestas, ya que los niños no son conscientes de que están siendo evaluados. 7. El niño puede tener rol de informador. CAPÍTULO 2: ESTADO DEL ARTE EN EVALUACIÓN CON NIÑOS 72 8. Se suele utilizar como método de evaluación complementario a otros métodos. Desventajas: 1. Es un método que, por sí solo, puede ser insuficiente a la hora de evaluar un juego. 2. Puede no obtenerse información a través de los comentarios de los niños, ya que no se les estimula para que hablen. 3. El tiempo de duración no puede ser elevado porque los niños pueden perder el interés o aburrirse. 4. El tiempo necesitado para analizar los datos es elevado. 73 CAPÍTULO 3 CASO DE ESTUDIO A continuación, se lleva a cabo una comparativa de un juego de ordenador que se utilizará con dos estilos de interacción diferentes: táctil en una pizarra digital (Fig. 27 derecha) o tangible en un tabletop digital (Fig. 27 izquierda). Estos dos dispositivos sitúan la comparativa en un contexto muy particular: videojuegos para superficies activas. Utilizados con niños, estos dispositivos posibilitan: • Interacción natural y física: los niños interaccionan directamente sobre las imágenes virtuales del juego, tocando con las manos en el caso de la pizarra, o mediante la manipulación de juguetes en el tabletop. • Varios niños jugando al mismo tiempo: Ambos dispositivos solventan la situación de dominación del ratón y permiten a varios niños jugar al mismo tiempo, en igualdad de acceso al juego. Las pruebas de uso tienen lugar con niños de un colegio de educación especial, los cuales padecen diferentes tipos y grados de discapacidad. El objetivo principal de este trabajo es hacer una comparación de los dos tipos de interacción natural, con el fin de obtener información acerca de cómo ajustarlos a las necesidades de niños con problemas cognitivos. En consecuencia, los métodos de evaluación empleados en este estudio se eligen y adaptan en función de sus capacidades, para valorar la usabilidad, accesibilidad y experiencia de usuario (UX) de ambas interfaces. Fig. 27. Interfaz TUI (izquierda) y táctil (derecha) A continuación, se describe en detalle el funcionamiento de las 2 interfaces. La interfaz tangible se compone de un tabletop horizontal (NIKVision) especialmente diseñado para niños, con unas dimensiones de 60x40 cm de área de juego, y 45 cm de altura. La interacción con los juegos se realiza mediante la manipulación física de juguetes sobre la mesa (Fig. 28. Número 1). CAPÍTULO 3: CASO DE ESTUDIO 80 Tercera tarea: poner leche con la vaca en el cubo. Versión táctil Ven las cajas con leche (retroalimentación visual) Ve la caja con el cubo (retroalimentación visual) Pulsa la vaca Desplaza la vaca al cubo Pulsa en el cubo para dar leche Ve las cajas con leche (retroalimentación visual) Versión tangible Coge la vaca Sitúa la vaca en el cubo Da saltos sobre el cubo para dar leche CAPÍTULO 3: CASO DE ESTUDIO 81 Por lo tanto, se observa que la interfaz táctil se basa en la secuenciación de una acción (tocar), cuyo significado en el juego va cambiando según la evolución de la tarea. En cambio, la interfaz tangible se basa en el gesto. Un determinado gesto realizado en un área de la mesa interactiva posee significado por sí mismo y activa una tarea del juego. 3.3- Objetivos de la comparativa Se realiza una sesión comparativa de las 2 formas de interacción descritas, con el fin de recoger información útil para diseñar mejores juegos dirigidos a niños con discapacidades cognitivas. En concreto, los objetivos principales son los siguientes: 1. Evaluar la experiencia del niño (UX). Se obtiene a través de: a. Cuestionario likeability: qué interfaz es la preferida mediante el método this-or-that). b. Observaciones en el test de usabilidad. c. Análisis de las grabaciones en vídeo de cada sesión. d. Valoración de las cuestiones de acuerdo al método SEEM. 2. Usabilidad de las dos interfaces. a. Observaciones en el test de usabilidad b. Análisis de las grabaciones en vídeo de cada sesión junto con los LOGs c. Valoración de las cuestiones de acuerdo al método SEEM. 3. Valorar la accesibilidad de los dos interfaces. a. Física: • Análisis de la grabación en vídeo junto con los LOGs. • Valoración de las cuestiones de acuerdo al método SEEM. b. Cognitiva: • Análisis de la grabación en vídeo junto con los LOGs. • Valoración de las cuestiones de acuerdo al método SEEM. 3.4- Evaluación previa Antes de llevar a cabo la evaluación definitiva en el colegio, se lleva a cabo una primera toma de contacto, tanto con el lugar donde se realizará el experimento como con los niños que participarán. Se efectúa la primera prueba solamente con la interfaz táctil del juego de la granja, en la que interviene un niño que no participará en la comparativa. La razón es que tiene una edad mayor y un nivel de afectación menor del requerido para el experimento. De esta forma, no debería tener ningún problema en conseguir los objetivos del juego. Sin embargo, se encuentran varios problemas de implementación que obligan a una modificación del juego, ya que el niño no es capaz de comenzar a interactuar al no saber cómo hacerlo. Además, se observa que el niño intenta arrastrar los animales ya que acostumbrado a interactuar de esta manera, pero no los niños que participarán en el experimento final. De acuerdo a los problemas hallados, se introducen las siguientes modificaciones, solamente en la versión táctil del juego: CAPÍTULO 3: CASO DE ESTUDIO 82 • Se atomizan y detallan más las instrucciones dadas. De esta forma, el granjero da las instrucciones paso a paso, es decir, se indica en cada momento al niño cómo debe seguir interactuando. • Dependiendo de la tarea que haya que completar, se visualiza en la parte superior de la escena el objeto al que hay que desplazarse, el cual parpadea durante unos segundos al comienzo para que el niño se percate de su presencia (retroalimentación visual). • Dependiendo de la tarea que haya que completar, se visualiza en la parte inferior de la escena el número de objetos que quedan por recoger (retroalimentación visual). 3.5- Descripción de la sesión Preparación El lugar donde se lleva a cabo el experimento es una clase habilitada del propio colegio Alborada. Previamente al comienzo de la comparativa, se configuran ambas interfaces y se instala la cámara de vídeo que grabará la interacción de los niños durante la sesión. Por último, se comprueba que el material necesitado para el transcurso de la evaluación esté disponible, es decir, los papeles con las observaciones que se deben anotar y los cuestionarios SEEM. En la comparativa participan alumnos de educación especial que pertenecen al CPEE Alborada, los cuales padecen diferentes tipos de discapacidad cognitivas y/o físicas. Concretamente, intervienen por parejas 8 niños de edades comprendidas entre 6 y 11 años, con diferentes grados de discapacidad (Tabla 3.). Pareja Niños Edad Discapacidad 1 Niño1 8 años Plurideficiente: discapacidad intelectual (retraso mental de funcionalidad grave) y discapacidad motora por parálisis cerebral Niña2 6 años Discapacidad intelectual por Síndrome de West (retraso mental de funcionalidad grave) 2 Niño3 9 años Discapacidad intelectual por Síndrome de Down (retraso mental de funcionalidad grave) Niño4 11 años Discapacidad intelectual por Síndrome de Down (retraso mental de funcionalidad grave) 3 Niño5 7 años Discapacidad intelectual (retraso mental de funcionalidad moderada). Déficit de atención. Niño6 8 años Trastorno del Espectro Autista. Discapacidad intelectual. 4 Niño7 7 años Discapacidad intelectual por Síndrome de Down (retraso mental de funcionalidad grave) Niña8 6 años Discapacidad intelectual. Trastorno generalizado del desarrollo no especificado Tabla 3. Discapacidad de los participantes CAPÍTULO 3: CASO DE ESTUDIO 83 Sesiones con ambas versiones y registro de datos Las parejas van entrando de una en una en la sala, experimentando primero con un interfaz y luego con la restante. El orden en el que interactúan con las dos versiones se alterna entre las cuatro parejas. Tras ejecutar uno de los dos interfaces para comenzar a jugar, se activa la cámara para que comience a grabar la interacción de los niños. Los profesores y evaluadores se encuentran en la misma sala que los niños durante la sesión y, en un principio, no explican a los niños cómo tienen que jugar. Sin embargo, los profesores intervienen en caso de que los niños no sepan cómo seguir interactuando o si piden ayuda. Cada pareja juega una partida completa, a no ser que expresen deseo de no seguir jugando y, tras experimentar con ambas versiones, la pareja sale de la sala y entra la siguiente. Se graba en vídeo su interacción con el juego para que, con el posterior análisis de la grabación de vídeo, se valoren los puntos donde se observan problemas de usabilidad y cómo la retroalimentación recibida provoca la ejecución de acciones correctas o incorrectas. Además, durante las sesiones se toman notas referentes a observaciones, de acuerdo a un test de usabilidad. Se registran los comentarios de los niños, si prestan atención al juego, así como los momentos en los que los niños dudan o no saben qué hacer y si cooperan o no entre sí. Los evaluadores son quienes se encargan de anotar dicha información. Estos dos métodos se seleccionan principalmente debido a que son métodos observacionales donde los niños no tienen que verbalizar o expresar de ninguna forma su experiencia, sino que solamente se tienen que dedicar a jugar con ambas interfaces. Al tratar con niños con algún tipo de discapacidad cognitiva o física, la aplicación de métodos de verbalización se considera inviable. Además, se registran todos los movimientos del juego en el LOG, mediante el cual se registran los eventos que tienen lugar en cada sesión, es decir, el desplazamiento de cualquiera de los animales entre los objetos interactivos, así como las acciones que llevan a cabo en un determinado objeto y los movimientos e instrucciones dadas por el granjero. Toda esta información se anota junto con el instante exacto en que han tenido lugar. Este método se selecciona con el objetivo de obtener una serie de estadísticas a través de los eventos registrados y con el fin de sincronizarlo posteriormente con los vídeos de las sesiones. En consecuencia, se puede realizar un análisis más detallado y exhaustivo de la interacción de los niños en ambas versiones. Cada pareja, al finalizar el juego, recibe una pregunta sobre cuál de las dos modalidades de interacción del juego les ha gustado más (cuestionario likeability). Un evaluador es el encargado de anotar las respuestas de los dos niños. La cuestión es planteada por los profesores presentes en la sala, la cual el niño responde señalando uno de los dos interfaces (método this-or-that), y la pueden formular de diferentes formas. ¿Qué juego te gusta más? ¿A qué juego quieres volver a jugar? Aunque este método en un principio parece inviable porque implica verbalización, la utilización del método this-or-that es posible con este tipo de niños, ya que solamente implica que los niños señalen su preferencia CAPÍTULO 3: CASO DE ESTUDIO 84 Finalización de sesiones Por último, después de que todas las parejas jueguen con ambas interfaces, se lleva a cabo el método SEEM, donde los expertos (profesores) valoran junto con los evaluadores los diferentes problemas que se pueden encontrar en las 2 interfaces, de acuerdo al cuestionario proporcionado (ANEXO B). En este caso, como el niño no tiene ningún rol prefijado, es un método que puede aplicarse con seguridad y sirve para obtener información complementaria de expertos conocedores del usuario al que va destinado el juego. 3.6- Análisis de los datos Test de usabilidad Las observaciones anotadas en el test de usabilidad se describen a continuación. • Pareja 1: juegan primero con el tabletop. Niña2 es reacia a jugar, ya que no presta atención al juego. Niño1 es quien juega y consigue completar el juego con facilidad, por lo que no tiene problemas para interactuar con las dos versiones. Además, el niño se divierte jugando y celebra la finalización del juego para la versión táctil. • Pareja 2: juegan primero con la versión táctil. Niño3 interviene mucho más que Niño4, el cual permanece en segundo plano e interactúa menos. Consiguen completar el juego para ambas versiones, pero necesitan indicaciones en la mayoría de tareas. Cuando juegan con el tabletop, en un principio están influenciados por la versión táctil e intentan interactuar de la misma forma, pero con indicaciones entienden la forma de hacerlo. Como se trata de la única pareja en la que los dos miembros intervienen más o menos activamente, se decide que vuelvan a jugar nuevamente con el tabletop con el fin de observar si su participación es más equilibrada y colaboran de alguna manera. • Pareja 3: juegan primero con el tabletop. Niño6 no está interesado en jugar, por lo que interactúa poco y solamente participa Niño5, el cual necesita ayuda en prácticamente todas las tareas para completar el juego en las dos interfaces. • Pareja 4: juegan primero con la versión táctil. Ninguno de los dos niños se centra en jugar y no prestan atención a las instrucciones, por lo que no consiguen completar las tareas y se da por terminada su participación con las dos interfaces. Cuestionario likeability Respecto a la preferencia de una u otra interfaz, de los 8 niños 5 prefieren la versión tangible y solamente 1 la versión táctil (2 niños no expresan ninguna preferencia). De esta forma, los niños muestran predilección por la versión tangible del juego de la granja. Sin embargo, sólo se observa realmente diversión en el niño que participa de la primera pareja con ambas interfaces, ya que tiene una expresión de felicidad continua, ríe y celebra la consecución de tareas. En el resto de niños que interactúan activamente no se percibe tal grado de diversión, pero en cambio si están interesados y, en mayor o menor medida, concentrados en el juego. CAPÍTULO 3: CASO DE ESTUDIO 85 SEEM Del cuestionario SEEM valorado junto con los expertos, se contempla principalmente la necesidad de proporcionar más retroalimentación, tanto visual como auditiva. En la versión tangible, los niños no perciben el objetivo final del juego y la razón principal es que no se proporciona retroalimentación visual ni auditiva que indique el objetivo a completar. En la versión táctil este problema no existe ya que se proporciona retroalimentación visual mostrando al comienzo del juego la tarta y, cuando se completa el objetivo, una animación del granjero con la tarta. En la versión táctil, en ocasiones los niños no saben cómo seguir interactuando debido a que han olvidado la tarea y no reciben instrucciones. Es importante que cada instrucción sea lo más simple que sea posible (solamente implique una acción o movimiento) y que se repita porque los niños tienen tendencia a olvidar lo que tienen que hacer. Además, es relevante la forma en que se dan las instrucciones habladas. En particular, cuando el granjero dice que necesita más leche, éste enfatiza la palabra “más”, por lo que los niños entienden muy bien esta instrucción (comprenden perfectamente que se necesita más cantidad). Un aspecto trascendental que advierten los expertos en las sesiones es el cansancio acumulado. Conforme han ido interviniendo las parejas en el experimento, la atención, motivación y ganas de jugar de los niños ha ido decreciendo hasta llegar a la última pareja, donde los dos niños ni atendían a las indicaciones, ni tenían interés en experimentar con las dos versiones. Asimismo, indican la conveniencia de que los niños participen individualmente ya que, al participar por parejas, los niños no cooperan (siempre hay un niño que toma el control) y se distraen con más facilidad. Estadísticas LOG Los LOGs registrados en cada una de las sesiones se utilizan para calcular una serie de estadísticas. Para ello, se agrupan por una parte todos los LOGs de la versión táctil y por otra parte los LOGs de la versión tangible y se cargan en un programa que realiza una serie de estadísticas, como las siguientes: • Número de veces que se completa cada una de las tareas sobre el total de partidas jugadas. De esta forma, se puede advertir si el niño tiene problemas para completar alguna tarea específica. • Número de veces que se ejecutan las tareas en orden sobre el total de tareas completadas. Puede indicar dificultad para completar alguna tarea y, además, puede revelar información sobre accesibilidad cognitiva, es decir, si el niño percibe y es capaz de seguir con facilidad las instrucciones que le indica el granjero. En cuanto a los resultados significativos obtenidos en ambas versiones, la mayoría de tareas se ejecutan en el orden indicado por el granjero, ya que casi siempre siguen sus instrucciones. En la versión táctil solamente la segunda pareja ejecutó alguna tarea en CAPÍTULO 3: CASO DE ESTUDIO 86 diferente orden (intenta coger fresas en las tareas de recoger huevos y leche). En la versión tangible, sólo el niño de la primera pareja ejecuta alguna tarea en desorden (recoge antes los huevos que las fresas). Esto se observa también con la posibilidad de esquilar la oveja, tarea sobre la que el granjero no da instrucciones ya que no es necesaria para completar el juego y que ninguno de los niños ejecutó. Además, los animales que más se utilizan son la vaca y la gallina, debido a que las tareas de recoger huevos y leche solamente se pueden hacer con estos animales, mientras que las fresas se pueden recoger con cualquier animal. La oveja no se utiliza para la tarea de esquilar la oveja, la cual no es indicada en las instrucciones del granjero. De esta forma, los niños no exploran el juego, sino que ejecutan las instrucciones dadas por el granjero y se centran solamente en la tarea activa. Análisis de vídeo El proceso del análisis detallado de la información en vídeo recogida, se basa en el estudio de cada una de las sesiones llevadas a cabo con los niños y con su LOG correspondiente y, por tanto, comprende la realización de una serie de pasos desde que tiene lugar la comparativa en el colegio, hasta que se determinan unos resultados tras estudiar y analizar toda la información obtenida. La primera tarea que se ejecuta en el laboratorio es cargar los LOGs de cada una de las partidas en un programa que los reproduce de forma animada en el tiempo, de forma que se tiene una reconstrucción en tiempo real de todos los eventos de cada sesión del juego. Después, se captura en vídeo cada una de estas animaciones de los LOGs para, tras localizar el vídeo correspondiente de la sesión, realizar una composición y sincronización de ambos vídeos (Fig. 35.). Fig. 35. Vídeo etiquetado de la sesión (izquierda) sincronizado con la animación del LOG (derecha) El paso siguiente es elaborar un diccionario de eventos que se tienen en cuenta para analizar las composiciones. El objetivo principal es ver la influencia que tiene la retroalimentación auditiva y visual en la comprensión del juego por parte de los niños en ambos dispositivos. De esta forma, se crean dos categorías de marcas en lo videos: eventos de retroalimentación y eventos de acción de los niños. El tipo de eventos de retroalimentación o acciones que se tienen en cuenta, así como la etiqueta visual asociada que se ha utilizado para marcar los vídeos, son los siguientes. CAPÍTULO 3: CASO DE ESTUDIO Retroalimentación: • Instrucciones del granjero virtual: • Marcas visuales en la pantalla: • Intervención de los profesores o evaluadores: Acciones: intervenciones de los niños con el juego. Hay cuatro tipos: • Acción correcta: si el niño hace algo que le sirve para acercarse o completar la tarea. • Acci ón incorrecta: si el niño hace algo que no tiene ningún resultado en el juego • Acción no relacionada: si el niño realiza acciones que son correctas y, por lo tanto, tienen efecto en el juego, pero no tienen nada que ver con que se le pide (está explorando el juego). • Error del sistema: si el niño ejecuta bien una acción, pero el sistema no lo reconoce. Los vídeos se visionan y etiquetan cuando se retroalimentación del juego o una acción de los niños, con su icono correspondiente. Tras etiquetar cada vídeo, se representa la aparición de dichos eventos en una línea de tiempo gráfica que representa separadamente los eventos de ret las acciones de los niños. Cada línea de tiempo se separa en sub cada una de las tareas del juego (fresas, huevos y leche), lo que permite analizar detalladamente la retroalimentación y la comprensión del niño en cad tanto en la versión táctil como en la análisis exhaustivo de cómo la retroalimentación auditiva y visual recibida provoca la ejecución de acciones correctas e incorrectas en ambas vers CAPÍTULO 3: CASO DE ESTUDIO 87 Instrucciones del granjero Marcas visuales en la pantalla: Intervención de los profesores o Acciones: intervenciones de los niños con el juego. Hay cuatro tipos: Acción correcta: si el niño hace algo que le sirve para acercarse o completar la tarea. ón incorrecta: si el niño hace algo que no tiene ningún resultado en el juego Acción no relacionada: si el niño realiza acciones que son correctas y, por lo tanto, tienen efecto en el juego, pero no tienen nada que ver con la tarea que se le pide (está explorando Error del sistema: si el niño ejecuta bien una acción, pero el sistema no lo reconoce. Los vídeos se visionan y etiquetan cuando se observa un evento de retroalimentación del juego o una acción de los niños, con su icono correspondiente. Tras etiquetar cada vídeo, se representa la aparición de dichos eventos en una línea de tiempo gráfica que representa separadamente los eventos de ret roalimentación y las acciones de los niños. Cada línea de tiempo se separa en sub - líneas que representan cada una de las tareas del juego (fresas, huevos y leche), lo que permite analizar detalladamente la retroalimentación y la comprensión del niño en cad a tarea del juego, como en la tangible. En consecuencia, se pued e llevar a cabo un análisis exhaustivo de cómo la retroalimentación auditiva y visual recibida provoca la ejecución de acciones correctas e incorrectas en ambas vers iones. observa un evento de retroalimentación del juego o una acción de los niños, con su icono correspondiente. Tras etiquetar cada vídeo, se representa la aparición de dichos eventos en una roalimentación y líneas que representan cada una de las tareas del juego (fresas, huevos y leche), lo que permite analizar a tarea del juego, e llevar a cabo un análisis exhaustivo de cómo la retroalimentación auditiva y visual recibida provoca la CAPÍTULO 3: CASO DE ESTUDIO 88 Ratio de análisis La relación entre el tiempo empleado por los niños en cada sesión frente al tiempo necesitado para analizar toda la información en vídeo es la siguiente (Fig. 36.). 1. Colegio a. Duración media cada sesión = 7 minutos 2. Laboratorio a. Capturar en vídeo las animación del LOG = 7 minutos b. Composición del vídeo de la sesión y de la captura del LOG • Composición y sincronización = 15 minutos • Renderizar = 2 horas c. Video análisis de la composición • Etiquetar eventos = 45 minutos • Renderizar = 10 minutos d. Video análisis detallado de la composición • Gráfica de eventos en el tiempo = 20 minutos • Análisis de la gráfica de eventos = 1 hora y 10 minutos Fig. 36. Minutos empleados por sesión para cada tarea tanto en el colegio como en el laboratorio El resultado es 7:287 = 1:41 De esta forma, por cada minuto de grabación en vídeo de una sesión en el colegio se necesitan 41 minutos en laboratorio para realizar el análisis de los datos de vídeo obtenidos. Por lo tanto, es un método que requiere un tiempo elevado para analizar toda la información registrada. 0 50 100 150 200 250 300 350 Colegio Laboratorio Análisis gráfica evento Gráfica de eventos Render vídeo con eventos etiquetar eventos Render Composición composición vídeo LOG Caputar vídeo LOG Sesión CAPÍTULO 3: CASO DE ESTUDIO C omprensión y ejecución de tareas Las líneas de tiempo tareas que hay que completar para se puede establecer una compara tanto para la versión táctil como para la versión tangible, valorando cómo influye la retroalimentación recib ida en la ejecución de un tipo u otro de acciones Las gráficas que se presentan muestran los eventos que tienen lugar tiempo. Estos eventos se evento. Retroalimentación: Instrucción del granjero Acciones: Acción correcta CAPÍTULO 3: CASO DE ESTUDIO 89 omprensión y ejecución de tareas líneas de tiempo de eventos para cada sesión se agrupan en función de las tres tareas que hay que completar para terminar el juego satisfactoriamente. De esta manera, se puede establecer una compara tiva en la realización de cada tarea por parte de los niños, tanto para la versión táctil como para la versión tangible, valorando cómo influye la ida en la ejecución de un tipo u otro de acciones . Las gráficas que se presentan muestran los eventos que tienen lugar diferencian asignando un color diferente para cada tipo de Retroalimentación visual Intervención del evaluador o profesor Acción incorrecta Acción exploratoria de eventos para cada sesión se agrupan en función de las tres terminar el juego satisfactoriamente. De esta manera, en la realización de cada tarea por parte de los niños, tanto para la versión táctil como para la versión tangible, valorando cómo influye la Las gráficas que se presentan muestran los eventos que tienen lugar a lo largo del asignando un color diferente para cada tipo de Intervención del evaluador o profesor Error del sistema CAPÍTULO 3: CASO DE ESTUDIO 96 Tarea de poner leche En base a la gráfica de eventos, tanto de retroalimentación como de acciones, que tienen lugar para la tarea de poner leche, se hace un análisis exhaustivo (Fig. 51). Fig. 51. Eventos que de cada sesión para la versión táctil y tangible (tarea fresas) La última tarea vuelve a generar varias acciones incorrectas en la versión táctil, aunque la intervención de los profesores o evaluadores implica la ejecución de acciones correctas. Los niños, tras recibir la instrucción del granjero (llevar la vaca al cubo) y la posterior retroalimentación visual (cubo), cometen el error de pulsar primero el cubo, es decir, se olvidan de pulsar primero la vaca para activarla. Este problema es el mismo que se produce en la tarea de recoger fresas y se debe al conflicto entre la retroalimentación visual y auditiva. Cuando los niños observan la caja con el cubo olvidan que primero deben pulsar la vaca y, por lo tanto, la retroalimentación visual les confunde (Fig. 52). CAPÍTULO 3: CASO DE ESTUDIO 97 Fig. 52. Pulsa primero el cubo, antes de pulsar la vaca Niño3 y Niño4 no son capaces de situar el cubo en la escena sin ayuda de los profesores y desplazan la vaca entre otros objetos o intentan interactuar con las cajas con leche, mientras que Niño5 sigue percibiendo las cajas como elementos con los que interactuar. De esta forma, los elementos de retroalimentación visual no les sirven de ninguna ayuda y solamente les provoca confusión ya que intentan interactuar con ellos (Fig. 53). Niño4 ejecuta perfectamente la segunda acción de poner leche sin ningún tipo de ayuda (Fig. 54), por lo que entiende perfectamente la retroalimentación auditiva dada (enfatiza que necesita más leche). Fig. 53. Intenta interactuar con las cajas con leche Fig. 54. Niño4 ejecuta sin problemas la acción de poner leche Niño1 vuelve a tener el mismo problema que en la tarea de poner huevos, ya que intenta poner leche pulsando en la vaca en lugar de en el cubo (Fig. 55). Aunque es una acción incorrecta, vuelve a poner de manifiesto un error del sistema al no reconocer esta pulsación (entiende perfectamente lo que tiene que hacer en la tarea). Fig. 55. Pulsa la vaca para dar leche CAPÍTULO 3: CASO DE ESTUDIO 98 Respecto al tabletop, se trata de la tarea que implica un mayor número de acciones incorrectas y necesita un gran número de intervenciones por parte de los profesores y evaluadores. La acción de poner leche genera muchos problemas ya que el sistema no reconoce los pequeños golpes de la vaca sobre el cubo (Fig. 56) y tampoco se sabe exactamente el lugar donde hay que dar los saltos, por lo que la retroalimentación visual falla. Finalmente, los niños consiguen completar la tarea pero sin ser nada conscientes de cómo lo han hecho (Fig. 57). Fig. 56. El sistema no reconoce los pequeños saltos para poner leche Fig. 57. No son conscientes de cómo han puesto leche El problema principal es que se desconoce totalmente cuánta leche se necesita poner para completar la tarea, lo que acaba desorientando a los niños porque no perciben en ningún momento la retroalimentación visual dada (Fig. 58). Fig. 58. Niño1 está desorientado porque no sabe la leche que hay que poner Niño5 y Niño6 tienen problemas en un comienzo para situar el cubo en el tabletop. Niño6 consigue poner leche con la total ayuda de los profesores (solamente sigue órdenes), pero no sabe la cantidad que necesita (Fig. 59). Posteriormente, Niño5 toma el control de la tarea y tras una sucesión de acciones erróneas (intentar poner leche con la oveja, ya que Niño6 tiene la vaca en su poder) consigue completar la tarea. Fig. 59. Niño6 pone leche con la ayuda de los profesores, pero no sabe cuánta hay que poner CAPÍTULO 3: CASO DE ESTUDIO 99 En resumen, de la misma manera que en la tarea de poner huevos, la retroalimentación visual en la versión táctil no sirve de apoyo a los niños para indicarles lo que tienen que hacer y son elementos de confusión, ya que intentan interactuar con ellos. En el tabletop los niños tampoco perciben mucho mejor el lugar a donde tienen que dirigir la vaca para dar leche y no tienen ni idea de la cantidad de leche que se necesita, por lo que la retroalimentación visual falla completamente. Respecto a la acción de poner leche, en ambas versiones se aprecia algún tipo de error del sistema. Mientras que en la versión táctil no se reconoce la pulsación en la vaca para poner leche, en el tabletop el sistema de nuevo tiene problemas para reconocer los pequeños saltos que los niños dan con la gallina sobre el nido porque los niños no saben ni cuánto hay que saltar ni con qué fuerza hay que hacer el gesto. 3.7- Resultados y mejoras En este estudio se ha llevado a cabo una comparativa de dos modalidades de interacción de un mismo juego, con el objetivo principal de recoger información útil para diseñar mejores juegos dirigidos a niños con discapacidades cognitivas. Los resultados obtenidos son significativos y llevan a plantear una serie de mejoras (Tabla 4) en relación a las diferencias en la interacción y experiencia de los niños con ambas interfaces. En primer lugar, los datos obtenidos en el LOG indican que los niños interactúan de acuerdo a las instrucciones que reciben, porque las tareas se ejecutan casi siempre en el orden indicado por el granjero virtual y aquellas tareas como el esquile de la oveja, que no son instruidas por el granjero, nunca llegan a ser realizadas por los niños. En consecuencia, el análisis conjunto de los vídeos y LOGs concluye la trascendencia de la retroalimentación proporcionada, tanto auditiva como visual, para que los niños puedan comprender cada tarea y su progresión en la misma. En la versión táctil, se debe prestar atención a las instrucciones del granjero y cómo se combinan con la retroalimentación visual. Actualmente, al comienzo de cada tarea, el granjero pide que se pulse el animal y después en una planta (2 movimientos) y, seguidamente, se muestra visualmente la planta. Esta secuencia provoca un conflicto porque los niños olvidan que primero deben pulsar un animal y van directamente a pulsar la planta. Por lo tanto, es necesario que el granjero dé instrucciones que sean lo más concretas y simples que se pueda, esto es, que solamente implique una pulsación o movimiento (instrucciones atómicas) y que el refuerzo visual vaya en concordancia con la última instrucción auditiva. Por otra parte, la información visual proporcionada tiene un efecto contradictorio en los niños. Mientras para unos sirve de ayuda, para otros es un elemento de confusión. La tarea de recoger fresas es la que genera más problemas en los niños debido a que tiene 3 elementos de retroalimentación visual, siendo los dos elementos de ayuda los más visibles y el elemento con el que tienen que interactuar el menos visible. Con las dos tareas restantes también tienen problemas, ya que entienden los 2 elementos visuales como elementos de interacción en lugar de ayuda. Una mejora que se puede llevar a cabo es proporcionar la retroalimentación visual en el lugar donde se tiene que ejecutar la acción. De esta forma, además de representar visualmente el objeto sobre el que hay que CAPÍTULO 3: CASO DE ESTUDIO 100 interactuar, se muestra el lugar de la escena donde está situado y donde se debe producir la interacción, para así no generar confusión en los niños. Del cuestionario SEEM valorado junto con los expertos, se recalca la necesidad de repetir las instrucciones (refuerzo verbal), porque los niños tienen tendencia a olvidar las tareas y no saben cómo seguir interactuando. Además, es importante la manera y forma en que se dan estas instrucciones. Por ejemplo, cuando el granjero dice que necesita más leche, éste enfatiza la palabra “más”, por lo que los niños entienden muy bien esta instrucción (comprenden perfectamente que se necesita más cantidad). De esta manera, esta enfatización debería emplearse siempre que sea posible. Finalmente, se observan errores del sistema que pueden desorientar a los niños. Para poner huevos o leche con la gallina y la oveja, respectivamente, sería aconsejable que también se pudiese ejecutar la acción pulsando en el animal, en lugar de solamente en el objeto, porque se trata de alimentos que se obtienen del propio animal. En la versión tangible hay un desconocimiento total sobre cuánto se necesita para completar cada tarea, ya que la retroalimentación visual dada no da a entender la finalización de las tareas y tampoco se da retroalimentación auditiva. Por tanto, se necesita aportar retroalimentación para representar la cantidad necesitada. Además, hay errores del sistema al reconocer los gestos realizados por los niños, tanto para agitar plantas como para dar golpes. Es necesario que el sistema reconozca los golpes leves que los niños dan con los juguetes cuando intentan ejecutar una acción. En muchas ocasiones, estos movimientos no se detectan, por lo que si el juego no responde los niños pueden acabar desorientados al no saber cómo seguir interactuando. Sin embargo, este aspecto plantea una serie de matices a valorar acerca de cómo definir el gesto, la variedad de gestos a reconocer, cómo entienden los niños los gestos o cómo se les guían en los mismos. Del cuestionario SEEM valorado junto con los expertos, se contempla el problema de que los niños no perciben el objetivo final del juego ya que no se da retroalimentación de ningún tipo para que los niños lo entiendan, por lo que debería proporcionarse. Por último, los niños muestran claramente su preferencia por la versión tangible del juego frente a la versión táctil, a través del método this-or-that. De esta manera, los niños muestran más interés por la interfaz tangible ya que les acerca a los contenidos digitales en mayor medida que la pizarra digital, sobre todo manejando juguetes que por lo general son inanimados. CAPÍTULO 3: CASO DE ESTUDIO 101 Versión Mejoras Método Tangible Informar de cuantos objetos faltan (fresas, huevos, leche) para completar cada tarea. Test usabilidad Dejar claro al principio el objetivo del juego (hacer una tarta) y enseñar su consecución mediante animaciones y sonido de forma divertida SEEM Mejoras el sistema de detección de gestos (agitar y saltar) y mejorar la retroalimentación para guiar al niño en la realización de estos gestos Video-análisis Táctil La retroalimentación visual debe hacerse sobre los propios objetos del escenario 3D, mediante animaciones (por ejemplo, que el objeto destino parpadee o cambie de color para llamar la atención) Video-análisis Las instrucciones deben ser repetidas si el niño no está haciendo la acción correcta Test usabilidad El granjero debe dar instrucciones más simples y deben tener un componente más divertido SEEM La realización de una acción (coger fresa, poner huevo, o dar leche), debe darse por correcta tanto si se pulsa en el objeto como si se pulsa con el animal Test de usabilidad y video-análisis Tabla 4. Mejoras propuestas para cada versión, determinadas a partir del método correspondiente 103 CAPÍTULO 4 CONCLUSIONES Y TRABAJO FUTURO Este último capítulo de la presente memoria contiene: las conclusiones a las que se han llegado a la finalización del trabajo fin de máster y las propuestas de trabajo futuro. 4.1- Conclusiones En la presente memoria se ha descrito el trabajo realizado para la Tésis fin de Máster, que ha consistido en realizar un estudio sobre los beneficios e inconvenientes que presentan diferentes formas de interacción natural cuando se diseñan videojuegos destinados a niños con algún tipo de discapacidad cognitiva. Para lograr los objetivos planteados, en primer lugar, se ha realizado un análisis y una selección de los métodos de evaluación empleados con niños en base a un exhaustivo estudio sobre el estado del arte actual. Este estudio, elaborado a partir de la bibliografía existente, ha permitido valorar los diferentes trabajos efectuados con anterioridad, prestando atención a sus características, sus particularidades y los resultados significativos que consiguen. En consecuencia, este análisis ha permitido valorar cada método de evaluación en concreto, determinado sus ventajas y desventajas y, en particular, su idoneidad para ser utilizado con niños muy pequeños o con niños con algún tipo de discapacidad. Posteriormente, se ha implementado un juego de ordenador en una versión para interactuar de forma táctil con el fin de poder realizar un análisis comparativo con la versión tangible del mismo juego. La comparativa se ha llevado a cabo mediante sesiones de evaluación con usuarios reales y ha tenido como objetivo principal valorar la interacción de los niños con ambas de modalidades de interacción. Esta comparativa se caracteriza frente a otros trabajos en los siguientes aspectos: • Comparativa de dos estilos de interacción natural: táctil en una pizarra digital y tangible en un tabletop horizontal. • Los niños que intervienen pertenecen a un colegio de educación especial. • Los métodos de evaluación se eligen en base a la capacidad cognitiva de los participantes. • Analiza los beneficios e inconvenientes de cada modalidad de interacción, para lo que se recoge información relativa a la usabilidad, la accesibilidad y la UX de ambas interfaces. CAPÍTULO 4: CONCLUSIONES Y TRABAJO FUTURO 104 Los resultados preliminares obtenidos de la comparativa de ambos modelos de interacción natural han dado lugar a una publicación en un congreso nacional y otro internacional. Ambas publicaciones pueden consultarse en el Anexo C de esta memoria. 4.2- Trabajo futuro En lo que respecta al trabajo futuro hay varios caminos a seguir. Por un lado, a corto plazo, se tiene que hacer un análisis en profundidad de los datos obtenidos en las sesiones de evaluación llevadas cabo con los niños por medio de los diferentes métodos y medir aspectos como la colaboración entre los niños, que en este trabajo no se hace. Por otra parte, la evaluación se debería hacer de forma individual y con más niños de los que participaron en este estudio (solamente han participado 8 niños), para poder comparar hasta qué punto influyen las discapacidades de los niños en la manera en que interactúan con el juego. Asimismo, se podría realizar el experimento con niños sin ningún tipo de discapacidad para comparar sus resultados con los de este estudio y así advertir posibles variables interferentes. Además, se deben aplicar, en futuras iteraciones, las mejoras planteadas en los resultados de la comparativa. De esta forma, se podrá comprobar si las mejoras propuestas tienen un efecto positivo en la comprensión de los objetivos y tareas por parte de los niños. Finalmente, también sería interesante realizar esta comparativa con juegos diferentes. Por ejemplo, se podría utilizar un juego didáctico para ver con qué estilo de interacción aprenden más los niños. 105 GLOSARIO 1 Evaluación: Aquel proceso que tiene como finalidad determinar el grado de eficacia y eficiencia con que han sido empleados los recursos destinados a alcanzar los objetivos dispuestos, posibilitando la determinación de desviaciones y la adopción de medidas correctivas que garanticen el cumplimiento adecuado de las metas previstas 2 Método de evaluación: Aquellos procedimientos, objetivos o subjetivos, utilizados para obtener y organizar la información obtenida en relación a los objetivos, normas o criterios establecidos 3 Experiencia de usuario (UX): Conjunto de sensaciones, sentimientos o emociones que se producen en el usuario cuando maneja un sistema interactivo. Recoge experiencias físicas, sensuales, emocionales, sociales y estéticas del usuario como la diversión, belleza, o likeability. 4 Usabilidad: Se define como la medida en que un producto puede ser utilizado por determinados usuarios para conseguir objetivos como efectividad, eficiencia y satisfacción en un contexto de uso específico. Cuantitativamente, la usabilidad se mide por el tiempo en completar una tarea y el número de errores cometidos. De una forma similar se calcula la eficiencia mediante el tiempo necesario para completar un juego y la efectividad por el número de subtareas completadas correctamente en el juego y si el niño tuvo éxito terminando el juego. 5 Accesibilidad: Flexibilidad de las aplicaciones o juegos para acomodarse a las necesidades especiales de cada usuario, tanto en el aspecto físico como en el cognitivo. La accesibilidad se obtiene por una combinación de hardware y software que proporciona, respectivamente, los mecanismos que permiten salvar ciertas discapacidades y la manera eficaz de acceder a las funcionalidades del juego. Las capacidad y aptitud de los usuarios difiere significativamente de unos a otros ya que, por ejemplo, existen personas que poseen algún tipo de limitación funcional que les impide manejar con facilidad las interfaces estándar, las cuales se basan en el uso de dispositivos de interacción comunes como el teclado o el ratón y requieren determinadas capacidades físicas, como la precisión y coordinación motora. Además, la capacidad cognitiva de los usuarios tampoco es la misma, por lo que es necesario tener en cuenta los diversos procedimientos que regulan la comunicación entre el usuario y la aplicación (como la retroalimentación visual, auditiva, etc) a la hora de diseñar métodos de interacción. 6 Táctiles: modelo de interacción natural que permite interactuar directamente con la pantalla, pulsándola o tocándola, proporcionando una interacción satisfactoria, intuitiva, rápida, o exacta del usuario con el contenido. Un toque directo sobre la superficie de la pantalla permite la entrada de datos y órdenes al dispositivo, de manera que actúa como periférico de entrada y salida, mostrando los resultados introducidos previamente. 7 TUI (Tangible User Interface): modelo de interacción natural donde la interfaz se fusiona con el entorno y las interacciones tienen lugar en el espacio con objetos, ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 112 A.3- Análisis y diseño Los requisitos de la versión táctil del juego de la granja son los mismos que la versión tangible ya implementada, ya que el objetivo es obtener dos versiones con las mismas tareas y objetivos pero con diferentes estilos de interacción. El comportamiento general del juego se explica mediante un diagrama de casos de uso, explicando el significado de cada uno de los casos de uso de los que se compone (además de las precondiciones y post-condiciones) y aumentando el grado de especificación en alguno de los más importantes a través de diagramas de actividad, los cuales detallan su modo de proceder. Como se explica posteriormente en el apartado de implementación, el diseño ha sido iterativo ya que diversos apartados han sufrido modificaciones, ya sea por problemas relacionados con el lenguaje de programación utilizado, o por decisiones tomadas respecto a la forma de guiar al niño para que progrese en la tarea activa. A continuación, se presenta el análisis y diseño final del juego son sus respectivos diagramas. Diagrama de casos de uso El diagrama de casos de uso del juego de la granja, explicando cada uno de los casos de uso de que se compone, es el siguiente (Fig. 3.). Fig. 3. Diagrama de casos de uso 1. Caso de uso nivel de dificultad a. Definición: En un principio, a través de un menú, el evaluador selecciona uno de los 3 niveles de dificultad posibles. Estos niveles están relacionados ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 113 con la cantidad de instrucciones que da el granjero para obtener los alimentos.  Nivel fácil (nivel qué, dónde, quién y cómo): el granjero especifica todo: qué se necesita, dónde se consigue, con qué animal y la forma de hacerlo. Además, también se da ayuda mostrando el objeto al que hay que ir (caja situada en la esquina superior izquierda) y el número de ingredientes recogidos y que faltan por recoger (cajas dependiendo la tarea activa).  Nivel medio (nivel qué y dónde): el granjero además de decir qué ingrediente necesita dice dónde: ponedero, cubo, o fresales.  Nivel difícil (nivel qué): el granjero solamente dice qué necesita (fresas, huevos, leche). b. Precondiciones: El juego se debe haber cargado correctamente. c. Post-condiciones: Después de elegir el nivel de dificultad y de que el granjero haga una introducción al juego, se puede comenzar a interactuar con los animales y objetos del escenario. 2. Caso de uso recoger ingrediente a. Definición: El objetivo principal del juego es recoger los ingredientes interactuando con los animales disponibles, que son la gallina, vaca, oveja y cerdo. b. Precondiciones: se debe haber seleccionado uno de los niveles de dificultad. c. Post-condiciones: El granjero tras recoger satisfactoriamente un ingrediente está preparado para recoger otro y, en caso de que ya se hayan recogido todos, está en disposición de hacer la tarta. 3. Caso de uso hacer tarta a. Definición: Recoger los diferentes ingredientes tiene como objetivo final que el granjero haga una tarta. b. Precondiciones: Para hacer la tarta hay que completar 3 tareas:  Recoger 3 fresas que se encuentran en los fresales.  Obtener la leche del cubo.  Recoger los 4 huevos del ponedero. c. Post-condiciones: Si se consiguen recolectar estos 3 alimentos, el granjero hace la tarta y el juego se completa satisfactoriamente. 4. Caso de uso desplazar animal a. Definición: El animal se desplaza de un objeto a otro. b. Precondiciones: Para desplazar un animal, primero debe estar activo. c. Post-condiciones: Tras pulsar en el objeto destino (donde se quiere que el animal se desplace) el animal se mueve a dicho destino y, dependiendo del animal y el objeto a donde se desplace, el granjero actúa en consecuencia. A continuación, se detalla mediante un diagrama de actividad el desplazamiento de los animales entre los objetos y cómo responde el granjero a estos movimientos. Diagrama actividad desplazar animal (Fig. 4.) ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 114 Fig. 4. Diagrama de actividad desplazar animal Tras activar un animal y pulsar en un objeto destino, si este es correcto, el animal se desplaza. Si el objeto pulsado es incorrecto, no se hace nada (no hay retroalimentación). Dependiendo del animal que se esté desplazando, de forma simultánea, el granjero actuará en consecuencia de la siguiente manera: o Cuando cualquier animal se dirige al fresal o la gallina al ponedero: si no se han recogido todas las fresas (aunque el fresal no tenga fresa) o los huevos respectivamente, el granjero coge la cesta y se coloca en el centro de la escena. o Cuando la vaca se dirige al cubo: si no se ha recogido la leche, el granjero se desplaza al taburete y se sienta. o Cuando oveja se dirige a la silla: el granjero se desplaza a la silla y coge las tijeras. ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 115 Además de todo lo explicado anteriormente, el juego se encuentra en estado de bloqueo durante el desplazamiento, por lo que no se puede interactuar con el juego desde que comienza el desplazamiento hasta que finaliza (Fig. 5.). Fig. 5. Estado de bloqueo del juego 5. Caso de uso ejecutar acción a. Definición: Se ejecutan acciones dependiendo del animal activo, con el objetivo de obtener un ingrediente. b. Precondiciones: Dependiendo del alimento que se vaya a recoger, el animal correspondiente debe estar activado y situado en el objeto indicado. c. Post-condiciones: Tras desencadenar la acción, en el caso de que se haya obtenido un ingrediente, el granjero lo recoge. En este punto, se describen mediante diagramas de actividad las acciones que puede realizar cada uno de los 4 animales seleccionables, así como la forma en que el granjero recoge los alimentos ya que varía entre las diferentes tareas. ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 116 Diagrama actividad ejecutar acción coger fresas (Fig. 6.) Fig. 6. Diagrama actividad acción coger fresas La acción de recoger fresas puede ser realizada por cualquiera de los 4 animales. Para ello, tras seleccionar y activar un animal, éste se desplaza al fresal pulsando en uno de los 4 fresales presentes en la escena. Volviendo a pulsar en el fresal, con el animal activo y situado en dicho fresal, se desencadena la acción. Primero el animal agita el fresal y, en caso de que tenga una fresa, el granjero acude a recogerla. Debajo se presenta otro diagrama de actividad donde se explica en detalle los movimientos que realiza el granjero para recoger la fresa. ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 117 Diagrama actividad granjero recoge fresas (Fig. 7.) Fig. 7. Diagrama actividad del granjero cogiendo fresas En el caso de que un animal haya agitado un fresal y posea una fresa, el granjero acude a recogerla. En primer lugar el juego se bloquea, por lo que mientras dure el estado de bloqueo no se puede interactuar con el juego. El granjero se dirige al fresal agitado por el animal y, tras recoger la fresa, puede actuar de dos maneras diferentes: 1. Si la fresa recogida no es la última, el granjero vuelve al centro de la escena 2. Si la fresa recogida es la última, el granjero se desplaza al granero para dejar las fresas. Si ya se han recogido todos los alimentos el granjero se dispone a hacer la tarta (juego completado), mientras que si queda algún alimento por recoger el granjero vuelve al centro de la escena. Inmediatamente después, el juego se desbloquea y ya se puede interactuar de nuevo. ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 118 Diagrama actividad ejecutar acción recoger huevos (Fig. 8.): Para obtener los huevos, el único animal que puede conseguirlos es la gallina de la forma siguiente. Fig. 8. Diagrama actividad acción coger huevos El primer paso a realizar es activar la gallina, para lo cual se selecciona y se desplaza al ponedero mediante la pulsación de ratón correspondiente (en caso de que no esté situada en el ponedero). Con la gallina activa y situada en el ponedero, mediante otra pulsación en el mismo objeto se desencadena la acción de poner un huevo. En el caso de que ya se hayan puesto 4 huevos el granjero acude a recogerlos. ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 119 Diagrama actividad granjero recoge huevos (Fig. 9.): Fig. 9. Diagrama actividad granjero recoge huevos Cuando la gallina ya ha puesto 4 huevos el granjero acude a recogerlos. Para ello, el juego se bloquea de nuevo y el granjero se dirige al ponedero. Tras guardar los huevos en la cesta, se traslada al ponedero donde deja los huevos. Nuevamente, si ya se han recogido todos los alimentos el granjero se pone a hacer la tarta. Por el contrario, si todavía queda algún ingrediente por recolectar vuelve al centro de la escena para solicitarlos. Finalmente, el juego se desbloquea de nuevo para seguir interactuando con él. ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 120 Diagrama actividad ejecutar acción recoger leche (Fig. 10.): Para obtener la leche, el único animal que puede conseguirla es la vaca, de acuerdo a los siguientes pasos. Fig. 10. Diagrama actividad acción recoger leche Después de seleccionar la vaca, se desplaza al cubo de leche pulsando en este objeto. Si se pulsa de nuevo en el cubo, se ejecuta la acción de ordeñar la vaca. Con la primera ejecución, el cubo queda medio lleno, mientras que con la segunda ejecución de la acción el cubo se llena. Es en este momento cuando el granjero puede recoger la leche. ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 121 Diagrama actividad granjero recoge leche (Fig. 11.) Fig. 11. Diagrama actividad granjero recoge leche Tras ordeñar la vaca hasta llenar el cubo, el granjero se levanta de su taburete y guarda la leche, para después llevarla al granero. Como cuando el granjero recoge las fresas o huevos, si es el último alimento necesario ya puede hacer la tarta. Si quedan más por obtener, el granjero se dirige al centro de la escena para solicitar los ingredientes restantes. ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 128 Activación de un animal <tiempo>tiempo<Activacion_animal>animal</Activacion_animal></tiempo> Instrucción dada por el granjero <tiempo>tiempo<Instruccion_granjero>fresas</Instruccion_granjero></tiempo> <tiempo>tiempo<Instruccion_granjero>huevos</Instruccion_granjero></tiempo> <tiempo>tiempo<Instruccion_granjero>leche</Instruccion_granjero></tiempo> Tareas completadas: granjero recoge fresas, huevos o leche <tiempo>tiempo<Granjero_recoge_fresa1>animal</Granjero_recoge_fresa1></tiempo> <tiempo>tiempo<Granjero_recoge_fresa2>animal</Granjero_recoge_fresa2></tiempo> <tiempo>tiempo<Granjero_recoge_fresa3>animal</Granjero_recoge_fresa3></tiempo> <tiempo>tiempo<Granjero_recoge_fresa4>animal</Granjero_recoge_fresa4></tiempo> <tiempo>tiempo<Huevo_puesto></Huevo_puesto></tiempo> <tiempo>tiempo<Leche_puesta></Leche_puesta></tiempo> Acciones acertadas: cuando se ejecuta una acción correctamente (gallina pone huevo, vaca pone leche en cubo, cualquier animal agita fresal o la oveja se esquila) <tiempo>tiempo<Fresal_agitado1>animal</Fresal_agitado1></tiempo> <tiempo>tiempo<Fresal_agitado2>animal</Fresal_agitado2></tiempo> <tiempo>tiempo<Fresal_agitado3>animal</Fresal_agitado3></tiempo> <tiempo>tiempo<Fresal_agitado4>animal</Fresal_agitado4></tiempo> <tiempo>tiempo<Huevo_puesto></Huevo_puesto></tiempo> <tiempo>tiempo<Leche_puesta></Leche_puesta></tiempo> <tiempo>tiempo<Esquilando></Esquilando></tiempo> Desplazamientos: cuando un animal se dirige a un objeto <tiempo>tiempo<desplazamiento>animal<destino>destino</destino></desplazamiento></tiempo> Errores de pulsación: dentro de este evento se diferencian 3 tipos de errores de pulsación. • Cuando se pulsa en cualquier objeto sin haber ningún animal activo. • Cuando hay animal activo y se pulsa en un objeto distinto de fresal, cubo, ponedero o silla. • Cuando se pulsa en un animal que ya está activo (excepto cuando la oveja está en la silla, ya que se ejecuta la acción de cortar lana). <tiempo>tiempo<click_erroneo><objeto>objeto</objeto> </click_erroneo></tiempo> Pulsaciones durante bloqueo: Pulsaciones cuando un animal se está desplazando o cuando el granjero recoge algún ingrediente <tiempo>tiempo<click_erroneo>bloqueo<objeto>objeto</objeto> </click_erroneo></tiempo> Acciones equivocadas: cuando se intenta ejecutar una acción con un animal en un objeto incorrecto (poner huevo con cerdo, poner leche con gallina, etc) <tiempo>tiempo<click_erroneo>acción<animal>animal</animal><objeto>objeto</objeto> </click_erroneo></tiempo> Acciones completadas: cuando se intenta ejecutar una acción con un animal en un objeto para obtener un ingrediente que ya se ha recogido <tiempo>tiempo<click_erroneo>accionCompletada<tarea>huevos</tarea></click_erroneo></tiempo> ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 129 Programa estadísticas de LOGs El programa de estadísticas se crea con el fin de analizar y reunir datos significativos de los LOGs registrados en las sesiones. Para desarrollarlo se utiliza el software Visual Studio 2005 con el lenguaje de programación C#. Este programa analiza determinados eventos guardados en los LOGs con el objetivo final de poder comparar los resultados conseguidos con los obtenidos en la versión tangible del juego de la granja. Por lo tanto, de forma equivalente al programa de estadísticas desarrollado para la versión tangible, se obtienen los siguientes resultados estadísticos: • Porcentaje de veces que se completa cada una de las posibles tareas sobre el número total de sesiones. • Porcentaje de veces que se completan las tareas en el orden indicado por el granjero sobre el número total de tareas completadas. Además, en la versión tangible se mide el número de movimientos físicos en el tiempo, además del número de juguetes manejados simultáneamente. Esto no se puede trasladar a la versión táctil, ya que es un juego donde solamente se puede hacer una pulsación en cada instante. Por lo tanto, se debe relacionar de una manera similar y la alternativa que se lleva a cabo es medir el número de pulsaciones a lo largo del tiempo que dura una sesión. Este tiempo se divide en una serie de intervalos de igual duración y se registran el número y tipo de pulsaciones que se realizan a lo largo de cada intervalo. Los diferentes tipos de pulsaciones que se registran son los siguientes: • Pulsaciones correctas: o Activaciones o Desplazamientos o Acciones ejecutadas correctamente • Pulsaciones incorrectas: o Errores de pulsación o Errores de bloqueo o Intento de ejecución de acciones en objetos incorrectos o Intento de ejecución de acciones ya completadas En cuanto al funcionamiento del programa de estadísticas, tras ejecutarlo, busca los ficheros xml (sesiones) almacenados en un determinado directorio y, dependiendo de los eventos registrados en ellos, se devuelven unos determinados valores para cada uno de los parámetros que se miden, que son los siguientes: • Número de sesiones llevadas a cabo • Porcentaje de veces que se elige cada uno de los 3 posibles niveles de dificultad. • Número y porcentaje de activaciones de cada animal. • Porcentaje de veces que se completa cada una de las 4 tareas posibles (recoger fresas, huevos, leche y esquilar la oveja) • Promedio de fresas recogidas por cada uno de los animales, ya que es la única tarea que puede realizar cualquiera de los 4 animales. • Porcentaje de veces que se completan las tareas en el orden indicado por el granjero, esto es, primero recoger las fresas, después coger los huevos y, finalmente, obtener la leche. La tarea correspondiente a esquilar la oveja no es necesaria para completar el juego, por lo que no se tiene en cuenta. ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 130 • Concentración de pulsaciones en el tiempo. Se divide el tiempo de cada sesión en un número de partes iguales para observar la distribución de las pulsaciones en el tiempo. (estas pulsaciones a su vez se dividen en diferentes tipos) El programa se compone de una clase llamada estadisticas.cs (Fig. 14.) la cual tiene una serie de atributos, propiedades y operaciones, de las cuales se sirve el programa principal. Fig. 14. Clase estadísticas.cs ANEXO A: Análisis, diseño e implementación del juego de la granja (versión táctil) 131 El gráfico anterior muestra la clase estadísticas.cs. Principalmente, consta de una serie de atributos y las propiedades que permiten el acceso a dichas variables desde el programa principal. Los atributos se corresponden con todas las estadísticas globales recogidas de todas las sesiones del juego almacenadas, por ejemplo, número total de sesiones en las que se ha elegido el nivel de dificultad fácil (NivelDificultadFacil), número total de activaciones de la gallina (activacionesGallina), etc. Además, se encuentra la operación cálculo, que añade los valores actualizados de las variables en el fichero de estadísticas que se crea (fichero de salida). Con estos valores, también se calculan resultados referentes a promedios o porcentajes. En el programa principal (main), además de leer cada uno de los ficheros xml almacenados en el directorio para actualizar los valores correspondientes de las variables de la clase estadísticas, se añaden al fichero de salida las pulsaciones de ratón que se van produciendo a lo largo de cada uno de los intervalos en que se dividen cada una de las sesiones. El programa principal contiene dos bucles principales. En el primero, para cada sesión se determinan las tareas que se han completado y si se han ejecutado en orden o no. Además, también se calcula el tiempo inicial y final de cada sesión para dividir este espacio de tiempo en un mismo número de intervalos de la misma duración. En el segundo bucle, se añaden los diferentes tipos de pulsaciones que se han producido a lo largo de cada sesión al intervalo de tiempo que le corresponde. 132 ANEXO B Cuestionario SEEM (Structured Expert Evaluation Method) En este capítulo se muestra el cuestionario SEEM utilizado para valorar, junto con los expertos, la usabilidad, la UX y la accesibilidad de las dos versiones del juego de la granja. Hay un cuestionario para cada interfaz, cada uno de los cuales está dividido en 5 bloques. El primer bloque está relacionado con los objetivos del juego, si se comprenden y son divertidos. El segundo bloque determina si los niños entienden las instrucciones dadas por el granjero. El tercero valora el manejo de las dos interfaces por parte de los niños, es decir, si entienden cómo interactuar y si lo hacen con facilidad. El cuarto bloque evalúa la dificultad que tienen los niños para progresar en cada tarea (si tienen o no facilidad para completarlas), mientras que el último trata sobre la comprensión de los elementos de retroalimentación dados por el juego. B.1- Cuestionario SEEM (versión tangible) 1. Objetivos a. ¿El niño reconoce y entiende el objetivo final del juego? b. ¿El objetivo final del juego es divertido y entretenido? c. ¿El niño distingue las tareas que tiene que realizar para conseguir el objetivo final? d. ¿El niño reconoce la tarea de recoger fresas? e. ¿El niño reconoce las fresas que quedan por recoger? f. ¿Es divertida la tarea de recoger fresas? g. ¿El niño reconoce la tarea de recoger huevos? h. ¿El niño reconoce los huevos que quedan por recoger? i. ¿Es divertida la tarea de recoger huevos? j. ¿El niño reconoce la tarea de recoger leche? k. ¿El niño reconoce la leche que queda por poner? l. ¿Es divertida la tarea de recoger leche? m. ¿El niño reconoce la tarea de cortar lana a la oveja? n. ¿Es divertida la tarea de cortar lana a la oveja? 2. Instrucciones a. ¿El niño entiende la instrucción del granjero para recoger las fresas en el nivel fácil? b. ¿El niño entiende la instrucción del granjero para obtener los huevos en el nivel fácil? ANEXO B: Cuestionario SEEM (Structured Expert Evaluation Method) 133 c. ¿El niño entiende la instrucción del granjero para obtener la leche en el nivel fácil? 3. Interfaz de entrada a. ¿El niño entiende la forma de utilizar los animales (juguetes) para desplazarlos? b. ¿El niño desplaza con facilidad los animales? c. ¿El niño entiende la forma de utilizar los animales para agitar un fresal? d. ¿El niño ejecuta con facilidad la acción de agitar un fresal? e. ¿El niño entiende la forma de utilizar la gallina para poner un huevo? f. ¿El niño ejecuta con facilidad la acción de poner un huevo? g. ¿El niño entiende la forma de utilizar la vaca para ordeñarla? h. ¿El niño ejecuta con facilidad la acción de ordeñar la vaca? i. ¿El niño entiende la forma de utilizar la oveja para cortarle la lana? j. ¿El niño ejecuta con facilidad la acción de cortar la lana? 4. Progreso a. ¿El objetivo final es difícil de completar? b. ¿La tarea de recoger fresas es difícil de completar? c. ¿La tarea de recoger huevos es difícil de completar? d. ¿La tarea de recoger leche es difícil de completar? e. ¿La tarea de cortar lana a la oveja es difícil de completar? 5. Retroalimentación a. ¿El niño reconoce cuando se ha completado el juego? b. ¿El niño reconoce la caja con el objeto al que tiene que ir para recoger un ingrediente? c. ¿El niño reconoce cuando se está recogiendo una fresa? d. ¿El niño reconoce las cajas con el número de fresas recogidas? e. ¿El niño reconoce cuando se ha completado la tarea de recoger fresas? f. ¿El niño reconoce cuando se pone un huevo? g. ¿El niño reconoce las cajas el número de huevos recogidos? h. ¿El niño reconoce cuando se ha completado la tarea de obtener huevos? i. ¿El niño reconoce cuando se ordeña la vaca? j. ¿El niño reconoce las cajas con la cantidad leche puesta? k. ¿El niño reconoce cuando se ha completado la tarea de obtener la leche? l. ¿El niño reconoce cuando se corta la lana a la oveja? m. ¿El niño reconoce cuando un animal se desplaza? n. ¿El niño reconoce cuando se ejecuta una acción correcta? o. ¿El niño reconoce cuando intenta ejecutar una acción incorrecta? ANEXO B: Cuestionario SEEM (Structured Expert Evaluation Method) 134 B.2- Cuestionario SEEM (versión táctil) 1. Objetivos a. ¿El niño reconoce y entiende el objetivo final del juego? b. ¿El objetivo final del juego es divertido y entretenido? c. ¿El niño distingue las tareas que tiene que realizar para conseguir el objetivo final? d. ¿El niño reconoce la tarea de recoger fresas? e. ¿El niño reconoce las fresas que quedan por recoger? f. ¿Es divertida la tarea de recoger fresas? g. ¿El niño reconoce la tarea de recoger huevos? h. ¿El niño reconoce los huevos que quedan por recoger? i. ¿Es divertida la tarea de recoger huevos? j. ¿El niño reconoce la tarea de recoger leche? k. ¿El niño reconoce la leche que queda por poner? l. ¿Es divertida la tarea de recoger leche? m. ¿El niño reconoce la tarea de cortar lana a la oveja? n. ¿Es divertida la tarea de cortar lana a la oveja? 2. Instrucciones a. ¿El niño entiende la instrucción del granjero para recoger las fresas en el nivel fácil? b. ¿El niño entiende la instrucción del granjero para obtener los huevos en el nivel fácil? c. ¿El niño entiende la instrucción del granjero para obtener la leche en el nivel fácil? 3. Interfaz de entrada a. ¿El niño entiende dónde hay que pulsar para activar un animal? b. ¿El niño entiende dónde hay que pulsar para desplazar los animales? c. ¿El niño desplaza con facilidad los animales? d. ¿El niño entiende dónde hay que pulsar para agitar un fresal con los animales? e. ¿El niño ejecuta con facilidad la acción de agitar un fresal? f. ¿El niño entiende dónde hay que pulsar para poner un huevo con la gallina? g. ¿El niño ejecuta con facilidad la acción de poner un huevo? h. ¿El niño entiende dónde hay que pulsar para ordeñar la vaca? i. ¿El niño ejecuta con facilidad la acción de ordeñar la vaca? j. ¿El niño entiende dónde hay que pulsar para cortar la lana a la oveja? k. ¿El niño ejecuta con facilidad la acción de cortar la lana? ANEXO B: Cuestionario SEEM (Structured Expert Evaluation Method) 135 4. Progreso a. ¿El objetivo final es difícil de completar? b. ¿La tarea de recoger fresas es difícil de completar? c. ¿La tarea de recoger huevos es difícil de completar? d. ¿La tarea de recoger leche es difícil de completar? e. ¿La tarea de cortar lana a la oveja es difícil de completar? 5. Retroalimentación a. ¿El niño reconoce cuando se ha completado el juego? b. ¿El niño reconoce la caja con el objeto al que tiene que ir para recoger un ingrediente? c. ¿El niño reconoce cuando se está recogiendo una fresa? d. ¿El niño reconoce las cajas con el número de fresas recogidas? e. ¿El niño reconoce cuando se ha completado la tarea de recoger fresas? f. ¿El niño reconoce cuando se pone un huevo? g. ¿El niño reconoce las cajas el número de huevos recogidos? h. ¿El niño reconoce cuando se ha completado la tarea de obtener huevos? i. ¿El niño reconoce cuando se ordeña la vaca? j. ¿El niño reconoce las cajas con la cantidad leche puesta? k. ¿El niño reconoce cuando se ha completado la tarea de obtener la leche? l. ¿El niño reconoce cuando se corta la lana a la oveja? m. ¿El niño reconoce cuando se activa un animal? n. ¿El niño reconoce cuando un animal se desplaza? o. ¿El niño reconoce cuando se ejecuta una acción correcta? p. ¿El niño reconoce cuando hace una pulsación en estado de bloqueo? q. ¿El niño reconoce cuando hace una pulsación incorrecta? r. ¿El niño reconoce cuando intenta ejecutar una acción incorrecta? 137 ANEXO C Artículos publicados durante el desarrollo de la Tésis En este capítulo se muestran los artículos publicados en base a los resultados preliminares obtenidos en el estudio comparativo de las dos formas de interacción natural de un mismo juego de ordenador. C.1- Art en el congreso Interacción 2011 A continuación, se expone el artículo realizado para el Congreso nacional de interacción 2011. Autores: César Ortea Suárez, Javier Marco, Sandra Baldassarri, Eva Cerezo Tipo: Full Paper. Título: Comparativa de dos estilos de interacción con niños de educación especial Congreso: XII Congreso de Interacción Persona-Ordenador; Lisboa, Portugal; 2-5 Septiembre 2011 Web: http://interaccion2011.aipo.es/index.html Comparativa de dos estilos de interacción con niños de educación especial 144 Después de que cada pareja experimente con las dos interfaces del juego de la granja, los profesores preguntan a cada miembro de la pareja cuál de las dos versiones les ha gustado más y con cuál querrían volver a jugar (entrevista). Finalmente, los profesores rellenan un cuestionario SEEM, para ambas modalidades de interacción, para obtener su opinión en aquellos puntos donde los niños tienen problemas en la interacción con el juego. Mediante el cuestionario SEEM se puede obtener información sobre la adecuación del objetivo final y los subobjetivos del juego, y si los niños entienden la retroalimentación dada o la forma de interactuar con ambas versiones y, finalmente, si la experiencia es divertida o no. 4.2 Primeros resultados A continuación, se presenta una primera visión de los resultados obtenidos de nuestras observaciones y cuestionarios, quedando aun pendiente realizar un exhaustivo análisis con vídeos y LOGs. Sin embargo, tras un primer análisis, se han obtenido resultados significativos acerca de las diferencias en la interacción y experiencia de los niños con ambas interfaces. En primer lugar, los niños interactúan de acuerdo a las instrucciones que reciben. Esto se observa en los datos obtenidos en el LOG: las tareas se ejecutaron siempre en el orden indicado, los niños no exploran el resto de actividades, y se centran en realizar la tarea que les está solicitando el granjero. Los niños tienen tendencia a olvidar pronto la tarea que tienen que ejecutar. En la versión TUI no es un problema, porque el granjero repite la instrucción continuamente. Sin embargo, en la versión táctil, aunque son instrucciones más atómicas que en la TUI, al no repetirse más, si el niño no estaba atento en el momento, pierde la pista de la tarea que debe realizar. En los vídeos se observan frecuentes paradas en las que no saben cómo seguir interactuando. Esta situación es más evidente en la primera tarea (recoger fresas), ya que a los niños les cuesta comenzar a prestar atención al juego y, por lo tanto, no suelen darse cuenta de que el granjero ha dado la instrucción para recoger las fresas. En la versión TUI, el principal problema que se observa es que los niños no saben cuántas unidades de fresas, huevos o cantidad de leche se necesitan. Al conseguir poner su primer huevo o leche, perciben retroalimentación visual positiva, pero sin embargo el granjero sigue insistiendo en la tarea, con lo que muestran confusión ante dos mensajes aparentemente contradictorios (Fig. 3), por lo que se quedan parados y no hacen caso a las repeticiones del granjero. En cambio, en la versión táctil se les proporciona retroalimentación visual en el área de iconos inferior (por ejemplo en la tarea huevos aparecen cuatro huevos, y se van tachando conforme el niño pone huevos). Sin embargo esta información visual también confunde a los niños. Por ejemplo, para el niño de la primera pareja, tanto los iconos con las unidades recogidas, como el icono con el objeto al que hay que desplazarse, le sirven de ayuda para completar las tareas. Por el contrario, otros niños no perciben los iconos como un elemento de ayuda, sino que intentan interactuar pulsándolos (Fig. 4 derecha). Comparativa de dos estilos de interacción con niños de educación especial 145 Fig. 3. En TUI, los niños no saben cuántos huevos tienen que poner para completar la tarea. En la versión táctil, un problema de usabilidad que se advierte en el niño de la primera pareja es que tiende a pulsar en el animal para ejecutar las acciones (en vez de pulsar en el objeto), cosa que el sistema no contempla (Fig. 4 izquierda). Además, un problema generalizado es la dificultad para completar la tarea de recoger fresas, ya que los niños no perciben claramente las fresas situadas en los fresales. Fig. 4. En táctil, el niño pulsa la gallina para poner un huevo (izquierda) y la niña intenta interactuar con los iconos pulsándolos (derecha). Respecto a la preferencia de una u otra interfaz expresada en la entrevista, de los 8 niños 5 prefieren la versión tangible y solamente 1 la versión táctil (2 niños no expresaron preferencia). De esta forma, los niños muestran predilección por la versión tangible del juego de la granja. Del cuestionario SEEM, se contempla principalmente la necesidad de proporcionar más retroalimentación, tanto visual como auditiva. Por ejemplo, en la versión TUI no hay animaciones y sonidos que premien al niño cuando se consiguen todas las tareas (en la versión táctil se muestra al comienzo del juego la tarta y, finalmente, se muestra una animación con la tarta). El cuestionario también refleja la necesidad de que las retroalimentaciones (tanto visuales como auditivas) sean más divertidas para los niños. Además, es importante la manera y forma en que se dan las instrucciones. Por ejemplo, cuando el granjero dice que necesita más leche, éste enfatiza la palabra “más”, por lo que los niños entienden muy bien esta instrucción (comprenden perfectamente que se necesita más cantidad). De estos primeros resultados de la comparativa, se ha elaborado una lista de mejoras que se tendrán en cuenta en una siguiente iteración del diseño del juego de la granja. La Tabla 1 resume esta lista de mejoras a realizar, y a través de qué método de evaluación se ha obtenido dicha información. Comparativa de dos estilos de interacción con niños de educación especial 146 Tabla 1. Mejoras para una futura iteración extraídas con los diferentes métodos de evaluación. Versión Mejoras retroalimentación Método Tangible Informar de cuantos objetos faltan (fresas, huevos, leche) para completar cada tarea. Test usabilidad Dejar claro al principio el objetivo del juego (hacer una tarta) y enseñar su consecución mediante animaciones y sonido de forma divertida SEEM Mejoras el sistema de detección de gestos (agitar y saltar) y mejorar la retroalimentación para guiar al niño en la realización de estos gestos Video-análisis Táctil La retroalimentación visual debe hacerse sobre los propios objetos del escenario 3D, mediante animaciones (por ejemplo, que el objeto destino parpadee o cambie de color para llamar la atención) Video-análisis Las instrucciones deben ser repetidas si el niño no está haciendo la acción correcta Test usabilidad El granjero debe dar instrucciones más simples y deben tener un componente más divertido SEEM La realización de una acción (coger fresa, poner huevo, o dar leche), debe darse por correcta tanto si se pulsa en el objeto como si se pulsa con el animal Test de usabilidad y video-análisis 5 Conclusiones En este estudio se ha llevado a cabo una comparativa de dos modalidades de interacción de un mismo juego (para pizarra digital con interacción táctil, y para tabletop con interacción tangible), con el objetivo principal de recoger información útil para diseñar mejores juegos dirigidos a niños con discapacidades cognitivas. Principalmente, se concluye la importancia de recibir retroalimentación en todo momento, tanto auditiva como visual, para que los niños puedan comprender la tarea y su progresión en la misma, lo que ha llevado a plantear una serie de mejoras en el juego. Dichas mejoras provienen de las primeras fases de análisis de los datos recogidos en una sesión de testeo con alumnos de un centro de educación especial. Como trabajo futuro, se debe realizar un análisis más exhaustivo de los vídeos y LOGs, con el objetivo de explorar mucho más en detalle la interacción con ambos interfaces. Por otra parte, también sería interesante realizar el experimento con niños sin discapacidad para comparar sus resultados con los de este estudio y así advertir posibles variables interferentes. Agradecimientos. Este trabajo ha sido financiado parcialmente por la Universidad de Zaragoza, a través del proyecto “AVIM-Agentes Virtuales Inteligentes y Multimodales” y por el Gobierno de Aragón a través de los proyectos de cooperación entre departamentos de universidad y de institutos de educación secundaria. Los autores agradecen la colaboración en este trabajo del Colegio Público de Educación Especial Alborada. Comparativa de dos estilos de interacción con niños de educación especial 147 Referencias 1. Baldassarri, S., Cerezo, E., Blasco, G.: Juegos educativos configurables para Educación Especial. En: XI Congreso Internacional de Interacción Persona Ordenador pp. 99--108 (2010) 2. Xu, D.: Design and Evaluation of Tangible Interfaces for Primary School Children. In: IDC '07 Proceedings of the 6th international conference on Interaction design and children pp. 209--212 (2007) 3. Fails, J.A,, Druin, A., Guha, M.L., Chipman, G., Simms, S. and Churaman, W.: Child’s Play: comparison of Desktop and Physical Interactive Environments. In: proceedings of Interaction Design and Children (IDC ’05), pp. 48--55 (2005) 4. O'Malley, C., Fraser, D.S.: Literature Review in Learning with Tangible Technologies. NESTA Futurelab, 12 (2004) 5. Pagulayan, J.R., Keeker, K., Wixon, D., Romero, R.L.: User-centered design in games. In: Jacko J et al (eds) Handbook of human computer interaction. Lawrence Erlbaum Associates Inc., London, pp. 883--906 (2003) 6. Xu, D., Read, J.C., Sim, G., McManus, B., Qualter, P.: Children and ‘Smart’ Technologies: Can Children’s Experiences be Interpreted and Coded?. In: BCS-HCI '09 Proceedings of the 23rd British HCI Group Annual Conference on People and Computers: Celebrating People and Technology pp. 224--231(2009) 7. Ergonomic requirements for office work with visual display terminals (VDTs) Part 11. Guidance on usability (Rep. No. ISO No. 9241–11). International Organization for Standardization, Switzerland (1998) 8. Baauw, E., Markopoulos, P.: A comparison of think-aloud and post-task interview for usability testing with children. In: IDC '04 Proceedings of the 2004 conference on Interaction design and children: building a community pp, 115--116 (2004) 9. Vanden Abeele, V., Zaman, B., and Vanden Abeele, M.: The Unlikeability of a Cuddly Toy Interface: An Experimental Study of Preschoolers' Likeability and Usability of a 3D Game Played with a Cuddly Toy Versus a Keyboard. In: Springer Berlin Heidelberg, pp. 118--131 (2008) 10.Vanden Abeele, V., Zaman, B.: Laddering the User Experience!. In: Interact 09 edition:12th location:Uppsala, Sweden (2009) 11. Baauw, E., Bekker, M.M., Markopoulos, P.: Assessing the Applicability of the Structured Expert Evaluation Method (SEEM) for a wider Age Group. In: IDC '06 Proceedings of the 2006 conference on Interaction design and children pp. 73--80 (2006) 12.Bekker, M.M., Baauw, E., Barendregt, W.: A comparison of two analytical evaluation methods for educational computer games for young children. Cognition, Technology and Work 10(2) pp. 129--140 (2008) 13. Van Kesteren, I., Bekker, M.M., Vermeeren, A., Lloyd, P.: Assessing Usability Evaluation Methods On Their Effectiveness To Elicit Verbal Comments From Children Subjects. In: Proceedings of the 2003 conference on Interaction design and children pp. 41-- 49. (2003) 14.Barendregt, W., Bekker, M.M., Baauw, E.: Development and evaluation of the problem identification picture cards method. Cogn. Technol. Work, 10(2) pp. 95--105 (2008) 15. Li, Y., Fontijn, W., Markopoulos, P.: Tangible tabletop game supporting therapy of children with Cerebral Palsy. Springer-Verlag Berlin, Heidelberg pp. 182--193 (2008) 16. Piper, A.M., O'Brien, E., Morris, M.R., Winograd, T.: SIDES: a cooperative tabletop computer game for social skills development. In: Proceedings of the 2006 20th anniversary conference on Computer supported cooperative work (CSCW '06). ACM, New York, NY, USA, 1-10. (2006) 17.Marco, J., Baldassarri, S., Cerezo, E.: Bridging the Gap between Children and Tabletop Designers. In: IDC '10 Proceedings of the 9th International Conference on Interaction Design and Children pp. 98--107 (2010) 148 C.2- Art en el congreso Interact 2011 Por otra parte, también se realiza un póster interactivo para el Congreso internacional Interact 2011. Autores: César Ortea Suárez, Javier Marco, Sandra Baldassarri, Eva Cerezo Tipo: Interactive poster (Short Paper and Poster). Título: Children with special needs: Comparing tactile and tangible interaction Congreso: 13th IFIP Conference on Human-Computer Interaction; Lisbon, Portugal; September 5-9 2011 Web: http://interact2011.org/ 149 Children with special needs: Comparing tactile and tangible interaction César Ortea Suárez, Javier Marco, Sandra Baldassarri, Eva Cerezo Computer Science Department. Instituto de Investigación en Ingeniería de Aragón. Universidad de Zaragoza {622384, javi.marco, sandra, ecerezo }@unizar.es Abstract. In this paper a comparison of the same computer game with two interaction styles is achieved: through tactile interaction in a digital board or using tangible interaction on a tabletop. Tests were carried out with children with special needs, who have different degrees of disability. The aim of the paper is to compare usability and accessibility of each interface, as well as the experiences of children playing with them. Preliminary results indicate the necessity to provide feedback continuously, both hearing and visual, in order to facilitate the understanding of each task and its progression. In addition, the outcome obtained from a questionnaire show a significant preference for the tangible version of the game. Keywords: Tactile, tangible, digital board, tabletop, special education, game. 1 Introduction Computer games are very valuable education-learning tools for children, because they allow users to learn through active participation, to promote problem solving and to emphasize exploration and self-discovery. Also, games are an entertainment for children without perceiving that, at the same time, they are learning. In recent years, children have gained role as users of interactive technologies. Consequently, there has been a growing interest in adapting and validating different evaluation methods to the cognitive and social development of children [1]. Also, depending on the children’s disability, it is necessary to adapt the system’s interaction style to their capabilities. Graphical User interfaces (GUIs) based on mouse and keyboard interaction are the most used today, although more natural and physical interaction models are becoming increasingly popular [2]. Natural interaction methods, including tactile interaction and tangible user interfaces (TUIs), have been explored as a way of bringing children to the digital contents. In particular, TUIs combine physical and virtual objects in interactive and physical environments [3] and, therefore, they are more exploratory, collaborative and expressive [4]. In this paper, we carry out a comparison of the same game with two kinds of natural interaction: tactile interaction in digital board and tangible interaction in horizontal tabletop. Children who participate in the evaluation tests belong to special Children with special needs: Comparing tactile and tangible interaction 150 education school in order to learn how to fit these two interaction styles to the needs of children with cognitive problems [5] [6] [7]. Consequently, the evaluation methods have to be chosen and adapted according to their capacities, with the purpose of obtaining information about usability, accessibility and user experience (UX) of both interfaces. 2 The Farm game with different interaction styles We compare the same video game for children in two different devices: horizontal tabletop based on tangible interaction (Fig. 1 left) and a digital board based on tactile interaction (Fig. 1 right), as both enable small groups of children playing together. Fig. 2. Tangible (left) and tactile (right) interfaces The tangible interface is composed of a horizontal tabletop (NIKVision) specially designed for children [8]. The interaction with the games is through physical manipulation of toys on the table. The device has an active output image on the tabletop and on a monitor next to it. On the other hand, the tactile interaction on the digital board is achieved by pressing on an image which is projected onto a vertical screen (TouchIT model). Also, the board is situated near to the ground in order to children can touch easily everywhere. For both interactive devices, it has been designed the same game: a Farm game, which consists of a final goal, several sub-goals, characters controlled by the player, an autonomous characters and interactive objects. The ultimate goal of the game is to help the farmer to make a cake for his son’s birthday. To achieve this goal, children must complete three sub-goals: get three strawberries, four eggs and a bucket of milk. The players can control several characters: a hen, a cow, a sheep and a pig. Strawberries can be picked up with any animal, while eggs and milk can only be obtained with the hen and cow, respectively. The farmer is an autonomous character, which gives hearing feedback (instructions about who, where and how pick up the ingredients). In addition, there is different visual feedback in both versions: Children with special needs: Comparing tactile and tangible interaction 151 • Tabletop: The projection on the table indicates where to place the animals, where strawberries are and how many eggs or milk have been achieved. • Digital board: At the top of the screen, a box indicates the object where the animal must be placed. At the bottom, several boxes indicate the amount of strawberries, eggs or milk already picked up and the amount that is still needed. Finally, the interactive objects are: plants (with or without strawberries), the nest and the bucket. Every animal can be moved or placed on these virtual objects and it can perform an action on them, giving back feedback about task’s progress (farmer’s instructions). The sequence of actions to perform in order to complete a task varies in each interaction style: • Tangible: first, a toy animal is placed on a virtual object on the table surface and then, the toy can be shaken in the plants to get a strawberry, or jumps can be done with the hen and cow toys to lay an egg in the nest or to give milk in the bucket respectively. • Tactile: it requires a sequence of touches on the board to complete an action: first, an animal is touched to activate it, then an object is touched and the animal moves to it and, finally, the object is touched again to trigger an action. 3 Comparative test An evaluation session has been carried out involving special education children who have different degrees of cognitive and/or physical disabilities. In particular, eight children with ages between 6 and 11 years, participate in couples. As has been said before, the evaluation methods used are intended to get usability, accessibility and UX problems in both interaction styles. Specifically, the evaluation methods selected for these test sessions, are the following: usability test (evaluators write observations relating to children’s interaction with both interfaces), video analysis, LOG (automatic record of events and actions that happen in the game), likeability questionnaire (to obtain the preference of children) and SEEM questionnaire (Structured Expert Evaluation Method) in order to capture experts’ view of the interaction problems of the children. We present the preliminary outcomes and results from our observations and questionnaires, but a more thorough analysis from the videos and LOGs must be still carried out. The observation reveals that children interact following the instructions in the same order they receive them (data obtained from LOGs). The results of the questionnaires mainly address to the need to provide more feedback, both visual and hearing. In particular, in the tangible version of the game, it is necessary to provide back visual or hearing feedback to show children how many objects are still needed. Also the major goal of the game (to make a cake) must be clearly represented so that children can understand the aim. The tactile version of the game, on the other hand, has to provide more visual feedback, especially on those Children with special needs: Comparing tactile and tangible interaction 152 positions where children have to trigger an action. In addition, farmer’s instructions must be given continuously and must be as simple as possible. A widespread problem is the difficulty for children to complete the task of picking up strawberries, because they don’t perceive clearly where the strawberries are placed. Therefore, it is necessary to give back visual feedback in these plants. Finally, regarding to the answers given in the likeability questionnaire, 5 out of 8 children prefer tangible version and only one person prefer the tactile version (2 children didn’t say anything). In summary, this study shows us the differences between both versions and the importance of giving back visual and hearing feedback so that children can understand the game’s progress. In tactile version, hearing feedback must be simplified and visual feedback must be displayed in the interactive object (not in other place), while in tangible version feedback should be given to show how many actions are in the task. Regarding to the answers of the likeability questionnaire, 5 out of 8 children prefer tangible version and only one person prefer tactile version (2 children didn’t say anything). Acknowledgements. This work has been partially financed by the University of Zaragoza, through the Project called “AVIM-Agentes Virtuales Inteligentes y Multimodales” and the Government of Aragon through Cooperation projects between University Departments and Secondary Schools.The authors thank the collaboration of CPEE Alborada School. References 1 .Baauw, E., Markopoulos, P.: A comparison of think-aloud and post-task interview for usability testing with children. In: IDC '04 Proceedings of the 2004 conference on Interaction design and children: building a community pp, 115--116 (2004) 2. Xu, D.: Design and Evaluation of Tangible Interfaces for Primary School Children. In: IDC '07 Proceedings of the 6th international conference on Interaction design and children pp. 209--212 (2007) 3. Fails, J.A,, Druin, A., Guha, M.L., Chipman, G., Simms, S. and Churaman, W.: Child’s Play: comparison of Desktop and Physical Interactive Environments. In: proceedings of Interaction Design and Children (IDC ’05), pp. 48--55 (2005) 4. O'Malley, C., Fraser, D.S.: Literature Review in Learning with Tangible Technologies. NESTA Futurelab, 12 (2004) 5. Li, Y., Fontijn, W., Markopoulos, P.: Tangible tabletop game supporting therapy of children with Cerebral Palsy. Springer-Verlag Berlin, Heidelberg pp. 182--193 (2008) 6. Piper, A.M., O'Brien, E., Morris, M.R., Winograd, T.: SIDES: a cooperative tabletop computer game for social skills development. In: Proceedings of the 2006 20th anniversary conference on Computer supported cooperative work (CSCW '06). ACM, New York, NY, USA, 1-10. (2006) 7. Baldassarri, S., Cerezo, E., Blasco, G.: Juegos educativos configurables para Educación Especial. En: XI Congreso Internacional de Interacción Persona Ordenador pp. 99--108 (2010) (in Spanish) 8. Marco, J., Baldassarri, S., Cerezo, E.: Bridging the Gap between Children and Tabletop Designers. In: IDC '10 Proceedings of the 9th International Conference on Interaction Design and Children pp. 98--107 (2010) 153 BIBLIOGRAFÍA [Acu97] Acuff, D.: What Kids Buy and Why, The Psychology of Marketing to Kids. In: Free Press, New York, NY Chapter 5 (1997) [AZ09] Abeele, V.V., Zaman, B.: Laddering the User Experience! In: Interact 09 edition:12th ,Uppsala, Sweden (2009) [AZA08] Abeele, V.V., Zaman, B., Abeele, M.V.: The Unlikeability of a Cuddly Toy Interface: An Experimental Study of Preschoolers' Likeability and Usability of a 3D Game Played with a Cuddly Toy Versus a Keyboard. In: Springer Berlin Heidelberg, pp. 118--131 (2008) [Bar06] Barendregt, W.: Evaluating fun and usability in computer games with children. Ph.D. Thesis, Eindhoven University of Technology University of Technology (2006) [BB00] Benford, S., Bederson, B.B.: Designing Storytelling Technologies to Encourage Collaboration Between Young Children. In: CHI Letters Vol. 2, issue 1, pp. 556- -562 (2000) [BB06] Barendregt, W., Bekker, M.M.: Developing a coding scheme for detecting usability and fun problems in computer games for young children. Behav Res Meth 38(3):382--389 (2006) [BBB05] Baauw, E., Bekker, M.M., Barendregt, W.: A structured expert evaluation method for the evaluation of children’s computer games. In: Proceedings of human-computer interaction INTERACT 2005, Rome, 12–16 September 2005, pp. 457--469 (2005) [BBB06] Barendregt, W., Bekker, M.M., Bouwhuis, D.G., Baauw, E.: Identifying usability and fun problems in a computer game during first use and after some practice. Int J Human Comput Stud 64:830--846 (2006) [BBB07] Barendregt, W., Bekker, M.M., Bouwhuis, D., and Baauw, E.: Predicting effectiveness of children participants in user testing based on personality characteristics. Behaviour & Information Technology (in press) (2007) [BBB08] Bekker, M.M., Baauw, E., Barendregt, W.: A comparison of two analytical evaluation methods for educational computer games for young children. In: Cognition, Technology and Work Volume 10 Issue 2, March 2008 pp. 129--140 (2008) [BBM06] Baauw, E., Bekker, M.M., Markopoulos, P.: Assessing the Applicability of the Structured Expert Evaluation Method (SEEM) for a wider Age Group. In: IDC '06 Proceedings of the 2006 conference on Interaction design and children pp. 73—80 (2006) [BBS03] Barendregt, W., Bekker, M.M., Speerstra, M.: Empirical evaluation of usability and fun in computer games for children. In: Proceedings of Human-Computer