Estado del arte del aprendizaje basado en juegos educativos digitales y diseño e implementación de métodos estadísticos de validación aplicados a GBL

Trabajo Fin de Grado Grado en Ingeniería de las Tecnologías de Telecomunicación Estado del arte del aprendizaje basado en juegos educativos digitales y diseño e implementación de métodos estadísticos de validación aplicados a GBL Autor: José Manuel Candilejo Egea Tutor: Francisco Javier Muñoz Calle Departamento de Ingeniería Telemática Escuela Técnica Superior de Ingeniería Universidad de Sevilla Sevilla, 2024 I II Trabajo Fin de Grado Grado en Ingeniería de las Tecnologías de Telecomunicación Estado del arte del aprendizaje basado en juegos educativos digitales y diseño e implementación de métodos estadísticos de validación aplicados a GBL Autor: José Manuel Candilejo Egea Tutor: Francisco Javier Muñoz Calle Profesor Colaborador Dpto. de Ingeniería Telemática Escuela Técnica Superior de Ingeniería Universidad de Sevilla Sevilla, 2024 III IV Agradecimientos Aprovecho para agradecer a mis padres por haberme acompañado durante estos 23 años en cada paso que he dado. A mis hermanos, que siempre estaban ahí cuando hizo falta. A mis amigos de toda la vida, y todos aquellos que he hecho durante la carrera, sin ellos no hubiera sido lo mismo. A todos los profesores que me han acompañado durante esta experiencia. Y, por último, a mi tutor Javier, por su infinita paciencia y disposición al avance del proyecto. Muchísimas gracias a todos. José Manuel Candilejo Egea V VI Resumen A los seres humanos nos gusta jugar por naturaleza. La gamificación es el uso de mecánicas de juegos en otros aspectos del día a día. Este campo, de reciente interés científico y con infinidad de posibles aplicaciones es en el que se centra esta investigación. Uno de los puntos de mayor interés es la aplicación de la gamificación en la educación. ¿Es beneficiosa? Y en caso afirmativo, ¿Cuáles son los factores que más afectan a una aplicación exitosa? Estas y otras preguntas similares son las que tratamos de responder en esta investigación. Con una evaluación cuantitativa de los últimos ensayos realizados, tratamos de hallar los elementos recurrentes en las aplicaciones exitosas de gamificación a través de plataformas digitales. El resultado final es un sistema estadístico de validación de plataformas de aprendizaje basado en juegos. VII Abstract Humans naturally like to play games. Gamification is the use of game mechanics in other aspects of everyday life. This field, of recent scientific interest and with an infinite number of possible applications, is the focus of this research. One of the main points of interest is the application of gamification in education. Is it beneficial? And if so, what are the factors that most affect a successful application? These and similar questions are the ones we try to answer in this research. With a quantitative evaluation of recent trials, we try to find the recurring elements of successful gamification applications through digital platforms. The final result is a statistical validation system for game-based learning platforms. VIII Notación GBL Game Based Learning JCR Journal Citation Report TAM Technology Acceptance Model JCI Journal Citation Indicator RI Score Research Interest Score AHP Analytic Hierarchy Process 4 También es muy complicado definir con precisión que es gamificación y qué no es gamificación, por ejemplo, el psicólogo Arkadiusz Cybulski (2014) indicaba que no debemos confundir gamificación con elementos como [6]: • Concursos. • Programas de fidelización. • Explotaciones 3F (fun-friends-feedback). • Juegos. La gamificación, claramente, coge parte de todos estos conceptos, pero no debe estar definido por uno solo de ellos. Ya existen investigaciones que tratan en profundidad estos temas, tratando de pintar las líneas que separan los juegos serios de los juegos de ocio [26]. Por tanto, el problema consta de una serie de preguntas a las que debemos intentar dar respuesta: • ¿Cómo es la gamificación educativa a través de nuevas tecnologías? • ¿Es ésta beneficiosa? ¿Desde qué punto de vista? • Si lo es, ¿Qué beneficios aporta? ¿Qué características potencia del alumno? ¿Qué cosas facilita al docente? • ¿Qué sistema se ha usado para validar los resultados? • Y por último ¿Qué elementos de la gamificación son los más importantes o destacables? No existe ninguna investigación sistemática que trate estas preguntas desde el punto de vista de las nuevas tecnologías. 1.3. La investigación en el marco del Proyecto Gamifica Para dar respuesta a las preguntas que se plantean en el apartado anterior, así como desarrollar la tecnología y empezar a comprender las posibilidades que ofrece la gamificación han surgido importantes proyectos. En la Universidad de Sevilla destacan: el Proyecto AJDA, integrado en Red Educativo Digital Descartes, y su sucesor, el Proyecto Gamifica. 1.1.1. Red Educativa Digital Descartes La Red Educativa Digital Descartes es una asociación no gubernamental, que tiene como fin promover la renovación y cambio metodológico en los procesos de aprendizaje y enseñanza de las Matemáticas, y en otras áreas del conocimiento, utilizando los recursos digitales interactivos generados con la herramienta Descartes. Lleva 25 años desarrollando objetos educativos divulgables a través y mediante páginas web. 5 1.3.1. El Proyecto AJDA El Proyecto Aplicación de Juegos Didácticos en el aula (AJDA) surgió en 2013 con la participación del Ministerio de Educación, enmarcado en la recién creada Red Descartes. A pesar de todo, su germen se remonta a 2008, con el Proyecto Newton del Ministerio de Educación. Dentro del Proyecto AJDA se han desarrollado una gran variedad de juegos didácticos, que proporcionan en el aula una metodología participativa, mejoran la adquisición de competencias y son altamente personalizables y accesibles. Además, se proporcionaron cursos de formación del proyecto en diferentes convocatorias de cursos de Formación del Profesorado de la Consejería de Educación de la Junta de Andalucía, del Ministerio de Educación a través del INTEF y de CEP de Andalucía. El proyecto cuenta ya con más de 500 juegos, multitud de ficheros de contenido ya preparados y formación integral para todos los interesados a través de cursos y videos tutoriales [155]. Es un proyecto sin ánimo de lucro desarrollado y coordinado por el profesor Jesús Manuel Muñoz Calle. 1.3.2. El Proyecto Gamifica Heredero del Proyecto AJDA y dentro del cual se engloba este TFG. Tiene como objetivo principal investigar y estudiar los beneficios del uso de distintas técnicas de gamificación. Por otra parte, desarrolla una plataforma que permita llevar a cabo los experimentos de investigación necesarios para cumplimentar la investigación, esta plataforma se basa en: • Una aplicación web multifuncional para el desarrollo de juegos en el aula (con suporte telemático multidispositivo), como en red, integrando también otras plataformas de elearning. • Los juegos desarrollados por el Proyecto AJDA, adaptados e integrados. Este TFG sigue la línea de los objetivos marcados por el proyecto, para ello se revisarán los últimos estudios referentes al tema descrito: aprendizaje basado en juegos educativos digitales, y se analizaran las conclusiones que plantean, así como todos los factores que hayan sido tenidos en cuenta. Los resultados de este estudio han sido publicados, junto con información de calidad actual sobre gamificación y los resultados del Proyecto AJDA y el Proyecto Gamifica, en el libro de Juegos didácticos Proyecto AJDA [197]. 1.4. Como debe funcionar la investigación La investigación debe dar un barrido completo de artículos científicos en revistas indexadas JCR referentes a GBL con nuevas tecnologías. Dada la novedad de la tecnología, las fechas van desde 2011 (no se han encontrado artículos anteriores del tema) hasta la actualidad marzo de 2023. Para actualizar este articulo basta con añadir los nuevos resultados que se obtengan desde marzo de 2023 hasta la fecha de actualización requerida. 6 Para intentar que el barrido sea lo más completo posible se han hecho usos de diversos buscadores específicos de artículos académicos y además se han seleccionado con más alta prioridad aquellos artículos con mayor índice de impacto. Este valor ha sido medido con el uso de la web de Clarivate JCR [27], que nos permite conocer el impacto de distintas revistas, y la puntuación individual de impacto de artículos obtenida a través de ResearchGate [11]. El proceso de búsqueda quedara detallado más adelante. Todo se ha hecho bajo el marco de revisión sistemática Cochrane [19], que se detallará más adelante. 1.5. ¿Por qué es importante hacer esta investigación? La necesidad de la investigación viene de la voluntad de crear un sistema estadístico de validación de entornos GBL on-line, aplicable de forma generalizada. De momento, se aplican otros sistemas de validación no específicos de esta rama, como, por ejemplo, el modelo TAM (Technology Acceptance Model) [7] 7 Figura 3: Fragmento de encuesta que sigue el modelo TAM [8] El modelo TAM resulta ser una herramienta de gran utilidad en el ámbito del despliegue de nuevas tecnologías, por lo que su aplicación resulta particularmente relevante en el sector de los juegos serios y la gamificación, dada la novedad de estas tecnologías. No obstante, cabe destacar que, debido a su finalidad de uso generalizado, el modelo TAM no aborda algunas de las propiedades más interesantes de la gamificación, tales como la mejora del comportamiento y la convivencia, así como otros factores tales como el aprendizaje, trabajo en grupo o integración mejorada [28]. A pesar de lo anterior, el modelo TAM constituye una excelente base para el desarrollo de un método de validación específico y concreto aplicable en el contexto de la gamificación. 8 2.- Objetivos El objetivo final de este bloque es sintetizar la información de los últimos artículos sobre GBL centrándose especialmente en: • Los resultados generales de las investigaciones (positivos o negativos). • Los elementos de gamificación usados. • Los sistemas de validación empleados. • La metodología empleada en los estudios. • La relación entre la telemática, las ciencias de la computación, la educación y la gamificación. Con la información recogida se podrá realizar el Bloque II. 9 3.- Método de búsqueda Este apartado trata de definir el protocolo empleado para seleccionar los estudios que se incluyen en esta investigación. Para realizar la revisión sistemática se ha seguido a grandes rasgos el sistema Cochrane [9], adaptándolo, debido a que este está especializado en estudios médicos. Este sistema consta de una serie de pasos a seguir, que nosotros hemos adaptado a los siguientes: 1. Formular la pregunta (realizado en las secciones de introducción y objetivos): hace referencia a la necesidad de definir de manera clara y concisa la cuestión que se desea responder a través de la investigación. Esta pregunta es crucial para orientar el resto de los pasos del protocolo. 2. Planificar los criterios de elegibilidad: consiste en establecer los criterios que se utilizarán para seleccionar los estudios que se incluirán en la revisión sistemática. Estos criterios pueden incluir aspectos como el tipo de estudio, la población de interés, la intervención o tecnología evaluada, entre otros. 3. Planificar la metodología: se refiere a la definición detallada de los procedimientos y técnicas que se utilizarán para llevar a cabo la revisión sistemática. Esto puede incluir aspectos como la estrategia de búsqueda, los criterios de inclusión y exclusión de estudios, el proceso de extracción de datos y la evaluación de la calidad de los estudios. 4. Buscar los estudios: se refiere a la identificación y recuperación de los estudios que cumplen con los criterios de elegibilidad establecidos en el paso anterior. Esta búsqueda puede realizarse en diversas fuentes, como bases de datos bibliográficas, registros de ensayos clínicos y revisiones sistemáticas previas. 5. Aplicar los criterios de elegibilidad: implica la revisión detallada de cada uno de los estudios identificados en la búsqueda para determinar si cumplen con los criterios de elegibilidad establecidos en el paso dos. En este proceso, se descartarán aquellos estudios que no cumplan con los criterios predefinidos. 6. Obtener los datos: extracción de la información relevante de cada uno de los estudios incluidos en la revisión sistemática. Esta información puede incluir aspectos como la población estudiada, la intervención evaluada, los resultados obtenidos y la calidad metodológica del estudio. 7. Analizar y presentar los resultados: implica la síntesis y análisis de los datos extraídos de los estudios incluidos en la revisión sistemática. Este análisis puede realizarse a través de diversas técnicas, como la meta-análisis, y debe ser presentado de manera clara y concisa. 8. Interpretar los resultados y obtener conclusiones: evaluación crítica de los resultados obtenidos a través de la revisión sistemática. En este proceso, se deberá evaluar la calidad de la evidencia disponible y establecer conclusiones claras y fundamentadas en base a los resultados obtenidos. 10 9. Mejorar y actualizar la revisión: necesidad de mantener la revisión sistemática actualizada a medida que surjan nuevos estudios o evidencia relevante. Esto implica la revisión periódica de la literatura científica y la actualización de los criterios de inclusión y exclusión en caso de ser necesario. 3.1. Criterios para considerar estudios para esta investigación En este apartado vamos a definir qué criterios se han considerado como criterios de elegibilidad a la hora de seleccionar los artículos. Esto da respuesta al segundo paso del método de búsqueda que estamos aplicando. 3.1.1. Tipos de estudios En primer lugar, se han buscado estudios de índole práctica, es decir, que hayan realizado pruebas reales de sistemas de gamificación en entornos educativos. Hay multitud de estudios teóricos que no han sido considerados ya que no involucran una aplicación real de un sistema de gamificación. Asimismo, también se han descartado multitud de revisiones de otros artículos, aunque muchas veces han servido como medio para llegar a los artículos originales, que si son de utilidad. 3.1.2. Tipos de participantes Dada la temática de esta revisión, no se han puesto criterios excluyentes en esta categoría, ya que la gamificación es aplicable a todos los perfiles a cualquier edad. Aun así, cabe destacar que la mayor parte de los artículos tienden a estar enfocados en participantes que se encuentran en una franja de edad de entre 6 y 22 años, es decir, en edad estudiantil. Esto tiene sentido dada la naturaleza de la gamificación y sus aplicaciones más directas y evidentes. Tampoco se ha discriminado por el perfil docente que aplica la gamificación, aunque es otro punto de bastante interés. 3.1.3. Tipos de experimentos Se han buscado experimentos, en aulas escolares fundamentalmente, donde se aplicase un sistema de gamificación digital. No se han seleccionado experimentos de gamificación no digital, como ocurren en algunos casos [3]. Se ha valorado positivamente el hecho de que existieran grupos de control en los experimentos, pero no ha constituido un criterio excluyente. 11 3.1.4. Tipos de resultados Los estudios seleccionados deben tener resultados de carácter estadístico, llevados a cabo con alguna herramienta de validación. Encuestas, exámenes, entrevistas, etc. De esta forma podemos usar estos resultados numéricos a la hora de realizar nuestra revisión sistemática. Si bien los estudios con resultados más cualitativos o literarios pueden ser de gran utilidad en determinadas ocasiones, no es el caso que nos ocupa, y es más sencillo trabajar con valores numéricos. 3.1.5. Duración del seguimiento Una vez más, no se han aplicado restricciones en estos aspectos. Es digno de mención el hecho de que la mayoría de los estudios existentes son referentes al corto o medio plazo. La gamificación a largo plazo es un campo bastante inexplorado hoy en día, pero sin duda de gran importancia, los estudios más largos realizados son de 6 meses o 1 año [83]. 3.2. Métodos de búsqueda para identificar los estudios Una vez definidos los criterios de selección de artículos, el siguiente paso es definir una metodología de búsqueda para encontrar artículos y publicaciones a las que luego aplicar los criterios propuestos. 3.2.1. Búsquedas electrónicas La mayor parte de los artículos del estudio se han hallado siguiendo este método, se han buscado palabras claves en varias bases de datos de publicaciones científicas. Concretamente en: • Google Achademics [10] • ResearchGate [11] • Scopus [29] • Web of Science, Clarivate [30] • IEEE [31] 12 Se han elegido estos buscadores por ser percibidos como los de mayor rango o alcance efectivo, devolviendo información de una gran cantidad de repositorios y revistas. Sobre los términos investigados, la búsqueda se ha centrado en términos, tanto en inglés como en español, semejantes a: • “Gamificación” • “Gamificación en educación” • “Entornos de aprendizaje basado en juegos” • “Gamificación online” Los resultados de las búsquedas son descargados para su posterior análisis y valoración, siguiendo los criterios ya mencionados. 3.2.2. Otros recursos Se ha recurrido también a algunos libros de la biblioteca de la Universidad de Sevilla y el catálogo Fama [12]. En especial del libro Gamificación: y su aplicación a la Ingeniería del Software, de García Rubio, Pedreira Fernández y Piattini Velthuis [13]. Asimismo, también se han investigado algunas publicaciones recomendadas por el tutor de este trabajo, y se ha hecho especial énfasis en las revistas: • JMIR Serious Games [32] • International Journal of Serious Games [33] • Simulation & Gaming [34] • Entertainment Computing [35] • Computers & Education [36] 13 3.3. Recolección de datos y análisis Tras la búsqueda de datos tenemos un conjunto de 1865 posibles artículos de interés, organizados en una hoja de datos informática. 3.3.1. Selección de estudios La selección de los estudios finales se ha realizado en dos fases. La primera a través del título y la segunda a través del resumen o abstract. De los 1865 estudios inicialmente seleccionados se han leído todos los títulos y descartados aquellos que no estaban alineados con el tema de interés, según los criterios especificados anteriormente. El resultado de esta primera criba ha sido un conjunto de 518 artículos que a priori parecían coincidir con la temática descrita. El último paso para la selección de los estudios finales ha consistido en leer los resúmenes de estos 518 artículos, con el objetivo de quedarnos con aquellos que cumplieran todos los criterios descritos. Se ha puesto especial énfasis en que la temática fuese la correcta y los estudios tuvieran un enfoque práctico. Tras aplicar los criterios de selección el conjunto de artículos se redujo a 105 artículos que se analizaron en profundidad, llevando a la eliminación de 5 de ellos por no cumplir algunas de las necesidades de este estudio. Quedan definitivamente 100 artículos que describen 105 experiencias de gamificación, ya que algunas investigaciones describen más de un ensayo práctico. Este proceso puede resumirse en la figura 4: Figura 4: Diagrama de selección de artículos. 20 Figura 5: Cuartiles de revistas Y uno analizando algunas categorías conjuntas: Figura 6: Revistas y proporción de JCR 0 2 4 6 8 10 12 14 16 18 Revistas Revistas de telecomunicación Revistas de computer science Revistas de educación Cuartil Q1 Cuartil Q2 Cuartil Q3 Cuartil Q4 Revistas Con JCR Total Nº de revistas Total 17 Total con JCR 6 Total en computer science 8 Total en computer science con JCR 3 Total en telecomunications 4 Total en telecomunications con JCR 1 Total en computer science o telecommunications 9 Total en computer science o telecommunications con JCR 3 Total en educación 11 Total en educación con JCR 4 0 2 4 6 8 10 12 14 16 18 Revistas y JCR 21 Así mismo hemos clasificado los artículos según las revistas en los que se publicaron y sus cuartiles en los años correspondientes: Figura 7: Distribución de campos y JCR en los artículos Podemos observar cómo el 71% de los artículos provienen de revistas de los campos de Computer Science o Telecommunications. Hay que mencionar que todos los datos de las revistas y análisis sobre las mismas se encuentran disponibles en el GitHub de esta investigación [191], en el archivo “Lista artículos.xlsx”. Se deja aquí también un breve resumen del conjunto de artículos más importantes, al provenir estos de las revistas con JCR, incluyendo su título, referencia, revista a la que pertenece, áreas de la revista año de publicación, JCR y cuartil: <= 2017 2018 2019 2020 2021 2022 2023 Total 28 11 13 20 18 7 3 Total con JCR 75710 6 2 3 Total en computer science 21 9 5 7 12 6 3 Total en computer science con JCR 7524423 Total en telecomunications 3221220 Total en telecomunications con JCR 0000100 Total en computer science o telecommunications 21 10 5 7 12 6 3 Total en computer science o telecommunications con JCR 7524523 Total en educación 21 9 9 11 9 6 6 Total en educación con JCR 4468311 Total en otros 4137500 Total en otros con JCR 0001100 0 5 10 15 20 25 30 Artículos y JCR 22 Nº TITULO AÑO REVISTA REF. JCR Qx TELECOMU NICATION COMPUTER SCIENCE EDUCATION 1 Teaching Adequate Prehospital Use of Personal Protective Equipment During the COVID- 19 Pandemic: Development of a Gamified e-Learning Module 2020 JMIR Serious Games [37] 4,143 1 x 2 Serious Games in Surgical Medical Education: A Virtual Emergency Department as a Tool for Teaching Clinical Reasoning to Medical Students 2019 JMIR Serious Games [38] 3,526 2 x 3 Young People's Knowledge of Antibiotics and Vaccinations and Increasing This Knowledge Through Gaming: Mixed- Methods Study Using e-Bug 2019 JMIR Serious Games [39] 3,526 2 x 4 Comparing the Effects on Learning Outcomes of Tablet- Based and Virtual Reality-Based Serious Gaming Modules for Basic Life Support Training: Aleatorioized Trial 2019 JMIR Serious Games [40] 3,526 2 x 5 FightHPV: Design and Evaluation of a Mobile Game to Raise Awareness About Human Papillomavirus and Nudge People to Take Action Against Cervical Cancer 2019 JMIR Serious Games [41] 3,526 2 x 6 A Serious Game Designed to Promote Safe Behaviors Among Health Care Workers During the COVID-19 Pandemic: Development of "Escape COVID-19" 2021 JMIR Serious Games [42] 3,364 2 x 7 Nutritional Education and Promotion of Healthy Eating Behaviors Among Mexican Children Through Video Games: Design and Pilot Test of FoodRateMaster 2020 JMIR Serious Games [43] 4,143 1 x 8 Engaging African American Youth in the Development of a Serious Mobile Game for Sexual Health Education: Mixed Methods Study 2020 JMIR Serious Games [44] 4,143 1 x 9 An Immersive Multi-User Virtual Reality for Emergency Simulation Training: Usability Study 2020 JMIR Serious Games [45] 4,143 1 x 23 Nº TITULO AÑO REVISTA REF. JCR Qx TELECOMU NICATION COMPUTER SCIENCE EDUCATION 10 Impact of Using a 3D Visual Metaphor Serious Game to Teach History-Taking Content to Medical Students: Longitudinal Mixed Methods Pilot Study 2019 JMIR Serious Games [46] 3,526 2 x 11 Development and Evaluation of Intelligent Serious Games for Children With Learning Difficulties: Observational Study 2020 JMIR Serious Games [47] 4,143 1 x 12 Office Madness: Investigating the impact of a game using a real life job and programming scenario on player experience and perceived shortterm learning 2023 Entertainme nt computing [79] 2,8 2 x 13 Deploying learning materials to game content for serious education game development: A case study 2018 Entertainme nt computing [80] 1,297 3 x 14 Who trains the trainers? Gamification of flight instructor learning in evidencebased training scenarios 2022 Entertainme nt computing [81] 2,8 2 x 15 Analysis of the college underachievers? transformation via gamified learning experience 2023 Entertainme nt computing [82] 2,8 2 x 16 Playing educational math games at home: The Monkey Tales case 2016 Entertainme nt computing [83] 1,297 3 x 17 Exergames in formal school teaching: A pre-post longitudinal field study on the effects of a dance game on motor learning, physical enjoyment, and learning motivation 2020 Entertainme nt computing [84] 1,455 3 x 18 Gamification of Apollo lunar exploration missions for learning engagement 2017 Entertainme nt computing [85] 1,297 3 x 19 ACA game for individuals with Autism Spectrum Disorder 2021 Entertainme nt computing [86] 2,072 3 x 20 Learning principles and interaction design for 'Green My Place': A massively multiplayer serious game 2011 Entertainme nt computing [87] 1,297 3 x 24 Nº TITULO AÑO REVISTA REF. JCR Qx TELECOMU NICATION COMPUTER SCIENCE EDUCATION 21 Proteingo: Motivation, user experience, and learning of molecular interactions in biological complexes 2019 Entertainme nt computing [88] 1,341 3 x 22 Stimulating children's engagement with an educational serious videogame using Lean UX co-design 2021 Entertainme nt computing [89] 2,072 3 x 23 Examining competitive, collaborative and adaptive gamification in young learners' math learning 2018 Computers & Education [90] 5,627 1 x x 24 Applying game mechanics and student-generated questions to an online puzzle-based game learning system to promote algorithmic thinking skills 2018 Computers & Education [91] 5,627 1 x x 25 Evaluating a tactile and a tangible multi-tablet gamified quiz system for collaborative learning in primary education 2018 Computers & Education [92] 5,627 1 x x 26 Gamification in higher education: The ECOn plus star battles 2023 Computers & Education [93] 12 1 x x 27 Engaging Asian students through game mechanics: Findings from two experiment studies 2016 Computers & Education [94] 3,819 1 x x 28 Assessing the effects of gamification in the classroom: A longitudinal study on intrinsic motivation, social comparison, satisfaction, effort, and academic performance 2015 Computers & Education [95] 2,881 1 x x 29 Enhancing EFL pre-service teachers? affordance noticing and utilizing with the Synthesis of Qualitative Evidence strategies: An exploratory study of a customizable virtual environment platform 2022 Computers & Education [96] 12 1 x x 25 Nº TITULO AÑO REVISTA REF. JCR Qx TELECOMU NICATION COMPUTER SCIENCE EDUCATION 30 Employing intergroup competition in multitouch design-based learning to foster student engagement, learning achievem ent, and creativity 2016 Computers & Education [97] 3,819 1 x x 31 Enhancing student learning experience with technologymediated gamification: An empirical study 2018 Computers & Education [98] 5,627 1 x x 32 EmoFindAR: Evaluation of a mobile multiplayer augmented reality game for primary school children 2020 Computers & Education [99] 8,538 1 x x 33 An empirical study comparing gamification and social networking on e-learning 2014 Computers & Education [100] 2,556 1 x x 34 Psychological effects of gamified didactics with exergames in Physical Education at primary schools: Results from a natural experiment 2020 Computers & Education [101] 8,538 1 x x 35 Gamification in the classroom: Examining the impact of gamified quizzes on student learning 2020 Computers & Education [102] 8,538 1 x x 36 Can an online educational game contribute to developing information literate citizens? 2021 Computers & Education [103] 11,18 2 1 x x 37 GAMESIT: A gamified system for information technology training 2019 Computers & Education [104] 5,296 1 x x 38 GAMIFICATING PHYSICAL EDUCATION PEDAGOGY. COLLEGE STUDENTS' FEELINGS 2021 Revista Internacional de Medicina y Ciencias de la Actividad Física y del Deporte [112] 1,281 4 39 Teaching Presence in Online Gamified Education for Sustainability Learning 2020 Sustainability [125] 3,251 2 40 Gamification tools in the learning of shipbuilding in the undergraduate marine engineering education 2021 COMPUTER APPLICATIONS IN ENGINEERING EDUCATION [132] 2,109 2 x x x Tabla 2: Resumen artículos con JCR 26 3.3.2. Extracción de datos y gestión Una vez seleccionados los artículos se procede a realizar un análisis de estos, en especial de las experiencias prácticas llevadas a cabo en los mismos y los resultados obtenidos de las mismas. La extracción de los datos y su gestión se ha realizado a través de la herramienta Excel. Teniendo en cuenta las preguntas a las que queremos dar respuesta, se han generado una serie de columnas que hay que rellenar con los datos de cada uno de los estudios. Los datos extraídos de cada estudio son: Dato Descripción Título del artículo Nombre del artículo para su identificación. Fecha de publicación Para analizar la distribución temporal de los artículos. Breve resumen Haciendo énfasis en los puntos más destacados del artículo, tipo de aplicación desarrollada, plataforma, forma de despliegue, etc. Conclusión Resultados de la gamificación, tanto académicos, como de comportamiento y motivación. Técnicas de gamificación utilizadas Identificación de las técnicas de gamificación empleadas, se ha distinguido entre: leaderboards, perfil personal, juegos interactivos, gráficos llamativos, quizzes, logros, desafíos, puntos, niveles, narrativa, interacción social e insignias. Detallados más adelante. Métodos de validación utilizados Sistema de evaluación de la experiencia usados, para luego analizar cuáles son los más eficaces o propicios, con el objetivo de diseñar el nuestro. Metodología empleada Análisis de los elementos que rodean a las experiencias, distribución por grupos, asignaturas gamificadas, tamaño de los grupos, existencia de grupos de control, frecuencia de las sesiones, número total de sesiones, extensión en el tiempo, etc. RI Score Valoración del impacto del artículo en ResearchGate [137]. Revista Nombre de la revista que publica el artículo. JCI de la revista Valoración del impacto de la revista según Clarivate JCR [27]. Cita en formato APA Para referenciar correctamente al artículo. Tabla 3: Datos extraídos de cada estudio 27 Una vez recolectados todos los datos se procede a su análisis estadístico, que nos aportarán los resultados que estamos buscando. Se adjunta en el Anexo I las tablas completas de los artículos con los datos obtenidos, para su referencia durante la síntesis. 3.3.3. Síntesis de los datos De todos los artículos que finalmente se van a analizar debemos distinguir tres grandes bloques: • Resultado general (positivo o negativo), porcentaje de éxito. • Técnicas de gamificación empleadas. • Métodos de validación empleados. • Metodología empleada. 3.3.3.1.- Resultados generales Comenzando por el primer punto, los resultados generales. En primer lugar, debemos definir, que resultados se esperan de una aplicación gamificada. Se ha investigado al respecto, y se puede afirmar que la gamificación afecta fundamentalmente en tres aspectos referentes a la educación • El aprendizaje: la adquisición final de conocimiento. • La motivación: del alumno a la hora de adquirir nuevas habilidades o conocimiento. • El comportamiento: el trabajo en grupo, la integración, y el ambiente general en el aula. Teniendo esto en cuenta, se ha dividido los experimentos según sus resultados en estos aspectos en 4 categorías: • Positivos: la experiencia habla concretamente de efectos positivos en uno o más de las dimensiones definidas anteriormente. Además, los otros campos no han sufrido alteraciones negativas, en todo caso, no varían con respecto al grupo de control o experiencias anteriores (permanecen neutros). Dentro de positivo, para añadir más granularidad se ha distinguido entre: ligeramente positivo, positivo y muy positivo. • Neutros: no ha habido un incremento significativo en ninguno de los tres aspectos que se desean potenciar, tampoco ha habido efectos negativos. • Negativos: algunos de los aspectos anteriores se han visto perjudicado por el experimento. Se ha distinguido, al igual que en los positivos entre: ligeramente negativo, negativo y muy negativo. • No descrito: en el estudio no se especifica los resultados del experimento. 28 Si un estudio produce a la vez un resultado positivo en un aspecto y negativo en otro se han valorado el “coste” frente al “beneficio” para discernir si el resultado es positivo o negativo. Por ejemplo: se usa un sistema gamificado para enseñar historia que es de un solo jugador, los alumnos incrementan su media académica en historia en 0,25/10 puntos de media, pero durante el periodo de aplicación se han sucedido numerosas disputas entre los equipos por ver quien utilizaba el sistema. El estudio será considerado negativo debido a que el “beneficio” (incremento del aprendizaje 0,25 puntos) no compensa el “coste” (mal comportamiento en el aula). Por otro lado, hay que destacar que muchos estudios solo se centran en uno de los aspectos definidos, en estos casos se ha valorado según los resultados obtenidos en esa dimensión particular, pues no se tiene acceso a más datos para valorar de otra forma. Después de leer y analizar los 100 artículos que describen 105 experimentos distintos se ha llegado a los siguientes resultados: • 78 de los 105 experimentos tienen resultados positivos según los criterios que hemos establecido (se pueden identificar en el archivo de GitHub como las filas que tienen un 1 en la columna RESULTADO). Estos, se dividen a su vez en 18 ligeramente positivos, 53 positivos y 7 muy positivos, identificables en la columna RESULTADO GRANULADO con 1, 2 y 3 respectivamente. • 15 de las restantes experiencias indican no manifestar beneficios apreciables y han sido considerado neutrales (Marcados con un 0 en la columna RESULTADO). • 7 artículos no describen los resultados de sus experimentos (RESULTADO = N/A). • Por último 5 de las aplicaciones han sido descritas como deficientes, afectando negativamente al desarrollo formativo de los alumnos: “The results empirically proved that motivation decreases by introducing leaderboards in given circumstances (students, year, and specialization).” [130] (RESULTADO = -1). 3 ligeramente negativo y 2 negativo (-1 y -2 en la columna RESULTADO GRANULADO) 29 Visto de forma más gráfica los resultados son: Figura 8: Gráfico de resultados generales Figura 9: Gráfica de resultados granulados 0 10 20 30 40 50 60 70 80 90 Positivo Negativo Neutro No descrito Nº de veces Resultados Generales 0 10 20 30 40 50 60 Muy negativo Negativo Algo negativo Neutro Algo positivo Positivo Muy positivo No descrito Resultados Granulados 36 Por último, se ha considerado de interés analizar la correlación entre resultados registrados y métodos combinados de validación. Esta tabla muestra resultados similares a la tabla 4, pero diferenciando con un aumento más los métodos de validación al separarlos según sus combinaciones: Tabla 6: Correlación entre resultados y combinaciones de sistemas de validación Todos los cálculos realizados se han hecho a partir de la columna Métodos de Validación de la tabla de “Lista artículos.xlsx”, donde están identificados, de cada experiencia, los métodos de validación que son utilizados. 3.3.3.4.- Metodologías aplicadas Por último, vamos a analizar de las metodologías que se han aplicado en las distintas experiencias. La información exacta que se ha recogido de cada estudio ha sido: • Asignaturas: la asignatura o asignaturas sobre las que se han aplicado la gamifición. • Participantes: número de participantes en la experiencia, en total. • Grupos: número de grupos en los que se han dividido los participantes. • Tamaño de los grupos experimentales. • Grupo de control: si existe y su tamaño. • Criterio de división por grupos: el criterio seguido a la hora de dividir a los participantes. • Duración total: duración total de la experiencia. • Frecuencia: frecuencia de aplicación de las sesiones gamificadas. • Número de sesiones total. • Duración de las sesiones. 37 También se intentó recoger datos sobre los docentes que participaban en cada experiencia, pero se descartó debido a la escasez informativa referente a este tema en los artículos analizados. Asignaturas Al analizar los artículos de han distinguido dos tipos fundamentales de aplicación gamificada (en referencia a las asignaturas). En primer lugar, aplicaciones o experiencias enfocadas a potenciar el aprendizaje de uno o varios aspectos concretos de una asignatura (por ejemplo, una aplicación de juegos matemáticos y puzles lógicos). Por otro lado, existen las aplicaciones destinadas a la gamificación general y mejorar la experiencia del curso completo, sin transmitir un conocimiento concreto de ninguna asignatura, estas últimas han sido englobadas en la categoría “General”. De los 100 artículos, todos nos dan información de las asignaturas sobre las que se aplican. No hay ninguna aplicación, no general, que fortalezca más de una asignatura, es decir, las aplicaciones gamificadas tienden a usarse para reforzar la enseñanza de una sola asignatura a la vez. Esto no indica que haya herramientas que no permitan ser usadas en varias asignaturas. La distribución de asignaturas queda así: Figura 17: Distribución de asignaturas. 2 2 323432 4 1 32 1 4 1 1 1 9 1 8 1 3 11 1 0 5 10 15 20 25 30 35 Nº de experiencias Distribución de asignaturas 38 Participantes 85 artículos dan información sobre el número de participantes en las experiencias. La media de participantes está en 98,04, siendo el máximo 473 y el mínimo 4. En este gráfico podemos ver algunos intervalos de números de participantes y las veces que se han usado. Figura 18: Número de participantes. También se ha analizado la correlación entre las franjas de participantes y los resultados de la gamificación, cada casilla representa, de las veces que se ha usado ese número de participantes el porcentaje en el que el resultado es el indicado: 0-10 11-20 21-40 41-80 81-160 161-320 321-640 Positivo 33,3% 76,9% 76,9% 82,1% 76,9% 75,0% 85,7% Negativo 33,3% 7,7% 7,7% 3,6% 0,0% 0,0% 14,3% Neutro 33,3% 15,4% 0,0% 14,3% 15,4% 25,0% 0,0% No descrito 0,0% 0,0% 15,4% 0,0% 7,7% 0,0% 0,0% Tabla 7: Correlación resultados-participantes 3 13 13 28 13 87 0 5 10 15 20 25 30 0-10 11-20 21-40 41-80 81-160 161-320 321-640 Nº de experiencias Nº de participantes Número de participantes 39 Grupos 31 de los artículos describen el uso de grupos en su experiencia. El número medio de grupos es 4,38, siendo el máximo 26 y el mínimo 2. En este gráfico podemos ver las distribuciones por grupos que se han realizado: Figura 19: Distribución por grupos. Al igual que con los participantes, se ha analizado la correlación entre el número de grupos y los resultados: 2 3 4 5 De 6-10 De 11-15 De 15-20 De 20-30 Positivo 77,8% 66,7% - 100,0% 50,0% - 100,0% 100,0% Negativo 5,6% 16,7% - 0,0% 0,0% - 0,0% 0,0% Neutro 11,1% 16,7% - 0,0% 50,0% - 0,0% 0,0% No descrito 5,6% 0,0% - 0,0% 0,0% - 0,0% 0,0% Tabla 8: Correlación resultados – N.º de grupos. Grupos de control 19 de los experimentos describen una metodología en la que se hacen uso de grupos de control. 18 6 01 4 01 1 0 2 4 6 8 10 12 14 16 18 20 2 3 4 5 De 6-10 De 11-15 De 15-20 De 20-30 Nº de experiencias Nº de grupos Distribución por grupos 40 Tamaño de los grupos 33 de las experiencias describen el tamaño de los grupos de trabajo, de media tienen 41.20 participantes con un máximo de 212 y un mínimo de 2. Así mismo 19 artículos describen el tamaño de los grupos de control, estos tienen de media 63.10 participantes, con un máximo de 316 y un mínimo de 9. En esta gráfica podemos ver mejor la frecuencia de uso de distintos tamaños de grupo: Figura 20: Tamaño de los grupos Se ha analizado también la correlación entre el tamaño de los grupos experimentales y los resultados de la gamificación: 0-5 6-10 11-20 21-40 41-80 81-160 161-320 Positivo 57,1% 0,0% 50,0% 88,9% 100,0% 75,0% 100,0% Negativo 0,0% 100,0% 0,0% 0,0% 0,0% 25,0% 0,0% Neutro 28,6% 0,0% 33,3% 11,1% 0,0% 0,0% 0,0% No descrito 14,3% 0,0% 16,7% 0,0% 0,0% 0,0% 0,0% Tabla 9: Correlación resultados-tamaño de los grupos 7 1 6 9 5 4 1 0 1 2 8 6 0 2 0 1 2 3 4 5 6 7 8 9 10 0-5 6-10 11-20 21-40 41-80 81-160 161-320 Nº de experiencias Participantes/grupo Tamaño de los grupos Grupos experimentales Grupos de control 41 Criterios de elaboración de grupos 30 de los artículos contenían información sobre qué criterios se habían aplicado a la hora de generar los distintos grupos experimentales y de control. Fundamentalmente, los grupos se generaban de forma aleatoria, pero algunos estudios han aplicado otros métodos como se ve en el siguiente gráfico: Figura 21: Criterios de agrupación Duración de la experiencia 69 de los artículos dan información sobre la duración de la experiencia. La duración media es de 96.78 días, con un máximo de 1095 (3 años) y un mínimo de 1 día. Podemos ver en este gráfico los rangos de duraciones más usados: Figura 22: Duración de las experiencias 2 24 1 1 2 0 5 10 15 20 25 30 Edad Aleatorio Horario Género Necesidades educativas Nº de experiencias Criterios de agrupación 29 1 9 4 10 13 3 0 5 10 15 20 25 30 35 0-7 8-14 15-30 31-60 61-120 121-365 >365 Nº de experiencias Días Duración de la experiencia 42 La correlación entre resultados y duración es: 0-7 8-14 15-30 31-60 61-120 121-365 >365 Positivo 86,2% 100,0% 66,7% 100,0% 80,0% 61,5% 100,0% Negativo 0,0% 0,0% 11,1% 0,0% 10,0% 23,1% 0,0% Neutro 10,3% 0,0% 22,2% 0,0% 10,0% 7,7% 0,0% No descrito 3,4% 0,0% 0,0% 0,0% 0,0% 7,7% 0,0% Tabla 10: Correlación resultados-duración Frecuencia de aplicación 24 artículos describen con qué frecuencia se realizan sesiones de gamificación durante la experiencia. La media está en 2.38 sesiones por semana, siendo el máximo 15 y el mínimo 0.019 (1 sesión al año). Las frecuencias más usuales se pueden consultar en este gráfico: Figura 23: Frecuencias de aplicación de sesiones 6 5 7 3 0 0 0 2 0 1 0 1 2 3 4 5 6 7 8 < 1 1 2 3 4 5 6 7 8-10 > 10 Nº de experiencias Sesiones/Semana Frecuencia de aplicación 43 La correlación con los resultados es: < 1 1 2 3 4 5 6 7 8-10 > 10 Positivo 83,3% 100,0% 100,0% 100,0% - - - 50,0% - 100,0% Negativo 0,0% 0,0% 0,0% 0,0% - - - 50,0% - 0,0% Neutro 0,0% 0,0% 0,0% 0,0% - - - 0,0% - 0,0% No descrito 16,7% 0,0% 0,0% 0,0% - - - 0,0% - 0,0% Tabla 11: Correlación resultados-frecuencia de aplicación Número total de sesiones 55 artículos definen el número total de sesiones. La media de sesiones es de 15.15, con un máximo de 298 y un mínimo de 1. Los números de sesiones más habituales quedan reflejados en este gráfico: Figura 24: Número de sesiones 27 2 8 4 7 43 0 5 10 15 20 25 30 1 2 3-5 6-10 11-20 21-50 > 50 Nº de experiencias Sesiones Número de sesiones 44 La correlación entre número de sesiones y resultados queda: 1 2 3-5 6-10 11-20 21-50 > 50 Positivo 85,2% 50,0% 87,5% 100,0% 100,0% 100,0% 33,3% Negativo 0,0% 0,0% 0,0% 0,0% 0,0% 0,0% 33,3% Neutro 11,1% 50,0% 0,0% 0,0% 0,0% 0,0% 33,3% No descrito 3,7% 0,0% 12,5% 0,0% 0,0% 0,0% 0,0% Tabla 12: Correlación resultados-número de sesiones Duración de las sesiones 34 de los artículos dan información respecto a la duración de las sesiones. En promedio, las sesiones se extienden por 58.38 minutos, con un máximo de duración de 180’ (3 horas) y un mínimo de 5’. Figura 25: Duración de las sesiones 4 5 15 5 3 2 0 0 2 4 6 8 10 12 14 16 < 15' 16'-30' 31'-60' 61'-90' 91'-120' 121'-180' > 180' Nº de experiencias Minutos Duración 45 La correlación entre duración y resultados es: < 15' 16'-30' 31'-60' 61'-90' 91'-120' 121'-180' > 180' Positivo 100,0% 80,0% 80,0% 60,0% 66,7% 100,0% - Negativo 0,0% 0,0% 0,0% 0,0% 0,0% 0,0% - Neutro 0,0% 20,0% 20,0% 40,0% 0,0% 0,0% - No descrito 0,0% 0,0% 0,0% 0,0% 33,3% 0,0% - Tabla 13: Correlación resultados-duración 52 Como hemos visto en el Bloque I la metodología de aplicación abarca varios aspectos de la experiencia, en concreto: asignaturas, participantes, grupos, duración total, frecuencia de aplicación, número de sesiones y duración de las sesiones. Para definir las tres metodologías nos centraremos mayoritariamente en la duración total, ya que la duración es un parámetro que depende mucho de la herramienta desplegada y su propuesta educativa. Si es una herramienta que pretende complementar la educación de un tema en concreto tendrá una duración concreta para la que este diseñado. Por el contrario, si es una suite de trabajo, o intranet gamificada para los alumnos su aplicación se puede extender de forma indefinida. El resto de los parámetros se construirán a su alrededor, y cada herramienta podrá elegir una metodología en función de sus objetivos. Las metodologías propuestas son: 7.2.1.1.- Método Bullet El más rápido de los tres y con requisitos más bajos. Pensado para esas aplicaciones que quieren transmitir una idea de forma concisa y no requieren de su uso repetido para captarla, aplicaciones diseñadas como una experiencia. La metodología se basa en una duración total extremadamente corta: 1 día, 1 sesión. Pese a lo que pueda parecen, es la duración más utilizada, según se observa en la Figura 19. El resto de los parámetros ira de la mano de esta condición: Parámetro Valor Asignaturas Según aplicación (normalmente 1) Participantes ≥ 10, son requisitos bajos pero suficientes para arrojar resultados considerables, como se ve en la Figura 15. Grupos Sin grupos, obviamente si se quieren aplicar grupos de trabajo, debido a requerimientos de la aplicación, bien, pero debido al reducido número de participantes no se cree necesario. Grupo de control No requerido, recomendable. Duración total 1 día – 7 días. Lo justo y necesario para que todos los participantes prueben la experiencia Frecuencia de aplicación 1 sesión/semana Número de sesiones 1 sesión/alumno Duración de las sesiones Máximo 2h, no debería exceder la media de 1h. Tabla 14: Método Bullet El objetivo de este método es ser rápido y resolutivo, recomendado para probar herramientas en fases tempranas de desarrollo. Si hay herramientas ya desarrolladas, cuya filosofía coincide con la del método, se recomienda probarlas, pero con una cantidad mayor de participantes. 53 A la hora de realizar comparaciones, dos aplicaciones que han seguido el mismo método permiten comparar sus resultados obteniendo información de gran utilidad. Comparaciones con aplicaciones que han seguido otros métodos puede dar información interesante, pero no se asegura la objetividad de los resultados. 7.2.1.2.- Método Blitz Este podría considerarse el método estándar, o cajón de sastre. Aplicable a herramientas tanto de corta duración como larga. Es un ensayo de tamaño medio. Cuyos parámetros serán: Parámetro Valor Asignaturas Según aplicación (normalmente 1) Participantes ≥ 20, ligeramente por debajo de la media de alumnos por aula en España, según el Instituto Nacional de Estadística [153]. Grupos Recomendable de 20 personas máximo. Tamaño más utilizado según los resultados que arroja la Figura 17. Trabajar con grupos más grandes se vuelve una tarea ardua. Cabe destacar que la distribución por grupos se hará siempre de forma aleatoria, a menos que la aplicación lo requiera de otra forma. Grupo de control Muy recomendable. Para obtener más valor de los resultados. Cabe destacar que, de existir grupo de control, este debe tener compartir el mayor número de características con el grupo experimental para obtener resultados de la mayor calidad posible. Tamaño de grupo semejante, profesorado compartido, nivel académico similar, misma edad, misma proporción de alumnos con altas capacidades o necesidades especiales, etc. Contra más puntos comunes, mejor. Duración total ≤ 120 días (4 meses), esta franja engloba la mayor parte de los ensayos que se realizan, dando gran versatilidad al método. Frecuencia de aplicación Recomendado, al menos 1 sesión/semana Número de sesiones Según duración Duración de las sesiones Máximo 2h, no debería exceder 1h de media. Tabla 15: Método Blitz 54 7.2.1.3.- Método Extended Este método es recomendado para ensayos temporalmente extensos, a largo plazo. Los parámetros serán: Parámetro Valor Asignaturas Según aplicación (normalmente 1) Participantes ≥ 20 Grupos Recomendable de 20 personas máximo. Distribuidos de forma aleatoria, a menos que la aplicación lo requiera de otra forma. Grupo de control Muy recomendable. Duración total > 120 días (4 meses). Frecuencia de aplicación Recomendado, al menos 1 sesión/mes Número de sesiones Según duración Duración de las sesiones Máximo 2h, no debería exceder 1h de media. Tabla 16: Método Extended Como se puede observar, se hace una aplicación menos frecuente pero más extendida a lo largo del tiempo. 7.2.2.- Método de validación Siguiendo los resultados del Bloque I, se propone: un informe previo, dos exámenes, una encuesta y una entrevista. El informe previo es responsabilidad del observador, es decir la persona que controla y dirige el estudio. Su objetivo es definir las variables de control que envuelven la experiencia concreta que se va a realizar. Historial académico de los alumnos, grupo al que se aplica, curso académico, deberes, partes de clases habituales, diversidad del alumnado, etc. Así mismo, este análisis previo de la situación ayudará a decir al observador aspectos de la metodología a aplicar como el tamaño de la muestra, la duración posible, los métodos, etc. Tiene un carácter más orientativo y de control que de recolección de resultados, se ha decidido incorporar porque en cualquier estudio que pretenda un poco de seriedad es muy importante tener controlado el entorno en el que se realiza el mismo. Los dos exámenes, pre-test y post-test es una de las técnicas que más se ha usado en los artículos que se han analizado en el Bloque I, por ejemplo [33], [34], [35] o [48]. Es una forma muy sencilla de analizar el aspecto educativo de la gamificación y por ello vamos a hacer uso de ella siempre que sea posible, si en algún caso no se pudieran realizar ambos exámenes sería suficiente con el post-test. 55 La encuesta, uno de los métodos de recolección de información más extendido, y método más empleado por los estudios analizados (53,33% de uso), nos permitirá indagar en las percepciones de los receptores en los aspectos motivacionales y de diseño de la aplicación. Por último, se ha decidido incluir una entrevista al emisor de la gamificación, que nos permita obtener información cualitativa para evaluar el aspecto referente al comportamiento de la gamificación. Esto se ha decidido siguiendo estudios que demuestran que la figura del emisor es de vital importancia en la aplicación de gamificación [17]. Él es quien puede ofrecer una visión de conjunto de los receptores de forma más precisa y quien otorga el fin a la herramienta gamificada, decidiendo si volverá a emplearla o no. Dilucidado por que se usan estos métodos, la siguiente pregunta es: ¿son todos necesarios? ¿no podemos plantearlo de forma más simple? ¿será suficiente información? Siguiendo algunos de los estudios del Bloque I, [118][17], y el análisis hecho sobre los métodos de evaluación, este conjunto de métodos nos permite recoger toda la información relevante. Si retiramos la encuesta, los exámenes o la entrevista, habrá aspectos de la prueba que queden sin evaluar. Así mismo, se ha considerado añadir otros métodos de evaluación, como, por ejemplo, resultados de la propia herramienta que se esté probando. Sin embargo, debido a su heterogeneidad, se ha descartado la idea con el objetivo de hacer un método más genérico, pues cada herramienta ofrecerá sus puntuaciones, si las tiene, en escalas totalmente incomparables. Además, esta información queda cubierta por los otros sistemas de evaluación, como el examen. La primera diatriba que aparece ahora es si considerar un grupo de control en la metodología a aplicar. En general, el método que estamos diseñando trata de evaluar una experiencia gamificada con respecto a otras experiencias gamificadas, en su calidad, construcción, diseño y resultados. Es por ello por lo que la aplicación sin grupo de control será, en general, el concepto sobre el que está pensado el método. Sin embargo, al no estar todavía plenamente instaurada la gamificación como tecnología aplicable y beneficiosa, no está de más que nos permita evaluar, aunque sea, los resultados con respecto a un sistema no gamificado. Para que este método de validación se pueda aplicar de forma general, se van a distinguir dos metodologías, con grupo de control y sin grupo de control. 7.2.2.1.- Protocolo de aplicación sin grupo de control A la hora de aplicar los distintos sistemas de validación no hay una serie de pasos cerrados, simplemente un conjunto de máximas, que provienen de los obvios objetivos de cada uno de los métodos de evaluación. Estas son: • El pre-test hay que realizarlo antes de la experiencia gamificada y el post-test después, como su propio nombre indica y como proponen artículos como: [104] [109]. • La encuesta y la entrevista, orientadas a medir aspectos relacionados con la satisfacción con la experiencia, requiere de ser realizada después de la prueba. Esto mismo se realiza en experimentos como los desarrollados en los artículos [107], [108] o [114]. • El informe previo puede realizarse en cualquier momento, ya que recoge parámetros que no se verán modificados por la experiencia. Es recomendable hacerlo al principio por comodidad y como forma de toma de contacto. 56 Teniendo en cuenta las máximas descritas, una posible metodología de validación sería: 1. El observador realizara el informe previo para registrar la situación general de partida y variables de control. 2. A los receptores de la gamificación se les hará un primer examen que recoja su conocimiento actual de la materia que se pretende transmitir a través de la experiencia gamificada. 3. Se procede a realizar la experiencia, las sesiones que se crean convenientes de la duración que se estime oportuna (dependerá de la herramienta utilizada o la profundad de los conceptos a enseñar). 4. Al término de la experiencia se realizará un segundo examen a los receptores, similar al primero en contenido y forma, para analizar si se han obtenido resultados en el aspecto educativo de la gamificación. 5. También se realizará una encuesta a todos los receptores, el contenido de esta encuesta se detalla en la sección 7.5. 6. Por último, el observador realizará una entrevista al emisor, cuyo contenido también se detalla en la sección 7.5. Cualquier otra metodología que respete las máximas descritas también será perfectamente válida. 7.2.2.2.- Protocolo de aplicación con grupo de control La existencia de un grupo de control nos permite contrastar algunos de los resultados de la experiencia de forma más versátil. Recalco la palabra “algunos”, pues no se puede hacer una comparativa plena entre ambos grupos debido a que las experiencias que han vivido sendos grupos son radicalmente distintas. El grupo de control no podrá suministrarnos información válida respecto al diseño de la plataforma gamificación debido a que no han interactuado con ella. Así como tampoco de los aspectos motivacionales o de comportamiento, ya que la estimación es que no haya ningún cambio en ellos al continuar su educación sin nada innovador. Es mejor idea (y lo que propone este estudio) tomar como datos iniciales de estos aspectos los estados iniciales del grupo de ensayo, ya que su proyección a futuro sería permanecer inalterados. 57 Sin embargo, es en el aspecto académico donde un grupo de control tiene un papel importante. Habiendo recibido la misma inversión de tiempo en su educación, cuál de los dos grupos obtiene mejores resultados académicos. Analizar estos resultados y discernir si el experimento ha sido en detrimento o beneficio de los receptores resulta de gran interés y un buen complemento para el método que proponemos. Para que los resultados sean útiles y reducir el máximo posible los variables implicadas es MUY RECOMENDABLE que ambos grupos tengan el mayor número de puntos en común, es decir: • El emisor de ambos grupos sea el/los mismo/s. • El nivel académico de ambos grupos fuera similar (se comprobará a posteriori comparando los pre-test). • La edad del alumnado (sobre todo en ciclos educativos por debajo de bachillerato) sea la misma, estén en el mismo ciclo formativo. • La asignatura, los contenidos, y las pruebas objetivas aplicadas a ambos grupos sean iguales. • El entorno y el medio en el que reciben educación sea idéntico o muy similar. Para asegurarnos de que estas características sean parejas entre el grupo de control y el grupo experimental, se realizará el informe previo en ambos grupos, con el objetivo de poder evaluar similitudes, y especialmente, diferencias que puedan afectar considerablemente al resultado. El protocolo para el grupo que realizará la experiencia seguirá exactamente las máximas relatadas en el punto anterior. Sin embargo, para el grupo de control, del cual nos interesan fundamentalmente los resultados académicos, no es necesario realizar ni entrevistas ni encuestas, solamente los exámenes y el informe previo. Un posible protocolo que cumple con las máximas descritas es: 1. El observador realizara el informe previo para registrar la situación general de partida y variables de control. 2. Los integrantes del grupo de control realizarán un examen de conocimientos previos de la materia que se va a impartir. 3. Continuarán su educación de la materia en cuestión de forma tradicional, con los métodos y sistemas que estaban empleando hasta el momento. 4. Por último, realizarán otro examen de conocimientos, una vez terminado el periodo de formación. 58 7.3.- Parámetros/Características/Variables En esta sección definiremos de forma final los parámetros que se desean medir, su relación con los aspectos de la gamificación y objetivos del método, el actor al que se le requerirá, el método por el que se obtendrá, una definición y referencias de porqué se ha elegido ese parámetro y no otro, etc. La forma más organizada que se ha considerado para esto es en forma de tabla, ordenados por aspecto y parámetro de forma alfabética: Id Parámetro Definición Aspecto - Objetivo Actores Método Ref. #1 Conocimiento posterior Comprensión de la materia después de la experiencia Académico - Obj2A Receptore s Postexamen [83] [86] #2 Conocimiento previo Conocimiento sobre la materia de forma previa a la experiencia Académico - Obj2A Receptore s Preexamen [83] [86] #3 Cambios en los partes Cambios en el número de partes que tienen lugar Comportamiento - Obj2A Emisor Entrevist a [166] #4 Comportamien to en el recinto Comportamiento de los receptores durante el desarrollo de la actividad Comportamiento - Obj2A Emisor Entrevist a [17] #5 Integración percibida Integración entre los receptores durante el transcurso de la actividad Comportamiento - Obj2A Emisor Entrevist a [112] #6 Ruido en el recinto Niveles de alboroto durante el desarrollo de la actividad Comportamiento - Obj2A Emisor Entrevist a [17] 59 Id Parámetro Definición Aspecto - Objetivo Actores Método Ref. #7 Socialización percibida Capacidades sociales desarrolladas por los receptores durante la actividad Comportamiento - Obj2A Emisor Entrevist a [112] #8 Copyright No se infringe copyright Diseño de contenido - Obj2B Emisor Entrevist a [17] #9 Fiabilidad del contenido El contenido de la aplicación es veraz y fiable Diseño de contenido - Obj2B Receptore s Encuesta [17] #10 Practicidad del contenido El contenido de la aplicación es útil Diseño de contenido - Obj2B Receptore s Encuesta [17] #11 Respeto de los derechos humanos No hay contenido en contra de los derechos humanos Diseño de contenido - Obj2B Emisor Entrevist a [17] #12 Sistematicidad del contenido El aprendizaje sucede de forma progresiva Diseño de contenido - Obj2B Receptore s Encuesta [17] #13 Validez del contenido El contenido se adecua a la materia que debe aprender el receptor Diseño de contenido - Obj2B Receptore s Encuesta [17] #14 Adecuación de la duración La duración de la actividad se adapta al contenido Diseño metodológico - Obj2B Receptore s Encuesta [17] 60 Id Parámetro Definición Aspecto - Objetivo Actores Método Ref. #15 Adecuación de la frecuencia de aplicación La aplicación regular de la gamificación se hace en intervalos adecuados Diseño metodológico - Obj2B Receptore s Encuesta [109] #16 Adecuación de los grupos de trabajo Los grupos de trabajo tienen un tamaño adecuado Diseño metodológico - Obj2B Receptore s Encuesta [109] #17 Adecuación del medio de aplicación El método por el que se aplica la herramienta es adecuado Diseño metodológico - Obj2B Emisor Entrevist a [17] #18 Adecuación del número de profesores Hay suficientes docentes para atender al grupo Diseño metodológico - Obj2B Receptore s Encuesta [109] #19 Facilidad de uso percibida Del modelo TAM, actitud de los usuarios hacia los requerimientos a la hora de usar la herramienta Diseño metodológico - Obj2B Receptore s Encuesta [109] [143] #20 Facilidad de uso percibida (emisor) Actitud del emisor hacia los requerimientos a la hora de usar la herramienta Diseño metodológico - Obj2B Emisor Entrevist a [109] [143] #21 Adecuación del diseño El diseño estético se adapta al receptor Diseño técnico - Obj2B Receptore s Encuesta [17] #22 Comodidad del diseño La navegación es intuitiva y sencilla Diseño técnico - Obj2B Receptore s Encuesta [17] 61 Id Parámetro Definición Aspecto - Objetivo Actores Método Ref. #23 Control del emisor El emisor tiene capacidad para controlar y gestionar la experiencia Diseño técnico - Obj2B Emisor Entrevist a [17] #24 Frescura del diseño El diseño es atractivo y adecuado Diseño técnico - Obj2B Receptore s Encuesta [17] #25 Preferencia personal (emisor) Preferencia entre los métodos tradicionales o la experiencia gamificada Diseño técnico - Obj2B Emisor Entrevist a [107] #26 Probabilidad de reutilización Probabilidad de que el emisor vuelva a proponer la experiencia Diseño técnico - Obj2B Emisor Entrevist a [17] #27 Protección de datos Los datos de la aplicación están protegidos de forma adecuada Diseño técnico - Obj2B Emisor Entrevist a [17] #28 Utilidad percibida (emisor) Percepción de la actividad como una herramienta útil Diseño técnico - Obj2B Emisor Entrevist a [109] [143] #29 Asignatura/s Asignaturas en las que se aplicará la herramienta General - Obj2B Observado r/Emisor Informe Previo [165] #30 Datos sociales y demográficos Edad, sexo, nivel de estudios, nacionalidad, etc General - Obj2B Receptore s Encuesta [144] 68 ID Pregunta Q51 La materia que se enseña me motiva a continuar usando la herramienta. Q52 Considero que he aprendido bastante sobre la materia Q53 El uso de la herramienta me ha llevado a colaborar con otros compañeros Q54 Colaborar con compañeros me ha ayudado a avanzar en la experiencia Q55 Mientras usaba la herramienta he percibido competitividad con otros compañeros Q56 Me motivaba competir con otros compañeros para ver quien obtenía mejores puntuaciones Q57 Prefiero el uso de estas herramientas a la enseñanza tradicional Q58 Creo que la frecuencia con la que se ha usado la herramienta es la adecuada Q59 Creo que los grupos de trabajo tienen un tamaño adecuado Q60 Considero que había suficientes profesores para gestionar todo el desarrollo de la actividad Q61 Puntúe la experiencia del 0 al 10 Q62 Comente brevemente que le ha parecido la experiencia, justificando el punto anterior. Q63 Indique que cosas mejoraría a nivel general, así como los puntos fuertes de la experiencia. Tabla 19: Preguntas incluidas en la encuesta Al igual que con el informe previo, se puede encontrar en GitHub [191] un documento aplicable en experiencias a pequeña escala bajo el nombre “encuesta.docx”. 69 7.4.4.- Entrevista Por último, se refleja a continuación la entrevista que hay que realizar a los emisores: ID Pregunta Q64 ¿Cree que la herramienta es útil para ayudar en la educación? ¿Por qué? ¿Qué puntos fuertes destacaría? ¿Y puntos débiles? Q65 ¿Le ha parecido sencilla de usar? Intuitiva, sin muchos requisitos, etc. Describa en general, el proceso que involucra el uso de la herramienta en el aula, si se producen pérdidas de tiempo y que incidentes ha vivido (si se ha dado el caso), que hayan alterado al funcionamiento de esta. Q66 ¿Cree que utilizará la herramienta para impartir esta materia el año que viene? Razone su respuesta. Q67 Durante la experiencia, ¿ha sentido en todo momento la situación bajo control? ¿sentía que tenía capacidad para moderar la actividad de forma fácil? Indique si le pareció que la herramienta incluye suficientes opciones de moderación y en caso contrario describa alguna que le hubiese gustado encontrar. Q68 En cuanto al contenido que incluye la herramienta, ¿vio algún contenido inadecuado, en contra de los derechos humanos, o las leyes de copyright? Si la respuesta es afirmativa, describa brevemente la sección o escena donde tiene lugar. Q69 ¿Respeta la aplicación la privacidad de sus alumnos? ¿Ha observado alguna sección donde se violen las leyes de protección de datos? Si la respuesta es afirmativa, describa brevemente la sección o escena. Q70 ¿Le ha parecido que los medios tecnológicos que usa la herramienta son adecuados? Describa su experiencia, que medios requiere y si sugeriría alguna mejora en este aspecto. Q71 Describa, en general, el comportamiento de los alumnos durante la actividad. ¿Fue adecuado? ¿Mejor o peor que en una clase habitual? ¿Hubo algo que le llamara la atención? Si lo hubo descríbalo brevemente. Q72 ¿Se formó escándalo o alboroto durante el desarrollo de la actividad? Si la respuesta es sí ¿cuáles fueron las causas? Q73 ¿Percibió mejoras en la integración entre los alumnos? Describa brevemente las experiencias que tuvo relativas a este tema. Q74 ¿Percibió en los alumnos cambios en la sociabilidad? ¿Sentimientos de competitividad o colaboración? Describa brevemente las experiencias que observo entre sus alumnos relativas a este tema. Q75 ¿Prefiere el uso de la herramienta a las clases tradicionales? ¿Cree que hace la enseñanza más fácil o más compleja? ¿Cree que es algo que se podría incorporar a la enseñanza a largo plazo? 70 ID Pregunta Q76 Durante el uso de la herramienta. ¿Ha visto la cantidad de partes de comportamiento necesarios cambiada? ¿Para bien o para mal? Q77 Valore la experiencia general del 0 al 10 Q78 Describa brevemente la experiencia y justifique la puntuación anterior. Q79 Describa cuales han sido los puntos fuertes de la experiencia y que cosas mejoraría. Q80 ¿Crees que ha ayudado a que el alumno trabaje y aproveche la asignatura? Q81 ¿Crees que los juegos están debidamente aplicados? ¿Permiten valorar el aprendizaje del aluno de forma eficaz y objetiva? Q82 ¿Crees que ha sido útil para motivar a trabajar la asignatura? Tabla 20: Preguntas incluidas en la entrevista Se puede encontrar también en GitHub [191] un ejemplo de documento para la elaboración de esta encuesta a pequeña escala bajo el nombre “entrevista.docx”. 71 7.4.5.- Asociación preguntas-parámetro Por último, se adjunta una tabla donde están relacionados, los parámetros y variables, y las preguntas (ahora numeradas e identificadas) que recaban información relacionada: ID Parámetro Preguntas asociadas #1 Conocimiento posterior Examen 1 #2 Conocimiento previo Examen 2 #3 Cambios en los partes Q76 #4 Comportamiento en el recinto Q71 #5 Integración percibida Q73 #6 Ruido en el recinto Q72 #7 Socialización percibida Q74 #8 Copyright Q68 #9 Fiabilidad del contenido Q39,Q40 #10 Practicidad del contenido Q37,Q38 #11 Respeto de los derechos humanos Q68 #12 Sistematicidad del contenido Q41,Q42 #13 Validez del contenido Q35,Q36 #14 Adecuación de la duración Q43 #15 Adecuación de la frecuencia de aplicación Q58 #16 Adecuación de los grupos de trabajo Q59 #17 Adecuación del medio de aplicación Q70 #18 Adecuación del número de profesores Q60 #19 Facilidad de uso percibida Q34 #20 Facilidad de uso percibida (emisor) Q75 #21 Adecuación del diseño Q28,Q29 #22 Comodidad del diseño Q32,Q33 #23 Control del emisor Q67 72 ID Parámetro Preguntas asociadas #24 Frescura del diseño Q30,Q31 #25 Preferencia personal (emisor) Q66 #26 Probabilidad de reutilización Q65 #27 Protección de datos Q69 #28 Utilidad percibida (emisor) Q64 #29 Asignatura/s Q6 #30 Datos sociales y demográficos Q24,Q25,Q26,Q27 #31 Deberes habituales Q18 #32 Diversidad de los receptores Q11,Q12 #33 Duración Q2,Q3 #34 Historial académico Q13 #35 Partes habituales Q19 #36 Actitud hacia el uso Q46 #37 Aprendizaje percibido Q52 #38 Colaboración percibida Q53,Q54 #39 Competitividad percibida Q55,Q56 #40 Disfrute percibido Q49,Q50 #41 Intención de uso Q47,Q48 #42 Motivación con la materia Q51 #43 Preferencia personal Q57 #44 Utilidad percibida Q44,Q45 #45 Valoración global (emisor) Q77,Q78,Q79 #46 Valoración global (receptor) Q61,Q62,Q63 #47 Valoración global académica Q80 #48 Valoración global de comportamiento Q82 73 ID Parámetro Preguntas asociadas #49 Valoración global motivacional Q81 Tabla 21: Asociación parámetros-preguntas 74 8.- Procesamiento de los datos En este apartado trataremos de recoger todos los elementos necesarios para transformar las encuestas realizadas en información útil. 8.1.- Base Teórica Antes de entrar de lleno en el procesamiento de los datos, vamos a decidir las herramientas que usaremos y profundizar un poco en las mismas: 8.1.1.- Campos de inspiración Una vez que hemos definido los modelos a utilizar, resulta crucial abordar una fase de importancia clave: el procesamiento de datos, que nos permitirá obtener estadísticas y evaluaciones pertinentes para alcanzar los objetivos del método. Para llevar a cabo este proceso, es primordial analizar los métodos estadísticos empleados en diversos campos y determinar cuál de ellos puede servir de inspiración para nuestro propósito. Los métodos estadísticos desempeñan un papel esencial en diversos sectores, ya que contribuyen a la toma de decisiones informadas y a la mejora de procesos. En el sector financiero, por ejemplo, se emplean para examinar tendencias económicas, evaluar riesgos de inversión y desarrollar modelos predictivos. En el ámbito industrial, desempeñan un rol fundamental en el control de calidad y en la optimización de procesos, permitiendo identificar y reducir variabilidades. Asimismo, en la investigación científica y académica, se utilizan para validar hipótesis y analizar datos experimentales. No obstante, el sector médico destaca como uno de los campos más relevantes para la aplicación de métodos estadísticos. La complejidad inherente a la biología y la medicina, así como la necesidad de tomar decisiones con repercusiones directas en la salud humana, demanda un enfoque riguroso respaldado por evidencia sólida. Los métodos estadísticos permiten analizar ensayos clínicos, evaluar la eficacia de tratamientos e identificar factores de riesgo en poblaciones. La amplia disponibilidad de datos médicos, como registros de pacientes y estudios epidemiológicos, se puede aprovechar mediante análisis estadísticos avanzados para identificar patrones, detectar tendencias y generar conocimiento relevante para la atención médica. En última instancia, el sector médico es especialmente beneficiado por la aplicación de métodos estadísticos debido a su capacidad para mejorar la toma de decisiones médicas, optimizar protocolos de tratamiento y fomentar la investigación médica en busca de avances significativos en la salud y el bienestar de las personas. Un ejemplo específico de esta aplicación se encuentra en la validación estadística de nuevas vacunas, que sirve como inspiración central para nuestro modelo. La validación de vacunas representa una tarea crítica y compleja que involucra diversas técnicas estadísticas. El objetivo principal radica en determinar si la vacuna es efectiva para prevenir la enfermedad para la cual ha sido diseñada. El análisis estadístico abarca la comparación de resultados entre grupos de tratamiento y control, utilizando medidas de resumen y pruebas de hipótesis. Adicionalmente, se deben considerar elementos como la selección adecuada de participantes, la aleatorización, el tamaño de la muestra y la posible presencia de sesgos en los datos. 75 Uno de los enfoques comunes para analizar los resultados de pruebas de vacunas consiste en el cálculo de la tasa de eficacia, definida como la disminución porcentual de la incidencia de la enfermedad en el grupo de tratamiento en comparación con el grupo de control. Esta medida se utiliza para evaluar la eficacia de la vacuna y puede ser estimada mediante modelos estadísticos como el modelo de riesgo relativo o el modelo de riesgo atribuible [145] [156]. Un paralelo pertinente en nuestro contexto podría encontrarse en la evaluación de rendimiento académico. Además, otro método empleado para tomar decisiones sobre el uso de una vacuna en comparación con otras es el Proceso Analítico Jerárquico (AHP, por sus siglas en inglés) [157]. Es importante destacar que el análisis estadístico de los resultados de pruebas de vacunas debe ser realizado por expertos en estadística y epidemiología, ya que cualquier error en el análisis puede tener consecuencias significativas para la seguridad y la efectividad de la vacuna. Además, es crucial que los análisis estadísticos se realicen de acuerdo con los estándares internacionales, como los establecidos por la Organización Mundial de la Salud y la Agencia Europea de Medicamentos [146][147]. Afortunadamente, en nuestro caso no hay tantísimo riesgo, pese a que la educación es fundamental en la sociedad, un experimento con resultados no exitosos solo implica tener que esforzarse un poco más en el próximo periodo escolar. 8.1.2.- Métodos estadísticos Dado que tenemos clara nuestra fuente de inspiración (modelos estadísticos de aplicación médica), es necesario ahora determinar cuál será la metodología estadística que utilizaremos y por qué. Nuestra principal premisa será aplicar un modelo que se adapte con facilidad a nuestro problema. Analizando los modelos de riesgos relativo y atribuible, se ha observado que su adaptación a nuestro caso es un poco compleja, pues su criterio a la hora de decidir se basa en elegir la opción con menos efectos negativos, y, la expectativa general de la gamificación es de tener nulos efectos negativos. Necesitamos un sistema que use las virtudes de la herramienta a la hora de evaluar los resultados, y no tanto las debilidades. Es ahí donde vemos que los métodos de decisión multicriterio pueden ser fácilmente adaptables y hacer un papel sobresaliente. Estos, ampliamente aplicados en el campo médico [157], basan su virtud en su capacidad de tener en cuenta multitud de factores a la hora de evaluar un sistema. Esta propiedad, muy conveniente en el campo médico es idónea para su aplicación en nuestro estudio, donde, como ya hemos visto, decenas de variables deben ser tenidas en cuenta al mismo tiempo a la hora de arrojar un resultado. 76 Surge ahora una nueva pregunta ¿Qué método de decisión multicriterio debemos usar? Existen multitud de ellos, en esta tabla están clasificados los más importantes: GRUPO MADM MÉTODO MADM Métodos de puntuación directa Simple additive weighting (SAW) Complex proportional assessment (COPRAS) Métodos basados en la distancia Goal programming (GP) Compromise programming (CP) Technique for order of preference by similarity to ideal solution (TOPSIS) Multicriteria optimization and compromise solution (VIKOR) Métodos de comparación por pares Analytic hierarchy process (AHP) Analytic network process (ANP) Measuring Attractiveness by a Categorical Based Evaluation Technique (MACBETH) Métodos de superación Preference ranking organization method for enrichment of evaluations (PROMETHEE) Elimination and choice expressing reality (ELECTRE) Métodos basados en funciones de utilidad o valor Multi-attribute utility theory (MAUT) Multi-attribute value theory (MAVT) Modelo integrado de valor para evaluaciones sostenibles (MIVES) Tabla 22: Clasificación de métodos de decisión multi-atributo (MADM) [160] Para una mejor comprensión de estos, repasemos rápidamente cada uno de ellos: Simple Additive Weighting (SAW): SAW es un enfoque sencillo pero efectivo para la toma de decisiones multicriterio. En SAW, se asignan pesos a cada criterio en función de su importancia relativa, y luego se calcula una puntuación agregada para cada alternativa mediante la suma ponderada de los valores normalizados de los criterios. Esta suma ponderada permite comparar y clasificar las alternativas de manera objetiva. Lo que diferencia a SAW es su simplicidad y facilidad de implementación, lo que lo convierte en una herramienta útil para decisiones con múltiples criterios. Aunque no captura relaciones complejas entre criterios, su enfoque directo lo hace atractivo para problemas donde se requiere una solución rápida y transparente. [171] 77 Complex Proportional Assessment (COPRAS): COPRAS es un método que aborda la evaluación multicriterio considerando relaciones de proporción compleja entre alternativas y criterios. En lugar de usar pesos directos, COPRAS utiliza relaciones de proporción para comparar las contribuciones de cada alternativa a los criterios. Esto permite manejar situaciones donde las relaciones no son lineales. La diferencia clave de COPRAS radica en su enfoque en proporciones complejas en lugar de pesos directos, lo que lo hace adecuado para problemas donde las interacciones entre criterios son más intrincadas. [172] Goal Programming (GP): GP se destaca por abordar la optimización de múltiples objetivos en un marco de restricciones. A diferencia de otros métodos que buscan una única solución óptima, GP busca encontrar una solución que alcance un equilibrio entre los objetivos al minimizar las desviaciones respecto a los mismos. Cada objetivo puede tener diferentes grados de importancia, y GP busca minimizar las desviaciones sujetas a estas importancias. Lo que diferencia a GP es su enfoque en la satisfacción equitativa de múltiples objetivos en presencia de restricciones. [173] Compromise Programming (CP): CP se basa en encontrar una solución que represente un compromiso entre diferentes objetivos y restricciones. A diferencia de GP, que se centra en minimizar las desviaciones de los objetivos, CP busca encontrar una solución que sea óptima en términos de balance y tradeoffs. CP puede considerar una variedad de funciones de compromiso para lograr este equilibrio. La diferencia clave de CP radica en su enfoque en la búsqueda de una solución compromiso que cumpla con los objetivos y restricciones en un sentido más amplio. [174] Technique for Order of Preference by Similarity to Ideal Solution (TOPSIS): TOPSIS destaca por su enfoque en la proximidad relativa de las alternativas a un punto ideal y a un punto anti-ideal en el espacio de criterios. Calcula distancias para ambas referencias y clasifica las alternativas en función de su relación con estos dos puntos extremos. A diferencia de otros métodos, que utilizan sumas ponderadas o proporciones, TOPSIS se basa en una comparación relativa directa con referencias ideales y anti-ideales. Esto lo hace apropiado para problemas donde se busca una solución que sea óptima en términos de cercanía a estos puntos de referencia. [175] Multicriteria Optimization and Compromise Solution (VIKOR): VIKOR aborda la evaluación multicriterio a través de dos conceptos clave: la distancia entre una alternativa y un punto ideal y la distancia entre la alternativa y un punto anti-ideal. Lo que diferencia a VIKOR es su enfoque en encontrar una solución que esté más cerca del ideal y al mismo tiempo sea lo más equidistante posible del anti-ideal. Esto refleja su doble objetivo de buscar tanto la proximidad al ideal como el balance en términos de equidistancia. Esta combinación lo hace adecuado para problemas donde se requiere una solución que sea equilibrada y cercana al ideal. [176] 84 Aun así, es indiferente la escala final, y si se desea usar otro método de puntuación basta con re-escalar las puntuaciones. En este documento ajustaremos todos los datos obtenidos, para que acaben otorgando un valor entre 0 y 5. Este ajuste se realizará mediante el cálculo de estadísticos sobre los datos brutos de las encuestas. ¿Qué estadísticos y pruebas debemos usar? Existen multitud de ellos entre los que destacan, por su amplia difusión: • Promedio (Media): La media aritmética es la suma de todos los valores en un conjunto de datos dividida por el número de valores en el conjunto. Es una medida central que representa un valor típico del conjunto. [184] • Varianza: La varianza mide la dispersión de los valores individuales con respecto a la media. Es la media de los cuadrados de las diferencias entre cada valor y la media. [185] • Prueba t de Student: La prueba t de Student es una prueba estadística utilizada para determinar si hay una diferencia significativa entre las medias de dos grupos. Se basa en la distribución t de Student y ayuda a inferir sobre las poblaciones a partir de muestras pequeñas. [186] • Coeficiente de Correlación Pearson: Mide la relación lineal entre dos variables continuas. El coeficiente varía entre -1 y 1, donde -1 indica una correlación negativa perfecta, 1 indica una correlación positiva perfecta, y 0 indica falta de correlación lineal. [187] • Desviación Estándar: La desviación estándar es la raíz cuadrada de la varianza. Representa la medida de la dispersión o variabilidad de los datos en relación con la media. Valores mayores indican mayor dispersión. [188] Dado que en general, lo que nosotros deseamos es analizar la opinión global de los participantes, el estadístico que más usamos es el promedio, como en otros muchos métodos de evaluación de satisfacción [189]. Además, para reforzar algunas de las concusiones y hacer ciertas comprobaciones se usarán esporádicamente la varianza y la prueba t de student. En esta última tendremos que profundizar un poco para su completa comprensión: 8.1.3.1- Prueba t de Student En parte del análisis estadístico necesitamos comparar promedios entre ellos de forma fiable. Para una correcta comparativa de las medias, hay que tener también en cuenta la dispersión. Por ello se ha recurrido a la prueba t de student para comparar los estadísticos y ver si hay diferencias notables. Es una prueba de hipótesis ampliamente extendida y usada en multitud de estudios tanto médicos como de otros ámbitos [148]. En función de si las muestras están relacionadas (tomadas de un mismo grupo) o independientes la prueba t de student varía levemente. 85 Prueba t de student sobre muestras independientes Para realizar la prueba, comparando dos promedios independientes, se siguen estos pasos [149][150][151]: 1. Establecer las hipótesis: La primera etapa en una prueba de hipótesis es establecer las hipótesis nula y alternativa. La hipótesis nula establece que no hay diferencia entre las medias, mientras que la hipótesis alternativa sugiere que hay una diferencia. 2. Verificar supuestos: Antes de llevar a cabo la prueba t de Student, es importante comprobar si los datos cumplen con los supuestos necesarios para su aplicación, como la normalidad y la homogeneidad de varianzas. 3. Calcular el estadístico t: Una vez que se han establecido las hipótesis y verificado los supuestos, se calcula el estadístico t. El cálculo del estadístico t depende del número de grados de libertad y de la diferencia entre las medias. Es el paso que varía entre la prueba de muestras dependientes e independientes. En el caso que nos atañe, el estadístico t se calcula como: 𝑡= 𝑋1−𝑋2 √𝑆𝑐2 𝑛1+𝑆𝑐2 𝑛2 Donde: 𝑡:𝐸𝑠𝑡𝑎𝑑í𝑠𝑡𝑖𝑐𝑜 𝑡 𝑐𝑎𝑙𝑐𝑢𝑙𝑎𝑑𝑜. 𝑋1;𝑋2:𝑚𝑒𝑑𝑖𝑎𝑠 𝑚𝑢𝑒𝑠𝑡𝑟𝑎𝑙𝑒𝑠. 𝑆𝑐2:𝑣𝑎𝑟𝑖𝑎𝑛𝑧𝑎 𝑐𝑜𝑚ú𝑛. 𝑆𝑐2=(𝑛1−1)𝑆12+(𝑛2−1)𝑆22 𝑛1+𝑛2−2 4. Determinar el valor p: Después de calcular el estadístico t, se determina el valor p asociado. El valor p indica la probabilidad de que la diferencia observada entre las medias de los grupos se deba únicamente al azar. Si el valor p es menor que el nivel de significación elegido (en este caso 5%, debido al tamaño esperado de nuestras muestras y su amplia extensión [190]), se rechaza la hipótesis nula. Para calcular el valor p, se analiza en la distribución t de student, el valor correspondiente al estadístico t calculado, para unos grados de libertad determinados, en este caso: 𝐺𝑟𝑎𝑑𝑜𝑠 𝑑𝑒 𝑙𝑖𝑏𝑒𝑟𝑡𝑎𝑑=𝑛1+𝑛2−2 5. Interpretar los resultados: Finalmente, se interpretan los resultados de la prueba. Si se rechaza la hipótesis nula, se concluye que hay una diferencia significativa entre las medias. Η0:𝜇1=𝜇2 Η1:𝜇1≠𝜇2 86 Prueba t de student sobre muestras relacionadas Esta prueba se aplicará sobre los casos donde las muestras que se han tomado están relacionadas, pues, por ejemplo, pertenecen al mismo colectivo en distintos instantes temporales. El protocolo, es exactamente igual al anterior, con algún cambio en las hipótesis y en la obtención del estadístico: 1. Establecer las hipótesis: Dado que ahora los grupos tienen los mismos individuos podemos hacer hipótesis directamente sobre la diferencia de los resultados. La hipótesis nula establece que la media de las diferencias es menor o igual que cero, no ha habido mejora, mientras que la hipótesis alternativa sugiere que hay una diferencia positiva (también se podría plantear al contrario). 2. Verificar supuestos: Al igual que antes. 3. Calcular el estadístico t: En el caso que nos atañe, el estadístico t se calcula como: 𝑡= 𝑑 𝑆𝑑 √𝑛 Donde: 𝑡:𝐸𝑠𝑡𝑎𝑑í𝑠𝑡𝑖𝑐𝑜 𝑡 𝑐𝑎𝑙𝑐𝑢𝑙𝑎𝑑𝑜. 𝑑:𝑃𝑟𝑜𝑚𝑒𝑑𝑖𝑜 𝑑𝑒 𝑙𝑎𝑠 𝑑𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎𝑠. 𝑆𝑑:𝐷𝑒𝑠𝑣𝑖𝑎𝑐𝑖ó𝑛 𝑒𝑠𝑡á𝑛𝑑𝑎𝑟 𝑑𝑒 𝑙𝑎𝑠 𝑑𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎𝑠 𝑆𝑑= √(𝑑𝑖−𝑑)2 𝑛−1 4. Determinar el valor p: Los grados de libertad esta vez son: 𝐺𝑟𝑎𝑑𝑜𝑠 𝑑𝑒 𝑙𝑖𝑏𝑒𝑟𝑡𝑎𝑑=𝑛− 1 5. Interpretar los resultados. Η0:𝜇𝑑≤0 Η1:𝜇𝑑>0 87 8.2.- Evaluación de los exámenes A la hora de procesar los datos obtenidos de los exámenes, las encuestas y las entrevistas tendremos 2 objetivos: • Conservar la información cualitativa que pueda haber. • Convertir los datos en valores de entrada para AHP (para cada criterio), bajo una escala común. Para evaluar los exámenes se usará el estadístico de la media, y, usando la prueba t de student se buscarán diferencias entre los resultados del grupo de control y experimental, del post-test y pre-test. Como máximo tendremos que hacer 4 comparativas: 1. Pre-test control – pre-test experimental 2. Post-test control – post-test experimental 3. Pre-test control – post-test control 4. Pre-test experimental – post-test experimental Viendo las diferencias en las medias con el estudio de t de student podremos puntuar el conocimiento obtenido y las diferencias con el grupo de control. Para hacer correctamente la comparativa debemos tener en cuenta que hay algunas de ellas que tienen las dos muestras relacionadas (que se realizan sobre el mismo grupo) y otras que no. Concretamente, los casos 1 y 2 se analizarán con la prueba t de student para muestras independientes y los casos 3 y 4 con la prueba para muestras relacionadas. Una vez realizadas las 4 pruebas, siguiendo el protocolo descrito anteriormente, cada resultado nos da una información fundamentalmente distinta: 1. Pre-test control – Pre-test experimental: se asegura de que ambos grupos partan de condiciones iniciales semejantes. 2. Post-test control – post-test experimental: esta comparativa es de especial importancia pues es la que nos da información sobre si el sistema empleado es igual de eficaz o mejor que la enseñanza tradicional 3. Pre-test control – post-test control: análisis más que nada informativo, para ver cuanto conocimiento se ha adquirido por los métodos tradicionales. 4. Pre-test experimental – post-test experimental: nos permite ver si hemos obtenido resultados académicos considerables dentro del grupo, a través de la experiencia gamificada. 88 Con estos resultados, debemos dotar de un puntuaje al aspecto académico. Para ello, se hará uso de dos parámetros: • Conocimiento obtenido: entre 0 y 5 a través de la experiencia. • Comparación con grupo de control: entre 0 y 5 siendo 0 mucho peor, 2.5 igual y 5 mucho mejor. Cabe destacar que este parámetro solo será tenido en cuenta si el experimento contaba con grupo de control. Recordemos que obtenemos las puntuaciones entre 0-5 para ajustarnos al estilo definido en el apartado 8.1.1. Para obtener una calificación exacta se han realizado los siguientes protocolos: 8.2.1.- Conocimiento Obtenido Se ha analizado la prueba de student entre el pre-test y el post-test del grupo experimental. Si se acepta la hipótesis nula (no ha habido cambio positivo en la media) el conocimiento obtenido es puntuado con 0 puntos sobre 5, pues la aplicación no ha cumplido ningún objetivo académico. Si, por el contrario, sí que ha habido un incremento de la media, se ha puntuado de la siguiente forma: 𝑃𝑢𝑛𝑡𝑢𝑎𝑐𝑖ó𝑛=5∗𝑀𝐹−𝑀𝐼 10−𝑀𝐼 Donde MI, es la media inicial (pre-test) y MF la media final (post-test). Se está evaluando todo el posible rango de mejora de los alumnos desde la media del pre-test hasta el sobresaliente, de forma que la puntuación máxima será alcanzada por la herramienta que consiga que la clase obtenga una media de 10. 8.2.2.- Comparación con grupo de control Para valorar este parámetro nos hemos fijado en la comparación entre el post-test del grupo experimental y el post-test del grupo de control. Para dotar de una puntuación se ha realizado lo siguiente, sea MC la media de control y ME la media experimental: 𝑃𝑢𝑛𝑡𝑢𝑎𝑐𝑖ó𝑛=5∗𝑀𝐸−2𝑀𝐶+20 20−2𝑀𝐶 Para entender como se ha puntuado, supongamos que la MC = 7, para sacar un 5 en este parámetro, la ME tendrá que ser un 10, mucho mejor que MC. El 0 será por su parte mucho peor, se ha establecido como rango inferior, la nota que dista los mismo de MC que MC dista del 10, en este caso 4: Figura 29: Puntuación de “Comparación con grupo de control” 89 8.3.- Evaluación de las encuestas La evaluación de las encuestas es considerablemente más sencilla. Únicamente se ha calculado la puntuación media de las respuestas (entre 1 y 5) y re escalado para que sean puntuadas de 0 a 5, tal y como el resto de los parámetros. Para ello a cada una de las medias de las respuestas se le ha aplicado la fórmula: 𝑃𝑢𝑛𝑡𝑢𝑎𝑐𝑖ó𝑛= 5 ∗ 𝑋−1 4 Excepciones a esta regla son, la pregunta 31, 32 y 33. Donde, la pregunta 31 sencillamente dividimos la media por 2, y las preguntas 32 y 33, cualitativas, son información relevante para el desarrollador que no será tenida en cuenta en las puntuaciones. Con esto se obtienen puntuaciones para los parámetros evaluables mediante encuestas. 8.4.- Evaluación de las entrevistas Las entrevistas son un punto complicado de evaluar, pues nos proporcionan gran cantidad de información, pero de forma cualitativa. Todas las valoraciones proporcionadas serán tenidas en cuenta e incluidas en el informe final, pero también nos interesa extraer una puntuación de los aspectos sobre los que se realizan las preguntas. Para ello se ha decidido que lo más adecuado es que uno o varios entendidos en la materia, preferiblemente que formen parte de los observadores del experimento, puntúen estos parámetros de 0 a 5 en función de la información suministrada por los emisores en las entrevistas. Lo óptimo sería hacer una puntuación comparativa con otros sistemas gamificados, como sugiere la metodología AHP en parámetros cualitativos, pero el objetivo del método de evaluación que queremos proponer es que se pueda aplicar de forma aislada a distintas herramientas sin depender de otra. Este procedimiento es independiente del “panel de expertos” necesario para AHP y descrito en el apartado 8.1. Para hacer esto de la forma más objetiva posible, se dictan aquí algunas bases para la evaluación de los parámetros, y los distintos significados aproximados de las puntuaciones. Contra más grande sea el grupo de expertos, mayor calidad tendrá la puntuación del parámetro, que no será más que la media de todas las valoraciones. 90 Parámetro Puntuación mínima Puntuación intermedia Puntuación máxima Utilidad percibida (emisor) La herramienta es inútil y no cumple con ninguna necesidad pedagógica. La herramienta puede ser útil en ciertas situaciones o para ciertos objetivos pedagógicos específicos, pero no es esencial para la enseñanza en general. La herramienta es indispensable para la educación, no sabe cómo ha sobrevivido sin ella. Facilidad de uso percibida (emisor) La herramienta es difícil de usar y requiere una gran cantidad de tiempo y esfuerzo para aprender. La herramienta es fácil de usar para la mayoría de los usuarios, pero algunos pueden necesitar algo de tiempo para familiarizarse con ella. La herramienta es muy fácil de usar y la mayoría de los usuarios pueden aprender a utilizarla rápidamente sin problemas. Probabilidad de reutilización La herramienta es de un solo uso y no tiene valor después de su uso inicial. La herramienta se puede utilizar para más de un propósito, pero no es especialmente versátil ni escalable. La herramienta es altamente versátil y escalable, lo que permite su uso en una amplia variedad de contextos y situaciones. Control del emisor El docente no puede controlar la herramienta de manera efectiva El docente puede controlar la herramienta pero tiene dificultades ocasionales El docente tiene un control completo y efectivo de la herramienta Copyright La herramienta viola los derechos de autor y no cumple con las leyes de propiedad intelectual. La herramienta cumple con las leyes de propiedad intelectual y ofrece alguna forma de protección de los derechos de autor. La herramienta ofrece una excelente protección de los derechos de autor y cumple con todas las leyes de propiedad intelectual aplicables. 91 Parámetro Puntuación mínima Puntuación intermedia Puntuación máxima Respeto de los derechos humanos La herramienta viola los derechos humanos y no cumple con los estándares éticos de la sociedad. La herramienta cumple con algunos estándares éticos, pero puede haber algunas preocupaciones en cuanto a la privacidad o seguridad de los usuarios. La herramienta cumple con todos los estándares éticos y de derechos humanos y protege adecuadamente la privacidad y seguridad de los usuarios. Protección de datos La herramienta no ofrece ninguna forma de proteger los datos de los usuarios y puede poner en peligro la privacidad y seguridad de estos. La herramienta ofrece algunas formas de proteger los datos de los usuarios, pero aún puede haber algunas preocupaciones en cuanto a la seguridad y privacidad. La herramienta ofrece una excelente protección de datos y privacidad para los usuarios y es muy segura de usar. Adecuación del medio de aplicación El medio de aplicación no es adecuado para la herramienta. La herramienta es adecuada para el medio de aplicación pero tiene algunas limitaciones La herramienta es completamente adecuada para el medio de aplicación Comportamiento en el recinto Los receptores no se comportan adecuadamente al utilizar la herramienta Los receptores se comportan adecuadamente la mayoría del tiempo al utilizar la herramienta, pero puede haber algunos problemas Los receptores se comportan de manera excelente al utilizar la herramienta Ruido en el recinto Los alumnos hacen mucho ruido y distraen a otros estudiantes Los alumnos hacen algo de ruido, pero no es demasiado molesto Los alumnos son silenciosos y no distraen a otros estudiantes Integración percibida Los estudiantes tienen dificultades para integrarse y comprender la herramienta Los estudiantes se integran bien y comprenden la herramienta, pero puede haber algunos problemas menores Los estudiantes se integran perfectamente y comprenden la herramienta de manera efectiva 92 Parámetro Puntuación mínima Puntuación intermedia Puntuación máxima Socialización percibida Los estudiantes no interactúan socialmente al utilizar la herramienta Los estudiantes interactúan socialmente de forma limitada al utilizar la herramienta Los estudiantes interactúan socialmente de manera efectiva al utilizar la herramienta Preferencia personal (emisor) El docente prefiere no utilizar la herramienta El docente utiliza la herramienta ocasionalmente, pero no le gusta mucho El docente prefiere utilizar la herramienta y cree que es muy útil Cambios en los partes La herramienta no tiene impacto en el comportamiento de los estudiantes, hay la misma cantidad de partes que antes. La herramienta tiene un impacto moderado en el comportamiento de los estudiantes, cantidad de partes reducida. La herramienta tiene un impacto significativo en el comportamiento de los estudiantes, no se han producido más partes de comportamiento. Valoración global Numérico, no aplica. Numérico, no aplica. Numérico, no aplica. Valoración global de comportamiento El profesor percibe mal ambiente de trabajo Ambiente estándar, ni mejor ni peor A ojos del profesor ha mejorado el ambiente de trabajo Valoración global académica El profesor percibe que la herramienta no ha ayudado a aterrizar el contenido deseado La herramienta sirve para dar el contenido como cualquier otro medio La herramienta es especialmente buena para impartir el contenido. Valoración global motivacional El docente percibe una caída de la motivación general El docente percibe la motivación en su estado estándar Los alumnos están motivados con la herramienta. Tabla 26: Guía de evaluación de los resultados de la entrevista 93 8.5.- Aplicación de AHP Ya tenemos preparados las puntuaciones homogéneas, es momento de configurar AHP para un funcionamiento adecuado. Para ello debemos: • Definir la estructura jerárquica. • Calcular las importancias con ayuda del panel de expertos. Para nuestro método de validación de experiencias gamificadas, queremos dar respuestas claras a dos objetivos fundamentales, por tanto, se realizarán dos procedimientos AHP sobre los datos que correspondan. Las estructuras jerárquicas vienen definidas desde el inicio de este análisis cuando en la Tabla 16 clasificábamos los parámetros teniendo en cuenta un aspecto y su objetivo. El objetivo que persiguen determina en que análisis será tenido en cuenta y el aspecto es el superior jerárquico. La estructura jerárquica queda así: Figura 30: Distribución jerárquica simplificada Teniendo clara la jerarquía, lo único que nos falta es calcular las importancias. Para ello, hacemos que uno o más expertos nos completen una encuesta de comparación pareada de todos los aspectos entre ellos (nivel 1 jerárquico, criterios a partir de ahora) y dentro de cada aspecto, todos los parámetros entre ellos (nivel 2 jerárquico, subcriterios a partir de ahora). En la Figura 28 tenemos un fragmento de la encuesta en el que se puede observar el formato que debe tener: 100 CRITERIO PUNTUACIÓN DEL CRITERIO SUBCRITERIO PUNTUACIÓN 0-5 PONDERACIÓN Fiabilidad del contenido 2,00 12,30% Sistematicidad del contenido 1,82 6,10% Copyright 2,00 2,66% Respeto de los derechos humanos 3,00 4,29% DISEÑO METODOLÓGICO 3,52 Adecuación de la duración 3,52 14,28% Adecuación de la frecuencia de aplicación 3,52 14,28% Adecuación de los grupos de trabajo 3,52 14,28% Adecuación del medio de aplicación 3,52 14,28% Adecuación del número de profesores 3,52 14,28% Facilidad de uso percibida 3,52 14,28% Facilidad de uso percibida (emisor) 3,52 14,28% Adecuación de la duración 3,52 14,28% Tabla 30: Tabla de puntuación del objetivo 2B Las columnas de la tabla funcionan y reflejan exactamente lo mismo que en la Tabla 27. Esta puntuación representa el grado de aprecio de los usuarios por ese aspecto. Una puntuación cerca de 5 indica un muy buen desempeño de la herramienta en esos aspectos, mientras que una cercana a 0 indica lo contrario, que hay elementos que no acaban de encajar. Además de estas valoraciones, tenemos un conjunto de datos, que, al compararlos con otros resultados de herramientas similares pueden proporcionarnos información de valor a la hora de dar respuesta al objetivo 2B. Estos datos son algunos de los obtenidos con el informe previo: 101 Asignaturas en las que se aplicará la herramienta Edad, sexo, nivel de estudios, nacionalidad, etc Cantidad media de deberes suministrados a los receptores Identificación entre los receptores de personas de altas capacidades o necesidades especiales Registro de la duración de la experiencia Número de profesores involucrados Frecuencia de uso de la herramienta Distribución por grupos de trabajo Si un experimento de la misma herramienta obtiene diferentes resultados para el objetivo 1, es de gran interés analizar si hay diferencia también en estos parámetros, permitiéndonos deducir cuales han podido tener más impacto. 8.7.- Resultado obtenidos Después de terminar todo el proceso tenemos una serie de resultados de gran utilidad, tanto desde el punto de vista docente, como para desarrolladores de entornos GBL. Aparte de un análisis de los resultados obtenidos, tenemos un estudio de los métodos usados, ambos desglosados punto por punto. Esto nos permite extraer gráficas que nos muestren fácilmente los puntos más fuertes y débiles de la experiencia (valores y gráfico de ejemplo): Figura 32: Ejemplo de gráfico de resultados 102 BLOQUE III: Diseño y realización de experiencias prácticas 9.- Aplicaciones desarrolladas para la experimentación práctica Para poder realizar un pequeño experimento probando el sistema se han desarrollado dos prototipos de herramienta que permitan recabar los datos de la forma más sencilla posible. Estas son una pequeña página web y una hoja de cálculo, ambas herramientas disponibles en el GitHub del proyecto [191]. Cabe destacar que el objetivo principal de este estudio no es el desarrollo de estas herramientas, sino su fundamento teórico, por ello han de tomarse como lo que son, prototipos y extremar las precauciones si se pretenden usar en entornos de producción (no recomendable). 9.1.- Página web SurveyMaker Web desarrollada en eclipse usando los lenguajes java, jsp, html, css y javascript. Su objetivo es facilitar la realización de las encuestas de forma telemática. En GitHub dentro de la carpeta Bloque III/Web podemos encontrar el archivo SurveyMaker.war que contiene la página web para su despliegue en un servidor Tomcat o similar, el documento startdb.sql que permite inicializar la base de datos que requiere la web para funcionar, y por último el archivo eclipse2023.zip que contiene todo el entorno de desarrollo y los binarios de la web. También se incluye un video explicativo del funcionamiento de la herramienta. En el Anexo IV se incide más en el código de la página y las tecnologías de esta. Veamos rápidamente cómo funciona la aplicación, al acceder a la a página principal nos aparece la siguiente ventana: Figura 33: Página principal SurveyMaker 103 Aquí ponemos un código que se corresponda con una encuesta, por ejemplo, Y3DNHW, para acceder a la encuesta correspondiente: Figura 34: Formulario de encuestas en SurveyMaker 104 Al rellenar y enviar la encuesta se guarda en la base de datos. Si en vez de un código de encuesta ponemos la contraseña de administración (por defecto “admin1”) entramos en el panel de administración que nos permite crear nuevas encuestas, ver los códigos, eliminar encuestas existentes o exportar los resultados en una hoja de cálculo: Figura 35: Vista del panel de administrador de SurveyMaker Con esto se pueden realizar las encuestas y obtener sus resultados de forma muy sencilla. 9.2.- Hoja de cálculo Una vez recabados los datos con la web, los resultados se vuelcan en una hoja de cálculo (disponible en GitHub [191] bajo el nombre de “data processor.xlsx” en el directorio BloqueIII). Esta hoja sencillamente realiza todos los cálculos que se han explicado en el apartado 8 y convierte las respuestas de las encuestas en información de gran calidad, además genera un informe donde se recogen gráficos comparativos y todos los datos cuantitativos obtenidos de forma visual y explicativa. Se incluye en el Anexo II un informe de resultados de ejemplo. El Excel está estructurado en 7 hojas: • Informe Previo: hoja donde se registran los resultados de la encuesta de mismo nombre. • Resultado Examen: hoja donde se registran las puntuaciones de las pruebas objetivas antes y después de la experiencia del grupo experimental y de control. • Resultados Encuestas: hoja donde se depositan todas las respuestas que han dado los participantes a las preguntas de las encuestas. • Resultado Informe Final: hoja donde se registran las respuestas del emisor una vez concluida la experiencia. • Panel de expertos: configuración de los pesos AHP en la comparación por pares. Se puede, o bien rellenar la encuesta ahí mismo, o, poner directamente las valoraciones en la columna que pone “Valoraciones”: 105 Figura 36: Fragmento de la hoja “Panel de expertos” de “data processors.xlsx” • Cálculos: hoja donde se lleva a cabo todo el procesado de la información. • Informe final: sería el “output” del Excel, esta hoja se puede imprimir dando lugar al informe de alto valor (Anexo II). En GitHub se puede encontrar un vídeo donde se explica el uso de este Excel, en el directorio BloqueIII/Web, pero se puede resumir en rellenar las 5 primeras hojas (input) con los resultados de las encuestas y obtener tu informe en la 7ª hoja (output). 106 10.- Diseño de experimentos Para validar los resultados de este estudio se pretenden hacer tres experiencias donde poner a prueba toda la teoría desarrollada. Cada experiencia encajará dentro de una de las tres metodologías descritas en el apartado 7.2.1. Debido al tiempo y medios de los que disponemos se ha realizado la 1ª experiencia, y las otras dos se dejan maquetadas como puntos de continuación de este estudio: 10.1.- Proyecto Pony (Metodología Bullet) Experiencia rápida para probar la metodología Bullet y los sistemas de validación desarrollados. Para diseñar este experimento hemos tenido en cuenta los recursos disponibles y vamos a tratar de obtener la máxima información de estos. Disponemos de 4 profesores de 5 asignaturas distintas dispuestos a probar una herramienta de gamificación. Para maximizar los resultados, todos los ensayos seguirán una línea común, pero tendrán pequeñas diferencias de entorno entre ellos que nos permitirán analizar la repercusión de ciertos parámetros en el resultado final. Entremos directamente en los requisitos del proyecto, se propone: Experiencia 1 Experiencia 2 Experiencia 3 Asignaturas Servicios Telemáticos Avanzados Integración de Sistemas y Servicios Sistemas Operativos Herramienta Kahoot! Kahoot! Kahoot! Participantes 43 10 10-15 Grupos 3 1 1 Profesores Francisco Javier Muñoz Calle Francisco Javier Muñoz Calle María Teresa Ariza Gómez Grupo de control Sí, 1 de los 3 grupos será de control No No Duración total 2 semanas 2 semanas 3 semanas Frecuencia de aplicación 1 vez/semana 1 vez/semana 1 vez/semana Número de sesiones 2 2 3 Duración de las sesiones 20’ 20’ 20’ Recompensa Sí Sí No 107 Experiencia 4 Experiencia 5 Experiencia 6 Asignaturas Física y Química Física y Química Fundamentos de Programación I Herramienta Juegos AJDA Juegos AJDA Kahoot! Participantes 11 11 30 Grupos 1 1 1 Profesores Jesús Manuel Muñoz Calle Jesús Manuel Muñoz Calle Francisco José Fernández Jiménez Grupo de control No No No Duración total 2 semanas 2 semanas 2 semanas Frecuencia de aplicación 2 veces /semana 2 veces /semana 1 vez/semana Número de sesiones 4 4 2 Duración de las sesiones 20’ 60’ 20’ Recompensa Sí Sí No Tabla 31: Parámetros de diseño del proyecto Pony Las sesiones consistirán sencillamente en 20’ de juego con la herramienta al finalizar las clases teóricas correspondientes, el grupo de control no participará en la actividad y continuará con las clases como de costumbre. Además, en las experiencias 1,3 y 4 las mejores puntuaciones en Kahoot! contarán con una recompensa en la asignatura, que funcionará como incentivo a la participación y cuya influencia analizaremos en el análisis de resultados. 108 Para la recolección de los datos se usarán las herramientas descritas en el apartado 9. Sobre cada documento cabe resaltar: • Debido a las limitaciones temporales no se realizará pre-test (sus resultados serán considerados 0, de forma que los parámetros asociados sigan siendo útiles y consistentes). • El post-test queda a cargo de los profesores, a los que se les solicitara, sencillamente, los primeros resultados académicos que tengan relación con la parte de la materia en la que se ha aplicado la herramienta. • La encuesta a los participantes se realizará en los 5 últimos minutos de la última sesión. • El informe previo será completado por el profesor, cuando sea posible, durante la 1ª semana de la experiencia. • Igualmente, se solicitará al profesor que complete la entrevista, cuando tenga la posibilidad, una vez ha acabado la experiencia. Como se puede observar, las 5 experiencias están dentro de la metodología Bullet, debido a su corta duración, pero con pequeños cambios entre ellas: • La experiencia 1 será la más estándar, conformada por 2 grupos experimentales y un grupo de control lo que nos permitirá centrarnos en la comparación de resultados académicos • Las experiencias 2 y 3 nos permiten comparar la inclusión de recompensa y su implicación en los aspectos de comportamiento. • En la experiencia 4 experimentamos duplicando la frecuencia de aplicación. • En la experiencia 5 probamos aumentando la duración de las sesiones, para ver que efecto produce esto. • Por último, la experiencia 6 nos permite analizar el impacto de un grupo más numeroso en la experiencia. Una vez se recojan los datos de la experiencia, se procesarán siguiendo la metodología expuesta en el apartado 8, procesamiento de datos, para obtener unas conclusiones definitivas. 109 10.2.- Proyecto VaK (Metodología Blitz) Experiencia intermedia para poner a prueba la metodología blitz y los sistemas de validación desarrollados. Entremos directamente en los requisitos del proyecto, se propone: Parámetro Valor Asignaturas 1 asignatura Herramienta Quizz (a través de kahoot) Participantes Al menos 20 participantes Grupos Cuatro grupos que se enfrentan por la victoria en un concurso por bandos Profesores 1 profesor Grupo de control No Duración total 3 meses Frecuencia de aplicación 1 sesión/ 2 semanas Número de sesiones 6 Duración de las sesiones 30’ Tabla 32: Parámetros de diseño del proyecto VaK Las sesiones se ajustarán lo máximo posible a este timeline: SESIÓN • 30’ aplicación de la herramienta gamificada Excepto las sesiones inicial y final que serán un poco más largas para poder realizar las pruebas de obtención de datos, en la sesión inicial el pre-test y el informe inicial, y en la final la encuesta y la entrevista. 116 ID Pregunta v2 Q12 Número de observadores (1) Q13 Número de participantes esperados Q14 Número de participantes de altas capacidades Q15 Número de participantes con necesidades educativas especiales Q16 Observaciones (2) Q17 Media académica de los participantes en la asignatura el curso anterior (3) Q18 Método de evaluación principal usado en la asignatura (4) Q19 ¿Relación entre resultados de pruebas objetivas y métodos de evaluación? (5) Q20 Actitud del alumno hacia el aprendizaje (6) Q21 Carga de trabajo de la asignatura media (horas de trabajo en casa/semana) (7) Q22 Media semanal de sanciones por comportamiento Q23 Porcentaje mensual de asistencia a clase (cómputo global aproximado) Q24 Integración del alumnado en actividades grupales (8) Q25 Integración del alumnado con necesidades especiales o de altas capacidades (si los hubiera) (9) Q26 Valoración general del docente de la convivencia (10) Q27 Edad Q28 Nacionalidad Q29 Género Q30 Curso Q31 Me ha gustado el diseño estético de la aplicación Q32 La paleta de colores y las animaciones eran de mi agrado Q33 La herramienta se siente original y moderna Q34 La herramienta cumple mis estándares para su uso Q35 No he tenido problemas a la hora de navegar por la herramienta, he podido llegar donde quería de forma rápida 117 ID Pregunta v2 Q36 La distribución de los menús y pestañas es intuitiva y fácil de comprender Q37 La herramienta es accesible de forma rápida y sencilla, sin necesidad de mucha preparación previa Q38 La herramienta me ayuda a comprender la materia de la asignatura Q39 El contenido que ofrece la herramienta se adecúa a la materia que estoy estudiando en clase Q40 Me parece que los contenidos expuestos por la aplicación son útiles Q41 Me parecen interesantes las cosas que he aprendido mediante la herramienta, ya que son prácticas en mi día a día. Q42 El contenido enseñado en la herramienta es veraz y coincide con el que he obtenido en clase Q43 No he encontrado contradicciones ni errores conceptuales mientras usaba la herramienta Q44 No me he encontrado ejercicios que hayan bloqueado mi experiencia debido a su dificultad Q45 La dificultad a lo largo de toda la experiencia ha sido progresiva, así como los conceptos que se enseñan Q46 La duración de la experiencia ha sido adecuada Q47 (Opcional) ¿Cambiarías la duración? ¿Harías la experiencia más larga o corta? Q48 La herramienta me ha parecido útil para mi aprendizaje Q49 Creo que gracias a la herramienta he aprendido los conceptos de forma más sencilla Q50 Estoy dispuesto a repetir una experiencia similar en otros cursos o asignaturas Q51 Si pudiera usar esta herramienta en casa, para repasar, la usaría Q52 Recomendaría esta herramienta a amigos o familiares, si tuvieran que aprender los conceptos que enseña Q53 He disfrutado mientras usaba la herramienta Q54 Las actividades que se proponen en la experiencia son divertidas y entretenidas Q55 La materia que se enseña me motiva a continuar usando la herramienta. Q56 Considero que he aprendido bastante sobre la materia 118 ID Pregunta v2 Q57 El uso de la herramienta me ha llevado a colaborar con otros compañeros Q58 Colaborar con compañeros me ha ayudado a avanzar en la experiencia Q59 Mientras usaba la herramienta he percibido competitividad con otros compañeros Q60 Me motivaba competir con otros compañeros para ver quien obtenía mejores puntuaciones Q61 Prefiero el uso de estas herramientas a la enseñanza tradicional Q62 Creo que la frecuencia con la que se ha usado la herramienta es la adecuada Q63 (Opcional) ¿Cambiarías la frecuencia? ¿Harías sesiones más juntas o más separadas? Q64 Creo que los grupos de trabajo tienen un tamaño adecuado Q65 (Opcional) ¿Cambiarías el tamaño de los grupos? ¿Te gustaría trabajar en grupos más grandes o más pequeños? Q66 Considero que había suficientes profesores para gestionar todo el desarrollo de la actividad Q67 Puntúe la experiencia del 0 al 10 Q68 Comente brevemente que le ha parecido la experiencia, justificando el punto anterior. Q69 Indique que cosas mejoraría a nivel general así como los puntos fuertes de la experiencia. Q70 ¿Cree que la herramienta es útil para ayudar en la educación? Puntuación numérica (0 totalmente inútil - 10 indispensable) (Opcional) ¿Por qué? ¿Qué puntos fuertes destacaría? ¿Y puntos débiles? Q71 ¿Le ha parecido sencilla de usar? Puntuación numérica (0 incomprensible - 10 sencillísima) (Opcional) Describa en general, el proceso que involucra el uso de la herramienta en el aula, si se producen pérdidas de tiempo y que incidentes ha vivido (si se ha dado el caso), que hayan alterado al funcionamiento de esta. Q72 ¿Cree que utilizará la herramienta para impartir esta materia en próximas experiencias? Puntuación numérica (0 definitivamente no - 10 obviamente sí) (Opcional) Razone su respuesta. Q73 Durante la experiencia, ¿ha sentido en todo momento la situación bajo control? ¿Sentía 119 ID Pregunta v2 que tenía capacidad para moderar la actividad de forma fácil? Puntuación numérica (0 no tenía ninguna forma de moderar -10 control total sobre la situación). (Opcional) Indique si le pareció que la herramienta incluye suficientes opciones de moderación (1) y en caso contrario describa alguna que le hubiese gustado encontrar. ¿Le ha parecido que los medios tecnológicos que usa la herramienta son adecuados? Puntuación numérica (0 definitivamente no - 1 es el medio perfecto) (Opcional) Describa su experiencia, que medios requiere y si sugeriría alguna mejora en este aspecto. Q74 ¿Fue el comportamiento de los alumnos adecuado? Puntuación numérica (0 desastroso, mucho peor de lo habitual - 10 excelente) (Opcional) Describa, en general, el comportamiento de los alumnos durante la actividad. ¿Fue mejor o peor que en una clase habitual? ¿Hubo algo que le llamara la atención? Si lo hubo, descríbalo brevemente. Q75 ¿Hubo mucho escándalo o alboroto durante el desarrollo de la actividad? Puntuación numérica (0 mucho alboroto - 10 nada de alboroto) (Opcional) Si la respuesta es sí, ¿cuáles fueron las causas? Q76 ¿Percibió mejoras en la integración entre los alumnos? Puntuación numérica (0 sin mejoras - 10 mejoras sobresalientes) (Opcional) Describa brevemente las experiencias que tuvo relativas a este tema. Q77 ¿Percibió en los alumnos cambios en la sociabilidad? ¿Sentimientos de competitividad o colaboración? Puntuación numérica (0 sin cambios - 10 incrementos notables) (Opcional) Describa brevemente las experiencias que observó entre sus alumnos relativas a este tema. Q78 ¿Prefiere el uso de la herramienta a las clases tradicionales? Puntuación numérica (0 absolutamente no - 10 sí, sin duda) (Opcional) ¿Cree que hace la enseñanza más fácil o más compleja? ¿Cree que es algo que se podría incorporar a la enseñanza a largo plazo? Q79 Durante el uso de la herramienta, ¿ha visto la cantidad de partes de comportamiento necesarios cambiada para bien? (Pregunta opcional) Puntuación numérica (0 no, nada - 10 sí, mucho) (Opcional) Si es así, describa cuáles cree que pueden ser los factores que lo 120 ID Pregunta v2 provocan. Q80 Valore la experiencia general. Puntuación numérica (0 muy mala - 10 muy buena) (Opcional) Describa brevemente la experiencia y justifique la puntuación anterior. Describa cuáles han sido los puntos fuertes de la experiencia y qué cosas mejorarían. Q81 ¿Cree que ha ayudado a que el alumno trabaje y aproveche la asignatura? Puntuación numérica (0 para nada - 10 sí, considerablemente) (Opcional) ¿Qué elementos de la herramienta son los que más lo propician? Q82 ¿Cree que los juegos están debidamente aplicados? ¿Permiten valorar el aprendizaje del alumno de forma eficaz y objetiva? Puntuación numérica (0 para nada - 10 sí, considerablemente) (Opcional) Razone su respuesta. Q83 ¿Cree que ha sido útil para motivar a trabajar la asignatura? Puntuación numérica (0 para nada - 10 sí, considerablemente). (Opcional) Razone su respuesta. Tabla 35: Preguntas v2 121 Los parámetros asociados a cada pregunta son: Id Parámetro Aspecto - Objetivo Preguntas asociadas #1 Conocimiento posterior Académico - Obj2A Examen 1 #2 Conocimiento previo Académico - Obj2A Examen 2 #3 Cambios en los partes Comportamiento - Obj2A Q80 #4 Comportamiento en el recinto Comportamiento - Obj2A Q75 #5 Integración percibida Comportamiento - Obj2A Q77 #6 Ruido en el recinto Comportamiento - Obj2A Q76 #7 Socialización percibida Comportamiento - Obj2A Q78 #9 Fiabilidad del contenido Diseño de contenido - Obj2B Q42,Q43 #10 Practicidad del contenido Diseño de contenido - Obj2B Q40,Q41 #12 Sistematicidad del contenido Diseño de contenido - Obj2B Q44,Q45 #13 Validez del contenido Diseño de contenido - Obj2B Q38,Q39 #14 Adecuación de la duración Diseño metodológico - Obj2B Q46,Q47 #15 Adecuación de la frecuencia de aplicación Diseño metodológico - Obj2B Q62,Q63 #16 Adecuación de los grupos de trabajo Diseño metodológico - Obj2B Q64,Q65 #17 Adecuación del medio de aplicación Diseño metodológico - Obj2B Q74 #18 Adecuación del número de profesores Diseño metodológico - Obj2B Q66 #19 Facilidad de uso percibida Diseño metodológico - Obj2B Q37 #20 Facilidad de uso percibida (emisor) Diseño metodológico - Obj2B Q71 #21 Adecuación del diseño Diseño técnico - Obj2B Q31, Q32 #22 Comodidad del diseño Diseño técnico - Obj2B Q35, Q36 122 Id Parámetro Aspecto - Objetivo Preguntas asociadas #23 Control del emisor Diseño técnico - Obj2B Q73 #24 Frescura del diseño Diseño técnico - Obj2B Q33, Q34 #25 Preferencia personal (emisor) Diseño técnico - Obj2B Q79 #26 Probabilidad de reutilización Diseño técnico - Obj2B Q72 #28 Utilidad percibida (emisor) Diseño técnico - Obj2B Q70 #29 Asignatura/s General - Obj2B Q10 #30 Datos sociales y demográficos General - Obj2B Q27,Q28,Q29,Q30 #31 Deberes habituales General - Obj2B Q21 #32 Diversidad de los receptores General - Obj2B Q14,Q15 #33 Duración General - Obj2B Q2,Q3 #51 Duración de las sesiones Obj2B Q5 #52 Frecuencia de las sesiones Obj2B Q3,Q4 #34 Historial académico General - Obj2A Q17,Q18,Q19 #35 Partes habituales General - Obj2A Q22 #50 Recompensa General - Obj2B Q6 #36 Actitud hacia el uso Motivacional - Obj2A Q50 #37 Aprendizaje percibido Motivacional - Obj2A Q56 #38 Colaboración percibida Motivacional - Obj2A Q57,Q58 #39 Competitividad percibida Motivacional - Obj2A Q59,Q60 #40 Disfrute percibido Motivacional - Obj2A Q53,Q54 #41 Intención de uso Motivacional - Obj2A Q51,Q52 123 Id Parámetro Aspecto - Objetivo Preguntas asociadas #42 Motivación con la materia Motivacional - Obj2A Q55 #43 Preferencia personal Motivacional - Obj2A Q61 #44 Utilidad percibida Motivacional - Obj2A Q48,Q49 #45 Valoración global (emisor) Valoración global - Obj2A Q81 #46 Valoración global (receptor) Valoración global - Obj2A Q67,Q68,Q69 #47 Valoración global académica Valoración global - Obj2A Q82 #48 Valoración global de comportamiento Valoración global - Obj2A Q84 #49 Valoración global motivacional Valoración global - Obj2A Q83 Tabla 36: Asociación parámetros-pregunta v2 11.4.- Procesado de resultados 11.4.1.- Cálculo de los pesos AHP Para calcular los pesos AHP se solicitó a los profesores que hicieron de observadores en las distintas experiencias que rellenaran un formulario de comparaciones pareadas, como se indica en el apartado 8.5.- Aplicación de AHP. 124 Figura 38: Fragmento de encuesta de comparación pareada rellena De cada encuesta obtenemos unos valores de importancia relativa de un aspecto frente al otro: Figura 39: Fragmento de obtención de valores de importancia relativa Estos valores de importancia los ponderamos entre todas las encuestas obteniendo lo siguiente (la columna de Valoraciones tiene formato de parte entera + parte fraccional siendo, por ejemplo 3 4/5 -> 3.8) : AHP Objetivo 1 CRITERIO A CRITERIO B Valoraciones Resultados de comportamiento Resultados académicos 1/6 Resultados de comportamiento Resultados motivacionales 1/3 Resultados de comportamiento Valoración global 4/7 Resultados académicos Resultados motivacionales 1 2/3 Resultados académicos Valoración global 3 4/5 Resultados motivacionales Valoración global 2 3/5 125 Subcriterios Resultados de comportamiento CRITERIO A CRITERIO B Valoraciones Comportamiento en el recinto Ruido en el recinto 1 2/5 Comportamiento en el recinto Integración percibida 1 2/5 Comportamiento en el recinto Socialización percibida 1 2/5 Comportamiento en el recinto Cambios en los partes 1 2/5 Ruido en el recinto Integración percibida 4/7 Ruido en el recinto Socialización percibida 3/5 Ruido en el recinto Cambios en los partes 6/7 Integración percibida Socialización percibida 1 Integración percibida Cambios en los partes 2 1/5 Socialización percibida Cambios en los partes 1 4/5 Resultados académicos: CRITERIO A CRITERIO B Valoraciones Conocimiento obtenido Comparación con el grupo de control 7 Resultados motivacionales: CRITERIO A CRITERIO B Valoraciones Utilidad percibida Actitud hacia el uso 2 1/5 Utilidad percibida Intención de uso 1 2/3 Utilidad percibida Disfrute percibido 1 6/7 Utilidad percibida Motivación con la materia 1 Utilidad percibida Aprendizaje percibido 1/2 Utilidad percibida Colaboración percibida 3 2/5 Utilidad percibida Competitividad percibida 2 Utilidad percibida Preferencia personal 1 2/5 Actitud hacia el uso Intención de uso 1 1/4 Actitud hacia el uso Disfrute percibido 1 Actitud hacia el uso Motivación con la materia 3/8 Actitud hacia el uso Aprendizaje percibido 3/8 Actitud hacia el uso Colaboración percibida 2 5/6 Actitud hacia el uso Competitividad percibida 2 132 Figura 41: Resumen resultado Experiencia 1 Si los observamos de forma gráfica, obtenemos: • Resultados de objetivos principales: Figura 42: Resultados principales (Experiencia 1) 133 • Resultados de subcriterios del objetivo 1 y 2A Figura 43: Resultados de subcriterios del objetivo 1 y 2A (Experiencia 1) 134 • Resultados de subcriterios del objetivo 2B Figura 44: Resultados de subcriterios del objetivo 2B (Experiencia 1) Como comentarios hay que añadir que la experiencia ha ido francamente bien, los alumnos están contentos en general. A ojos del docente hubo un alboroto considerable y este es quizás el punto más negativo de la experiencia. Se puede considerar que la gamificación fue beneficiosa y la recompensa motivó mucho a los participantes. 135 11.5.2.- Experiencia 2 Los resultados se resumen en la siguiente tabla: Figura 45: Resumen resultado Experiencia 2 136 Si los observamos de forma gráfica, obtenemos: • Resultados de objetivos principales: Figura 46: Resultados principales (Experiencia 2) • Resultados de subcriterios del objetivo 1 y 2A Figura 47: Resultados de subcriterios del objetivo 1 y 2A (Experiencia 2) 137 • Resultados de subcriterios del objetivo 2B Figura 48: Resultados de subcriterios del objetivo 2B (Experiencia 2) Como comentarios hay que añadir que lo cierto es que es una muestra de participantes muy escasa, aun así parecieron disfrutar de la experiencia. A ojos del emisor sí que hubo algo de alboroto, pero eso no impidió el funcionamiento de la herramienta. El punto más flojo que destacan los participantes es la dificultad progresiva del contenido. 138 11.5.3.- Experiencia 3 Los resultados se resumen en la siguiente tabla: Figura 49: Resumen resultado Experiencia 3 139 Si los observamos de forma gráfica, obtenemos: • Resultados de objetivos principales: Figura 50: Resultados principales (Experiencia 3) • Resultados de subcriterios del objetivo 1 y 2A Figura 51: Resultados de subcriterios del objetivo 1 y 2A (Experiencia 3) 140 • Resultados de subcriterios del objetivo 2B Figura 52: Resultados de subcriterios del objetivo 2B (Experiencia 3) Como comentarios hay que añadir que los resultados son, en general muy positivos. En cuanto al objetivo 1, está claro que los alumnos han encontrado beneficios en el uso de la herramienta. Cabe destacar que no se ha aplicado enfocada a la colaboración, la socialización o la integración, siendo estos los puntos menos destacados de la experiencia. Por lo demás los alumnos han disfrutado de su uso y el profesor la considera útil y eficaz. En cuanto al diseño y metodología, la herramienta cuenta con una gran aceptación, sin embargo, a ojos del emisor hacen falta muchos medios para ponerla en uso. 141 11.5.4.- Experiencia 5 Los resultados se resumen en la siguiente tabla: Figura 53: Resumen resultado Experiencia 5 244 A partir de aquí veamos en un momento el diagrama de flujo de usuario: Figura 68: Diagrama de flujo de usuario de las vistas de SurveyMaker Como podemos ver, según el código que se introduzca podemos avanzar en tres sentidos, a notfound.jsp: Figura 69: Imagen y código de notfound.jsp 245 Si introducimos un código de administrador nos lleva a la página de administración, cuyo código contiene el jsp/html necesario para generar la tabla y los modales, así como el javascript para gestionar los modales: <body> <div class="card"> <div class="card-body"> <h3 class="card-title">Admin panel</h3> <% String value = request.getAttribute("code").toString(); %> <table id="example" class="display" style="width:100%"> <thead> <tr> <th>Id</th> <th>Título</th> <th>Modelo</th> <th>Respuestas</th> <th>Opciones</th> </tr> </thead> </table> <button type='button' class='btn btn-primary' data-toggle='modal' datatarget='#newSurveyModal'>Nueva encuesta</button> </div> </div> <!-- New survey --> <div class="modal fade" id="newSurveyModal" tabindex="-1" role="dialog" aria-labelledby="infoModalLabel" aria-hidden="true"> <div class="modal-dialog" role="document"> <div class="modal-content"> <div class="modal-header"> <h5 class="modal-title" id="infoModalLabel">Crear nueva encuesta</h5> <button type="button" class="close" datadismiss="modal" aria-label="Close"> <span aria-hidden="true">×</span> </button> </div> <form id="newSurveyForm"> <div class="modal-body"> <input name="operation" type="hidden" value="insert"> <div class="form-group"> <label for="title" class="col-form- label">Título:</label> <input type="text" required class="form-control" id="title" name="title"> </div> <div class="form-group"> <label for="survey_model" class="col-form-label">Tipo de encuesta:</label> <select class="form-control" required 246 name="survey_model" id="survey_model" name="survey_model"> <option value="1">Informe previo</option> <option value="2">Encuesta</option> <option value="3">Entrevista</option> </select> </div> </div> <div class="modal-footer"> <button type="button" class="btn btnsecondary" data-dismiss="modal">Cerrar</button> <button id="submit_button" type="submit" class="btn btn-primary">Guardar</button> </div> </form> </div> </div> </div> <!-- Delete modal --> <div class="modal fade" id="deleteModal"> <div class="modal-dialog"> <div class="modal-content"> <div class="modal-header"> <h5 class="modal-title" id="exampleModalLabel">Borrar encuesta</h5> <button type="button" class="close" datadismiss="modal" aria-label="Close"> <span aria-hidden="true">×</span> </button> </div> <div class="modal-body"> <p>¿Estas seguro que deseas borrar la encuesta?</p> </div> <form id="deleteForm"> <input name="operation" type="hidden" value="delete"> <input id="idDeleteInput" name="id" type="hidden" value=""> <div class="modal-footer"> <button type="button" class="btn btnsecondary" data-dismiss="modal">No</button> <button type="submit" class="btn btndanger">Sí</button> </div> </form> </div> </div> </div> </body> 247 <script> //Petición ajax para rellenar la tabla $('#example').DataTable({ ajax : 'AdminServlet', }); //Crear nueva encuesta $('#newSurveyForm').submit(function(e) { e.preventDefault(); $.ajax({ url : 'NewSurvey', type : 'post', data : $('#newSurveyForm').serialize(), success : function() { $('#newSurveyModal').modal('hide'); $('#example').DataTable().ajax.reload(); } }); }); //Borrar encuesta $('#deleteForm').submit(function(e) { e.preventDefault(); $.ajax({ url : 'DeleteSurvey', type : 'post', data : $('#deleteForm').serialize(), success : function() { $('#deleteModal').modal('hide'); $('#example').DataTable().ajax.reload(); } }); }); //Cargar el id de la encuesta a borrar $('#deleteModal').on('show.bs.modal', function(event) { // Button that triggered the modal var li = $(event.relatedTarget) // Extract info from data attributes var recipient = li.data('id') // Updating the modal content using // jQuery query selectors var modal = $(this) modal.find('#idDeleteInput').val(recipient) }) //Gestor de la exportación de documentos $(document).ready(function() { $(document).on('click', '.btn-export', function() { var botonId = $(this).attr('id'); // Realiza una solicitud GET al servlet pasando el ID del botón como parámetro window.location.href = 'ExportServlet?surveyid=' + botonId; }); }); </script> 248 Figura 70: Código e imagen de admin.jsp Por último, si introducimos un código válido vamos a user.jsp, donde se nos muestra la encuesta en cuestión: <body> <div class="card" style="margin-left:10%; margin-right:10%"> <div class="card-body"> <h3 class="card-title">Encuesta ${survey.id}</h3> <h5>Aclaraciones:</h5> <p>${surveyModel.instructions}</p> <form action="NewAnswer" method="post"> <input type="hidden" name="code" value="${code}"/> <input type="hidden" name="num_questions" value="${surveyModel.num_questions}"/> <c:forEach var="question" items="${surveyModel.questions}" varStatus="status"> <div class="form-group"> <c:choose> <c:when test="${surveyModel.title.equals('Entrevista')}"> <c:choose> <c:when test="${status.count%3==1}"> <label for="q- ${status.index}" class="col-form-label"><b>Q${(status.count+2)/3}:</b> <b>${question}</b></label> </c:when> <c:otherwise> <label for="q- ${status.index}" class="col-form-label">${question}</label> </c:otherwise> </c:choose> </c:when> <c:otherwise> 249 <label for="q-${status.index}" class="col-form-label"><b>Q${status.count}:</b> ${question}</label> </c:otherwise> </c:choose> <c:choose> <c:when test="${surveyModel.questions_style.get(status.index) == 'intro'}"> <input type="hidden" id="q- ${status.index}" name="q-${status.index}" value="-"/> </c:when> <c:when test="${surveyModel.questions_style.get(status.index) == 'text'}"> <textarea class="form-control" required id="q-${status.index}" name="q-${status.index}" rows="2"></textarea> </c:when> <c:when test="${surveyModel.questions_style.get(status.index) == 'text_nr'}"> <textarea class="form-control" id="q- ${status.index}" name="q-${status.index}" rows="2"></textarea> </c:when> <c:when test="${surveyModel.questions_style.get(status.index) == 'date'}"> <br/> <input type="date" required id="q- ${status.index}" name="q-${status.index}" min="2023-01-01"> </c:when> <c:when test="${surveyModel.questions_style.get(status.index) == 'date_nr'}"> <br/> <input type="date" id="q- ${status.index}" name="q-${status.index}" min="2023-01-01"> </c:when> <c:when test="${surveyModel.questions_style.get(status.index) == 'int'}"> <input style="max-width:500px" required type="number" id="q-${status.index}" name="q-${status.index}" class="form-control" /> </c:when> <c:when test="${surveyModel.questions_style.get(status.index) == 'int_nr'}"> <input style="max-width:500px" required type="number" id="q-${status.index}" name="q-${status.index}" class="form-control" /> </c:when> <c:when test="${surveyModel.questions_style.get(status.index) == 'float'}"> <input style="max-width:500px" type="number" required id="q-${status.index}" step="0.1" name="q-${status.index}" min="0" max="10" class="form-control" /> </c:when> <c:when test="${surveyModel.questions_style.get(status.index) == 'float_nr'}"> <input style="max-width:500px;" type="number" id="q-${status.index}" step="0.1" name="q-${status.index}" min="0" max="10" class="form-control" /> 250 </c:when> <c:when test="${surveyModel.questions_style.get(status.index) == 'int1-5'}"> <br/> <div class="form-check formcheck-inline"> <input class="form-check- input" type="radio" name="q-${status.index}" id="q-${status.index}-1" value="1"> <label class="form-check- label" for="q-${status.index}-1">Totalmente en desacuerdo</label> </div> <div class="form-check formcheck-inline"> <input class="form-check- input" type="radio" name="q-${status.index}" id="q-${status.index}-2" value="2"> <label class="form-check- label" for="q-${status.index}-1">En desacuerdo</label> </div> <div class="form-check formcheck-inline"> <input class="form-check- input" type="radio" name="q-${status.index}" id="q-${status.index}-3" value="3"> <label class="form-check- label" for="q-${status.index}-1">Neutral</label> </div> <div class="form-check formcheck-inline"> <input class="form-check- input" type="radio" name="q-${status.index}" id="q-${status.index}-4" value="4"> <label class="form-check- label" for="q-${status.index}-1">De acuerdo</label> </div> <div class="form-check formcheck-inline"> <input class="form-check- input" type="radio" name="q-${status.index}" id="q-${status.index}-5" value="5"> <label class="form-check- label" for="q-${status.index}-1">Totalmente de acuerdo</label> </div> </c:when> <c:when test="${surveyModel.questions_style.get(status.index) == 'int0-10'}"> <input style="max-width:500px" required type="number" id="q-${status.index}" step="0.1" name="q-${status.index}" min="0" max="10" class="form-control" /> </c:when> <c:when test="${surveyModel.questions_style.get(status.index) == 'int0-10_nr'}"> <input style="max-width:500px" type="number" id="q-${status.index}" step="0.1" name="q-${status.index}" min="0" max="10" class="form-control" /> </c:when> <c:otherwise> 251 <input type="text" class="formcontrol" id="q-${status.index}" name="q-${status.index}"> </c:otherwise> </c:choose> </div> </c:forEach> <div class="modal-footer"> <button id="submit_button" type="submit" class="btn btn-primary">Enviar</button> </div> </form> </div> </div> </body> Figura 71: Código e imagen de user.jsp Cabe destacar que este es el fichero de la vista que más complejidad encierra, y es que los “modelos de encuestas”, las distintas encuestas que existen están guardas en base de datos 252 como, simplificando, dos vectores, el primero con las preguntas, y el segundo con el formato que debe tener la respuesta (esta codificación está realizada en el archivo parámetros.xlsx GitHub/BloqueII). Esto permite que todas las encuestas se generen desde un solo archivo de vista y si hay que hacer modificaciones a las preguntas se puedan realizar sin tocar el código. Inclusive realizar nuevas encuestas. Por último, cuando se cumplimenta la encuesta se lleva al usuario a la página thanks.jsp que es idéntica a notfound.jsp cambiando el texto. AIV.2.2.- Modelo Como se puede observar se usan patrones DAO para la gestión de la base de datos. En el directorio model tenemos estos patrones junto con las clases java de los objetos que gestionan. Dejo por aquí el código de uno de ellos, el resto son muy semejantes: package modelo; import java.util.ArrayList; public class SurveyModel { private Integer id; private String title; private Integer num_questions; private ArrayList<String> questions; private ArrayList<String> questions_style; private String instructions; public SurveyModel() { super(); } public SurveyModel(Integer id, String title, Integer num_questions, ArrayList<String> questions, ArrayList<String> questions_style, String instructions) { super(); this.id = id; this.title = title; this.num_questions = num_questions; this.questions = questions; this.questions_style = questions_style; this.instructions = instructions; } public Integer getId() { return id; } public void setId(Integer id) { this.id = id; } public String getTitle() { return title; } public void setTitle(String title) { 253 this.title = title; } public Integer getNum_questions() { return num_questions; } public void setNum_questions(Integer num_questions) { this.num_questions = num_questions; } public ArrayList<String> getQuestions() { return questions; } public void setQuestions(ArrayList<String> questions) { this.questions = questions; } public ArrayList<String> getQuestions_style() { return questions_style; } public void setQuestions_style(ArrayList<String> questions_style) { this.questions_style = questions_style; } public String getInstructions() { return instructions; } public void setInstructions(String instructions) { this.instructions = instructions; } @Override public String toString() { return "SurveyModel [id=" + id + ", title=" + title + ", num_questions=" + num_questions + ", questions=" + questions + "]"; } } Figura 72: Código de SurveyModel public class SurveyModelsDAO { private DataSource ds = null; public SurveyModelsDAO() { InitialContext initContext; try { initContext = new InitialContext(); ds = (DataSource) initContext.lookup("java:/comp/env/jdbc/SurveyMakerDB"); }catch (Exception e) { Logger.getLogger(this.getClass().getName()).log(Level.SEVERE, null, e); } } public int insert(SurveyModel model) { int result = 0; try { 260 public class Encryption { private SecretKeySpec secretKey = null; public Encryption() { this.secretKey = crearClave("clavesupersecreta"); } /** * Crea la clave de encriptacion usada internamente * @param clave Clave que se usara para encriptar * @return Clave de encriptacion */ private SecretKeySpec crearClave(String clave){ SecretKeySpec secretKey = null; try { byte[] claveEncriptacion = clave.getBytes("UTF-8"); MessageDigest sha = MessageDigest.getInstance("SHA-1"); claveEncriptacion = sha.digest(claveEncriptacion); claveEncriptacion = Arrays.copyOf(claveEncriptacion, 16); secretKey = new SecretKeySpec(claveEncriptacion, "AES"); } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } return secretKey; } /** * Aplica la encriptacion AES a la cadena de texto usando la clave indicada * @param datos Cadena a encriptar * @param claveSecreta Clave para encriptar * @return Información encriptada */ public String encriptar(String datos){ String encriptado = null; try { Cipher cipher = Cipher.getInstance("AES/ECB/PKCS5Padding"); cipher.init(Cipher.ENCRYPT_MODE, this.secretKey); byte[] datosEncriptar = datos.getBytes("UTF-8"); byte[] bytesEncriptados = cipher.doFinal(datosEncriptar); encriptado = Base64.getEncoder().encodeToString(bytesEncriptados); } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } return encriptado; } /** * Desencripta la cadena de texto indicada usando la clave de encriptacion * @param datosEncriptados Datos encriptados * @param claveSecreta Clave de encriptacion * @return Informacion desencriptada */ public String desencriptar(String datosEncriptados) { String datos = null; try { 261 Cipher cipher = Cipher.getInstance("AES/ECB/PKCS5PADDING"); cipher.init(Cipher.DECRYPT_MODE, secretKey); byte[] bytesEncriptados = Base64.getDecoder().decode(datosEncriptados); byte[] datosDesencriptados = cipher.doFinal(bytesEncriptados); datos = new String(datosDesencriptados); } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } return datos; } } Figura 80: Código de Encryption.java AIV.3.- Despliegue Por último describamos brevemente el proceso de despliegue. Necesitamos un servidor web, en este caso se ha usado Apache Tomcat en su versión 10.1. Y una base de datos, que, al igual que durante el desarrollo se ha usado PostgreSQL. Para inicializar la base de datos por primera vez, se incluye en el directorio de Github/Bloque III/Web el archivo startdb.sql, que genera las tablas en la base de datos e introduce los valores iniciales adecuados. He aquí un fragmento en el que se generan las tablas: -- Crea la tabla de configuraciones generales CREATE TABLE configurations ( setting_name VARCHAR(20) NOT NULL PRIMARY KEY, setting_value TEXT ); CREATE TABLE experiments ( id SERIAL PRIMARY KEY, title TEXT, surveys TEXT, answers TEXT ); CREATE TABLE survey_models ( id SERIAL PRIMARY KEY, title TEXT, num_questions INTEGER, questions TEXT, questions_style TEXT, instructions TEXT ); CREATE TABLE surveys ( id VARCHAR(6) NOT NULL PRIMARY KEY, survey_model INTEGER, 262 descriptor TEXT, FOREIGN KEY (survey_model) REFERENCES survey_models(id) ); CREATE TABLE answers ( id SERIAL PRIMARY KEY, survey VARCHAR(6), fill_date DATE, data TEXT, FOREIGN KEY (survey) REFERENCES surveys(id) ); Figura 81: Creación de tablas en la base de datos El despliegue se hizo sobre un OS Windows 10 y consistió, sencillamente en: • Instalar Tomcat y colocar el fichero SurveyMaker.war en la carpeta de webapps. • Desplegar sobre la misma maquina un servicio postgresql y ejecutar las líneas del archivo startdb.sql. Se deja un vídeo del despliegue explicado paso a paso en GitHub/BloqueIII/Web. 263 Índice de Figuras Figura 1: Interés del término gamificación [2] .........................................................................................................2 Figura 2: Juegos usados para aprender farmacología [3] .......................................................................................3 Figura 3: Fragmento de encuesta que sigue el modelo TAM [8] .............................................................................7 Figura 4: Diagrama de selección de artículos. .......................................................................................................13 Figura 5: Cuartiles de revistas ................................................................................................................................20 Figura 6: Revistas y proporción de JCR...................................................................................................................20 Figura 7: Distribución de campos y JCR en los artículos .........................................................................................21 Figura 8: Gráfico de resultados generales .............................................................................................................29 Figura 9: Gráfica de resultados granulados ...........................................................................................................29 Figura 10: Gráfico de resultados porcentuales ......................................................................................................30 Figura 11: Gráfico de resultados granulados porcentuales ...................................................................................30 Figura 12: Ejemplo de aplicación con “Gráficos llamativos” [16] ..........................................................................31 Figura 13: Gráfico de uso de técnicas de gamificación ..........................................................................................32 Figura 14: Gráfico de sistemas de validación .........................................................................................................34 Figura 15: Gráfico de combinaciones de sistemas de validación (%) .....................................................................35 Figura 16: Gráfico de combinaciones de sistemas de validación ...........................................................................35 Figura 17: Distribución de asignaturas. .................................................................................................................37 Figura 18: Número de participantes. .....................................................................................................................38 Figura 19: Distribución por grupos.........................................................................................................................39 Figura 20: Tamaño de los grupos ...........................................................................................................................40 Figura 21: Criterios de agrupación .........................................................................................................................41 Figura 22: Duración de las experiencias ................................................................................................................41 Figura 23: Frecuencias de aplicación de sesiones ..................................................................................................42 Figura 24: Número de sesiones ..............................................................................................................................43 Figura 25: Duración de las sesiones .......................................................................................................................44 Figura 26: Estructura macroscópica de AHP ..........................................................................................................82 Figura 27: Procesamiento de los datos ..................................................................................................................83 Figura 28: Ejemplo puntuación con estrellas de Amazon ......................................................................................83 Figura 29: Puntuación de “Comparación con grupo de control” ...........................................................................88 Figura 30: Distribución jerárquica simplificada .....................................................................................................93 Figura 31: Fragmento de encuesta de comparación pareada ...............................................................................94 Figura 32: Ejemplo de gráfico de resultados ....................................................................................................... 101 Figura 33: Página principal SurveyMaker ........................................................................................................... 102 Figura 34: Formulario de encuestas en SurveyMaker ......................................................................................... 103 Figura 35: Vista del panel de administrador de SurveyMaker ............................................................................ 104 264 Figura 36: Fragmento de la hoja “Panel de expertos” de “data processors.xlsx” ............................................... 105 Figura 37: Documento de instrucciones del emisor de la experiencia 2 ............................................................. 112 Figura 38: Fragmento de encuesta de comparación pareada rellena ................................................................ 124 Figura 39: Fragmento de obtención de valores de importancia relativa ............................................................ 124 Figura 40: Cálculo de una MCU y pesos asociados ............................................................................................. 129 Figura 41: Resumen resultado Experiencia 1 ...................................................................................................... 132 Figura 42: Resultados principales (Experiencia 1) ............................................................................................... 132 Figura 43: Resultados de subcriterios del objetivo 1 y 2A (Experiencia 1) .......................................................... 133 Figura 44: Resultados de subcriterios del objetivo 2B (Experiencia 1) ................................................................ 134 Figura 45: Resumen resultado Experiencia 2 ...................................................................................................... 135 Figura 46: Resultados principales (Experiencia 2) ............................................................................................... 136 Figura 47: Resultados de subcriterios del objetivo 1 y 2A (Experiencia 2) .......................................................... 136 Figura 48: Resultados de subcriterios del objetivo 2B (Experiencia 2) ................................................................ 137 Figura 49: Resumen resultado Experiencia 3 ...................................................................................................... 138 Figura 50: Resultados principales (Experiencia 3) ............................................................................................... 139 Figura 51: Resultados de subcriterios del objetivo 1 y 2A (Experiencia 3) .......................................................... 139 Figura 52: Resultados de subcriterios del objetivo 2B (Experiencia 3) ................................................................ 140 Figura 53: Resumen resultado Experiencia 5 ...................................................................................................... 141 Figura 54: Resultados principales (Experiencia 5) ............................................................................................... 142 Figura 55: Resultados de subcriterios del objetivo 1 y 2A (Experiencia 5) .......................................................... 142 Figura 56: Resultados de subcriterios del objetivo 2B (Experiencia 5) ................................................................ 143 Figura 57: Evolución de la media académica de los receptores de la experiencia 5 ........................................... 144 Figura 58: Resumen resultado Experiencia 6 ...................................................................................................... 145 Figura 59: Resultados principales (Experiencia 6) ............................................................................................... 146 Figura 60: Resultados de subcriterios del objetivo 1 y 2A (Experiencia 6) .......................................................... 146 Figura 61: Resultados de subcriterios del objetivo 2B (Experiencia 6) ................................................................ 147 Figura 62: Resumen resultado global ................................................................................................................. 149 Figura 63: Resultados principales (Global) ......................................................................................................... 149 Figura 64: Resultados de subcriterios del objetivo 1 y 2A (Global) ..................................................................... 150 Figura 65: Resultados de subcriterios del objetivo 2B (Global) ........................................................................... 151 Figura 66: Estructura del proyecto SurveyMaker ................................................................................................ 242 Figura 67: Imagen y código de index.jsp ............................................................................................................. 243 Figura 68: Diagrama de flujo de usuario de las vistas de SurveyMaker ............................................................. 244 Figura 69: Imagen y código de notfound.jsp ....................................................................................................... 244 Figura 70: Código e imagen de admin.jsp ........................................................................................................... 248 Figura 71: Código e imagen de user.jsp .............................................................................................................. 251 Figura 72: Código de SurveyModel ..................................................................................................................... 253 Figura 73: Código de SurveyModelsDAO ............................................................................................................ 255 265 Figura 74: Función doPost de IndexServlet.java ................................................................................................. 256 Figura 75: Función doPost de AdminServlet.java ................................................................................................ 257 Figura 76: Función doGet de ExportServlet.java ................................................................................................. 258 Figura 77: Función doGet de NewSurvey.java .................................................................................................... 258 Figura 78: Función dePost de NewAnswer.java .................................................................................................. 258 Figura 79: Código de Utilites.java ....................................................................................................................... 259 Figura 80: Código de Encryption.java ................................................................................................................. 261 Figura 81: Creación de tablas en la base de datos .............................................................................................. 262 266 Índice de Tablas Tabla 1: Artículos incluidos en la revisión sistemática. ..........................................................................................19 Tabla 2: Resumen artículos con JCR .......................................................................................................................25 Tabla 3: Datos extraídos de cada estudio ..............................................................................................................26 Tabla 4: Correlación de técnicas y resultados ........................................................................................................33 Tabla 5: Correlación entre método de validación y resultado de estudios ............................................................34 Tabla 6: Correlación entre resultados y combinaciones de sistemas de validación ...............................................36 Tabla 7: Correlación resultados-participantes .......................................................................................................38 Tabla 8: Correlación resultados – N.º de grupos....................................................................................................39 Tabla 9: Correlación resultados-tamaño de los grupos .........................................................................................40 Tabla 10: Correlación resultados-duración ............................................................................................................42 Tabla 11: Correlación resultados-frecuencia de aplicación ...................................................................................43 Tabla 12: Correlación resultados-número de sesiones ..........................................................................................44 Tabla 13: Correlación resultados-duración ............................................................................................................45 Tabla 14: Método Bullet ........................................................................................................................................52 Tabla 15: Método Blitz ...........................................................................................................................................53 Tabla 16: Método Extended ...................................................................................................................................54 Tabla 17: Parámetros, características y variables evaluadas ................................................................................64 Tabla 18: Preguntas realizadas durante el informe previo. ...................................................................................65 Tabla 19: Preguntas incluidas en la encuesta ........................................................................................................68 Tabla 20: Preguntas incluidas en la entrevista ......................................................................................................70 Tabla 21: Asociación parámetros-preguntas .........................................................................................................73 Tabla 22: Clasificación de métodos de decisión multi-atributo (MADM) [160] .....................................................76 Tabla 23: Escala fundamental de comparación por pares (Saaty, 1980)...............................................................80 Tabla 24: Índice aleatorio según tamaño de la matriz ..........................................................................................81 Tabla 25: Ratio de consistencia máximo ................................................................................................................82 Tabla 26: Guía de evaluación de los resultados de la entrevista ...........................................................................92 Tabla 27: Tabla de clasificación de valoración final...............................................................................................96 Tabla 28: Tabla de puntuaciones del objetivo 2A ..................................................................................................98 Tabla 29: Tabla de puntuación del objetivo 1 ........................................................................................................99 Tabla 30: Tabla de puntuación del objetivo 2B ................................................................................................... 100 Tabla 31: Parámetros de diseño del proyecto Pony ............................................................................................ 107 Tabla 32: Parámetros de diseño del proyecto VaK ............................................................................................. 109 Tabla 33: Parámetros de diseño del proyecto Pony ............................................................................................ 110 Tabla 34: Resumen realización del Proyecto Pony .............................................................................................. 114 267 Tabla 35: Preguntas v2 ....................................................................................................................................... 120 Tabla 36: Asociación parámetros-pregunta v2 ................................................................................................... 123 Tabla 37: Valores ponderados de importancia relativa de los criterios comparados dos a dos ......................... 128 Tabla 38: Tabla final de distribución de pesos AHP ............................................................................................ 130 Tabla 39: Resultados académicos de los receptores en la experiencia 5 ............................................................ 144 Tabla 40: Ponderaciones para análisis global ..................................................................................................... 148 Tabla 41: Tabla completa artículos Bloque I (Parte I) ......................................................................................... 178 Tabla 42: Tabla completa artículos Bloque I (Parte II) ........................................................................................ 194 Tabla 43: Tabla completa artículos Bloque I (Parte III) ....................................................................................... 218 Tabla 45: Fragmento de la Tabla 36 ................................................................................................................... 235 Tabla 46: Ejemplo de cálculo de MCU ................................................................................................................. 235 Tabla 47: Ejemplo de cálculo de la MCU normalizada ........................................................................................ 236 Tabla 48: Ejemplo de cálculo del sumatorio de la MCU normalizada ................................................................. 237 Tabla 49: Ejemplo de obtención de los Wi .......................................................................................................... 238 Tabla 50: Fragmento de la Tabla 37 ................................................................................................................... 238 Tabla 51: Ponderaciones combinadas (detalle) .................................................................................................. 239 268 Bibliografía [1] Luís Filipe Rodrigues, Abílio Oliveira, Helena Rodrigues, Main gamification concepts: A systematic mapping study, Heliyon, Volume 5, Issue 7, 2019, e01993, ISSN 2405- 8440, https://doi.org/10.1016/j.heliyon.2019.e01993. [2] Google Tends. (19 de noviembre de 2022). Interés a lo largo del tiempo del término gamificación. https://trends.google.com/trends/explore/TIMESERIES/1668891600?hl= es&tz=-60&date=all&q=gamification&sni=3 [3] Lívero, Francislaine & Silva, Gustavo & Amaral, Eduarda & Souza, Amanda & Baretta, Irineia & Diegues, Maria & Arpini, Edson & Wietzikoski, Evellyn. (2021). Playfulness in the classroom: Gamification favor the learning of pharmacology. Education and Information Technologies. 26. 1-17. 10.1007/s10639-020-10350-w. [4] Duolingo. (20 de noviembre de 2022). ¡La forma divertida, efectiva y gratis de aprender un idioma! https://es.duolingo.com/ [5] Manzano León, Ana & Camacho-Lazarraga, Pablo & Guerrero, Miguel & Guerrero- Puerta, Laura & Aguilar-Parra, Jose & Trigueros, Rubén & Alias, Antonio. (2021). Between Level Up and Game Over: A Systematic Literature Review of Gamification in Education. Sustainability. 13. 2247. 10.3390/su13042247. [6] Sobocinski, Mikolaj. (2017). I gamified my courses and I hate that…. World Journal of Science, Technology and Sustainable Development. 14. 135-142. 10.1108/WJSTSD-06- 2016-0046. [7] Maskeliūnas, R.; Kulikajevas, A.; Blažauskas, T.; Damaševičius, R.; Swacha, J. An Interactive Serious Mobile Game for Supporting the Learning of Programming in JavaScript in the Context of Eco-Friendly City Management. Computers 2020, 9, 102. https://doi.org/10.3390/computers9040102 [8] Davis, F. D. (1989). Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology. MIS Quarterly, 13(3), 319–340. https://doi.org/10.2307/249008 [9] Henderson, L. K., Craig, J. C., Willis, N. S., Tovey, D., & Webster, A. C. (2010). How to write a Cochrane systematic review. Nephrology, 15(6), 617-624. [10] Google. (1 de diciembre de 2022). Google Académico. Obtenido de Google Académico: https://scholar.google.es/schhp?hl=es [11] ResearchGate. (s. f.). ResearchGate | Find and share research. https://www.researchgate.net/ [12] Bienvenido a Biblioteca Universidad de Sevilla | Biblioteca Universidad de Sevilla. (s. f.). https://bib.us.es/ [13] García Rubio, Pedreira Fernández, Ó., & Piattini Velthuis, M. G. (2021). Gamificación : y su aplicación a la Ingeniería del Software. Ra-Ma. [14] Dichev, Christo & Dicheva, Darina. (2017). Gamifying education: what is known, what is believed and what remains uncertain: a critical review. International Journal of Educational Technology in Higher Education. 14. 10.1186/s41239-017-0042-5. [15] Atherton, P. (2018). More than just a quiz – how Kahoot! can help trainee teachers 269 understand the learning process, Teacher Education Advancement Network Journal, Vol 10(2), 29-39 [16] Maskeliūnas, R., Kulikajevas, A., Blažauskas, T., Damaševičius, R., & Swacha, J. (2020). An Interactive Serious Mobile Game for Supporting the Learning of Programming in JavaScript in the Context of Eco-Friendly City Management. Computers, 9(4), 102. https://doi.org/10.3390/computers9040102 [17] Baek, S., Park, J.-Y., & Han, J. (2016). Simulation-based Serious Games for Science Education and teacher assessment. International Journal of Serious Games, 3(3). https://doi.org/10.17083/ijsg.v3i3.123 [18] Hamari, J. (2019). Gamification. Blackwell Pub, In The Blackwell Encyclopedia of Sociology, Malden. pp. 1-3. https://doi.org/10.1002/9781405165518.wbeos1321 [19] Cochrane Library. (s. f.). https://www.cochranelibrary.com/es/ [20] Proyecto Descartes. (s. f.). RED EDUCATIVA DIGITAL DESCARTES. https://proyectodescartes.org/descartescms/ [21] Aplicación de juegos didácticos en el aula. (s. f.). https://proyectodescartes.org/newton/juegosdidacticos/index.php?option=com_content&l ang=es [22] García Frutos, P. (2018). Integración de herramientas de gamificación en plataformas de enseñanza virtual. [23] Jiménez Vázquez, A. (2019). Aplicación Web multiusuario para la gamificación en el aula basada en Websocket. [24] Mejías Climent, G. (2021). Aplicación web para la educación mediante gamificación sobre el Proyecto AJDA (Aplicación de Juegos Didácticos en el Aula) con funcionalidades de gestión de ficheros de preguntas. [25] Friehs, M. A., Dechant, M., Vedress, S., Frings, C., & Mandryk, R. L. (2020). Effective gamification of the stop-signal task: two controlled laboratory experiments. JMIR Serious Games, 8(3), e17810. [26] Tan, J. W., & Zary, N. (2019). Diagnostic markers of user experience, play, and learning for digital serious games: a conceptual framework study. JMIR serious games, 7(3), e14620. [27] Journal Citation Reports. (s. f.). https://jcr.clarivate.com/jcr/home [28] Kiryakova, G., Angelova, N., & Yordanova, L. (2014, October). Gamification in education. In Proceedings of 9th international Balkan education and science conference (Vol. 1, pp. 679-684). [29] Scopus. (s. f.). https://www.scopus.com/search/form.uri?display=basic#basic [30] Web of Science. Clarivate. (s. f.). https://www.webofscience.com/ [31] IEEE Xplore. (s. f.). https://ieeexplore.ieee.org/Xplore/home.jsp [32] Journal Citation Reports - Journal Profile. (s. f.). https://jcr.clarivate.com/jcrjp/journal-profile?journal=JMIR+SERIOUS+GAMES [33] Journal Citation Reports - Journal Profile. (s. f.). https://jcr.clarivate.com/jcrjp/journal-profile?journal=INT+J+SERIOUS+GAMES 276 10.3991/ijet.v8iS1.2320. [116] Калижанова, Анна & Kalizhanova, Anna & Ибраева, Баян & Ibrayeva, Bayan. (2017). Gamification of Educational Process for Building Learners’ Autonomy. Scientific Research and Development. Socio-Humanitarian Research and Technology. 6. 10.12737/article_59d7860b667174.84726065. [117] Kutun, Bahar & Schmidt, Werner & Schuhbauer, Heidi. (2016). Gamification in Education: A Board Game Approach to Knowledge Acquisition. Procedia Computer Science. 99. 10.1016/j.procs.2016.09.104. [118] Turan, Zeynep & avinç, Zeynep & Kara, Kadir & Goktas, Yuksel. (2016). Gamification and Education: Achievements, Cognitive Loads, and Views of Students. International Journal of Emerging Technologies in Learning (iJET). 11. 64-69. 10.3991/ijet.v11i07.5455. [119] Gómez Contreras, Jennifer. (2020). Gamification in Educational Contexts: Analysis of Its Application in a Distance Public Accounting Program. Universidad & Empresa. 22. 8-39. 10.12804/revistas.urosario.edu.co/empresa7a.6939. [120] Teh, Kamarul & Md Hanafiah, Shariful Hafizi & Abdul Kadir, Mohd Fadzil. (2019). Accustoms gamification in education improves student motivation, engagement and academic performance. 10.35940/ijrte.B1062.0782S319. [121] Chen, Yang & Burton, Terry & Vorvoreanu, Mihaela & Whittinghill, David. (2015). Cogent：A Case Study of Meaningful Gamification in Education with Virtual Currency. International Journal of Emerging Technologies in Learning (iJET). 10. 10.3991/ijet.v10i1.4247. [122] Kollár, János. (2020). GAMIFICATION IN EDUCATION: CHANGING THE ATTITUDE OF MEDICAL STUDENTS TOWARDS DEMENTIA BY USING VIRTUAL REALITY (PILOT STUDY). PUPIL: International Journal of Teaching, Education and Learning. 4. 57-67. 10.20319/pijtel.2020.42.5767. [123] Kovácsné Pusztai, Kinga. (2021). Gamification in Higher Education. Teaching Mathematics and Computer Science. 18. 87-106. 10.5485/TMCS.2020.0510. [124] Klubal, Libor & Kostolányová, Kateřina & Gybas, Vojtěch. (2018). Gamification in LMS Courses. International Journal of Information and Communication Technologies in Education. 7. 46-50. 10.1515/ijicte-2018-0009. [125] Mahmud, siti nur diyana & Husnin, Hazrati & Tuan Soh, Tuan Mastura. (2020). Teaching Presence in Online Gamified Education for Sustainability Learning. Sustainability. 12. 3801. 10.3390/su12093801. [126] Jusas, Vacius & Barisas, Dominykas & Jančiukas, Mindaugas. (2022). Game Elements towards More Sustainable Learning in Object-Oriented Programming Course. Sustainability. 14. 2325. 10.3390/su14042325. [127] Isabelle, Diane. (2020). Gamification of Entrepreneurship Education. Decision Sciences Journal of Innovative Education. 18. 10.1111/dsji.12203. [128] Kasinathan, Vinothini & Mustapha, Aida & Fu, Chan & Manikam, Sadesh & Che Abdul Rani, Mohamad Firdaus. (2019). Gamification Concept for Encouraging Lecture Attendance. Indonesian Journal of Electrical Engineering and Computer Science. 16. 482-490. 10.11591/ijeecs.v16.i1.pp482-490. 277 [129] Kanani, Pratik & Nagda, Mudra & Mehta, Parth & Lamba, Simranjeet. (2020). Gamification in Plant Education for Children. 2020. [130] Furdu, Iulian & Tomozei, Cosmin & Köse, Utku. (2017). Pros and Cons Gamification and Gaming in Classroom. Broad Research in Artificial Intelligence and Neuroscience. 8. 56-62. [131] Reyes, William & Pech, Sergio. (2020). Gamification in distance education: experiences in a university educational model. Apertura. 12. 6-19. 10.32870/Ap.v12n2.1849. [132] Leon, Alejandro & Peña, Marta. (2021). Gamification tools in the learning of shipbuilding in the undergraduate marine engineering education. Computer Applications in Engineering Education. 30. 10.1002/cae.22465. [133] Rosli, Khairina & Malaysia, Universiti & Khairudin, Norhaiza. (2019). Gamification in Entrepreneurship and Accounting Education. Academy of Entrepreneurship Journal. 25. [134] Bernik, Andrija. (2021). Gamification Framework for E-Learning Systems in Higher Education. Tehnički glasnik. 15. 184-190. 10.31803/tg-20201008090615. [135] Falah, Jannat & Wedyan, Mohammad & Alfalah, Salsabeel & Abu-Tarboush, Muhannad & Al-Jakheem, Ahmad & Al-Faraneh, Muath & Abuhammad, Areej & Charissis, Vassilis. (2021). Identifying the Characteristics of Virtual Reality Gamification for Complex Educational Topics. Multimodal Technologies and Interaction. 5. 53. 10.3390/mti5090053. [136] Smiderle, Rodrigo & Rigo, Sandro & Marques, Leonardo & Coelho, Jorge & Jaques, Patricia. (2020). The impact of gamification on students’ learning, engagement and behavior based on their personality traits. Smart Learning Environments. 7. 10.1186/s40561-019-0098-x. [137] Research Interest Score (s. f.). https://explore.researchgate.net/display/support/Research+Interest+Score [138] Sailer, M., & Homner, L. (2020). The gamification of learning: A metaanalysis. Educational Psychology Review, 32(1), 77-112. [139] Kahoot! | Learning games | Make learning awesome! (2023, 21 marzo). Kahoot! https://kahoot.com/ [140] Edpuzzle | Make Any Video Your Lesson. (s. f.). Edpuzzle. https://edpuzzle.com/ [141] Google Forms: Sign-in. (s. f.). https://accounts.google.com/v3/signin/identifier?dsh=S771913207%3A16794787019987 43&continue=https%3A%2F%2Fdocs.google.com%2Fforms%2Fcreate&followup=https %3A%2F%2Fdocs.google.com%2Fforms%2Fcreate&ifkv=AWnogHdU9mjVux5igCN CvmOdYKlB1xCkh1xPAP7isftfUZrpvgxZByDvxFzn_9IyniZ1H8lZZ3s<mpl=forms&p assive=1209600&service=wise&flowName=WebLiteSignIn&flowEntry=ServiceLogin [142] Switzer, Y., Cameron, S., Dial, T., Murphy-Johnson, R., Goodwin-Richards, S., Staub, S., Oberembt, M., Edinger, S., Anderson, L., Gay, L., Cagle, K., Cooper, J., Zaccaria, K., Mitchell, J., Boyd, J., Applewhite, J., Newman, J., Stock, E., Birmingham, F., . . . Switzer, Y. (s. f.-b). Quizizz | Where motivation meets mastery. https://quizizz.com/?lng=en 278 [143] Davis, F. D. (1989). Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology. MIS Quarterly, 13(3), 319–340. https://doi.org/10.2307/249008 [144] Blas, C. R. (2007). Encuesta Nacional de Salud. Indice, 20, 9-11. [145] Rothman KJ, Greenland S, Lash TL. Modern Epidemiology. 3rd ed. Philadelphia: Lippincott Williams & Wilkins; 2008. [146] World Health Organization. Guidelines for the evaluation of vaccine efficacy in humans. Geneva: World Health Organization; 2000. [147] European Medicines Agency. Guideline on influenza vaccines - non-clinical and clinical module. London: European Medicines Agency; 2009. [148] Pardo, A. (2004). Pruebas de hipótesis: Prueba t de Student. Revista Colombiana de Anestesiología, 32(1), 45-51. [149] Field, A. (2013). Discovering statistics using IBM SPSS statistics. Sage. [150] Rosner, B. (2010). Fundamentals of biostatistics. Cengage Learning. [151] Sullivan, L. M. (2012). Essentials of biostatistics in public health. Jones & Bartlett Publishers. [152] de FSM Russo, R., & Camanho, R. (2015). Criteria in AHP: a systematic review of literature. Procedia Computer Science, 55, 1123-1132. [153] Victor Yepes (2018). Proceso analítico jerárquico (AHP). Recuperado el 19 de abril de 2023, de https://victoryepes.blogs.upv.es/2018/11/27/proceso-analitico-jerarquico-ahp/ [154] Ministerio de Educación y Formación Profesional. (2020). Indicadores Educativos 2020. Recuperado de https://www.educacionyfp.gob.es/dam/jcr:7bd02364-3fd2-405f- b0d6-4fe05debbd38/seie-2020.pdf [155] User, S. (s. f.). Web AJDA. https://newton.proyectodescartes.org/juegosdidacticos/index.php?option=com_content& view=article&id=71&Itemid=469&lang=en [156] Garcia, F. J. N., & Urrea, A. P. (1990). Riesgo atribuible: sus formas, usos e interpretación. Gaceta Sanitaria, 4(18), 112-117. [157] Abdelwahab, S. F., Issa, U. H., & Ashour, H. M. (2021). A novel vaccine selection decision-making model (VSDMM) for COVID-19. Vaccines, 9(7), 718. [158] Brans, J. P., & De Smet, Y. (2016). PROMETHEE methods. Multiple criteria decision analysis: state of the art surveys, 187-219. [159] Narayanamoorthy, S., Pragathi, S., Parthasarathy, T. N., Kalaiselvan, S., Kureethara, J. V., Saraswathy, R., ... & Kang, D. (2021). The COVID-19 vaccine preference for youngsters using PROMETHEE-II in the IFSS environment. Symmetry, 13(6), 1030. [160] Clasificación de los métodos de toma de decisión multicriterio multiatributo – El blog de Víctor Yepes. (2018, 26 noviembre). https://victoryepes.blogs.upv.es/2018/11/26/clasificacion-metodos-madm/ [161] Saaty, T. L. (2008). Decision making with the analytic hierarchy process. International journal of services sciences, 1(1), 83-98. [162] Colaboradores de Wikipedia. (2023). The Amazing World of Gumball. Wikipedia, la 279 enciclopedia libre. https://es.wikipedia.org/wiki/The_Amazing_World_of_Gumball [163] Cano, V. A., & Reja, H. M. (2019). Análisis sobre las medidas de atención a la diversidad para el alumnado de altas capacidades intelectuales. Almoraima: revista de estudios campogibraltareños, (51), 209-216. [164] Aguilar, T. D. J. C. (2012). Atención a la diversidad en el aula. Visión Educativa IUNAES, 5(12), 63-71. [165] Amiama Ibarguren, J. F. (2013). Análisis de los deberes escolares en la ESO y exploración de un espacio colaborativo entre profesorado y familia en la Comunidad Autonóma Vasca. [166] de Bustillo, M. D. C. M., Pérez, D., & Martín, E. (2006). ¿ Qué penalizan los docentes?: análisis de la disciplina a través de los partes de incidencia. Infancia y Aprendizaje, 29(4), 423-435. [167] Trigueros, I. M. G. (2018). Gamificación y tecnologías como recursos y estrategias innovadores para la enseñanza y aprendizaje de la historia. Educação & Formação, 3(8), 3-16. [168] Alonso García, S., Martínez Domingo, J. A., Berral Ortiz, B., & De la Cruz Campos, J. C. (2021). Gamificación en Educación Superior. Revisión de experiencias realizadas en España en los últimos años. [169] Cornejo, M. A. N., Agreda, O. O., & Caguana, E. F. M. (2021). Gamificación en la educación superior. Revista Publicando, 8(31), 165-176. [170] Colaboradores de Wikipedia. (2023). Calificación escolar. Wikipedia, la enciclopedia libre. https://es.wikipedia.org/wiki/Calificaci%C3%B3n_escolar [171] Yoon, K., & Hwang, C. L. (1995). Multiple attribute decision making: An introduction (Vol. 104). Sage. [172] Zavadskas, E. K., & Antucheviciene, J. (2006). Multiple criteria evaluation of dwelling houses. Technological and Economic Development of Economy, 12(1), 59-65. [173] Ignizio, J. P. (1976). Goal programming and extensions. Lexington Books. [174] Zeleny, M. (1982). Multiple criteria decision making. McGraw-Hill. [175] Hwang, C. L., & Yoon, K. (1981). Multiple attribute decision making: Methods and applications. Springer. [176] Opricovic, S., & Tzeng, G. H. (2004). Compromise solution by MCDM methods: A comparative analysis of VIKOR and TOPSIS. European journal of operational research, 156(2), 445-455. [177] Saaty, T. L. (2005). Theory and applications of the analytic network process: Decision making with benefits, opportunities, costs, and risks (Vol. 4). RWS Publications. [178] Bana e Costa, C. A., & Chagas, M. P. (1996). A career choice problem: An example of how to use MACBETH to build a quantitative value model based on qualitative value judgments. European Journal of Operational Research, 90(3), 432-447. [179] Brans, J. P., & Vincke, P. H. (1985). A preference ranking organisation method: The PROMETHEE method for MCDM. Management Science, 31(6), 647-656. [180] Roy, B. (1996). Multicriteria methodology for decision aiding (Vol. 492). Springer. 280 [181] Keeney, R. L., & Raiffa, H. (1993). Decisions with multiple objectives: Preferences and value tradeoffs. Cambridge University Press. [182] Edwards, W., & Barron, F. H. (1994). SMARTS and SMARTER: Improved simple methods for multiattribute utility measurement. Organizational behavior and human decision processes, 60(3), 306-325. [183] Rodríguez, R. M., & Martínez, L. (2008). A decision support system for selecting sustainable industrial processes. Decision Support Systems, 45(1), 72-83. [184] Witte, R. S., & Witte, J. S. (2019). Estadística. Cengage Learning. [185] Wackerly, D. D., Mendenhall III, W., & Scheaffer, R. L. (2014). Estadística Matemática con Aplicaciones. Cengage Learning. [186] Newbold, P., Carlson, W. L., & Thorne, B. (2017). Estadística para Administración y Economía. Pearson Educación. [187] Webster, A. L., Lind, D. A., & Marchal, W. G. (2018). Estadística Aplicada a los Negocios y la Economía. McGraw-Hill Interamericana. [188] Johnson, R., & Kuby, P. (2018). Estadística Elemental. Cengage Learning. [189] Gómez, J. L. P. (2002). Estrategias de ponderación de la respuesta en encuestas de satisfacción de usuarios de servicios. Metodología de encuestas, 4(2), 175-193. [190] Mueses, H. (2008). Diferencias entre el Nivel de Significancia alfa y el Valor P. Revista Estomatología, 16(1), 30-32. [191] LordOfHistory. (s. f.). GitHub - LordOfHistory/TFG_GITT_Joscanege: Estado del arte del aprendizaje basado en juegos educativos digitales y diseño e implementación de métodos estadísticos de validación aplicados a GBL. GitHub. https://github.com/LordOfHistory/TFG_GITT_Joscanege [192] The Community for Open Collaboration and Innovation | The Eclipse Foundation. (s. f.). Eclipse Foundation. https://www.eclipse.org/ [193] Porter, B. (s. f.). Maven – Welcome to Apache Maven. https://maven.apache.org/ [194] colaboradores de Wikipedia. (2023, 5 septiembre). JavaServer Pages. Wikipedia, la enciclopedia libre. https://es.wikipedia.org/wiki/JavaServer_Pages [195] JSTL Documentation. (s. f.). https://www.oracle.com/java/technologies/jstldocumentation.html [196] PostgreSQL. (2024, 11 enero). PostgreSQL. https://www.postgresql.org/ [197] Juegos didácticos Proyecto AJDA. (2024, febrero). https://newton.proyectodescartes.org/juegosdidacticos/images/juegos/materiales/libro_pr oyecto_ajda-def/index.html