Agente conversacional virtual: la inteligencia artificial para el aprendizaje autónomo

Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 62 - SEPTIEMBRE - 2021 https://revistapixelbit.com Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 62 SEPTIEMBRE 2021 EQUIPO EDITORIAL (EDITORIAL BOARD) EDITOR JEFE (EDITOR IN CHIEF) Dr. Julio Cabero Almenara, Departamento de Didáctica y Organización Educativa, Facultad de CC de la Educación, Director del Grupo de Investigación Didáctica. Universidad de Sevilla (España). EDITOR ADJUNTO (ASSISTANT EDITOR) Dr. Juan Jesús Gutiérrez Castillo, Departamento de Didáctica y Organización Educativa. Facultad de CC de la Educación, Universidad de Sevilla (España). Dr. Óscar M. Gallego Pérez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) CONSEJO DE REDACCIÓN EDITOR Dr. Julio Cabero Almenara. Grupo de Investigación Didáctica, Universidad de Sevilla (España) EDITOR ASISTENTE Dr. Juan Jesús Gutiérrez Catillo. Departamento de Didáctica y Organización Educativa. Facultad de CC de la Educación, Universidad de Sevilla. (España) Dr. Óscar M. Gallego Pérez. Grupo de Investigación Didáctica Universidad de Sevilla (España) EDITORES ASOCIADOS Dra. Urtza Garay Ruiz, Universidad del País Vasco. (España) Dra. Ivanovnna Milqueya Cruz Pichardo, Pontificia Universidad Católica Madre y Maestra. (República Dominicana) VOCALES Dra. María Puig Gutiérrez, Universidad de Sevilla. (España) Dra. Sandra Martínez Pérez, Universidad de Barcelona (España) Dr. Selín Carrasco, Universidad de La Punta (Argentina) Dr. Jackson Collares, Universidades Federal do Amazonas (Brasil) Dra. Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) Dra. Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Dr. Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Dr. Fabrizio Manuel Sirignano, Università degli Studi Suor Orsola Benincasa (Italia) CONSEJO TÉCNICO Edición, maquetación: Manuel Serrano Hidalgo, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Dra. Raquel Barragán Sánchez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Antonio Palacios Rodríguez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Diseño de portada: Lucía Terrones García, Universidad de Sevilla (España) Revisor/corrector de textos en inglés: Rubicelia Valencia Ortiz, MacMillan Education (México) Revisores metodológicos: evaluadores asignados a cada artículo Responsable de redes sociales: Manuel Serrano Hidalgo, Grupo de Investigación Didáctic, Universidad de Sevilla (España) CONSEJO CIENTÍFICO Jordi Adell Segura, Universidad Jaume I Castellón (España) Ignacio Aguaded Gómez, Universidad de Huelva (España) María Victoria Aguiar Perera, Universidad de Las Palmas de Gran Canaria (España) Olga María Alegre de la Rosa, Universidad de la Laguna Tenerife (España) Manuel Área Moreira, Universidad de la Laguna Tenerife (España) Patricia Ávila Muñoz, Instituto Latinoamericano de Comunicación Educativa (México) Antonio Bartolomé Pina, Universidad de Barcelona (España) Angel Manuel Bautista Valencia, Universidad Central de Panamá (Panamá) Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. Jos Beishuizen, Vrije Universiteit Amsterdam (Holanda) Florentino Blázquez Entonado, Universidad de Extremadura (España) Silvana Calaprice, Università degli studi di Bari (Italia) Selín Carrasco, Universidad de La Punta (Argentina) Raimundo Carrasco Soto, Universidad de Durango (México) Rafael Castañeda Barrena, Universidad de Sevilla (España) Zulma Cataldi, Universidad de Buenos Aires (Argentina) Manuel Cebrián de la Serna, Universidad de Málaga (España) Luciano Cecconi, Università degli Studi di Modena (Italia) Jean-François Cerisier, Université de Poitiers, Francia Jordi Lluí s Coiduras Rodrí guez, Universidad de Lleida (España) Jackson Collares, Universidades Federal do Amazonas (Brasil) Enricomaria Corbi, Università degli Studi Suor Orsola Benincasa (Italia) Marialaura Cunzio, Università degli Studi Suor Orsola Benincasa (Italia) Brigitte Denis, Université de Liège (Bélgica) Floriana Falcinelli, Università degli Studi di Perugia (Italia) Maria Cecilia Fonseca Sardi, Universidad Metropolitana de Venezuela (Venezuela) Maribel Santos Miranda Pinto, Universidade do Minho (Portugal) Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) María-Jesús Gallego-Arrufat, Universidad de Granada (España) Lorenzo García Aretio, UNED (España) Ana García-Valcarcel Muñoz-Repiso, Universidad de Salamanca (España) Antonio Bautista García-Vera, Universidad Complutense de Madrid (España) José Manuel Gómez y Méndez, Universidad de Sevilla (España) Mercedes González Sanmamed, Universidad de La Coruña (España) Manuel González-Sicilia Llamas, Universidad Católica San Antonio-Murcia (España) António José Meneses Osório, Universidade do Minho (Portugal) Carol Halal Orfali, Universidad Tecnológica de Chile INACAP (Chile) Mauricio Hernández Ramí rez, Universidad Autónoma de Tamaulipas (México) Ana Landeta Etxeberrí a, Universidad a Distancia de Madrid (UDIMA) Linda Lavelle, Plymouth Institute of Education (Inglaterra) Fernando Leal Ríos, Universidad Autónoma de Tamaulipas (México) Paul Lefrere, Cca (UK) Carlos Marcelo Garcí a, Universidad de Sevilla (España) Francois Marchessou, Universidad de Poittiers, Parí s (Francia) Francesca Marone, Università degli Studi di Napoli Federico II (Italia) Francisco Martí nez Sánchez, Universidad de Murcia (España) Ivory de Lourdes Mogollón de Lugo, Universidad Central de Venezuela (Venezuela) Angela Muschitiello, Università degli studi di Bari (Italia) Margherita Musello, Università degli Studi Suor Orsola Benincasa (Italia) Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Trinidad Núñez Domínguez, Universidad de Sevilla (España) James O’Higgins, de la Universidad de Dublín (UK) José Antonio Ortega Carrillo, Universidad de Granada (España) Gabriela Padilla, Universidad Autónoma de Tumalipas (México) Ramón Pérez Pérez, Universidad de Oviedo (España) Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Julio Manuel Barroso Osuna, Universidad de Sevilla (España) Rosalía Romero Tena. Universidad de Sevilla (España) Hommy Rosario, Universidad de Carabobo (Venezuela) Pier Giuseppe Rossi, Università di Macerata (Italia) Jesús Salinas Ibáñez, Universidad Islas Baleares (España) Yamile Sandoval Romero, Universidad de Santiago de Cali (Colombia) Albert Sangrá Morer, Universidad Oberta de Catalunya (España) Ángel Sanmartí n Alonso, Universidad de Valencia (España) Horacio Santángelo, Universidad Tecnológica Nacional (Argentina) Francisco Solá Cabrera, Universidad de Sevilla (España) Jan Frick, Stavanger University (Noruega) Karl Steffens, Universidad de Colonia (Alemania) Seppo Tella, Helsinki University (Finlandia) Hanne Wacher Kjaergaard, Aarhus University (Dinamarca) Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. FACTOR DE IMPACTO (IMPACT FACTOR) SCOPUS (CiteScore Tracker 2021: 2.8) - Journal Citation Indicator (JCI). Posición 400 de 722 revistas Puntuación: 44.67 (Q3) - FECYT: Ciencias de la Educación. Cuartil 2. Posición 16. Puntuación: 39,80- DIALNET MÉTRICAS (Factor impacto 2019: 1,355. Q1 Educación. Posición 11 de 230) - REDIB Calificación Glogal: 29,102 (71/1.119) Percentil del Factor de Impacto Normalizado: 95,455- ERIH PLUS - Clasificación CIRC: B- Categoría ANEP: B - CARHUS (+2018): B - MIAR (ICDS 2020): 9,9 - Google Scholar (global): h5: 42; Mediana: 42 - Journal Scholar Metric Q2 Educación. Actualización 2016 Posición: 405ª de 1,115- Criterios ANECA: 20 de 21 - INDEX COPERNICUS Puntuación ICV 2019: 95.10 Píxel-Bit, Revista de Medios y Educación está indexada entre otras bases en: SCOPUS, Fecyt, Iresie, ISOC (CSIC/ CINDOC), DICE, MIAR, IN-RECS, RESH, Ulrich’s Periodicals, Catálogo Latindex, Biné-EDUSOL, Dialnet, Redinet, OEI, DOCE, Scribd, Redalyc, Red Iberoamericana de Revistas de Comunicación y Cultura, Gage Cengage Learning, Centro de Documentación del Observatorio de la Infancia en Andalucía. Además de estar presente en portales especializados, Buscadores Científicos y Catálogos de Bibliotecas de reconocido prestigio, y pendiente de evaluación en otras bases de datos. EDITA (PUBLISHED BY) Grupo de Investigación Didáctica (HUM-390). Universidad de Sevilla (España). Facultad de Ciencias de la Educación. Departamento de Didáctica y Organización Educativa. C/ Pirotecnia s/n, 41013 Sevilla. Dirección de correo electrónico: r[email protected] . URL: https://revistapixelbit.com/ ISSN: 1133-8482; e-ISSN: 2171-7966; Depósito Legal: SE-1725-02 Formato de la revista: 16,5 x 23,0 cm Los recursos incluidos en Píxel Bit están sujetos a una licencia Creative Commons Attribution-NonCommercial- ShareAlike 4.0 Unported (Reconocimiento-NoComercial-CompartirIgual)(CC BY-NC-SA 4.0), en consecuencia, las acciones, productos y utilidades derivadas de su utilización no podrán generar ningún tipo de lucro y la obra generada sólo podrá distribuirse bajo esta misma licencia. En las obras derivadas deberá, asimismo, hacerse referencia expresa a la fuente y al autor del recurso utilizado. ©2021 Píxel-Bit. No está permitida la reproducción total o parcial por ningún medio de la versión impresa de la Revista Píxel- Bit. Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 62 SEPTIEMBRE 2021 índice 1.- Niveles de representación externa de estudiantes de educación secundaria acerca de la división celular mitótica: una experiencia con realidad aumentada // High school student representations of mitotic cell division: an augmented reality experience. (Bilingüe) Francisco J. López-Cortés, Eduardo Ravanal Moreno, Claudio Palma Rojas, Cristián Merino Rubilar 2.- Satisfacción del profesorado con la formación en servicio online: aproximaciones desde la usabilidad pedagógica // Teachers’ satisfaction with in-service online training from the viewpoint of pedagogic usability (Bilingüe) Osbaldo Turpo-Gebera, Alejandra Hurtado-Mazeyra, Yvan Delgado-Sarmiento, Gerber Peréz-Postigo 3.- Evaluación de la competencia oral con rúbricas digitales para el Espacio Iberoamericano del Conocimiento // Assessment oral competence with digital rubrics for the Ibero-American Knowledge Space (Bilingüe) Carlos Rafael Fernández Medina, Cristina Raquel Luque Guerrero, Francisco José Ruiz Rey, Diana Elizabeth Rivera Rojel, Lucy Deyanira Andrade Vargas, Manuel Cebrián de la Serna 4.-Agente conversacional virtual: la inteligencia artificial para el aprendizaje autónomo // Embodied conversational agents: artificial intelligence for autonomous learning. (Bilingüe) Josué Artiles Rodríguez, Mónica Guerra Santana, Mª Victoria Aguiar Perera, Josefa Rodríguez Pulido 5.- Gamificación superficial en e-learning: evidencias sobre motivación y autorregulación // La transición a la enseñanza en línea llevada a cabo por los docentes de América Latina y el Caribe durante la pandemia de COVID-19: desafíos, cambios y lecciones aprendidas. (Bilingüe) Olga Juan-Lázaro, Manuel Area-Moreira 6.- Análisis de Género del Cine de Animación Infantil como Recurso para una Escuela Coeducativa // A Gender Perspective in Analyzing Film Production for Children as a Source for Coeducation. (Bilingüe) Tarxilia Heras Peinado, Rosario Mérida Serrano 7.- Competencia digital docente en educación de adultos: un estudio en un contexto español // Digital competence in adult education: a study in a Spanish context. (Bilingüe) Esther Garzón Artacho, Tomás Sola Martínez, Juan Manuel Trujillo Torres, Antonio Manuel Rodríguez García 8.- Percepción docente del uso de TIC en la Educación Inclusiva // Teacher perception on the use of ICT in Inclusive Education. (Bilingüe) Esther Vega-Gea, Juan Calmaestra, Rosario Ortega-Ruiz 9.- Evaluating Eye Tracking Technology for Assessment of Students with Profound and Multiple Learning Difficulties // Evaluación de la tecnología de seguimiento ocular para la evaluación de estudiantes con dificultades de aprendizaje múltiples y profundas. (Bilingüe) Rayjvir Grill, Sarah Younie Younie 10.- Coding, robotics and socio-emotional learning: developing a palette of virtues // Codificación, robótica y aprendizaje socioemocional: cómo desarrollar una combinación de habilidades (Bilingüe) Marina U. Bers 7 39 71 107 146 183 209 235 269 309 Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 Agente conversacional virtual: la inteligencia artificial para el aprendizaje autónomo Embodied conversational agents: artificial intelligence for autonomous learning Dr. Josué Artiles Rodríguez Profesor Contratado Doctor. Facultad de Ciencias de la Educación. Universidad de Las Palmas de Gran Canaria. España Dra. Mónica Guerra Santana Profesora Ayudante Doctor. Facultad de Ciencias de la Educación. Universidad de Las Palmas de Gran Canaria. España Dra. Mª Victoria Aguiar Perera Profesora Titular de Universidad. Facultad de Ciencias de la Educación. Universidad de Las Palmas de Gran Canaria. España Dra. Josefa Rodríguez Pulido Profesora Titular de Universidad. Facultad de Ciencias de la Educación. Universidad de Las Palmas de Gran Canaria. España Recibido: 2020-11-20 Revisado: 2020-12-22 Aceptado: 2021-02-17 Preprint: 2021-05-20 Publicado: 2021/09/01 RESUMEN El presente artículo de investigación profundiza sobre las posibilidades de los agentes virtuales conversacionales como herramienta para tutorizar trabajos del alumnado universitario. Se utilizó una metodología cuantitativa con diseño descriptivo, correlacional y diferencial, para evaluar su usabilidad del agente conversacional en una muestra de 303 estudiantes universitarios. Para ello, se diseñó y evaluó un agente conversacional virtual para apoyar las tutorías de Trabajos de Fin de Grado con la Escala SUS (System Usability Scale). Los resultados indican que la escala posee una satisfactoria calidad métrica y una buena bondad del modelo, aspectos que se constatan en la estructura empírica y en la consistencia interna favorables del cuestionario. Los datos también muestran que existen diferencias significativas (IC 99,95%) en las variables género, grado, nivel de conocimiento y el grado de uso de chatbots. Se completó con el registro de uso real del agente, en un plazo de seis meses, por 589 estudiantes de tres titulaciones diferentes, contestando a 3025 preguntas en seis meses. En conclusión, los resultados permiten establecer criterios explicativos sobre el uso de chatbots. Es necesario seguir profundizando en este tipo de herramientas para el seguimiento y evaluación del alumnado. ABSTRACT This paper delves into the possibilities of conversational virtual agents as a tool to tutor university students' work. A quantitative methodology with a descriptive, correlational and differential design was used to evaluate the usability of the conversational agent in a sample of 303 university students. For this, a virtual conversational agent was designed and evaluated to support the End-of-Degree Project tutorials with the SUS Scale (System Usability Scale). The results indicate that the scale has a satisfactory metric quality and good model goodness, aspects that are verified in the empirical structure and in the favorable internal consistency of the questionnaire. The data also show that there are significant differences (99.95% CI) in the variables gender, grade, level of knowledge, and the grade of chatbot use. It was completed with the record of the actual use of the agent, within a period of six months, by 589 students from three different degrees, answering 3025 questions in six months. In conclusion, the results allow to establish explanatory criteria on the use of chatbots. It is necessary to continue deepening in this type of tools for the monitoring and evaluation of students. PALABRAS CLAVES · KEYWORDS Inteligencia artificial; tutoría; educación superior; agente conversacional virtual Artificial intelligence; tutoring; University education; embodied conversational agents Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 108 1.Introducción Los Agentes Conversacionales (AC), también denominados chatbots, son paquetes de software capaces de establecer interacciones con el ser humano utilizando el lenguaje natural (Dale, 2016). Es decir, son programas de inteligencia artificial capaces de generar una conversación concreta con personas, a través del procesamiento del lenguaje natural (Zeni et al., 2019). Son accesibles a una gran cantidad de personas, gracias a la capacidad de interaccionar mediante voz y texto (Fadhil & Gabrielli, 2017). Para ello, son necesarios múltiples datos para entrenar al agente conversacional (Fast et al., 2018; Sumikawa et al., 2020). Generan un compromiso en la conversación capaz de centrar la atención de las personas en la interacción (Wargnier et al., 2015). Esto ha resultado de interés en investigación ya que las personas reaccionan positivamente cuando los (AC) muestran pequeñas actitudes sociales relacionadas con expresiones, gestos y señales sociales (Feine et al., 2019). Este proceso no está exento de dificultad ya que los (AC) deben utilizar composiciones sintácticas y semánticas de gran complejidad, de manera que puedan interactuar con las expresiones de una conversación (Herbert & Kang, 2018). Los (AC) pueden desarrollar una conversación compleja sobre un tema determinado, pero presenta limitaciones cuando las conversaciones cruzan diferentes temáticas, o cuando el usuario utiliza expresiones que tiene varios significados o varias interpretaciones según el contexto (Colace et al., 2018). La utilización de los (AC) abarca numerosos ámbitos ya que pueden programar citas médicas o reservas en restaurantes, comprar paquetes de viajes, responder a preguntas frecuentes (FAQ), denominadas así por las siglas de Frequently Asked Questions, para mejorar la salud mental de pacientes, en terapias de estrés postraumático o para mejorar la comunicación interna dentro de una organización entre otros (Fast et al., 2018; Ghosh et al., 2018; Sáez et al., 2017; Tielman et al., 2017; Schroeder et al., 2018). 1.1.El agente conversacional en procesos educativos En el plano educativo hay universidades que brindan un escenario virtual como apoyo a las clases presenciales. El campus virtual es un entorno de enseñanza muy importante, aunque en muchas ocasiones no dispone de herramientas dinámicas para responder al alumnado. El agente conversacional puede solventar este problema, respondiendo a las necesidades de los estudiantes en una interacción directa (Sumikawa et al., 2020). Kerly et al. (2008) señalan dos ejemplos sobre el uso de los agentes de conversación, uno que proporciona apoyo de aprendizaje, y el otro como apoyo para la autoevaluación. Además, los autores exponen que mejora la motivación, las habilidades metacognitivas y las calificaciones del alumnado. También resulta positivo para el profesorado, proporcionando apoyo a la docencia y ofreciendo datos para evaluar. Son eficaces en el aprendizaje de otro idioma, basándose en un diálogo productivo en interacción con el alumnado. Así, un (AC) puede interactuar entre dos estudiantes mientras mantienen conversaciones a través de textos (Tegos et al., 2014; Tegos & Demetriadis, 2017). De esta forma, entre estudiantes con el mismo nivel de competencia lingüística obtenían mejores resultados aquellos que habían utilizado un (AC) en la interacción entre pares. Babu et al. (2011), estudiaron los efectos del uso de (AC) en la interacción Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 109 multimodal natural para enseñar a los usuarios protocolos culturales verbales y no verbales de conversación en la cultura del sur de India. Los resultados del estudio señalan que los participantes que se entrenaron con los (AC) tuvieron un rendimiento significativamente mayor que aquellos que aprendieron de la guía de estudio. El apoyo a la tutoría en la universidad es otro de los usos de los (AC). Puede ayudar a solventar dudas sobre exposiciones a un número elevado de estudiantes, a modo de fuente de información y reflexión, (Wellnhammer et al., 2020). Esta opción es muy interesante en escenarios con una presencia masiva de alumnos, como los MOOC. Por ejemplo, como (AC) para aprender JAVA de manera que el profesorado también tiene una retroalimentación, en tiempo real (Catalán et al., 2018). También ha sido utilizado para el apoyo del alumnado universitario en la materia de Fundamentos de Ciencias de la Computación y Redes de Computadores (Colace et al., 2018). En la actualidad hay una línea de implementación de (AC) en aplicaciones móviles para educación, pero se necesita más investigación sobre estas herramientas (Hobert & Meyer von Wolff, 2019). Por otra parte, es necesario un determinado nivel de conocimiento para poder desarrollar un chatbot en asignaturas universitarias que no estén vinculadas a la informática. En muchas ocasiones se implementa el chatbot en carreras técnicas, siendo menor en carreras humanísticas y de ciencias sociales. Para solventar este problema se puede llevar a cabo un diseño participativo que responda a las necesidades del profesorado que no sepa desarrollarlo (Neumann et al., 2019). 1.2. La valoración sobre el uso de un agente conversacional en procesos educativos Un aspecto fundamental a tener en cuenta es la valoración del usuario tras la experiencia de utilizar los (AC) de manera eficaz (Ren et al., 2019). Para valorar la usabilidad de los (AC) se puede recurrir a un instrumento ampliamente utilizado y validado denominado Sistem Usability Scale (SUS) (Brooke, 1996; Brooke, 2013) que ha sido objeto de estudio y validación por otros autores (Finstad, 2010; Lewis & Sauro, 2009). Relacionado con la valoración de recursos digitales, entre muchos otros, ha sido utilizado para el estudio de chatbots que permiten mejorar los procesos de comunicación interna de una empresa por parte de 8 sujetos (Sáez et al., 2017), el estudio con 12 usuarios sobre la usabilidad de chatbot con interfaz de voz como Alexa o Siri (Ghosh et al., 2018) o con un agente conversacional para el tratamiento de trastornos mentales (Schroeder et al., 2018). En aspectos relacionados con la educación, el instrumento SUS se ha utilizado para comprobar desde la usabilidad de un agente conversacional para educar a niños y niñas con diabetes con una muestra de 21 sujetos (Sinoo et al., 2018), la formación en patrones culturales mediante chatbots estudiado en 40 sujetos (Babu et al., 2011) hasta la usabilidad de chatbot para recoger dudas sobre una materia por parte de 12 estudiantes universitarios (Neumann et al., 2019), entre otros. El objetivo de esta investigación es valorar el uso de un agente conversacional diseñado para ofrecer ayuda al alumnado que está desarrollando su trabajo de fin de carrera. Para ello, se diseñó un chatbot, denominado CLOE, como herramienta para tutorizar al alumnado en preguntas frecuentes (FAQ frequently asked questions) relacionadas con el Trabajo Fin de Título (TFT) de diferentes Grados de Educación Social, Infantil y el Grado de Primaria. Se desarrolló en base a la aplicación Dialogflow que es una API, siglas que responden a Application Programming Interface o Interfaz de Programación de Aplicaciones, para tareas de Procesamiento de Lenguaje Natural (PLN) y comprensión del Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 116 que para la Dimensión 1: α de Cronbach= .852; IFC= .889; IVE= .714. Para la Dimensión 2: α de Cronbach= .703; IFC= .737; IVE= .497. Podemos ver que la fiabilidad compuesta es algo más alta en ambas dimensiones que en el coeficiente de Cronbach; sin embargo, mientras que el IVE en la Dimensión 1 refleja que el 71% de la varianza de este constructo se debe a sus elementos, el índice de la Dimensión 2 está ligeramente por debajo del valor .5, lo que indica que está en el límite para ser recomendable. 3.3. Análisis descriptivo de la escala SUS En la Tabla 3 se presentan los estadísticos de tendencia central y de dispersión: las medias y las desviaciones estándar para cada uno de los ítems del cuestionario. Asimismo, se muestran también los resultados relativos al sumatorio de las opciones de respuesta en dos categorías de acuerdo, en valores porcentuales, para cada uno de los ítems de la escala. Esto es, se organizan las respuestas agrupándolas según las alternativas: valor alto (opciones “de acuerdo” y “totalmente de acuerdo”) y valor bajo (opciones “totalmente en desacuerdo”, “en desacuerdo”, “ni de acuerdo ni en desacuerdo”). Tabla 3. Relación y distribución de estadísticos descriptivos de los ítems de la Escala SUS ITEMS N Media(1) D. S. %Valores altos(2) %Valores bajos(3) 1.- Creo que me gustaría usar esta herramienta con frecuencia 303 3.96 .984 70.9 29.1 2.- Encuentro la herramienta bastante simple 303 3.96 1.065 71.3 28.7 3.- Creo que la herramienta es fácil de usar 302 4.39 .839 86.5 13.5 4.- Creo que necesitaría el apoyo de una persona técnica para poder usar esta herramienta 303 1.66 .946 5.6 94.4 5.- Creo que las diversas funciones en esta herramienta estaban bien integradas 301 4.05 .837 74.7 25.3 6.- Creo que la herramienta es consistente (coherente) 303 4.22 .778 82.2 17.8 7.- Creo que la mayoría de la gente aprendería a usar esta herramienta muy rápidamente 303 4.44 .702 91 9 8.- Encuentro la herramienta muy intuitiva 303 4.07 .918 75.6 24.4 9.- Me sentiría muy seguro/ a usando la herramienta 303 4.08 .903 75.3 24.7 10.- Necesitaría aprender muchas cosas antes de empezar a utilizar esta herramienta 303 1.93 1.150 12.2 87.8 Nota: (1) Escala: “1” Totalmente en desacuerdo; “2” En desacuerdo; “3” Ni en acuerdo ni en desacuerdo; “4” De acuerdo; “5” Totalmente de acuerdo. (2) Valores altos: “de acuerdo” y “totalmente de acuerdo” (3) Valores bajos: “totalmente en desacuerdo”. “en desacuerdo”. “ni de acuerdo ni en desacuerdo” Si atendemos los resultados expuestos, estos señalan que los estudiantes calificaron de forma muy favorable todos los ítems de la Escala. De este modo, vemos, por ejemplo, que el valor más alto se sitúa en el ítem 7: “Creo que la mayoría de la gente aprendería a usar esta herramienta muy rápidamente”, con = 4,44 y un valor porcentual de acuerdo del Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 117 91%; le sigue el ítem 3: “Creo que la herramienta es fácil de usar”, con una puntuación media de 4,39 y un porcentaje satisfactorio del 86,5%. Los datos invitan a pensar que la usabilidad y el manejo de esta herramienta es bastante sencilla y fácil de utilizar. Las puntuaciones más bajas se alcanzaron en el ítem 4: “Creo que necesitaría el apoyo de una persona técnica para poder usar esta herramienta” ( = 1,66; valor bajo= 94,4%) y en el ítem 10: “Necesitaría aprender muchas cosas antes de empezar a utilizar esta herramienta”, con una puntuación media de 1,93 y un valor porcentual bajo de 87,8%. No obstante, se debe decir que, a pesar de obtener valores bajos, el enunciado de las preguntas está redactado de forma positiva, aunque el contenido del mismo sea negativo, lo que coincide con los propósitos del enunciado original (Lewis & Sauro, 2009, p. 94). En líneas generales, los resultados obtenidos muestran un alto grado de satisfacción de los estudiantes. Por tanto, podemos considerar que la experiencia con el chatbot (CLOE) ha sido altamente positiva dadas las puntuaciones notables que han emitido los alumnos tras el uso de esta tecnología. 3.4. Análisis relacional de la Escala SUS La Tabla 4 presenta las distintas correlaciones entre los ítems que conforman la Escala SUS. Como se observa, existe una relación lineal positiva entre los ítems 1, 2, 3, 5, 6, 7, 8 y 9, estos es, aquellos ítems que estructuran el primer factor extraído; así, por ejemplo, el ítem 5 (“Creo que las diversas funciones en esta herramienta estaban bien integradas”) y el ítem 6 (“Creo que la herramienta es consistente (coherente)”) presentan una correlación lineal significativamente positiva (r= .606), lo que indica que estos miden similares características. Del mismo modo, pero a la inversa (r< 0), existen relaciones lineales negativas entre aquellos ítems que componen el segundo factor, ítems 4 y 10, con el resto de los ítems de la Escala. Por ejemplo, la relación entre el ítem 10 (“Necesitaría aprender muchas cosas antes de empezar a utilizar esta herramienta”) y el ítem 7 (“Creo que la mayoría de la gente aprendería a usar esta herramienta muy rápidamente”) es negativa (r= - .319), indicativo de que miden diferentes características. Por supuesto, la correlación es r>0 entre los ítems 4 y 10. Tabla 4. Correlaciones entre los ítems de la Escala SUS ITEM1 ITEM2 ITEM3 ITEM4 ITEM5 ITEM6 ITEM7 ITEM8 ITEM9 ITEM10 ITEM1 .305(**) .406(**) -.051 .476(**) .519(**) .402(**) .318(**) .477(**) -.102 ITEM2 .305(**) .374(**) -.141(*) .258(**) .310(**) .318(**) .317(**) .303(**) -.110 ITEM3 .406(**) .374(**) -.241(**) .424(**) .481(**) .507(**) .443(**) .382(**) -.252(**) ITEM4 -.051 -.141(*) -.241(**) -.092 -.139(*) -.269(**) -.157(**) -.182(**) .468(**) ITEM5 .476(**) .258(**) .424(**) -.092 .606(**) .445(**) .377(**) .392(**) -.114(*) ITEM6 .519(**) .310(**) .481(**) -.139(*) .606(**) .505(**) .420(**) .432(**) -.142(*) ITEM7 .402(**) .318(**) .507(**) -.269(**) .445(**) .505(**) .474(**) .442(**) -.319(**) ITEM8 .318(**) .317(**) .443(**) -.157(**) .377(**) .420(**) .474(**) .501(**) -.156(**) ITEM9 .477(**) .303(**) .382(**) -.182(**) .392(**) .432(**) .442(**) .501(**) -.145(*) ITEM10 -.102 -.110 -.252(**) .468(**) -.114(*) -.142(*) -.319(**) -.156(**) -.145(*) Nota: ** La correlación es significativa al nivel 0,01 (bilateral). * La correlación es significante al nivel 0,05 (bilateral). Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 118 3.5. Análisis diferencial Si comparamos las variables medidas en los estudiantes por razón del género, del Grado que cursan, del nivel de conocimiento de chatbots y del grado de uso de chatbots, se han obtenido diferencias de medias estadísticamente significativas en las siguientes variables: En función del género Se dan diferencias significativas (IC 99,95%) en el ítem 1: Creo que me gustaría usar esta herramienta con frecuencia (F 301= .149; p< .020), en el ítem 4: Creo que necesitaría el apoyo de un técnico para poder usar esta herramienta (F 301= .427; p< .004), en el ítem 5: Creo que las diversas funciones en esta herramienta estaban bien integradas (F 299= .078; p< .020) y en el ítem 6: Creo que la herramienta es consistente (F 301= 2.325; p< .009). Los resultados del análisis diferencial se muestran en la Tabla 5. Tabla 5. Prueba de muestras independientes “T” de Levene Prueba de Levene para la igualdad de varianzas Prueba T para la igualdad de medias F Sig. t gl Sig. (bilateral) Diferencia de medias Error típ. de la diferencia 95% Intervalo de confianza para la diferencia Superior Inferior ITEM1 .149 .700 -2.334 301 .020 -.287 .123 -.528 -.045 ITEM2 3.514 .062 1.094 301 .275 .146 .134 -.117 .410 ITEM3 .007 .933 -1.181 300 .238 -.125 .105 -.332 .083 ITEM4 .427 .514 2.906 301 .004 .341 .117 .110 .572 ITEM5 .078 .781 -2.346 299 .020 -.245 .105 -.451 -.040 ITEM6 2.325 .128 -2.644 301 .009 -.256 .097 -.447 -.065 ITEM7 .566 .452 -1.347 301 .179 -.119 .088 -.292 .055 ITEM8 1.244 .266 -.265 301 .791 -.031 .116 -.258 .197 ITEM9 1.378 .241 -1.836 301 .067 -.208 .113 -.430 .015 ITEM1 0 2.524 .113 1.339 301 .181 .193 .144 -.091 .478 Nota:* La Diferencia de Medias es significativa al nivel p< .05 Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 119 Como se puede ver, se dan diferencias de medias (p (t) < .05) en función del género; por tanto, en la Hipótesis 3 se rechaza la hipótesis nula y se acepta la hipótesis alternativa, H1: Existen diferencias estadísticamente significativas en función del género respecto a la valoración de la usabilidad de los chatbots. En función del Grado Se han encontrado diferencias significativas (IC 99,95%) en todos los ítems. Para una mejor lectura del análisis realizado, la Tabla 6 refleja las puntuaciones medias y la desviación típica obtenidas por los distintos grupos, así como los índices de significación en cada uno de los ítems. Tabla 6. Pruebas post hoc. Comparaciones múltiples ITEM1 ITEM2 ITEM3 ITEM4 ITEM5 ITEM6 ITEM7 ITEM8 ITEM9 ITEM10 GRADO PRIMARIA Media 4.01 3.99 4.50 1.62 4.10 4.27 4.49 4.51 4.09 1.91 N 244 244 243 244 242 244 244 244 244 244 D. t. .927 1.058 .729 .902 .819 .737 .657 .875 .882 1.124 ED. SOCIAL Media 3.23 3.43 3.75 2.05 3.65 3.75 4.05 3.60 3.68 2.43 N 40 40 40 40 40 40 40 40 40 40 D. t. 1.074 1.059 1.032 1.108 .975 .927 .904 1.105 .997 1.318 INFANTIL Media 4.79 4.74 4.26 1.37 4.26 4.63 4.58 4.74 4.74 1.11 N 19 19 19 19 19 19 19 19 19 19 D. t. .419 .452 1.098 .955 .452 .496 .507 .452 .452 .315 F 20.622 10.874 15.375 4.647 5.778 11.176 7.531 10.986 9.603 9.072 ANOVA gl 300 300 299 300 298 300 300 300 300 300 Sig 000 .000 .000 .010 .003 .000 .001 .000 .000 .000 Nota: * Bonferroni. La diferencia de medias es significativa al nivel p< .05 Se aprecia que existen diferencias de medias (p (t) < 0,05) en función del Grado; por tanto, en la Hipótesis 4 se rechaza la hipótesis nula y se acepta la hipótesis alternativa, H1: Existen diferencias estadísticamente significativas en función del Grado respecto a la valoración de la usabilidad de los chatbots. En función del nivel de conocimiento de chatbots Existen diferencias significativas (IC 99,95%) en el ítem 1: Creo que me gustaría usar esta herramienta con frecuencia (F 299= 4.558; p<.015), en el ítem 3: Creo que la herramienta es fácil de usar (F 298= 5.594; p<.018) y en el ítem 10: Necesitaría aprender muchas cosas antes de empezar a utilizar esta herramienta (F 299= 11.260; p<.000). La Tabla 7 muestra los resultados del análisis diferencial. Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 120 Tabla 7. Prueba de muestras independientes “T” de Levene Prueba de Levene para la igualdad de varianzas Prueba T para la igualdad de medias F Sig. t gl Sig. (bilater al) Diferencia de medias Error típ. de la diferencia 95% Intervalo de confianza para la diferencia Superior Inferior ITEM1 4.558 .034 -2.436 299 .015 -.275 .113 -.497 -.053 ITEM2 2.637 .105 -1.681 299 .094 -.204 .121 -.443 .035 ITEM3 5.594 .019 -2.370 298 .018 -.228 .096 -.417 -.039 ITEM4 .801 .372 1.154 299 .249 .125 .108 -.088 .337 ITEM5 .383 .537 -1.039 297 .300 -.101 .097 -.292 .090 ITEM6 .488 .485 -.317 299 .751 -.029 .090 -.206 .149 ITEM7 3.342 .069 -1.764 299 .079 -.143 .081 -.302 .016 ITEM8 .080 .778 -.397 299 .692 -.042 .106 -.251 .167 ITEM9 .228 .633 -1.188 299 .236 -.124 .104 -.329 .081 ITEM1 0 11.26 0 .001 3.965 299 .000 .515 .130 .260 .771 *La Diferencia de Medias es significativa al nivel p<.05 En función del grado de uso de chatbots Se dan diferencias significativas (IC 99,95%) en el ítem 1: Creo que me gustaría usar esta herramienta con frecuencia (F 295= 4.012; p<.011) y en el ítem 2: Encuentro la herramienta bastante simple (F 295= .616; p<.016). En la Tabla 8 figuran los datos que hemos alcanzado en este análisis de contraste. 3.6. análisis de regresión Se realiza un primer análisis de regresión donde los ítems de la Escala SUS son las variables explicativas-predictoras de la variable “Nivel de conocimiento sobre chatbots” (Tabla 9). Un segundo análisis recae en la variable “Grado de uso de chatbots” (Tabla 10). En el caso del primer análisis, de las diez variables, dos de ellas presentan índices de regresión estandarizados significativos: el ítem 1: Creo que me gustaría usar esta herramienta con frecuencia y el ítem 10: Necesitaría aprender muchas cosas antes de empezar a utilizar esta herramienta. Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 121 Tabla 8. Prueba de muestras independientes “T” de Levene Prueba de Levene para la igualdad de varianzas Prueba T para la igualdad de medias F Sig. t gl Sig. (bilateral) Diferencia de medias Error típ. de la diferencia 95% Intervalo de confianza para la diferencia Superior Inferior ITEM1 4.012 .046 -2.560 295 .011 -.355 .139 -.627 -.082 ITEM2 .616 .433 -2.422 295 .016 -.357 .148 -.648 -.067 ITEM3 3.915 .049 -1.576 294 .116 -.186 .118 -.419 .046 ITEM4 .362 .548 .691 295 .490 .091 .132 -.169 .352 ITEM5 .779 .378 -1.187 293 .236 -.141 .119 -.376 .093 ITEM6 .459 .499 -1.545 295 .123 -.171 .110 -.388 .047 ITEM7 1.668 .197 -.354 295 .724 -.035 .100 -.231 .161 ITEM8 2.608 .107 -.991 295 .322 -.129 .130 -.385 .127 ITEM9 .060 .807 -.906 295 .366 -.116 .128 -.368 .136 ITEM10 .034 . 855 1.305 295 .193 .213 .163 -.108 .534 Nota: *La Diferencia de Medias es significativa al nivel p<.05 Tabla 9. Coeficientes (a) del Análisis de regresión lineal de la Variable Nivel de conocimiento sobre chatbots con la Escala SUS Modelo B t p R2 F 2 (Constante) 0.22 29.946 0.000 0.56 1.765 10.- Necesitaría aprender muchas cosas antes de empezar a utilizar esta herramienta 0.21 10.861 0.000 0.63 1.671 1.- Creo que me gustaría usar esta herramienta con frecuencia 0.11 2.046 0.042 0.49 0.115 Nota: (a)Variable dependiente: Nivel de conocimiento sobre chatbots El criterio o indicador para comprobar el modelo explicativo es el valor del coeficiente de determinación (R2), que estima la proporción de la variable en la variable dependiente. En nuestro caso, R2= .56 y, por tanto, el grado de explicación de nuestro modelo= 56% (R2= 56% F (1.765) = 20,94, p< .000); es decir, estos resultados sugieren que el 56% de la variación de la varianza en la variable dependiente “Nivel de conocimiento” puede ser explicada por la combinación lineal de estos dos ítems incluidos en el modelo. Se verifica la Hipótesis alternativa (H1): Existe relación entre la satisfacción por el uso de esta herramienta con el nivel de conocimiento de los chatbots. Por último, en el segundo análisis de regresión, solo el ítem 2 queda incluido en el modelo de regresión, con lo cual, es la única variable relacional explicativa de la variable Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 122 dependiente “Grado de uso de chatbots”. El grado de explicación de este modelo indica que el 27% de la variación en la variable dependiente puede ser explicada por este ítem. Tabla 10. Coeficientes (b) del Análisis de regresión lineal de la Variable Grado de uso de chatbots con la Escala SUS Modelo B t p R2 F 1 (Constante) 0.959 10.252 0.000 0.27 7.988 2.- Encuentro la herramienta bastante simple 0.64 2.826 0.005 Nota: (b) Variable dependiente: Grado de uso de chatbots No se rechaza, sino que se acepta la hipótesis nula (H0), no existe relación entre la adquisición de aprendizajes previos para utilizar la herramienta con el grado de uso de chatbots. 3.7. Uso real del agente conversacional CLOE Entre los meses de enero y junio del año 2020 se puso en marcha el agente virtual para 589 estudiantes de las titulaciones del Grado de Educación Social, Infantil y el Grado de Primaria. El (AC) contestó un total de 3025 cuestiones repartidas entre los 6 meses, teniendo un pico de 912 preguntas contestadas en febrero, al coincidir con la presentación del compromiso entre profesorado y alumnado, y una media de 504 respuestas por mes (Tabla 11). En cuanto al tipo de respuestas, destacó por contestar a cuestiones relativas a la citación de autores en los trabajos (852) y a la correcta referencia en formato APA (808). El alumnado también hizo uso de la conversación ligera del agente virtual (510), que retornaba con sus respuestas al tema para el que fue creado. Otras preguntas recurrentes que resolvió hacían referencia a los tipos de TFG y sus características (208), clarificando cuestiones específicas sobre aspectos concretos de las distintas modalidades de trabajo. Algo que se complementó con respuestas a los aspectos formales del TFG (222), relacionadas con el formato, la sangría, la extensión o el número de páginas entre otros. 4. Discusión y conclusiones Los resultados nos permiten conocer mejor las características que pueden llegar a configuran el manejo y la utilidad de esta tecnología en los entornos académicos. Para ello, ha sido necesaria una revisión exhaustiva del agente conversacional por parte de las coordinadoras de la titulación, debido a la gran cantidad de información que se necesita para que la herramienta para responder a todas las preguntas que se le pueden realizar (Fast et al., 2018; Sumikawa et al., 2020). Los datos revelan una alta satisfacción de los estudiantes respecto al empleo de esta herramienta, por tanto, podemos afirmar que la experiencia ha sido notable para los estudiantes. En cierta medida, la interacción, y la respuesta inmediata a la hora de resolver dudas, pueden facilitar una visión positiva hacia la comunicación con el agente virtual (Wargnier et al., 2015). Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 123 Tabla 11. Tipos de respuestas contestadas por el agente virtual implementado Enero Febrero Marzo Abril Mayo Junio Total 1. Aspectos formales 2 61 20 24 53 62 222 2. Tipos y características de TFG 14 78 35 27 24 30 208 3. Citación 25 232 136 12 167 150 852 4. Referencias APA 16 104 210 132 180 166 808 5. Documentación necesaria 17 76 24 3 14 14 148 6. Fechas de entrega y defensa 14 39 8 6 8 7 82 7. Calificaciones 28 74 3 7 6 10 128 8. Docentes: tribunales y tutores 24 38 2 1 0 2 67 9. Conversación natural 69 210 89 51 52 39 510 Total 209 912 527 393 504 480 3025 Asimismo, se confirma que existen diferencias significativas en las variables analizadas: género, Grado, Nivel de conocimiento y grado de uso de los chatbots. Dichas diferencias han sido más sobresalientes en función del Grado que cursan los estudiantes. En este sentido, se ha podido comprobar que los estudiantes de Educación Primaria y Educación Infantil comparten criterios valorativos similares respecto a la usabilidad de la herramienta. No ocurre lo mismo con los estudiantes de Educación Social. Estos últimos difieren en la perspectiva que tienen respecto a los chatbots y su manejo; aunque su visión y creencias también sean positivas, sus puntuaciones medias obtenidas en los diferentes ítems que componen la Escala revelan que se posicionan entre las opciones de respuesta “ni de acuerdo ni en desacuerdo” y “de acuerdo”, mientras que las de los otros estudiantes se ubican en las alternativas más altas. Ejemplo de ello lo encontramos en el ítem 8: “Encuentro la herramienta muy intuitiva”; los alumnos de Ed. Primaria y Ed. Infantil obtienen una = 4.51 y = 4.74 respectivamente, frente a una = 3.60 que alcanzan los estudiantes de Educación Social (F 300= 10.986; p<.000). Respecto al análisis factorial efectuado, la estructura empírica y la consistencia interna de la Escala es similar a la que se han estudiado y evaluado en otras investigaciones análogas. Los coeficientes estadísticos verifican la pertinencia de realizar el AFE, la bondad de la matriz de correlaciones para ser factorizada, los índices de ajuste del modelo y que la solución factorial sea parsimoniosa, requisitos metodológicos y psicométricos condicionantes para aceptar la validez de constructo. La solución generada descansa en dos factores que explican el 55,73% de la varianza que presentan cargas factoriales altas. A este respecto, las correlaciones realizadas inter-elementos señalan relaciones positivas entre los ítems que componen el factor 1 y los ítems del factor 2, siendo lineal y significativamente negativas entre los ítems de cada factor, indicativo de que son independientes entre sí. No obstante, lo indicado, compartimos que la Escala tiene un carácter unidimensional (Bangor et al, 2008; Finstad, 2010; Lewis & Sauro, 2009), lo que facilita su aplicabilidad. El análisis de regresión múltiple efectuado sobre las diez variables de la Escala sobre el nivel de conocimiento y grado de uso de los chatbots muestra que tres de esas diez variables se relacionan con las variables dependientes analizadas. Estas variables Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 124 explicativas-predictivas tienen que ver con la satisfacción por usar la herramienta con más frecuencia, la sencillez del manejo de esta tecnología y la necesidad de aprendizajes previos antes de comenzar a usar el chatbot. Por tanto, se pueden considerar elementos predictores, capaces de estar en la base que sustenta la usabilidad de los chatbots. El uso del agente conversacional está determinado por la temática para la que fue creado. Aunque el diseño está condicionado por la complejidad semántica del tópico (Herbert & Kang, 2018) puede ser una ventaja que el tema sea cerrado, ya que los conceptos relativos al trabajo de fin de grado eran expresiones que el alumnado conocía y compartía. Compartimos con autores como Wellnhammer et al. (2020) o Colace et al. (2018) en que los agentes virtuales pueden ser una buena herramienta de apoyo para trabajar con el alumnado universitario. Es importante tener en presente el objetivo del agente virtual para poder hacer una valoración, ya que la elaboración de un agente conversacional es compleja (Sumikawa et al., 2020). Es algo que fue básico para plantear el diseño de este chatbot, ya que debía responder a numerosas cuestiones del alumnado. En este caso, el agente tenía unas categorías iniciales que fueron matizándose y ampliándose después de ser probados por los coordinadores de las diferentes titulaciones de Grado. Una vez testado, y después de una entrevista, se desarrolló una base de datos para dar respuesta a 174 tipos de preguntas diferentes. Sin embargo, el número de cuestiones fue superior puesto que tenían que diseñarse diferentes formas de reconocer una misma pregunta, es decir, de formularlas de manera distinta. Los (AC) deben utilizar composiciones sintácticas y semánticas de gran complejidad, de manera que puedan interactuar con las expresiones de las personas con las que interactúan en el proceso de construcción de la conversación (Herbert & Kang, 2018). Los (AC) presentan limitaciones en la comunicación, tal y como la desarrollan las personas, pudiendo simular conversaciones en un tema determinado sin que puedan desarrollar diálogos complejos en diferentes temáticas o ámbitos. En ocasiones, la herramienta puede dar una respuesta errónea cuando el alumnado habla sobre un argumento que tiene varios significados (Colace et al., 2018). Aunque los usuarios pudieron comportarse de manera inadecuada con el agente (Park et al., 2019), fue algo que se observó de manera residual en las interacciones que realizó durante los seis meses de implementación. Relacionado con las limitaciones que presenta esta investigación en cuanto a la usabilidad, es preciso señalar que la muestra no permite llegar a generalizar y extrapolar los resultados debido a que se necesitaría aplicar la escala a una población universitaria más amplia y diversa mediante muestreo aleatorio estratificado. Por tanto, sería conveniente replicar el estudio con titulaciones, grados, etc., diferentes. Esta limitación, junto a realizar un análisis de segmentación donde se evalúe la usabilidad del chatbot (variable dependiente) con variables categóricas “grupo experimental”-“grupo control” (variables independientes) determinaría futuras investigaciones. En la literatura hay pocos experimentos que evalúen la usabilidad de los chatbots, por lo que se necesita más esfuerzo en esta línea de investigación (Ren et al., 2019). La base de datos del (AC) puede exportarse para otras titulaciones o universidades, y es algo que podría mejorar el apoyo en tutorías al profesorado. También es interesante para asignaturas que tienen un gran número de alumnos, como las prácticas universitarias en titulaciones similares a las que asistió el agente. Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 125 Embodied conversational agents: artificial intelligence for autonomous learning 1.Introduction Conversational Agents (CA), also known as chatbots, are software packages that can interact with humans using natural language (Dale, 2016). In other words, they are artificial intelligence programmes that can have a specific conversation with people by means of the processing of natural language (Zeni et al., 2019). They are available to a large number of people due to their capacity of interacting with voice and text (Fadhil & Gabrielli, 2017). In order to do this, multiple data are required to train the conversational agent (Fast et al., 2018; Sumikawa et al., 2020). CAs create a commitment in the conversation that is capable of focusing the attention of those involved in the interaction (Wargnier et al., 2015). This is of interest for research since people tend to react positively when a CA shows slight social attitudes related to expressions, gestures and social signals (Feine et al., 2019). This process is not exempt from difficulty, since CAs must use highly intricate syntactic and semantic constructions so that they can interact with expressions within a conversation (Herbert & Kang, 2018). CAs can maintain complex conversations on a specific topic, yet they have certain limitations when conversations englobe different topics, or where the user uses expressions that may have various meanings or interpretations depending on the context (Colace et al., 2018). CAs can be used in many fields since they can do anything from programming medical appointments or restaurant bookings, purchasing travel packages, answering frequently asked questions (FAQs), to improving the mental health of patients, in post-traumatic stress therapies, or improving the internal communication within an organization, among others (Fast et al., 2018; Ghosh et al., 2018; Sáez et al., 2017; Tielman et al., 2017; Schroeder et al., 2018). 1.1.Conversational agents for education processes In the world of education, there are universities that provide a virtual scenario as additional support to face-to-face lessons. These virtual platforms are part of an extremely important teaching environment, although they usually lack dynamic tools capable of replying to students. Conversational agents can solve this problem by answering the needs of students in a direct interaction (Sumikawa et al., 2020). Kerly et al. (2008) mention two instances on the use of conversational agents, one that provides learning support, and the other that provides support for self-assessment. Furthermore, the authors argue that it also improves motivation, metacognitive capabilities and the grades achieved by students. Moreover, it has a positive outcome for lecturers since it provides support to teaching and offers data for evaluation. Furthermore, they are effective when learning another language, as they are based on a productive interactive dialogue with students. Thus, a CA may interact between two students while following conversations through texts (Tegos et al., 2014; Tegos & Demetriadis, 2017). To this regard, students with the same language Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 132 Table 2. Rotated Components Matrix ITEMS Component 1 2 ITEM 6: I think the tool is consistent (coherent) .757 ITEM 5: I think the different functions of this tool are well integrated .685 ITEM 1: I think I would enjoy using this tool frequently .668 ITEM 7: I think most people would learn to use this tool very quickly .637 ITEM 9: I would feel very secure using this tool .629 ITEM 3: I think the tool is easy to use .619 ITEM 8: I find the tool very intuitive .599 ITEM 2: I find the tool quite simple .457 ITEM 10: There is a lot I would need to learn before using this tool .668 ITEM 4: I think I would need help from an expert to start using this tool .664 Nota: Extraction Method: Unweighted least squares. Rotation method: Varimax normalisation with Kaiser. a Rotation has converged for 3 iterations. 3.2. Reliability analysis The studies carried out using the SUS scale suggest reliability coefficients that oscillate between Cronbach’s α = .70 - .92 (Bangor et al., 2008; Lucey, 1991; Lewis & Sauro, 2009; Kirakowski, 1994). To this regard and following the calculation procedure of the intercorrelation of elements, the internal consistency of the SUS Scale for the hereby research is Chronbach’s α = .808, a fairly acceptable reliability coefficient. On the other hand, the reliability coefficient for Dimension 1 was .852, whilst Dimension 2 obtained an alpha of .703. The latter coincides with the data achieved by Lewis and Sauro (2009) where, despite the factor having two elements, the dimension offered sufficient reliability to meet the minimum standard of 0.70 for this type of measures (Landauer, 1997; Nunnally, 1978). Data show that there are more than one construct and, therefore, there is a need to analyse the Complex Reliability Index (CRI) and the Average Variance Extracted Index (AVE). In order to achieve for Dimension 1: Cronbach’s α= .852; CRI= .889; AVE= .714. For Dimension 2: Cronbach’s α= .703; CRI=.737; AVE= .497. It can be appreciated how complex reliability is slightly higher in both dimensions than in the Cronbach coefficient; however, whilst the AVE in Dimension 1 shows that 71% of the variance of this construct is due to its elements, the index of Dimension 2 was slightly below the value .5, which demonstrates that it is at the limit of being recommendable. 3.3. Descriptive analysis of the SUS Scale Table 3 presents the central tendency and dispersion statistics: the means and standard deviations for each of the items of the questionnaire. Likewise, the results for the sum of the answer options in two categories are shown, in percentages, for each of the items on the scale. In other words, the answers are organised by classifying them according to the Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 133 alternatives: high value (options “agree” and “totally agree”) and low value (options “totally disagree”, “disagree” and “neither agree nor disagree”). Table 3. Relation and distribution of descriptive statistics of the item on the SUS Scale ITEMS N Mean(1) D. S. %High value(2) %Low value(3) 1.- I think I would enjoy using this tool frequently. 303 3.96 .984 70.9 29.1 2.- I find the tool quite simple 303 3.96 1.065 71.3 28.7 3.- I think the tool is easy to use 302 4.39 .839 86.5 13.5 4.- I think I would need support from an expert to use this tool 303 1.66 .946 5.6 94.4 5.- I think the different functions were well integrated in this tool 301 4.05 .837 74.7 25.3 6.-I think the tool is consistent (coherent) 303 4.22 .778 82.2 17.8 7.- I think most people would learn to use this tool very quickly 303 4.44 .702 91 9 8.- I find the tool highly intuitive 303 4.07 .918 75.6 24.4 9.- I would feel sure using this tool 303 4.08 .903 75.3 24.7 10.- There is a lot I would need to learn before using this tool 303 1.93 1.150 12.2 87.8 Note: (1) Scale: “1” Totally disagree; “2” Disagree; “3” Neither agree nor disagree; “4” Agree; “5” Totally agree. (2) High values: “agree” and “totally agree” (3) Low values: “totally disagree”. “disagree”. “neither agree nor disagree” Based on these results, it is demonstrated that students gave a highly favourable value to each of the items on the Scale. Thus, it can be appreciated, for instance, that the highest value is given for item 7: “I think most people would learn to use this tool very quickly”, where = 4.44 and a percentual value of 91%; this is followed by item 3: “I think the tool is easy to use”, with an average punctuation of 4.39 and a satisfactory percentage of 86.5%. The data could conclude, therefore, that this tool is quite simple and easy to use. The lowest punctuations were given in item 4: “I think I would need support from an expert to use this tool” ( = 1.66; low value= 94.4%), and item 10: “There is a lot I would need to learn before using this tool”, with an average punctuation of 1.93 and a low percentual value of 87.8%. Nonetheless, it may be argued that, despite these low values, these two questions are written in positive, albeit the contents thereof being negative, which coincides with the purposes of the original question (Lewis & Sauro, 2009, p.94). Overall, the results achieved show that students had a high degree of satisfaction. Therefore, it may be considered that the experience with the chatbot (CLOE) was highly positive, based on the high punctuations that students have given after having used this technology. 3.4. Relational Analysis of the SUS Scale Table 4 presents the different correlations between the items that make up the SUS Scale. As can be appreciated, there is a positive lineal relation between items 1, 2, 3, 5, 6, 7, 8 and 9, this is, those items that structure the first extracted factor; hence, for instance, Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 134 item 5 (“I think the diffe rent functions were well integrated in this tool”) and item 6 (“I think the tool is consistent (coherent)”) have a significantly positive lineal correlation (r= .606), which shows that they measure similar characteristics. Likewise, yet conversely (r< 0), there are negative lineal relationships between the items that make up the second factor, items 4 and 10, with the remaining items of the Scale. For instance, the relation between item 10 (“There is a lot I would need to learn before using this tool”) and item 7 (“I think most people would learn to use this tool very quickly”) is negative (r= .319), an indicator that they measure different characteristics. Of course, the correlation between items 4 and 10 is r>0. Table 4. Correlation between the ítems of the SUS Scale ITEM1 ITEM2 ITEM3 ITEM4 ITEM5 ITEM6 ITEM7 ITEM8 ITEM9 ITEM10 ITEM1 .305(**) .406(**) -.051 .476(**) .519(**) .402(**) .318(**) .477(**) -.102 ITEM2 .305(**) .374(**) -.141(*) .258(**) .310(**) .318(**) .317(**) .303(**) -.110 ITEM3 .406(**) .374(**) -.241(**) .424(**) .481(**) .507(**) .443(**) .382(**) -.252(**) ITEM4 -.051 -.141(*) -.241(**) -.092 -.139(*) -.269(**) -.157(**) -.182(**) .468(**) ITEM5 .476(**) .258(**) .424(**) -.092 .606(**) .445(**) .377(**) .392(**) -.114(*) ITEM6 .519(**) .310(**) .481(**) -.139(*) .606(**) .505(**) .420(**) .432(**) -.142(*) ITEM7 .402(**) .318(**) .507(**) -.269(**) .445(**) .505(**) .474(**) .442(**) -.319(**) ITEM8 .318(**) .317(**) .443(**) -.157(**) .377(**) .420(**) .474(**) .501(**) -.156(**) ITEM9 .477(**) .303(**) .382(**) -.182(**) .392(**) .432(**) .442(**) .501(**) -.145(*) ITEM10 -.102 -.110 -.252(**) .468(**) -.114(*) -.142(*) -.319(**) -.156(**) -.145(*) Note: ** Correlation is significant at level 0.01 (bilateral). * Correlation is significant at level 0.05 (bilateral) 3.5. Differential Analysis When comparing the variables that have been measured in students based on gender, the degree they are enrolled in, their level of knowledge on chatbots, and the usage of chatbots, significant statistic mean differences have been obtained for the following variables: Based on gender There are significant differences (CI 99.95%) for item 1: I think I would enjoy using this tool frequently (F 301= .149; p< .020), for item 4: I think I would need support from an expert to use this tool (F 301= .427; p< .004), for item 5: I think the different functions were well integrated in this tool (F 299= .078; p< .020) and for item 6: I think the tool is consistent (F 301= 2.325; p< .009). The results of the differential analysis are detailed in Table 5. Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 135 Table 5. Levene`s “T” test of independent simples Levene test for equality of variances T test for the equality of averages F Sig. t gl Sig. (bilateral) Mean difference Typ. Error of the difference 95% Interval of reliability for the difference Higher Lower ITEM1 .149 .700 -2.334 301 .020 -.287 .123 -.528 -.045 ITEM2 3.514 .062 1.094 301 .275 .146 .134 -.117 .410 ITEM3 .007 .933 -1.181 300 .238 -.125 .105 -.332 .083 ITEM4 .427 .514 2.906 301 .004 .341 .117 .110 .572 ITEM5 .078 .781 -2.346 299 .020 -.245 .105 -.451 -.040 ITEM6 2.325 .128 -2.644 301 .009 -.256 .097 -.447 -.065 ITEM7 .566 .452 -1.347 301 .179 -.119 .088 -.292 .055 ITEM8 1.244 .266 -.265 301 .791 -.031 .116 -.258 .197 ITEM9 1.378 .241 -1.836 301 .067 -.208 .113 -.430 .015 ITEM10 2.524 .113 1.339 301 .181 .193 .144 -.091 .478 Note: * The Mean Difference is significant at level p< .05 As can be appreciated, there are mean differences (a (t) < .05) based on gender; thus, for Hypothesis 3, the null hypothesis is rejected and the alternative hypothesis accepted, H1; There are statistically significant differences based on gender with regard to the valuation of the usability of the chatbots. Based on the degree Significant differences have been found (CI 99.95%) for all items. In order to better read the analysis performed, Table 6 shows the mean punctuation and the typical deviation obtained for the different groups, as well as the significance index for each of the items. Table 6. Post hoc test. Multiple comparatives ITEM1 ITEM2 ITEM3 ITEM4 ITEM5 ITEM6 ITEM7 ITEM8 ITEM9 ITEM10 DEGRE PRIMARY Media 4.01 3.99 4.50 1.62 4.10 4.27 4.49 4.51 4.09 1.91 N 244 244 243 244 242 244 244 244 244 244 D. t. .927 1.058 .729 .902 .819 .737 .657 .875 .882 1.124 SOCIAL ED. Media 3.23 3.43 3.75 2.05 3.65 3.75 4.05 3.60 3.68 2.43 N 40 40 40 40 40 40 40 40 40 40 D. t. 1.074 1.059 1.032 1.108 .975 .927 .904 1.105 .997 1.318 EARLY YEARS Media 4.79 4.74 4.26 1.37 4.26 4.63 4.58 4.74 4.74 1.11 N 19 19 19 19 19 19 19 19 19 19 D. t. .419 .452 1.098 .955 .452 .496 .507 .452 .452 .315 F 20.622 10.874 15.375 4.647 5.778 11.176 7.531 10.986 9.603 9.072 ANOVA gl 300 300 299 300 298 300 300 300 300 300 Sig 000 .000 .000 .010 .003 .000 .001 .000 .000 .000 Note: * Bonferroni. The difference of averages is significant at level p< .05 Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 136 It is appreciated that there are mean differences (p (t) < 0.05) based on the degree; therefore, for Hypothesis 4, the null hypothesis is rejected and the alternative hypothesis is accepted, H1: There are statistically significant differences based on the Degree with regard to the valuation of the usability of chatbots. Based on the level of knowledge of chatbots There are significant differences (CI 99.95%) for item 1: I think the tool is easy to use (F 298= 5,594; p<.018) and for item 10: There is a lot I would need to learn before using this tool (F 299= 11,260; p<.000). Table 7 shows the results of the differential analysis. Table 7. Levene “T” test of independent simples Levene test for equality of variances T test for equality of means F Sig. t gl Sig. (bilateral) Mean Differences Typ. Error of the difference 95% Interval of reability for the difference Higher Lower ITEM1 4.558 .034 -2.436 299 .015 -.275 .113 -.497 -.053 ITEM2 2.637 .105 -1.681 299 .094 -.204 .121 -.443 .035 ITEM3 5.594 .019 -2.370 298 .018 -.228 .096 -.417 -.039 ITEM4 .801 .372 1.154 299 .249 .125 .108 -.088 .337 ITEM5 .383 .537 -1.039 297 .300 -.101 .097 -.292 .090 ITEM6 .488 .485 -.317 299 .751 -.029 .090 -.206 .149 ITEM7 3.342 .069 -1.764 299 .079 -.143 .081 -.302 .016 ITEM8 .080 .778 -.397 299 .692 -.042 .106 -.251 .167 ITEM9 .228 .633 -1.188 299 .236 -.124 .104 -.329 .081 ITEM10 11.260 .001 3.965 299 .000 .515 .130 .260 .771 Note: *The Mean Difference is significant at level p<.05 Based don the usage of chatbots There are significant differences (CI 99.95%) for item 1: I this I would enjoy using this tool frequently (F 295= 4,012; p<.11) and for item 2: I find this tool quite simple (F 295= .616; p<.016). Table 8 includes the data obtained from this contrast analysis. 3.6. Regression Analysis A first regression analysis is performed where the items of the SUS Scale are the explanatory-predictive variable of the variable “Level of knowledge on chatbots” (Table 9). A second analysis is performed on the variable “amount of use of chatbots” (Table 10). With regard to the first analysis, from the ten variables, two of them present significant Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 137 standardised regression indexes: item 1: I think I would enjoy using this tool frequently, and item 10: There is a lot I would need to learn before using this tool. Table 8. Levene “T” test of independent Levene test for equality of variances T test for the equality of means F Sig. t gl Sig. (bilateral) Mean differences Typ. Error of difference 95% Interval of relianility for the difference Higher Lower ITEM1 4.012 .046 -2.560 295 .011 -.355 .139 -.627 -.082 ITEM2 .616 .433 -2.422 295 .016 -.357 .148 -.648 -.067 ITEM3 3.915 .049 -1.576 294 .116 -.186 .118 -.419 .046 ITEM4 .362 .548 .691 295 .490 .091 .132 -.169 .352 ITEM5 .779 .378 -1.187 293 .236 -.141 .119 -.376 .093 ITEM6 .459 .499 -1.545 295 .123 -.171 .110 -.388 .047 ITEM7 1.668 .197 -.354 295 .724 -.035 .100 -.231 .161 ITEM8 2.608 .107 -.991 295 .322 -.129 .130 -.385 .127 ITEM9 .060 .807 -.906 295 .366 -.116 .128 -.368 .136 ITEM10 .034 .855 1.305 295 .193 .213 .163 -.108 .534 Note: *Mean Differences are significant at leven p<.05 Table 9. Coefficients (a) of the Lineal regression analysis of the variable Level of knowledge on chatbots using the SUS Scale Model B t p R2 F 2 (Constant) 0.22 29.946 0.000 0.56 1.765 10.- There is a lot I would need to learn before using this tool 0.21 10.861 0.000 0.63 1.671 1.- I think I would enjoy using this tool frequently 0.11 2.046 0.042 0.49 0.115 Note: (a) Dependent Variable: Leve lof knowledge on chatbots The criterion or indicator to verify the explanatory model is the value of the determination coefficient (R2) that calculates the percentage of the variable in the dependent variable. In the hereby case, R2= .56 and, therefore, the degree of explanation of the model herein= 56% (R2= 56% F (1,765) = 20.94, p< .000); this means that these results suggest that 56% of the variation of the variance in the dependent variable “Level of knowledge” may be explained by the lineal combination of these two items included in the model. The Alternative hypotheseis is versified (H1): There is a relation between the satisfaction on the use of this tool and the level of knowledge of chatbots. Last, in the second regression analysis, only item 2 included in the regression model, thus, it is the only explanatory relational variable of the dependent variable “Degree of use Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 138 of chatbots”. The explanatory degree of this model demonstrates that 27% of the variation in the dependent variable can be explained with this item. Table 10. Coefficients (b) of the Lineal regression analysis of the Variable Degree of use of chatbots with the SUS Scale Model B t p R2 F 1 (Constant) 0.959 10.252 0.000 0.27 7.988 2.- I find the tool quite simple 0.64 2.826 0.005 Note: (b) Dependent variable: Degree of use of chatbots The null hypothesis (H0) is not rejected, but accepted, there is no relation between the acquisition of previous knowledge for the use of the tool with the degree of use of chatbots. 3.7. Real use of the CLOE conversational agent Between January and June 2020, the virtual agent was implemented for 589 students enrolled in the degrees of Social, Early Years and Primary Education. The CA replied to a total of 3025 questions over the 6-month period, with a peak of 912 questions replied in February, coinciding with the presentation of the commitment between lecturers and students, and an average of 504 questions per month (Table 11). With regard to the type of replies, it can be highlighted that it mostly replied to questions on how to cite authors in academic papers (852) and the correct referencing following APA rules (808). Students also used the virtual agent’s small talk (510), who returned with replies to the topic for which it was created. Other recurring questions that it answered referred to the types of dissertations and their features (208), clarifying specific matters on certain aspects of the different types of papers. This was complemented with answers on formal aspects of the dissertation (222), regarding the format, indentation, length, or number of pages, among others. Table 11. Types of answers given by the implemented virtual agent January February March April May June Total 1. Formal aspects 2 61 20 24 53 62 222 2. Types and features of dissertation 14 78 35 27 24 30 208 3. Citing 25 232 136 12 167 150 852 4. APA referencing 16 104 210 132 180 166 808 5. Documents needed 17 76 24 3 14 14 148 6. Submission and defence dates 14 39 8 6 8 7 82 7. Qualifications 28 74 3 7 6 10 128 8. Lecturers: Tribunals and tutors 24 38 2 1 0 2 67 9. Natural conversation 69 210 89 51 52 39 510 Total 209 912 527 393 504 480 3025 Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 139 4. Discussion and conclusions The results improve knowledge on the characteristics that could involve the use and usefulness of this technology in academic environments. To this extent, an exhaustive review of the conversational agent was required on behalf of the degree coordinators, due to the large amount of information that was required in order for the tool to reply to all the questions that could have been asked (Fast et al., 2018; Sumikawa et al., 2020). Data reveals a high satisfaction of students with regard to the use of this tool, hence, it can be confirmed that the experience was notable for students. In a certain manner, the interaction, and immediate response when solving doubts, may facilitate a positive view towards communication with the virtual agent (Wargnier et al., 2015). Likewise, it can be confirmed that there are significant differences in the variables that have been analysed: gender, degree, level of knowledge and amount of use of the chatbots. These differences were highlighted based on the degree each student was enrolled in. To this regard, it has been found that students from the degrees in Primary Education and Early Years Education share similar valuation criteria with regard to the usability of the tool. However, this is not true to the students enrolled in Social Education. The latter differed in their perspective regarding chatbots and their use; although their view and beliefs are also positive, the mean punctuations obtained in the different items that make up the Scale reveal that they position themselves between “neither agree or disagree” and “agree”, whilst those of other students are located in higher alternatives. An instance of this can be found in item 8: “I find the tool very intuitive”, where students from the degree in Primary Education and Early Years Education achieve an = 4.51 and = 4.74, respectively, against the = 3.60 obtained by the Social Education students (F 300= 10,986; p<.000). With regard to the factorial analysis carried out, the empirical structure and internal consistency of the Scale is similar to those studied and evaluated in sundry analogue research. The statistic coefficients verify the relevance of performing the EFA, the goodness of the matrix of correlations to be factorised, the goodness-of-fit model index, and that the factorial solution is parsimonious, methodological requirements and psychometric conditionings in order to accept the validity of the construct. The solution created lies on two factors that explain 55.73% of the variance that present high factorial charges. To this regard, the correlations performed inter-elements show positive relationships between the items that make up factor 1 and the items of factor 2, which is lineal and significantly negative between the items of each factor, an indication that they are independent between each other. Notwithstanding the above, it is agreed that the Scale has a unidimensional character (Bangor et al., 2008; Finstad, 2010; Lewis & Sauro, 2009), which facilitates its applicability. The multiple regression analysis performed on the ten variables of the Scale on the level of knowledge and amount of use of the chatbots shows that three out of the ten variables relate to the dependent variables analysed. These explanatory-predictive variables are related to the satisfaction of using the tool more frequently, the easiness to use this technology and the need of previous knowledge before starting to use the chatbot. Therefore, these could be considered predictive elements, capable of being at the base that supports the usability of the chatbots. The use of the conversational agent is determined by the purpose for which it was created. Although the design is conditioned by the sematic complexity of the topic (Herbert & Kang, 2018), it could be an advantage that the topic is limited, since the concepts regarding the dissertation paper were expressions that the students already knew and shared. It is agreed with authors such Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 140 as Wellnhammer et al. (2020) or Colace et al. (2018) that virtual agents may be a positive tool to support the work of university students. It is important to bear in mind the purpose of the virtual agent in order to evaluate it, since the creation of a conversational agent is complex (Sumikawa et al., 2020). This was one of the base factors while designing this chatbot, since it had to be capable of responding to numerous questions asked by students. In this case, the agent was equipped with initial categories that were then nuanced and broadened after having been tested by the coordinators of the different university degrees. Once tested, and after an interview, a database was developed to be able to answer to 174 different types of questions. However, the number of matters was higher since different ways to recognise a same question had to be developed, this is, different ways of formulating them. The CA must use extremely complex syntactic and semantic constructions, in order for them to interact in the construction process of a conversation (Herbert & Kang, 2018). CAs have communication limitations, in the manner in which people develop it, and are able to simulate conversations on a specific topic without being able to develop complex dialogues in different topics or fields. There are occasions where the tool may provide a wrong answer when the student talks about an argument that has different meanings (Colace et al., 2018). Although the users could behave inadequately with the agent (Part et al., 2019), this was a matter that was observed residually in the interactions it fulfilled throughout the six months of its implementation. Regarding the limitations that this research presents in terms of usability, it is key to highlight that the sample does not allow for the generalisation and extrapolation of the results since this would require the application of the scale to a broader and more diverse university population by means of stratified random sampling. Therefore, it would be of interest to repeat this research with different degrees, etc. This limitation, and the performance of a segmentation analysis where the usability of the chatbot is evaluated (dependent variable) with categorical variables “experimental group”-“control group” (independent variables) would determine future research. There are scarce experiments in literature that evaluate the usability of chatbots, hence, more effort would be required in this line of research (Ren et al., 2019). The CA’s database can be exported to other degrees or universities, and could improve support to lecturers with regard to tutorials. It could also be of interest for subjects with a large number of students enrolled, such as university internship courses in similar degrees to those where the agent has assisted. References Babu, S. V., Suma, E., Hodges, L. F., & Barnes, T. (2011). Learning cultural conversational protocols with immersive interactive virtual humans. International Journal of Virtual Reality, 10(4), 25- 35. http://dx.doi.org/10.20870/IJVR.2011.10.4.2826 Bangor, A., Kortum, P. T., & Miller, J. T. (2008). An Empirical Evaluation of the System Usability Scale. International Journal of Human-Computer Interaction, 24, 574- 594. http://dx.doi.org/10.1080/10447310802205776 Pixel-Bit. Revista de Medios y Educación, 62, 107-144 | 2021 | https://doi.org/10.12795/pixelbit.86171 PÁGINA | 141 Brooke, J. (1986). SUS: A “quick and dirty” usability scale. In Jordan, P. W., Thomas, B., Weerdmeester, B. A., McClelland (Ed.) Usability Evaluation in Industry (pp. 189-194). Taylor & Francis. Brooke, J. (1996). SUS-A quick and dirty usability scale. Usability evaluation in industry, 189(194), 4- 7. Brooke, J. (2013). SUS: a retrospective. Journal of usability studies, 8(2), 29-40. Bunge, M. (2010). Las pseudociencias. Laetoli. Catalán, C., Delgado, C., Alario-Hoyos, C., & Muñoz-Merino, P. J. (2018). Supporting a MOOC through a conversational agent. Design of a first prototype. In 2018 International Symposium on Computers in Education (SIIE) (pp. 1-6). IEEE. https://doi.org/10.1109/siie.2018.8586694 Cochran, W. G., & Bouclier, A. S. (1980). Técnicas de muestreo. Continental. Colace, F., De Santo, M., Lombardi, M., Pascale, F., Pietrosanto, A., & Lemma, S. (2018). Chatbot for e-learning: A case of study. International Journal of Mechanical Engineering and Robotics Research, 7(5), 528-533. https://doi.org/10.18178/ijmerr.7.5.528-533 Coperich, K., Cudney, E., & Nembhard, H. (2017). Continuous improvement study of chatbot technologies using a human factors methodology. In Proceedings of the 2017 Industrial and Systems Engineering Conference. Dale, R. (2016). The return of the chatbots. Natural Language Engineering, 22(5), 811- 817. https://doi.org/10.1017/s1351324916000243 Fadhil, A., & Gabrielli, S. (2017, May). Addressing challenges in promoting healthy lifestyles: the alchatbot approach. In Proceedings of the 11th EAI international conference on pervasive computing technologies for healthcare (pp. 261-265). https://doi.org/10.1145/3154862.3154914 Fast, E., Chen, B., Mendelsohn, J., Bassen, J., & Bernstein, M. S. (2018, April). Iris: A conversational agent for complex tasks. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1-12). https://doi.org/10.1145/3173574.3174047 Feine, J., Gnewuch, U., Morana, S., & Maedche, A. (2019). A Taxonomy of Social Cues for Conversational Agents. International Journal of Human-Computer Studies, 132, 138- 161. https://doi.org/10.1016/j.ijhcs.2019.07.009 Finstad, K. (2010). The usability metric for user experience. Interacting with Computers, 22(5), 323- 327. https://doi.org/10.1016/j.intcom.2010.04.004 Fornell, C & Larcker, D.F. (1981). Evaluating structural equiations modelswith unoservable variables and measurement error. Journal of Marketing Research, 18(1), 39-50. Ghosh, D., Foong, P. S., Zhang, S., & Zhao, S. (2018, April). Assessing the Utility of the System Usability Scale for Evaluating Voice-based User Interfaces. In Proceedings of the Sixth International Symposium of Chinese CHI (pp. 11-15). https://doi.org/10.1145/3202667.3204844 Hair, F., Anderson, R.E, Tatham, R.L. & Black, W.C. (1998). Multivariate data analysis with readings. Prentice Hall.