Evaluación de la competencia oral con rúbricas digitales para el Espacio Iberoamericano del Conocimiento

Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 62 - SEPTIEMBRE - 2021 https://revistapixelbit.com Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 62 SEPTIEMBRE 2021 EQUIPO EDITORIAL (EDITORIAL BOARD) EDITOR JEFE (EDITOR IN CHIEF) Dr. Julio Cabero Almenara, Departamento de Didáctica y Organización Educativa, Facultad de CC de la Educación, Director del Grupo de Investigación Didáctica. Universidad de Sevilla (España). EDITOR ADJUNTO (ASSISTANT EDITOR) Dr. Juan Jesús Gutiérrez Castillo, Departamento de Didáctica y Organización Educativa. Facultad de CC de la Educación, Universidad de Sevilla (España). Dr. Óscar M. Gallego Pérez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) CONSEJO DE REDACCIÓN EDITOR Dr. Julio Cabero Almenara. Grupo de Investigación Didáctica, Universidad de Sevilla (España) EDITOR ASISTENTE Dr. Juan Jesús Gutiérrez Catillo. Departamento de Didáctica y Organización Educativa. Facultad de CC de la Educación, Universidad de Sevilla. (España) Dr. Óscar M. Gallego Pérez. Grupo de Investigación Didáctica Universidad de Sevilla (España) EDITORES ASOCIADOS Dra. Urtza Garay Ruiz, Universidad del País Vasco. (España) Dra. Ivanovnna Milqueya Cruz Pichardo, Pontificia Universidad Católica Madre y Maestra. (República Dominicana) VOCALES Dra. María Puig Gutiérrez, Universidad de Sevilla. (España) Dra. Sandra Martínez Pérez, Universidad de Barcelona (España) Dr. Selín Carrasco, Universidad de La Punta (Argentina) Dr. Jackson Collares, Universidades Federal do Amazonas (Brasil) Dra. Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) Dra. Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Dr. Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Dr. Fabrizio Manuel Sirignano, Università degli Studi Suor Orsola Benincasa (Italia) CONSEJO TÉCNICO Edición, maquetación: Manuel Serrano Hidalgo, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Dra. Raquel Barragán Sánchez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Antonio Palacios Rodríguez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Diseño de portada: Lucía Terrones García, Universidad de Sevilla (España) Revisor/corrector de textos en inglés: Rubicelia Valencia Ortiz, MacMillan Education (México) Revisores metodológicos: evaluadores asignados a cada artículo Responsable de redes sociales: Manuel Serrano Hidalgo, Grupo de Investigación Didáctic, Universidad de Sevilla (España) CONSEJO CIENTÍFICO Jordi Adell Segura, Universidad Jaume I Castellón (España) Ignacio Aguaded Gómez, Universidad de Huelva (España) María Victoria Aguiar Perera, Universidad de Las Palmas de Gran Canaria (España) Olga María Alegre de la Rosa, Universidad de la Laguna Tenerife (España) Manuel Área Moreira, Universidad de la Laguna Tenerife (España) Patricia Ávila Muñoz, Instituto Latinoamericano de Comunicación Educativa (México) Antonio Bartolomé Pina, Universidad de Barcelona (España) Angel Manuel Bautista Valencia, Universidad Central de Panamá (Panamá) Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. Jos Beishuizen, Vrije Universiteit Amsterdam (Holanda) Florentino Blázquez Entonado, Universidad de Extremadura (España) Silvana Calaprice, Università degli studi di Bari (Italia) Selín Carrasco, Universidad de La Punta (Argentina) Raimundo Carrasco Soto, Universidad de Durango (México) Rafael Castañeda Barrena, Universidad de Sevilla (España) Zulma Cataldi, Universidad de Buenos Aires (Argentina) Manuel Cebrián de la Serna, Universidad de Málaga (España) Luciano Cecconi, Università degli Studi di Modena (Italia) Jean-François Cerisier, Université de Poitiers, Francia Jordi Lluí s Coiduras Rodrí guez, Universidad de Lleida (España) Jackson Collares, Universidades Federal do Amazonas (Brasil) Enricomaria Corbi, Università degli Studi Suor Orsola Benincasa (Italia) Marialaura Cunzio, Università degli Studi Suor Orsola Benincasa (Italia) Brigitte Denis, Université de Liège (Bélgica) Floriana Falcinelli, Università degli Studi di Perugia (Italia) Maria Cecilia Fonseca Sardi, Universidad Metropolitana de Venezuela (Venezuela) Maribel Santos Miranda Pinto, Universidade do Minho (Portugal) Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) María-Jesús Gallego-Arrufat, Universidad de Granada (España) Lorenzo García Aretio, UNED (España) Ana García-Valcarcel Muñoz-Repiso, Universidad de Salamanca (España) Antonio Bautista García-Vera, Universidad Complutense de Madrid (España) José Manuel Gómez y Méndez, Universidad de Sevilla (España) Mercedes González Sanmamed, Universidad de La Coruña (España) Manuel González-Sicilia Llamas, Universidad Católica San Antonio-Murcia (España) António José Meneses Osório, Universidade do Minho (Portugal) Carol Halal Orfali, Universidad Tecnológica de Chile INACAP (Chile) Mauricio Hernández Ramí rez, Universidad Autónoma de Tamaulipas (México) Ana Landeta Etxeberrí a, Universidad a Distancia de Madrid (UDIMA) Linda Lavelle, Plymouth Institute of Education (Inglaterra) Fernando Leal Ríos, Universidad Autónoma de Tamaulipas (México) Paul Lefrere, Cca (UK) Carlos Marcelo Garcí a, Universidad de Sevilla (España) Francois Marchessou, Universidad de Poittiers, Parí s (Francia) Francesca Marone, Università degli Studi di Napoli Federico II (Italia) Francisco Martí nez Sánchez, Universidad de Murcia (España) Ivory de Lourdes Mogollón de Lugo, Universidad Central de Venezuela (Venezuela) Angela Muschitiello, Università degli studi di Bari (Italia) Margherita Musello, Università degli Studi Suor Orsola Benincasa (Italia) Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Trinidad Núñez Domínguez, Universidad de Sevilla (España) James O’Higgins, de la Universidad de Dublín (UK) José Antonio Ortega Carrillo, Universidad de Granada (España) Gabriela Padilla, Universidad Autónoma de Tumalipas (México) Ramón Pérez Pérez, Universidad de Oviedo (España) Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Julio Manuel Barroso Osuna, Universidad de Sevilla (España) Rosalía Romero Tena. Universidad de Sevilla (España) Hommy Rosario, Universidad de Carabobo (Venezuela) Pier Giuseppe Rossi, Università di Macerata (Italia) Jesús Salinas Ibáñez, Universidad Islas Baleares (España) Yamile Sandoval Romero, Universidad de Santiago de Cali (Colombia) Albert Sangrá Morer, Universidad Oberta de Catalunya (España) Ángel Sanmartí n Alonso, Universidad de Valencia (España) Horacio Santángelo, Universidad Tecnológica Nacional (Argentina) Francisco Solá Cabrera, Universidad de Sevilla (España) Jan Frick, Stavanger University (Noruega) Karl Steffens, Universidad de Colonia (Alemania) Seppo Tella, Helsinki University (Finlandia) Hanne Wacher Kjaergaard, Aarhus University (Dinamarca) Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. FACTOR DE IMPACTO (IMPACT FACTOR) SCOPUS (CiteScore Tracker 2021: 2.8) - Journal Citation Indicator (JCI). Posición 400 de 722 revistas Puntuación: 44.67 (Q3) - FECYT: Ciencias de la Educación. Cuartil 2. Posición 16. Puntuación: 39,80- DIALNET MÉTRICAS (Factor impacto 2019: 1,355. Q1 Educación. Posición 11 de 230) - REDIB Calificación Glogal: 29,102 (71/1.119) Percentil del Factor de Impacto Normalizado: 95,455- ERIH PLUS - Clasificación CIRC: B- Categoría ANEP: B - CARHUS (+2018): B - MIAR (ICDS 2020): 9,9 - Google Scholar (global): h5: 42; Mediana: 42 - Journal Scholar Metric Q2 Educación. Actualización 2016 Posición: 405ª de 1,115- Criterios ANECA: 20 de 21 - INDEX COPERNICUS Puntuación ICV 2019: 95.10 Píxel-Bit, Revista de Medios y Educación está indexada entre otras bases en: SCOPUS, Fecyt, Iresie, ISOC (CSIC/ CINDOC), DICE, MIAR, IN-RECS, RESH, Ulrich’s Periodicals, Catálogo Latindex, Biné-EDUSOL, Dialnet, Redinet, OEI, DOCE, Scribd, Redalyc, Red Iberoamericana de Revistas de Comunicación y Cultura, Gage Cengage Learning, Centro de Documentación del Observatorio de la Infancia en Andalucía. Además de estar presente en portales especializados, Buscadores Científicos y Catálogos de Bibliotecas de reconocido prestigio, y pendiente de evaluación en otras bases de datos. EDITA (PUBLISHED BY) Grupo de Investigación Didáctica (HUM-390). Universidad de Sevilla (España). Facultad de Ciencias de la Educación. Departamento de Didáctica y Organización Educativa. C/ Pirotecnia s/n, 41013 Sevilla. Dirección de correo electrónico: r[email protected] . URL: https://revistapixelbit.com/ ISSN: 1133-8482; e-ISSN: 2171-7966; Depósito Legal: SE-1725-02 Formato de la revista: 16,5 x 23,0 cm Los recursos incluidos en Píxel Bit están sujetos a una licencia Creative Commons Attribution-NonCommercial- ShareAlike 4.0 Unported (Reconocimiento-NoComercial-CompartirIgual)(CC BY-NC-SA 4.0), en consecuencia, las acciones, productos y utilidades derivadas de su utilización no podrán generar ningún tipo de lucro y la obra generada sólo podrá distribuirse bajo esta misma licencia. En las obras derivadas deberá, asimismo, hacerse referencia expresa a la fuente y al autor del recurso utilizado. ©2021 Píxel-Bit. No está permitida la reproducción total o parcial por ningún medio de la versión impresa de la Revista Píxel- Bit. Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 62 SEPTIEMBRE 2021 índice 1.- Niveles de representación externa de estudiantes de educación secundaria acerca de la división celular mitótica: una experiencia con realidad aumentada // High school student representations of mitotic cell division: an augmented reality experience. (Bilingüe) Francisco J. López-Cortés, Eduardo Ravanal Moreno, Claudio Palma Rojas, Cristián Merino Rubilar 2.- Satisfacción del profesorado con la formación en servicio online: aproximaciones desde la usabilidad pedagógica // Teachers’ satisfaction with in-service online training from the viewpoint of pedagogic usability (Bilingüe) Osbaldo Turpo-Gebera, Alejandra Hurtado-Mazeyra, Yvan Delgado-Sarmiento, Gerber Peréz-Postigo 3.- Evaluación de la competencia oral con rúbricas digitales para el Espacio Iberoamericano del Conocimiento // Assessment oral competence with digital rubrics for the Ibero-American Knowledge Space (Bilingüe) Carlos Rafael Fernández Medina, Cristina Raquel Luque Guerrero, Francisco José Ruiz Rey, Diana Elizabeth Rivera Rojel, Lucy Deyanira Andrade Vargas, Manuel Cebrián de la Serna 4.-Agente conversacional virtual: la inteligencia artificial para el aprendizaje autónomo // Embodied conversational agents: artificial intelligence for autonomous learning. (Bilingüe) Josué Artiles Rodríguez, Mónica Guerra Santana, Mª Victoria Aguiar Perera, Josefa Rodríguez Pulido 5.- Gamificación superficial en e-learning: evidencias sobre motivación y autorregulación // La transición a la enseñanza en línea llevada a cabo por los docentes de América Latina y el Caribe durante la pandemia de COVID-19: desafíos, cambios y lecciones aprendidas. (Bilingüe) Olga Juan-Lázaro, Manuel Area-Moreira 6.- Análisis de Género del Cine de Animación Infantil como Recurso para una Escuela Coeducativa // A Gender Perspective in Analyzing Film Production for Children as a Source for Coeducation. (Bilingüe) Tarxilia Heras Peinado, Rosario Mérida Serrano 7.- Competencia digital docente en educación de adultos: un estudio en un contexto español // Digital competence in adult education: a study in a Spanish context. (Bilingüe) Esther Garzón Artacho, Tomás Sola Martínez, Juan Manuel Trujillo Torres, Antonio Manuel Rodríguez García 8.- Percepción docente del uso de TIC en la Educación Inclusiva // Teacher perception on the use of ICT in Inclusive Education. (Bilingüe) Esther Vega-Gea, Juan Calmaestra, Rosario Ortega-Ruiz 9.- Evaluating Eye Tracking Technology for Assessment of Students with Profound and Multiple Learning Difficulties // Evaluación de la tecnología de seguimiento ocular para la evaluación de estudiantes con dificultades de aprendizaje múltiples y profundas. (Bilingüe) Rayjvir Grill, Sarah Younie Younie 10.- Coding, robotics and socio-emotional learning: developing a palette of virtues // Codificación, robótica y aprendizaje socioemocional: cómo desarrollar una combinación de habilidades (Bilingüe) Marina U. Bers 7 39 71 107 146 183 209 235 269 309 Pixel-Bit. Revista de Medios y Educación, 62, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 Evaluación de la competencia oral con rúbricas digitales para el Espacio Iberoamericano del Conocimiento Assessment oral competence with digital rubrics for the Ibero-American Knowledge Space Dr. Carlos Rafael Fernández Medina Profesor Auxiliar de Universidad. Universidad Agraria de la Habana. Cuba Dra. Cristina Raquel Luque Guerrero Profesora sustituta interina. Universidad de Málaga. España Dr. Francisco José Ruiz Rey Profesor asociado. Universidad de Málaga. España Dra. Diana Elizabeth Rivera Rogel Profesora Titular de Universidad. Universidad Técnica Particular de Loja. Ecuador Dra. Lucy Deyanira Andrade Vargas Profesor Titular de Universidad. Universidad Técnica Particular de Loja. Ecuador Dr. Manuel Cebrián de la Serna Catedrático de Universidad. Universidad de Málaga. España Recibido: 2020/09/15; Revisado: 2020/09/30; Aceptado: 2021/02/08; Preprint: 2021/07/19; Publicado: 2021/09/01 RESUMEN Las instituciones del Espacio Iberoamericano del Conocimiento (EIC) colaboran en proyectos educativos. Siendo la competencia comunicativa imprescindible para el desarrollo profesional y la colaboración del propio EIC. Este trabajo analiza los resultados de un proyecto educativo de colaboración entre ocho universidades y cinco países Iberoamericanos sobre la construcción de una rúbrica común validada con Delphi para evaluar las competencias orales en la exposición de proyectos por los estudiantes. La rúbrica se aplicó en tres grupos de estudiantes de tres instituciones y países distintos (Cuba, Ecuador y España), con modalidades de evaluación formativa (docente, autoevaluación y pares), analizando 788 evaluaciones totales (90 docentes, 61 autoevaluaciones y 637 pares). Los resultados confirman un “alfa de Cronbach” (.934) para las 22 variables analizadas. Con la prueba de Post-Hoc de Tukey en todos los ítems las evaluaciones de pares obtienen peores resultados que evaluación docente, mientras que las autoevaluaciones son mejores. La opinión de los estudiantes con un instrumento validado de satisfacción obteniendo una propuesta significativa de reedición de la rúbrica. El artículo ofrece como producto una rúbrica base validada y experimentada exitosamente en contextos geográficamente diferenciados del EIC. ABSTRACT The institutions of the Ibero-American Knowledge Space (EIC) collaborate in educational projects. Communication skills are essential for the professional development and collaboration of the EIC itself. This paper analyzes the results of a collaborative educational project between eight universities and five Ibero-American countries on the construction of a common rubric validated with Delphi to assess oral competences in the presentation of projects by students. The rubric was applied to three groups of students from three different institutions and countries (Cuba, Ecuador and Spain), with formative evaluation modalities (teacher, self-evaluation and peers), analyzing 788 total evaluations (90 teachers, 61 self-evaluations and 637 peers). The results confirm a "Cronbach's alpha" (.934) for the 22 variables analysed. With Tukey's Post-Hoc test in all items, the peer evaluations are worse than the teacher evaluations, while the self-evaluations are better. The students' opinion with a validated satisfaction instrument obtaining a significant proposal to reissue the rubric. The article offers as a product a base rubric validated and successfully experienced in geographically differentiated contexts of the EIC. PALABRAS CLAVES · KEYWORDS Expresión oral, competencias del docente, formación de docente, métodos de evaluación, rúbricas digitales. Oral expression, teacher competence, teacher training, evaluation methods, digital rubric. Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 72 1. Introducción Las competencias para la comunicación y colaboración que encontramos en el Marco Europeo de Competencias Digitales para los Ciudadanos -DigComp-, y las competencias digitales de los docentes en el INTEF (2017), sitúan a la competencia comunicativa, especialmente la comunicación oral, y más recientemente de escritura académica y científica (Greenberg, 2015; Rakedzon & Baram-Tsabari, 2017), como un tema prioritario de atención en la formación inicial de docentes. El desarrollo de competencias para la presentación oral de trabajos por los estudiantes es un objetivo esencial en la educación superior en todo el mundo, donde se recogen dichas competencias en el marco curricular de la mayoría de los planes de estudio (Van Ginkel, Gulikers, Biemans & Mulder, 2015). Aquí se pone en valor el desarrollo de habilidades comunicativas, el uso correcto del lenguaje y la expresión oral por los futuros profesionales de educación y su integración en las actividades académicas, laborales e investigativas. Para Fernández García, Torío López, Viñuela Hernández, Molina Martín y Bermúdez Rey (2008), esta es una competencia básica en el ejercicio de todo profesional cuyo trabajo implique la interacción con personas en contextos diferentes. De ahí la necesidad de desarrollar esta competencia para perfeccionar, mejorar y conocer los modos de convertirse en comunicadores eficaces (Fernández López, 2007), en un mundo cada vez más digital y multicultural. En investigaciones consultadas, concluyen que muchos de los estudiantes universitarios sienten que no tienen habilidades de expresión oral en sus presentaciones, tanto en situaciones interactivas (conversaciones, diálogos, debates…), como en situaciones no-interactivas (informes orales, disertaciones…) (Roldán, 2001). De igual forma Arráez-Aybar et al. (2008) señala que “la comunicación oral es deficitaria en un amplio número de universitarios, poco habituados a hablar en público y explicar sus puntos de vista con un lenguaje adaptado al entorno profesional” (p. 171). Frente a esta situación, dos de las cuestiones básicas que se plantea todo docente cuando pretende mejorar estas competencias en sus estudiantes consiste en: por un lado, partir de una definición clara, pertinente y precisa de la competencia que deseamos mejorar; y, por otro lado, establecer una fórmula eficiente que nos permita evaluar los avances en nuestros estudiantes gracias a las acciones formativas que se planteen. En cuanto al primer aspecto, podemos considerar los trabajos de Van Ginkel, Gulikers, Biemans y Mulder, (2015) por su síntesis y complejidad, cuando define la competencia comunicativa como una: “combinación de conocimientos, habilidades, y actitudes necesarias para hablar en público, con el fin de informar, expresarse, establecer relaciones y persuadir, a lo cual le confiere el valor de interrelación y el dominio de elementos cognitivos, de comportamiento y afectivos” (p.63). En cuanto al segundo tema, una de las metodologías que han mostrado eficacia y eficiencia para la evaluación formativa de esta competencia han sido el uso de rúbricas en diferentes materias, áreas y contextos docentes, siendo una metodología de evaluación a la vez que un instrumento de autogestión de la propia evaluación que representa una oportunidad para atender la evaluación de la competencia comunicativa (Gallego-Arrufat & Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 73 Raposo-Rivas, 2014; Hima & Saputro, 2017) con muchas diferentes posibilidades para su diseño (Dawson, 2017). En sus aplicaciones en el ámbito de la enseñanza universitaria, las rúbricas se han convertido en digitales, demostrado altos niveles de aceptación dada su condición de guías a la vez que “ayudan a asignar distintos pesos a cada tarea o subtarea realizada en cada actividad. (…) los estudiantes estiman su propia calificación tanto de las prácticas individuales como de la colaborativa grupal, y su nivel de competencias adquirido” (Villalustre Martínez & del Moral Pérez, 2010, p.98). Esta cualidad de las rúbricas digitales permite la autoevaluación y la evaluación formativa (evaluación de pares, evaluación de equipos, autoevaluación, evaluación ipsativa…) por su rapidez y retroalimentación constante, representa una de las metodologías más aceptadas por los estudiantes, en tanto les sirven para la autoformación orientando su proceso de aprendizaje (Martínez-Figueira, Tellado-Gónzalez & Rapaso-Rivas, 2013). Son resultados de investigaciones sobre la satisfacción de los estudiantes en el uso de rúbricas digitales las que refuerza estas ventajas, con valoraciones por los estudiantes como: “…interesante, motivadora, anima a la participación, fomenta tanto el trabajo cooperativo como la coevaluación (…) consideran un éxito la experiencia y aprecian la retroalimentación recibida como una guía para mejorar su próximo desempeño” (Gallego- Arrufat & Raposo-Rivas, 2014, p.211). También Serrano-Angulo y Cebrián-Robles (2014) presentan altos resultados de coeficiente de fiabilidad en el uso de rúbricas digitales; así como, en la comparación de satisfacción con otras herramientas que evidencian valores por encima de la media. Uno de los ejercicios más utilizados para fomentar esta competencia comunicativa son las exposiciones de trabajos y proyectos en público por los estudiantes. Para la educación universitaria, las competencias comunicativas son reconocidas por Murillo-Zamorano y Montanero (2017), como la habilidad para presentar información en público de forma clara y elocuente ajustada a los diferentes contextos académicos y profesionales. Estos autores en su investigación presentan diferentes aspectos a tener en cuenta al evaluar las presentaciones orales: • Contenidos de la presentación teniendo en cuenta el contexto y la audiencia. • Tener un objetivo claro y una correcta articulación y organización de las ideas. • Utilizar material electrónico y audiovisual de soporte efectivo y adecuado. • Uso apropiado del lenguaje, así como otros elementos como el ritmo, el tono y volumen. • La articulación y otros aspectos no verbales como gestos y posturas. En relación con estas dimensiones y criterios para el desarrollo de la competencia oral expositiva, en la bibliografía consultada encontramos que García-Ros (2011) propone cuatro dimensiones a evaluar con 12 criterios relacionados con: el contenido, la aplicación práctica, el apoyo visual y las habilidades verbales. Por su parte, Verano-Tacoronte et al. (2016) proponen la adecuación de los contenidos de la presentación y referencias bibliográficas, también los aspectos formales y su relación con la corrección de los medios visuales de apoyo, dominio del espacio físico y elocuencia; así como, la adecuada gestión del tiempo. Y más adelante en otro trabajo, Galván-Sánchez et al. (2017) utilizan como Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 80 Tabla 3 Varianza total explica Componente Autovalores iniciales Sumas de las saturaciones al cuadrado de la extracción Suma de las saturaciones al cuadrado de la rotación Total % de la varianza % acumulado Total % de la varianza % acumulado Total % de la varianza % acumulado 1 10.143 46.106 46.106 10.14 3 46.106 46.106 4.656 21.163 21.163 2 3.314 15.064 61.170 3.314 15.064 61.170 3.495 15.886 37.049 3 2.188 9.943 71.113 2.188 9.943 71.113 3.385 15.387 52.436 4 1.772 8.054 79.167 1.772 8.054 79.167 3.023 13.742 66.178 5 1.348 6.127 85.294 1.348 6.127 85.294 2.886 13.117 79.295 6 1.078 4.901 90.195 1.078 4.901 90.195 2.398 10.900 90.195 7 .836 3.800 93.995 8 .686 3.120 97.115 9 .416 1.893 99.009 10 .104 .474 99.482 11 .042 .192 99.675 12 .029 .134 99.808 13 .016 .074 99.882 14 .010 .047 99.930 15 .009 .041 99.970 16 .006 .030 100.00 17 1.003E- 013 1.014E- 013 100.00 18 1.000E- 013 1.002E- 013 100.00 19 1.000E- 013 1.001E- 013 100.00 Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 81 20 1.000E- 013 1.000E- 013 100.00 21 1.000E- 013 1.000E- 013 100.00 22 - 1.000E- 013 -1.000E- 013 100.00 Nota: Método de extracción: Análisis de componentes principales A continuación, usando el método Varimax, obtenemos la matriz de componentes rotados que nos ayudó a ver qué variables se pueden considerar en los distintos factores, además de qué variables podríamos desechar para estudios posteriores. La matriz de componentes rotados recomienda que se agrupen las variables en seis factores de la siguiente manera: • Factor 1 (relevancia y estructura de la información transmitida): Ítems 1,1.1, 1.1.1, 1.2 y 1.2.1. • Factor 2 (dominio de la exposición del mensaje ante el público): Ítems 2, 2.1, 2.1.1, 2.2 y 2.2.1. • Factor 3 (manejo de recursos tecnológicos de calidad en el discurso): Ítems 2.3, 2.3.1, 4.1 y 4.1.1. • Factor 4 (aspectos relacionados con los tiempos, formalidades e integración de recursos). Ítems: 4, 4.2 y 4.2.1. • Factor 5 (adaptación y motivación de la audiencia). Ítems: 3, 3.1 y 3.1.1. • Factor 6 (control de las intervenciones de la audiencia). Ítems: 3.2 y 3.2.1. 3.2. Comparación de medias en función del país de procedencia En este apartado vamos a analizar, a la vista de los datos obtenidos, si las medias de los grupos formados por los integrantes de las distintas universidades de los países del estudio muestran diferencias significativas Para ello, utilizamos el test de ANOVA de un factor y tendremos en cuenta el factor “país de procedencia” (hemos asignado el valor 1 a España, el valor 2 a Ecuador y el valor 3 a Cuba). Aceptaremos que las medias son diferentes y hay diferencias significativas según la universidad de procedencia si el valor de significación es menor que 0.05 en el análisis de la ANOVA. Para analizar de forma más detallada lo que ocurre en los ítems utilizamos la prueba Post-Hoc de Tukey (incluido en el análisis de la ANOVA). Se observan diferencias significativas entre los distintos países en todos los ítems propuestos, siendo las medias de Cuba superiores a los otros dos países en todos los ítems. A modo de ejemplo, mencionamos las comparaciones de medias en algunos de estos ítems (elegimos un ítem de cada una de las dimensiones propuestas en el cuestionario): Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 82 • Respecto al ítem 1.2 “grado de estructuración del mensaje”. La prueba Post-Hoc de Tukey nos indica que hay diferencias significativas entre las parejas de países España-Cuba y Ecuador-Cuba. Esto se observa claramente también en el siguiente gráfico de medias en el que el país 3 (Cuba), supera ampliamente a España y Ecuador. Figura 2 Ítem 1.2 “grado de estructuración del mensaje” • Respecto al ítem 2.3 “grado de seguridad en el manejo de recursos” la prueba Post- Hoc de Tukey nos indica que hay diferencias significativas entre las parejas de países España-Ecuador y Ecuador-Cuba. Esto se observa claramente también en el siguiente gráfico de medias en el que el país 2 (Ecuador), tiene una media significativamente menor que España y Cuba. Figura 3 Ítem 2.3 “grado de seguridad en el manejo de recursos” Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 83 • Respecto al ítem 3.1.1 “propiciar el interés y la participación de la audiencia” la prueba Post-Hoc de Tukey nos indica que hay diferencias significativas entre las parejas de países España-Cuba y Ecuador-Cuba. Esto se observa claramente también en el siguiente gráfico de medias en el que el país 3 (Cuba), tiene una media significativamente mayor que España. Figura 4 Ítem 3.1.1 “propiciar el interés y la participación de la audiencia” • Respecto al ítem 4.1 “calidad de los recursos tecnológicos”, la prueba Post-Hoc de Tukey nos indica que hay diferencias significativas entre las parejas de países España-Ecuador y Ecuador-Cuba. Esto se observa claramente también en el siguiente gráfico de medias en el que el país 2 (Ecuador), tiene una media significativamente menor que España y Cuba. Figura 5 Ítem 4.1 “calidad de los recursos tecnológicos” Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 84 3.3. Análisis de las diferencias entre países según evaluaciones docentes, autoevaluaciones docentes, autoevaluaciones y pares En este apartado vamos a analizar, a la vista de los datos obtenidos, si las medias de los grupos formados por los diferentes tipos de evaluaciones (evaluación de los docentes, autoevaluación y evaluación por pares por los estudiantes) en los distintos países muestran diferencias significativas. Para ello, vamos a utilizar el test de ANOVA de un factor y tendremos en cuenta el factor “código evaluador” (hemos de reseñar que en España y Ecuador se han realizado los tres tipos de evaluaciones, mientras que en Cuba se realizaron sólo evaluaciones de pares y del profesor). Aceptaremos que las medias son diferentes y hay diferencias significativas según la universidad de procedencia si el valor de significación es menor que 0.05 en el análisis de la ANOVA. En suma, hemos de reseñar que en todos los ítems se observa que las evaluaciones de pares de España y Ecuador obtienen peores resultados que las evaluaciones de los docentes. En el caso de España, la tendencia es que los pares tienen peores resultados que las evaluaciones del profesor, mientras que las autoevaluaciones son las que mejores resultados obtienen. Figura 6 Ítem 1.2 “grado de estructuración del mensaje” prueba Post-Hoc de Tukey. 3.4. Análisis de la satisfacción de los estudiantes con la metodología de la rúbrica Una vez recogido los datos desde el cuestionario en línea con el instrumento validado por Martínez-Figueira y Raposo-Rivas, (2011), se comparan los resultados obtenidos sobre 11 ítems que recogen las posibilidades de uso de la rúbrica con tres posibilidades de respuestas (Totalmente en desacuerdo, en desacuerdo, de acuerdo y Totalmente de Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 85 acuerdo) junto con preguntas abiertas sobre las ventajas y desventajas de su utilización. En la siguiente tabla se plasman los porcentajes de estudiantes que estaban de acuerdo o totalmente de acuerdo con la afirmación sobre la rúbrica, junto con una síntesis de las respuestas abiertas. Las muestras de estudiantes eran respectivamente 16, 19 y 26 para Cuba, Ecuador y España. Como se puede observar en la tabla, aunque las diferencias no son muy significativas, sí se aprecian ligeras diferencias a la baja con los estudiantes españoles. También hemos analizado las ventajas y desventajas de la rúbrica que los estudiantes observan. En este sentido podemos sintetizar lo siguiente (comentarios comunes en los tres países): • El uso de rúbricas es altamente aceptado porque proporciona retroalimentación y objetividad en la calificación, además de rapidez y comodidad en su uso. • A modo de desventajas, los estudiantes expresan la complejidad de la rúbrica, la falta de claridad de algunos ítems y su extensión. • Inciden de nuevo en que la rúbrica proporciona feedback, objetividad y claridad en el proceso de evaluación, por lo que recomiendan al docente siga usando esta metodología. • También expresan su deseo que se extienda el uso de rúbricas a contenidos teóricos y otras actividades formativas. Tabla 4 Respuesta y comparativa sobre la satisfacción de los estudiantes Cuba Ecuador España La rúbrica permite una evaluación más objetiva. 100,00% 100,00% 87,50% La rúbrica le obliga al docente a clarificar sus criterios de evaluación. 93,75% 94,74% 96,88% La rúbrica permite dar a conocer lo que se espera. 100,00% 100,00% 93,75% La rúbrica nos proporciona retroalimentación del desarrollo del trabajo. 100,00% 89,47% 90,63% La rúbrica nos ayuda a comprender las cualidades que el trabajo debe poseer. 100,00% 94,74% 90,63% La rúbrica nos muestra cómo seremos evaluados 100,00% 100,00% 87,50% La rúbrica permite autoevaluarnos. 100,00% 94,74% 96,88% La rúbrica nos informa de la ponderación de los componentes en relación a la nota total. 100,00% 100,00% 90,63% Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 86 La rúbrica permite constatar el nivel de competencia adquirida. 81,25% 94,74% 78,13% La rúbrica permite evaluar a todos los grupos por igual 93,75% 100,00% 93,75% La rúbrica evidencia el trabajo realizado. 100,00% 94,74% 71,88% 4. Discusión y conclusiones El estudio obtuvo como primer objetivo la creación y validación a doble vuelta por miembros del proyecto del diseño de la rúbrica para evaluar las competencias orales en las presentaciones de los estudiantes. Después de dos fases con el método Delphi se obtuvo una rúbrica con más del 80% de indicadores y elementos consensuados. Con la rúbrica digital diseñada en la plataforma Corubric.com[1] se logró agrupar indicadores y criterios de calidad que tributan, de manera dinámica, a la evaluación de competencias de presentaciones orales. La rúbrica digital permitió el acceso desde diferentes regiones y su integración a procesos de evaluación a distancia, además de su exportación de datos para su análisis. En el segundo objetivo, los resultados de la experimentación en las universidades participantes demuestran que el contenido de la rúbrica creada puede ser implementada en diferentes contextos, lo cual se pudo constatar en los valores de significación presentados por la correlación de cada uno de los indicadores que describen las competencias. • En el análisis de la fiabilidad de éstos el parámetro alfa de Cronbach nos da un valor de 0.934, siendo un valor muy aceptable cercano a 1, por ello podemos concluir que los ítems analizados constituyen una herramienta útil para el objetivo de la investigación, obteniéndose una buena consistencia interna, y por lo tanto, un instrumento válido y confiable como otros estudios (Hafner & Hafner, 2003); en nuestro caso, para la evaluación oral (García-Ros, 2011; Bindayel, 2017; Galván- Sánchez et al., 2017; Murillo-Zamorano & Montanero, 2017) en el contexto geográfico diferenciador IEC. • A pesar de disponer de una rúbrica base común fiable, el análisis factorial confirmatorio realizado recomienda una nueva reconsideración de las dimensiones propuestas, pasando de 4 a 6, añadiendo nuevas dimensiones a las propuestas que se atenderán en un futuro rediseño de la rúbrica. • El test ANOVA de un factor arroja diferencias significativas entre los distintos países (Cuba, Ecuador y España) en todos los ítems propuestos, lo que indica que la rúbrica arroja información significativa para que los docentes y estudiantes conozcan la situación de los grupos según qué dimensiones e indicadores. Por lo que, la rúbrica diseñada ofreció una oportunidad para la retroinformación y autoevaluación como coinciden con meta-estudios en la literatura (Jonsson & Svingby, 2007; De Grez, Valcke & Roozen, 2012). Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 87 • Con la prueba Post-Hoc de Tukey encontramos que en todos los ítems se observa que las evaluaciones de pares de España y Ecuador obtienen peores resultados que las evaluaciones de los docentes, resultados que coinciden con otros estudios donde los estudiantes en un primer momento de evaluación suelen ser más exigentes que los docentes, pero con más evaluaciones suelen acercarse y aproximarse a las del docente y obtienen mejores resultados en los trabajos presentados por el hecho de ser evaluados por pares (Greenberg, 2015). Por lo que será interesante ampliar en el futuro el estudio a varias evaluaciones o evaluaciones progresivas y continua. • No obstante, las autoevaluaciones fueron las que mejores resultados obtuvieron comparándose con las del docente, entendemos que por las mismas razones que la evaluación de pares, necesitan más evaluaciones para comprender el sentido de estas prácticas, y cambiar también los estudiantes el concepto de evaluación como estrategia para aprender no solo para calificar. • En otros trabajos se ha visto que hay diferencias significativas en la evaluación entre docentes y estudiantes (Meseguer-Dueñas, Vidaurre, Molina-Mateo, Riera & Sala, 2018), pero mostraban correlación positiva de forma global solo cuando se eliminaban ciertos indicadores (p.e. “uso de recursos auxiliares”). Es decir, dependiendo de la fuente de retroalimentación puede mostrar diferentes impactos en la competencia oral de presentaciones, como así se comprobó en el estudio de Van Ginkel et al., (2017); por lo que, después de nuestro estudio y la literatura especializada, aún queda conocer con más profundidad la repercusión de las diferentes fuentes de evaluaciones, como el impacto de las recomendaciones de los docentes frente a las de los estudiantes. Finalmente, y para el tercer objetivo, los criterios de satisfacción expresados por los estudiantes evidencian la aceptación de esta herramienta y metodología, la cual se les presenta como un proceso de evaluación confiable (Valverde Berrocoso & Ciudad Gómez, 2014). Los resultados coinciden con los hallados por Gallego-Arrufat y Raposo-Rivas (2014) en cuanto al sentimiento positivo de los estudiantes más comprometidos con el proceso de evaluación. Disponer de un instrumento validado no es suficiente para garantizar la equidad de los evaluadores frente a una misma tarea, como nos indica el trabajo de Fernández-Alonso, Woitschach y Muñiz (2019) cuando señala la necesidad de utilizar correctores y escalas de dificultad como el modelo de Rasch adecuadas a los contextos de aplicación. Por lo que, necesitamos en el futuro reeditar la rúbrica según el análisis factorial, aplicar en más contextos diferentes del Espacio Iberoamericano del Conocimiento, emplear diferentes metodologías de evaluación formativa a las planteadas en este estudio (evaluación ipsativa, evaluación de equipos…) y definir qué correctores aplicar con el modelo de Rasch según el tipo de tareas. Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 88 Assessment oral competence with digital rubrics for the Ibero-American Knowledge Space 1. Introduction The competences for communication and collaboration that we find in the European Framework of Digital Competences for Citizens -DigComp-, and the digital competences of teachers in the INTEF (2017), place communicative competence, especially oral communication, and more recently of academic and scientific writing (Greenberg, 2015; Rakedzon & Baram-Tsabari, 2017), as a priority topic of attention in the initial training of teachers. The development of competences for the oral presentation of work by students is an essential objective in higher education worldwide, where these competences are included in the curricular framework of most study plans (Van Ginkel et al., 2015). Here, the development of communication skills, the correct use of language and oral expression by future education professionals and their integration in academic, work and research activities are valued. For Fernández García et al. (2008), this is a basic competence in the practice of all professionals whose work involves interaction with people in different contexts. Hence the need to develop this competence to perfect, improve and know the ways to become effective communicators (Fernández López, 2007), in an increasingly digital and multicultural world. In researches consulted, they conclude that many of the university students feel that they do not have oral expression skills in their presentations, both in interactive situations (conversations, dialogues, debates ...), and in non-interactive situations (oral reports, dissertations ...) (Roldán, 2001). Similarly, Arráez-Aybar et al. (2008) points out that “oral communication is deficient in a large number of university students, who are not used to speaking in public and explaining their points of view with a language adapted to the professional environment” (p. 171). Faced with this situation, two of the basic questions that every teacher asks when he tries to improve these competences in his students consists of: on the one hand, starting from a clear, pertinent and precise definition of the competence that we wish to improve; and, on the other hand, establish an efficient formula that allows us to evaluate the progress of our students thanks to the training actions that are proposed. Regarding the first aspect, we can consider the works of Van Ginkel, Gulikers, Biemans and Mulder, (2015) for their synthesis and complexity, when they define communicative competence as a “combination of knowledge, skills, and attitudes necessary to speak in public, in order to inform, express oneself, establish relationships and persuade, to which it confers the value of interrelation and mastery of cognitive, behavioral and affective elements” (p.63). Regarding the second topic, one of the methodologies that have shown effectiveness and efficiency for the formative evaluation of this competence has been the use of rubrics in different teaching subjects, areas and contexts, being an evaluation methodology as well as an instrument of self-management of one's own evaluation that represents an opportunity to attend the evaluation of communicative competence (Gallego-Arrufat & Raposo-Rivas, 2014; Hima & Saputro, 2017) with many different possibilities for its design (Dawson, 2017). Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 89 In their applications in the field of university teaching, rubrics have become digital, showing high levels of acceptance given their status as guides while “helping to assign different weights to each task or subtask performed in each activity. (…) students estimate their own qualification of both individual and collaborative group practices, and their level of acquired competencies” (Villalustre Martínez & del Moral Pérez, 2010, p.98). This quality of digital rubrics allows self-evaluation and formative evaluation (peer evaluation, team evaluation, self-evaluation, ipsative evaluation ...) due to its speed and constant feedback, it represents one of the methodologies most accepted by students, as long as they serve them for self-training, guiding their learning process (Martínez-Figueira, Tellado-Gónzalez & Raposo-Rivas, 2013). The results of research on the satisfaction of students in the use of digital rubrics are those that reinforce these advantages, with evaluations by students such as: “… interesting, motivating, encourages participation, encourages both cooperative work and co-evaluation (…) consider the experience a success and appreciate the feedback received as a guide to improve their next performance” (Gallego-Arrufat & Raposo-Rivas, 2014, p.211). Also, Serrano-Angulo and Cebrián-Robles (2014) present high results of reliability coefficient in the use of digital rubrics; as well as, in the comparison of satisfaction with other tools that show values above the average. One of the most used exercises to promote this communicative competence are the expositions of works and projects in public by students. For university education, communication skills are recognized by Murillo-Zamorano and Montanero (2017), as the ability to present information in public in a clear and eloquent way adjusted to different academic and professional contexts. These authors in their research present different aspects to take into account when evaluating oral presentations: • Contents of the presentation taking into account the context and the audience. • Have a clear objective and a correct articulation and organization of ideas. • Use electronic and audiovisual material of effective and adequate support. • Appropriate use of language, as well as other elements such as rhythm, tone and volume. • Articulation and other non-verbal aspects such as gestures and postures. In relation to these dimensions and criteria for the development of expository oral competence, in the consulted bibliography we find that García-Ros (2011) proposes four dimensions to be evaluated with 12 criteria related to: content, practical application, visual support and verbal skills. For their part, Verano-Tacoronte et al. (2016) propose the adaptation of the contents of the presentation and bibliographic references, as well as the formal aspects and their relationship with the correction of visual means of support, mastery of physical space and eloquence; as well as the proper time management. And later in another work, Galván-Sánchez et al. (2017) use as criteria and variables for evaluating oral competence: order and clarity, use of audiovisual supports and others, distribution of time, body and oral language. As can be seen in the previous proposals, and despite being pertinent indicators, there is no consensus regarding their number, and even more so regarding the criteria to develop Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 96 Figure 1 Sedimentation Chart Next, using the Varimax method, we obtain the matrix of rotated components that helped us to see which variables can be considered in the different factors, as well as which variables we could discard for further studies. The Rotated Component Matrix recommends grouping variables into six factors as follows: • Factor 1 (relevance and structure of the information transmitted): Items 1,1.1, 1.1.1, 1.2 and 1.2.1. • Factor 2 (domain of the presentation of the message to the public): Items 2, 2.1, 2.1.1, 2.2 and 2.2.1. • Factor 3 (management of quality technological resources in speech): Items 2.3, 2.3.1, 4.1 and 4.1.1. • Factor 4 (aspects related to time, formalities and integration of resources). Items: 4, 4.2 and 4.2.1. • Factor 5 (adaptation and motivation of the audience). Items: 3, 3.1 and 3.1.1. • Factor 6 (control of audience interventions). Items: 3.2 and 3.2.1. 3.2. Comparison of means according to the country of origin In this section we are going to analyze, in view of the data obtained, if the means of the groups formed by the members of the different universities in the study countries show significant differences. To do this, we use the one-way ANOVA test and we will have take into account the factor “country of origin” (we have assigned a value of 1 to Spain, a value of 2 to Ecuador and a value of 3 to Cuba). We will accept that the means are different and Component number Sedimentation graph Self-evaluators Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 97 there are significant differences according to the university of origin if the significance value is less than 0.05 in the ANOVA analysis. To analyze in more detail what happens in the items, we used Tukey's Post-Hoc test (included in the ANOVA analysis). Significant differences are observed between the different countries in all the proposed items, the means for Cuba being higher than the other two countries in all the items. As an example, we mention the comparisons of means in some of these items (we chose one item from each of the dimensions proposed in the questionnaire): • Regarding item 1.2 “degree of structuring of the message”. Tukey's Post-Hoc test indicates that there are significant differences between the pairs of countries Spain- Cuba and Ecuador-Cuba. This is also clearly observed in the following graph of means in which country 3 (Cuba) widely exceeds Spain and Ecuador. Figure 2. item 1.2 "degree of structuring of the message" • Regarding item 2.3 “degree of security in resource management”, the Tukey Post- Hoc test indicates that there are significant differences between the pairs of countries Spain-Ecuador and Ecuador-Cuba. This is also clearly observed in the following graph of means in which country 2 (Ecuador) has a significantly lower average than Spain and Cuba. Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 98 Figure 3. item 2.3 "degree of security in resource management" • Regarding item 3.1.1 "promote audience interest and participation", Tukey's Post- Hoc test indicates that there are significant differences between the pairs of countries Spain-Cuba and Ecuador-Cuba. This is also clearly observed in the following graph of means in which country 3 (Cuba) has a significantly higher average than Spain. Figure 4 item 3.1.1 "promote the interest and participation of the audience" Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 99 • Regarding item 4.1 “quality of technological resources”, Tukey's Post-Hoc test indicates that there are significant differences between the pairs of countries Spain- Ecuador and Ecuador-Cuba. This is also clearly observed in the following graph of means in which country 2 (Ecuador) has a significantly lower average than Spain and Cuba. Figure 5 item 4.1 "quality of technological resources" 3.3. Analysis of the differences between countries according to teacher evaluations, self-evaluations and peers. In this section we are going to analyze, in view of the data obtained, if the means of the groups formed by the different types of evaluations (evaluation by teachers, self-evaluation and peer evaluation by students) in the different countries show significant differences. For this, we are going to use the one-way ANOVA test and we will take into account the factor "evaluator code" (we must note that in Spain and Ecuador the three types of evaluations have been carried out, while in Cuba only evaluations of peers and teacher). We will accept that the means are different and there are significant differences according to the university of origin if the significance value is less than 0.05 in the ANOVA analysis. Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 100 Figure 6 Item 1.2 “degree of structuring of the message” Tukey's Post-Hoc test. In sum, we must point out that in all the items it is observed that the peer evaluations of Spain and Ecuador obtain worse results than the evaluations of teachers. In the case of Spain, the trend is that peers have worse results than the teacher's evaluations, while selfevaluations are the ones that obtain the best results. 3.4. Analysis of student satisfaction with the rubric methodology Once the data have been collected from the online questionnaire with the instrument validated by Martínez-Figueira and Raposo-Rivas, (2011), the results obtained on 11 items are compared that include the possibilities of using the rubric with three possibilities of answers (Strongly disagree, disagree, agree and Strongly agree) together with open questions about the advantages and disadvantages of its use. The following table shows the percentages of students who agreed or totally agreed with the statement about the rubric, along with a synthesis of the open responses. The student samples were respectively 16, 19 and 26 for Cuba, Ecuador and Spain. Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 101 Table 4 Response and comparison of student satisfaction Cuba Ecuador Spain The rubric allows a more objective evaluation. 100,00% 100,00% 87,50% The rubric forces the teacher to clarify their evaluation criteria. 93,75% 94,74% 96,88% The rubric allows to publicize what is expected. 100,00% 100,00% 93,75% The rubric provides us with feedback on the development of the work. 100,00% 89,47% 90,63% The rubric helps us to understand the qualities that the job should possess. 100,00% 94,74% 90,63% The rubric shows us how we will be evaluated. 100,00% 100,00% 87,50% The rubric allows us to self-evaluate. 100,00% 94,74% 96,88% The rubric informs us of the weighting of the components in relation to the total mark. 100,00% 100,00% 90,63% The rubric allows to verify the level of acquired competence. 81,25% 94,74% 78,13% The rubric allows to evaluate all groups equally. 93,75% 100,00% 93,75% The rubric shows the work done. 100,00% 94,74% 71,88% As can be seen in the table, although the differences are not very significant, there are slight downward differences with Spanish students. We have also discussed the advantages and disadvantages of the rubric that students observe. In this sense, we can synthesize the following (common comments in the three countries): • The use of rubrics is highly accepted because it provides feedback and objectivity in the grading, as well as speed and convenience in its use. • By way of disadvantages, students express the complexity of the rubric, the lack of clarity of some items and their length. • They again emphasize that the rubric provides feedback, objectivity and clarity in the evaluation process, for which they recommend that the teacher continue to use this methodology. • They also express their wish that the use of rubrics be extended to theoretical content and other training activities. 4. Discussion and conclusions The study's first objective was the creation and double-round validation by members of the project of the rubric design to assess oral skills in student presentations. After two Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 102 phases with the Delphi method, a rubric was obtained with more than 80% of indicators and elements agreed upon. With the digital rubric designed on the Corubric.com platform [1], it was possible to group indicators and quality criteria that contribute, in a dynamic way, to the evaluation of competencies of oral presentations. The digital rubric allowed access from different regions and its integration into remote evaluation processes, in addition to its data export for analysis. In the second objective, the results of the experimentation in the participating universities show that the content of the rubric created can be implemented in different contexts, which could be verified in the significance values presented by the correlation of each of the indicators that describe the competencies. • In the analysis of their reliability, Cronbach's alpha parameter gives us a value of 0.934, being a very acceptable value close to 1, therefore we can conclude that the analyzed items constitute a useful tool for the purpose of the research, obtaining a good internal consistency, and therefore, a valid and reliable instrument like other studies (Hafner & Hafner, 2003); in our case, for oral evaluation (García-Ros, 2011; Bindayel, 2017; Galván-Sánchez, Verano-Tacoronte, González-Betancor, Fernández-Monroy & Bolivar-Cruz, 2017; Murillo-Zamorano & Montanero, 2017) in the differentiating geographic context IEC. • Despite having a reliable common base rubric, the confirmatory factor analysis carried out recommends a new reconsideration of the proposed dimensions, going from 4 to 6, adding new dimensions to the proposals that will be addressed in a future redesign of the rubric. • The one-way ANOVA test shows significant differences between the different countries (Cuba, Ecuador and Spain) in all the proposed items, which indicates that the rubric yields significant information so that teachers and students know the situation of the groups according to which dimensions and indicators. Therefore, the rubric designed offered an opportunity for feedback and self-evaluation as coincides with meta-studies in the literature (Jonsson & Svingby, 2007; De Grez, Valcke & Roozen, 2012). • With the Tukey Post-Hoc test, we found that in all items it is observed that the peer evaluations of Spain and Ecuador obtain worse results than the evaluations of teachers, results that coincide with other studies where students at the first moment of evaluation they tend to be more demanding than teachers, but with more evaluations they tend to approach and approximate those of the teacher and obtain better results in the works presented due to the fact that they are evaluated by peers (Greenberg, 2015). Therefore, it will be interesting to expand the study to several evaluations or progressive and continuous evaluations in the future. • However, the self-evaluations were the ones that obtained the best results compared to those of the teacher, we understand that for the same reasons as the peer evaluation, more evaluations are needed to understand the meaning of these practices, and also the students change the concept of evaluation as strategy to learn not just to qualify. • In other studies, it has been seen that there are significant differences in the evaluation between teachers and students (Meseguer-Dueñas, Vidaurre, Molina- Mateo, Riera & Sala, 2018), but they showed a global positive correlation only when Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 103 certain indicators were eliminated (eg "Use of auxiliary resources"). That is, depending on the source of feedback, it can show different impacts on the oral proficiency of presentations, as was proven in the study by Van Ginkel, Gulikers, Biemans and Mulder (2017); therefore, after our study and the specialized literature, it still remains to know in greater depth the impact of the different sources of evaluations, such as the impact of the teachers' recommendations versus those of the students. Finally, and for the third objective, the satisfaction criteria expressed by the students show the acceptance of this tool and methodology, which is presented as a reliable evaluation process (Valverde Berrocoso & Ciudad Gómez, 2014). The results coincide with those found by Gallego-Arrufat and Raposo-Rivas (2014) regarding the positive sentiment of the students most committed to the evaluation process. Having a validated instrument is not enough to guarantee the equity of the evaluators in the face of the same task, as the work of Fernández-Alonso, Woitschach and Muñiz (2019) indicates when they point out the need to use correctors and difficulty scales such as Rasch model appropriate to the application contexts. Therefore, in the future we need to reissue the rubric according to the factorial analysis, apply it in more different contexts of the Ibero- American Knowledge Space, use different formative evaluation methodologies to those proposed in this study (ipsative evaluation, team evaluation ...) and define which correctors to apply with the Rasch model according to the type of tasks. References Arráez-Aybar, L. A., Millán Núñez-Cortéz, J., Carabantes-Alarcón, D., Lozano-Fernández, R., Iglesias-Peinado, I., Palacios-Alaiz, E., del Castillo-García, B. & Nogales-Espert, A. (2008). Adquisición de competencias transversales en alumnos de pregrado de Ciencias de la Salud en la Universidad Complutense: una experiencia positiva. Educación Médica, 11(3), 169-177. https://bit.ly/2PveDx5 Blanco-López, Á., España-Ramos, E., González-García, F. J. & Franco-Mariscal, A. J. (2015). Key aspects of scientific competence for citizenship: A Delphi study of the expert community in Spain. Journal of Research in Science Teaching, 52(2), 164–198. https://doi.org/10.1002/tea.21188 Bindayel, N. A. (2017). Reliability of rubrics in the assessment of orthodontic oral presentation. The Saudi Dental Journal, 29(4), 135–139. https://doi.org/10.1016/j.sdentj.2017.07.001 Cabero Almenara, J., Barroso, J., Romero, R., Román, P., Ballestero, C., del Carmen Llorente, M. & Morales, J. A. (2009). La aplicación de la técnica Delphi, para la construcción de un instrumento de análisis categorial de investigaciones e-learning. EDUTEC. Revista Electrónica de Tecnología Educativa, 28, a111. https://doi.org/10.21556/edutec.2009.28.459 Cabero Almenara, J. (2014). Formación del profesorado universitario en TIC. Aplicación del método Delphi para la selección de los contenidos formativos. Educación XX1, 17(1), 109-132. https://doi:10.5944/educxx1.17.1.10707 Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 104 Cebrián-Robles, D. (2017). Proyecto internacional para la evaluación de las presentaciones orales de los trabajos de estudiantes con Corubric. En D. Cebrián-Robles (Coord.), Tecnologías para la evaluación de los aprendizajes (pp. 8-9). GTEA y ENCIC. https://goo.gl/5XDPZ9 Cizek, G. J. (2010). An introduction to formative assessment. History, Characteristics, and Challenges. En H. Andrade & G. J. Cizek (Eds.), Handbook of Formative Assessment (pp. 3-18). Taylor & Francis. Dawson, P. (2017). Assessment rubrics: towards clearer and more replicable design, research and practice. Assessment & Evaluation in Higher Education, 42(3), 347–360. https://doi.org/10.1080/02602938.2015.1111294 De Grez, L., Valcke, M. & Roozen, I. (2012). How effective are self- and peer assessment of oral presentation skills compared with teachers’ assessments? Active Learning in Higher Education, 13(2), 129–142. https://doi.org/10.1177/1469787412441284 DigComp. Marco Europeo de Competencias Digitales para los Ciudadanos. Recuperado de: https://bit.ly/3cAk9YB Fernández-Alonso, R, Woitschach, P. & Muñiz, J. (2019). Las Rúbricas No neutralizan el Efecto de los correctores: Una estimación con el modelo de facetas múltiples de Rasch. Revista Educación, 386, 89–112. https://doi.org/10.4438/1988-592X-RE-2019-386-428 Fernández García, C. M., Torío López, S., Viñuela Hernández, M. P., Molina Martín, S. & Bermúdez Rey, T. (2008). La comunicación oral como competencia transversal de los estudiantes de pedagogía y magisterio: presentación del diseño metodológico de una innovación para su trabajo en el aula. Revista de Enseñanza Universitaria, 31, 26-38. https://bit.ly/34J2eLM Fernández López, S. (2007). Cómo gestionar la comunicación en organizaciones públicas y no lucrativas. Narcea. Gallego-Arrufat, M. J. & Raposo-Rivas, M. (2014). Compromiso del estudiante y percepción del proceso evaluador basado en rúbricas. REDU. Revista de docencia Universitaria, 12(1), 197-215. https://doi.org/10.4995/redu.2014.6423 Galván-Sánchez, I., Verano-Tacoronte, D., González-Betancor, S. M., Fernández-Monroy, M. & Bolivar-Cruz, A. (2017). Assessing oral presentation skills in Electrical Engineering: Developing a valid and reliable rubric. International Journal of Electrical Engineering Education, 54(1), 17-34. https://doi.org/10.1177/0020720916659501 García Martínez, V., Aquino Zúñiga, S. P., Guzmán Sala, A. & Medina Meléndez, A. (2012). El uso del método Delphi como estrategia para la valoración de indicadores de calidad en programas educativos a distancia. Revista Electrónica Calidad En La Educación Superior, 3(1), 200-222. https://doi.org/10.22458/caes.v3i1.439 García-Ros, R. (2011). Análisis y validación de una rúbrica para evaluar habilidades de presentación oral en contextos universitarios. Electronic Journal of Research in Educational Psychology, 9(25), 1043-1062. https://bit.ly/3kFPjjL Pixel-Bit. Revista de Medios y Educación, 61, 71-106 |2021| https://doi.org/10.12795/pixelbit.83050 PÁGINA | 105 Greenberg, K. P. (2015). Rubric Use in Formative Assessment: A Detailed Behavioral Rubric Helps Students Improve Their Scientific Writing Skills. Teaching of Psychology, 42(3), 211–217. https://doi.org/10.1177/0098628315587618 Hafner, J. & Hafner, P. (2003). Quantitative analysis of the rubric as an assessment tool: an empirical study of student peer‐group rating. International Journal of Science Education, 25(12), 1509–1528. https://doi.org/10.1080/0950069022000038268 Hima, A. N. & Saputro, T. H. (2017). Developing scoring rubric: Do the studens need it? ELT-Echo. The Journal of English Language Teaching in Foreign Language Context, 2(2), 101-113. https://doi.org/10.24235/eltecho.v2i2.2170 INTEF (2017). La competencia digital docente. https://bit.ly/2FXOpjI Jonsson, A. & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130–144. https://doi.org/10.1016/j.edurev.2007.05.002 Martínez-Figueira, M. E. & Rapaso-Rivas, M. (2011). La evaluación del estudiante a través de la rúbrica. En Xornada de Innovación Educativa 2011 (pp. 153-159). Vigo: Área de Formación e Innovación Educativa, Vicerreitoría de Alumnado, Docencia e Calidade. https://bit.ly/2SFrMU9 Martínez-Figueira, M. E., Tellado-Gónzalez, F. & Rapaso-Rivas, M. (2013). La rúbrica como instrumento para la autoevaluación: un estudio piloto. REDU. Revista de Docencia Universitaria, 11(2), 373-390. https://doi.org/10.4995/redu.2013.5581 Merma Molina, G., Peña Alfaro, H. & Peña Alfaro, S. (2017). Design and Validation of a Rubric to Assess the Use of American Psychological Association Style in scientific articles. Journal of New Approaches in Educational Research, 6(1), 78–86. https://doi.org/10.7821/naer.2017.1.220 Meseguer-Dueñas, J. M., Vidaurre, A., Molina-Mateo, J., Riera, J. & Sala, R. M. (2018). Validation of Student Peer Assessment of Effective Oral Communication in Engineering Degrees. IEEE Revista Iberoamericana de Tecnologias del Aprendizaje, 13(1), 11–16. https://doi.org/10.1109/RITA.2018.2801897 Morales Vallejo, P. (2009). La evaluación formativa. En P. Morales Vallejo (Ed.), Ser profesor: una mirada al alumno (pp. 41-98). Universidad Rafael Landívar. https://bit.ly/2wrOp58 Murillo-Zamorano, L. R. & Montanero, M. (2017). Oral presentations in higher education: a comparison of the impact of peer and teacher feedback. Assessment & Evaluation in Higher Education, 43(1), 138-150. https://doi.org/10.1080/02602938.2017.1303032 Huh, J., Delorme, D. E. & Reid, L. N. (2006). Perceived Third-Person Effects and Consumer Attitudes on Prevetting and Banning DTC Advertising. Journal of Consumer Affairs, 40(1), 90–116. https://bit.ly/3hZtoCq Rakedzon, T. & Baram-Tsabari, A. (2017). To make a long story short: A rubric for assessing graduate students’ academic and popular science writing skills. Assessing Writing, 32, 28–42. https://doi.org/10.1016/j.asw.2016.12.004