Evaluación de la competencia digital del alumnado de ciclo superior de primaria en Cataluña

Píxel-Bit. Revista de Medios y Educación. 2022 - ISSN: 1133-8482. e-ISSN: 2171-7966. Píxel-Bit. Revista de Medios y Educación. 2022 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 64 - MAYO - 2022 https://revistapixelbit.com Píxel-Bit. Revista de Medios y Educación. 2022 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 64 MAYO 2022 EQUIPO EDITORIAL (EDITORIAL BOARD) EDITOR JEFE (EDITOR IN CHIEF) Dr. Julio Cabero Almenara, Departamento de Didáctica y Organización Educativa, Facultad de CC de la Educación, Director del Grupo de Investigación Didáctica. Universidad de Sevilla (España). EDITOR ADJUNTO (ASSISTANT EDITOR) Dr. Juan Jesús Gutiérrez Castillo, Departamento de Didáctica y Organización Educativa. Facultad de CC de la Educación, Universidad de Sevilla (España). Dr. Óscar M. Gallego Pérez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) CONSEJO DE REDACCIÓN EDITOR Dr. Julio Cabero Almenara. Grupo de Investigación Didáctica, Universidad de Sevilla (España) EDITOR ASISTENTE Dr. Juan Jesús Gutiérrez Catillo. Departamento de Didáctica y Organización Educativa. Facultad de CC de la Educación, Universidad de Sevilla. (España) Dr. Óscar M. Gallego Pérez. Grupo de Investigación Didáctica Universidad de Sevilla (España) EDITORES ASOCIADOS Dra. Urtza Garay Ruiz, Universidad del País Vasco. (España) Dra. Ivanovnna Milqueya Cruz Pichardo, Pontificia Universidad Católica Madre y Maestra. (República Dominicana) VOCALES Dra. María Puig Gutiérrez, Universidad de Sevilla. (España) Dra. Sandra Martínez Pérez, Universidad de Barcelona (España) Dr. Selín Carrasco, Universidad de La Punta (Argentina) Dr. Jackson Collares, Universidades Federal do Amazonas (Brasil) Dra. Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) Dra. Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Dr. Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Dr. Fabrizio Manuel Sirignano, Università degli Studi Suor Orsola Benincasa (Italia) CONSEJO TÉCNICO Dra. Raquel Barragán Sánchez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Antonio Palacios Rodríguez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Manuel Serrano Hidalgo, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Diseño de portada: Lucía Terrones García, Universidad de Sevilla (España) Revisor/corrector de textos en inglés: Rubicelia Valencia Ortiz, MacMillan Education (México) Revisores metodológicos: evaluadores asignados a cada artículo CONSEJO CIENTÍFICO Jordi Adell Segura, Universidad Jaume I Castellón (España) Ignacio Aguaded Gómez, Universidad de Huelva (España) María Victoria Aguiar Perera, Universidad de Las Palmas de Gran Canaria (España) Olga María Alegre de la Rosa, Universidad de la Laguna Tenerife (España) Manuel Área Moreira, Universidad de la Laguna Tenerife (España) Patricia Ávila Muñoz, Instituto Latinoamericano de Comunicación Educativa (México) Antonio Bartolomé Pina, Universidad de Barcelona (España) Angel Manuel Bautista Valencia, Universidad Central de Panamá (Panamá) Jos Beishuizen, Vrije Universiteit Amsterdam (Holanda) Píxel-Bit. Revista de Medios y Educación. 2022 - ISSN: 1133-8482. e-ISSN: 2171-7966. Florentino Blázquez Entonado, Universidad de Extremadura (España) Silvana Calaprice, Università degli studi di Bari (Italia) Selín Carrasco, Universidad de La Punta (Argentina) Raimundo Carrasco Soto, Universidad de Durango (México) Rafael Castañeda Barrena, Universidad de Sevilla (España) Zulma Cataldi, Universidad de Buenos Aires (Argentina) Manuel Cebrián de la Serna, Universidad de Málaga (España) Luciano Cecconi, Università degli Studi di Modena (Italia) Jean-François Cerisier, Université de Poitiers, Francia Jordi Lluí s Coiduras Rodrí guez, Universidad de Lleida (España) Jackson Collares, Universidades Federal do Amazonas (Brasil) Enricomaria Corbi, Università degli Studi Suor Orsola Benincasa (Italia) Marialaura Cunzio, Università degli Studi Suor Orsola Benincasa (Italia) Brigitte Denis, Université de Liège (Bélgica) Floriana Falcinelli, Università degli Studi di Perugia (Italia) Maria Cecilia Fonseca Sardi, Universidad Metropolitana de Venezuela (Venezuela) Maribel Santos Miranda Pinto, Universidade do Minho (Portugal) Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) María-Jesús Gallego-Arrufat, Universidad de Granada (España) Lorenzo García Aretio, UNED (España) Ana García-Valcarcel Muñoz-Repiso, Universidad de Salamanca (España) Antonio Bautista García-Vera, Universidad Complutense de Madrid (España) José Manuel Gómez y Méndez, Universidad de Sevilla (España) Mercedes González Sanmamed, Universidad de La Coruña (España) Manuel González-Sicilia Llamas, Universidad Católica San Antonio-Murcia (España) Francisco David Guillén Gámez (España) António José Meneses Osório, Universidade do Minho (Portugal) Carol Halal Orfali, Universidad Tecnológica de Chile INACAP (Chile) Mauricio Hernández Ramí rez, Universidad Autónoma de Tamaulipas (México) Ana Landeta Etxeberrí a, Universidad a Distancia de Madrid (UDIMA) Linda Lavelle, Plymouth Institute of Education (Inglaterra) Fernando Leal Ríos, Universidad Autónoma de Tamaulipas (México) Paul Lefrere, Cca (UK) Carlos Marcelo Garcí a, Universidad de Sevilla (España) Francois Marchessou, Universidad de Poittiers, Parí s (Francia) Francesca Marone, Università degli Studi di Napoli Federico II (Italia) Francisco Martí nez Sánchez, Universidad de Murcia (España) Ivory de Lourdes Mogollón de Lugo, Universidad Central de Venezuela (Venezuela) Angela Muschitiello, Università degli studi di Bari (Italia) Margherita Musello, Università degli Studi Suor Orsola Benincasa (Italia) Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Trinidad Núñez Domínguez, Universidad de Sevilla (España) James O’Higgins, de la Universidad de Dublín (UK) José Antonio Ortega Carrillo, Universidad de Granada (España) Gabriela Padilla, Universidad Autónoma de Tumalipas (México) Ramón Pérez Pérez, Universidad de Oviedo (España) Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Julio Manuel Barroso Osuna, Universidad de Sevilla (España) Rosalía Romero Tena. Universidad de Sevilla (España) Hommy Rosario, Universidad de Carabobo (Venezuela) Pier Giuseppe Rossi, Università di Macerata (Italia) Jesús Salinas Ibáñez, Universidad Islas Baleares (España) Yamile Sandoval Romero, Universidad de Santiago de Cali (Colombia) Albert Sangrá Morer, Universidad Oberta de Catalunya (España) Ángel Sanmartí n Alonso, Universidad de Valencia (España) Horacio Santángelo, Universidad Tecnológica Nacional (Argentina) Francisco Solá Cabrera, Universidad de Sevilla (España) Jan Frick, Stavanger University (Noruega) Karl Steffens, Universidad de Colonia (Alemania) Seppo Tella, Helsinki University (Finlandia) Hanne Wacher Kjaergaard, Aarhus University (Dinamarca) Píxel-Bit. Revista de Medios y Educación. 2022 - ISSN: 1133-8482. e-ISSN: 2171-7966. FACTOR DE IMPACTO (IMPACT FACTOR) SCOPUS (CiteScore Tracker 2021: 3.6) - Journal Citation Indicator (JCI). Posición 400 de 722 revistas Puntuación: 44.67 (Q3) - FECYT: Ciencias de la Educación. Cuartil 2. Posición 16. Puntuación: 39,80- DIALNET MÉTRICAS (Factor impacto 2019: 1,355. Q1 Educación. Posición 11 de 2228) - REDIB Calificación Glogal: 29,102 (71/1.119) Percentil del Factor de Impacto Normalizado: 95,455- ERIH PLUS - Clasificación CIRC: B- Categoría ANEP: B - CARHUS (+2018): B - MIAR (ICDS 2020): 9,9 - Google Scholar (global): h5: 42; Mediana: 42 - Journal Scholar Metric Q2 Educación. Actualización 2016 Posición: 405ª de 1,115- Criterios ANECA: 20 de 21 - INDEX COPERNICUS Puntuación ICV 2019: 95.10 Píxel-Bit, Revista de Medios y Educación está indexada entre otras bases en: SCOPUS, Fecyt, DOAJ, Iresie, ISOC (CSIC/CINDOC), DICE, MIAR, IN-RECS, RESH, Ulrich’s Periodicals, Catálogo Latindex, Biné-EDUSOL, Dialnet, Redinet, OEI, DOCE, Scribd, Redalyc, Red Iberoamericana de Revistas de Comunicación y Cultura, Gage Cengage Learning, Centro de Documentación del Observatorio de la Infancia en Andalucía. Además de estar presente en portales especializados, Buscadores Científicos y Catálogos de Bibliotecas de reconocido prestigio, y pendiente de evaluación en otras bases de datos. EDITA (PUBLISHED BY) Grupo de Investigación Didáctica (HUM-390). Universidad de Sevilla (España). Facultad de Ciencias de la Educación. Departamento de Didáctica y Organización Educativa. C/ Pirotecnia s/n, 41013 Sevilla. Dirección de correo electrónico: r[email protected] . URL: https://revistapixelbit.com/ ISSN: 1133-8482; e-ISSN: 2171-7966; Depósito Legal: SE-1725-02 Formato de la revista: 16,5 x 23,0 cm Los recursos incluidos en Píxel Bit están sujetos a una licencia Creative Commons Attribution-NonCommercial- ShareAlike 4.0 Unported (Reconocimiento-NoComercial-CompartirIgual)(CC BY-NC-SA 4.0), en consecuencia, las acciones, productos y utilidades derivadas de su utilización no podrán generar ningún tipo de lucro y la obra generada sólo podrá distribuirse bajo esta misma licencia. En las obras derivadas deberá, asimismo, hacerse referencia expresa a la fuente y al autor del recurso utilizado. ©2022 Píxel-Bit. No está permitida la reproducción total o parcial por ningún medio de la versión impresa de la Revista Píxel- Bit. Píxel-Bit. Revista de Medios y Educación. 2022 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 64 MAYO 2022 índice 1.- Propósitos de uso de tecnologías digitales en estudiantes de pedagogía chilenos: Construcción de una escala basada en competencias digitales // Chilean student teachers’ purposes of use of digital technologies: Construction of a scale based on digital competences Cristian Cerda González, Miriam León Herrera, José Luis Saiz Vidallet, Lorena Villegas Medrano 2.- Los estereotipos de género en las producciones audiovisuales: diseño y validación de la tabla de análisis EG_5x4 // Gender stereotypes in audio-visual productions: design and validation of the GS_5x4 analysis table Elia Saneleuterio-Temporal, Sandra Soler-Campo 3.- Las tecnologías como elemento mediador de procesos de autoinclusión digital de mujeres rurales // Technologies as a mediating element of processes of digital self-inclusion of rural women María Caridad Sierra Daza, María Rosa Fernández Sánchez 4.- Estereotipos asociados al cuerpo humano: análisis de aplicaciones móviles usadas en la educación físico-deportiva // Stereotypes associated with the human body: analysis of mobile devices applications used in physical and sports education José Díaz Barahona, Teresa Valverde Esteve, Irene Moya-Mata 5.- Computación en la Nube y Software Abierto para la Escuela Rural Europea // Cloud Computing and Open Source Software for European Rural Schools Maria José Rodríguez Malmierca, María del Carmen Fernandez Morante, Beatriz Cebreiro López, Francisco Mareque León 6.- Evaluar el uso de las redes sociales de lectura en la educación literaria en contextos formales e informales. Diseño y validación de la herramienta RESOLEC // To evaluate the use of social reading networks in literary education in formal and informal contexts. Design and validation of the RESOLEC tool Lucía Hernández Heras, Diana Muela Bermejo, Rosa Tabernero Sala 7.- Competencia digital del alumnado universitario y rendimiento académico en tiempos de COVID-19 // Digital competence of university students and academic performance in times of COVID-19 Francisco Javier García-Prieto, David López-Aguilar, Manuel Delgado-García 8.- Por una Educación Maker Inclusiva. Revisión de la Literatura (2016-2021) // For an Inclusive Maker Education. Literature review (2016- 2021) Prudencia Gutiérrez-Esteban, Gema Jaramillo Sánchez 9.- Flipped Learning y su distribución de los tiempos de aprendizaje: Una experiencia en educación secundaria // Flipped Learning and its learning times distribution: An experience in secondary education Ramon Palau, Vicent Fornons 10.- Evaluación de la competencia digital del alumnado de ciclo superior de primaria en Cataluña // Assessment of primary education students’ digital competence in Catalonia Adrián Baeza-González, José-Luis Lázaro-Cantabrana, Mònica Sanromà-Giménez 7 27 55 79 105 139 165 201 235 265 Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 Evaluación de la competencia digital del alumnado de ciclo superior de primaria en Cataluña Assessment of primary education students’ digital competence in Catalonia D. Adrián Baeza-González Estudiante de Doctorado. Universitat Rovira i Virgili. España Dr. José Luis Lázaro-Cantabrana Profesor en comisión de servicios. Universitat Rovira i Virgili. España Dra. Mònica Sanromà-Giménez Profesora asociada. Universitat Rovira i Virgili. España Recibido: 2022/02/05; Revisado: 2022/03/23; Aceptado: 2022/04/28; Preprint: 2022/04/30; Publicado: 2022/05/01 RESUMEN La Competencia Digital (CD) adquiere un valor fundamental para ejercer una ciudadanía activa. No obstante, ante la falta de herramientas de diagnóstico de su nivel de desarrollo en educación primaria y debido a la dificultad de medir esta variable en edades tempranas, en este artículo se presenta una prueba que evalúa, de forma objetiva y global, los conocimientos vinculados a la CD de estudiantes de último ciclo de educación primaria. El proceso de trabajo, en cuanto al diseño y pilotaje de esta herramienta, se presenta en cuatro fases: revisión de literatura, juicio de expertos, experiencia piloto y encuesta a usuarios. Como resultado se presentan dos productos: el instrumento de evaluación y un protocolo de aplicación para los docentes. Los datos obtenidos indican un nivel de desarrollo bajo de la CD aunque éste es mejor en el caso de los estudiantes que realizan un trabajo sistemático de esta competencia en su centro educativo. Como conclusión destacamos la importancia de llevar a cabo procesos de evaluación objetivos de la CD que, además de para medir los conocimientos de los estudiantes, sirvan para implementar medidas compensadoras de los efectos de la brecha digital y mejorar las habilidades digitales desde edades tempranas. ABSTRACT Digital competence (DC) is of fundamental value for active citizenship. However, given the lack of diagnostic tools to assess children’s acquisition of DC during primary education and due to the difficulty of measuring this variable at an early age, this article presents a test that objectively and comprehensively assesses the DC of students in the last cycle of primary education. The design and piloting of this tool is presented in four phases: literature review, expert opinion, pilot testing and user survey. Two resulting products are presented: the evaluation instrument and an application protocol for teachers. The data obtained indicate a low level of DC, although it is higher among students who work systematically on this competence in their school. In conclusion, we highlight the importance of objective DC assessment processes that, in addition to measuring students' knowledge, can highlight which measures should be adopted to close the digital divide and improve digital skills from an early age. PALABRAS CLAVES · KEYWORDS Tecnología digital; Evaluación; Prueba educativa; Educación básica; Tecnología de la información; Competencia digital Digital technology; Evaluation; Educational testing; Basic Education; Information technology; Digital competence Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 266 1. Introducción 1.1 Sociedad y brecha digital La introducción masiva de las tecnologías digitales (TD) en todos los ámbitos de nuestra vida (Comisión Europea, 2013) ha abierto infinidad de nuevas posibilidades tanto en términos laborales, como de educación, de ocio y de las relaciones sociales, etc., pero también ha traído consigo retos y desigualdades a los que hacer frente (Fundación Telefónica, 2021). En este trabajo ponemos el foco de atención en el fenómeno de la brecha digital, entendida como una realidad innegable de nuestra sociedad (OECD, 2001), y que con la pandemia del COVID-19 se ha hecho más evidente (Rodicio-García et al., 2021). Estudios recientes, señalan la multidimensionalidad de esta brecha, evidenciando la distancia entre las personas que disponen no sólo de acceso, sino de capacitación para utilizar las TD e Internet, y aquellas que, bien por falta de infraestructuras y recursos, y/o por falta de formación, no pueden aprovechar su potencial (Fundación Ferrer i Guardia, 2020). Dar solución a esta problemática pasa, inevitablemente, por desarrollar la competencia digital (CD) de los ciudadanos. Tanto es así, que ya en el año 2007 la Comisión Europea concibió la CD como clave para lograr un adecuado desarrollo personal, inclusión social, ciudadanía activa y empleabilidad de los ciudadanos europeos (Comisión Europea, 2007; 2018). Por su parte, la ONU en sus Objetivos de Desarrollo Sostenible (ODS) (United Nations, 2015) establece en el ODS 4 aumentar el número de jóvenes y adultos con las competencias necesarias para acceder al empleo y al emprendimiento, entre las que indudablemente se encuentra la CD, así como en el ODS 5 hace referencia a la necesidad de mejorar el uso de las TD para promover el empoderamiento de las mujeres. En este contexto, la escuela como institución compensadora de desigualdades, debería garantizar que los jóvenes reciban una formación de calidad en términos de CD desde los primeros años de escolarización (Comisión Europea, 2007; 2018). En España, la incorporación explícita de la CD en el currículum escolar como una de las ocho competencias básicas se produjo en el año 2006 con la aprobación de la Ley Orgánica 2/2006, de 3 de mayo, de Educación (LOE), y se ha mantenido en todas las leyes educativas hasta la actualidad. No obstante, el tratamiento de la CD en el currículum escolar es meramente descriptivo, no contando con una concreción, por ejemplo, de contenidos, objetivos y orientaciones metodológicas y de evaluación (Pérez-Escoda et al., 2016). 1.2 Definición y evaluación de la CD La necesidad de evaluar la CD como una competencia clave se ha puesto de manifiesto en diferentes propuestas internacionales (De Pablos, 2016). En consecuencia, se han producido grandes avances en la elaboración de modelos y estándares de conceptualización de la CD estos últimos años (Tabla 1). Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 267 Tabla 1 Marcos y estándares referentes sobre conceptualización y evaluación de la CD Marco o estándar Contexto Conceptualización Referencia ISTE Standards for Students Internacional 7 áreas: (1) Aprendices empoderados (2) Ciudadanía digital (3) Construcción de conocimiento (4) Diseño innovador (5) Pensamiento computacional (6) Comunicación creativa (7) Colaboración global International Society for Technology in Education (ISTE) (2016) Digital Kids Asia- Pacific (DKAP) Framework Internacional 16 competencias agrupadas en 5 dominios: (1) Alfabetización digital (2) Seguridad y resiliencia en línea (3) Participación y civismo en línea (4) Inteligencia emocional digital (5) Creatividad e innovación digitales UNESCO (2016) DQ Framework: Global Standards for Digital Literacy, Skills, and Readiness Internacional 24 competencias definidas en 3 niveles de desarrollo y agrupadas en 8 áreas: (1) Identidad (2) Uso (3) Seguridad (safety) (4) Seguridad (security) (5) Inteligencia emocional (6) Alfabetización (7) Comunicación (8) Derechos DQ Institute (2019) Digcomp 2.1: The Digital Competence Framework for Citizens with eight proficiency levels and examples of use Europeo 21 competencias definidas en 8 niveles de desarrollo y agrupadas en 5 áreas: (1) Información y alfabetización digital (2) Comunicación y colaboración online (3) Creación de contenidos digitales (4) Seguridad en red (5) Resolución de problemas Carretero et al. (2017) Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 274 todos los valores se encuentran dentro de lo aceptable, excepto los referentes al ítem 6, que apuntan a un problema con esta pregunta, tal y como veremos a continuación. Tabla 4 Datos descriptivos de los ítems de la prueba de CD Ítem Correlación biserial* Desv. Est. Asimetría** Curtosis*** P01 0,239 0,419 -1,326 -0,244 P02 0,452 0,495 0,337 -1,907 P03 0,412 0,501 0,111 -2,010 P04 0,513 0,487 -0,502 -1,767 P05 0,436 0,501 -0,111 -2,010 P06 -0,065 0,362 1,935 1,763 P07 0,535 0,496 0,291 -1,937 P08 0,406 0,501 0,111 -2,010 P09 0,469 0,500 0,156 -1,998 P10 0,421 0,499 0,178 -1,990 Nota: *El valor debe ser >.20 para ser aceptable y >0.39 para ser bueno (Backoff et al., 2000); **Valores entre (-1,1); *** Valores entre (-3,3) Finalmente, calculamos el índice de dificultad de cada distractor (Tabla 5), en función del porcentaje de aciertos de la muestra, siguiendo el criterio de Backoff et al. (2000): >0.86 Altamente fáciles, 0.74 a 0.86, Medianamente fáciles 0.53 – 0.73 Dificultad media 0.33 – 0.52 Medianamente difíciles < 0.33 Altamente difíciles. Para completar este análisis, también es necesario estudiar los porcentajes que obtienen distractores (en nuestra prueba tenemos 4 alternativas para los ítems P01 a P10; y 2 alternativas para P03); esto nos da ayuda a entender de manera completa la calidad de cada ítem dentro de la prueba: Tabla 5 Peso de cada distractor y dificultad por ítem Distractores A B C D Índice de dificultad Dificultad P01 0.022 0.049 0.154 0.775 0.77 Medianamente fácil P02 0.291 0.148 0.143 0.418 0.42 Medianamente difícil P03 0.527 0.473 0.47 Medianamente difícil P04 0.621 0.154 0.165 0.060 0.62 Medianamente fácil P05 0.137 0.527 0.176 0.159 0.53 Medianamente fácil P06 0.121 0.330 0.154 0.396 0.40 Altamente difícil P07 0.429 0.181 0.242 0.148 0.43 Medianamente fácil P08 0.396 0.016 0.473 0.115 0.47 Medianamente fácil P09 0.154 0.462 0.308 0.077 0.46 Medianamente fácil P10 0.104 0.264 0.456 0.176 0.46 Medianamente fácil Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 275 Observamos que la mayoría de ítems se encuentran en un nivel medio de dificultad, y sólo encontramos la pregunta P06 muy difícil, referente al uso y organización de los Entornos personales de aprendizaje (PLEs), que deberá ser revisada, ya que como hemos visto anteriormente, tampoco presenta valores aceptables de correlación biserial, y, además, es una pregunta confusa, ya que la mayoría de distractores son elegidos en porcentaje similar. Para el resto de preguntas, cabría mejorar sólo una de las alternativas de la pregunta 1, 4 y 9 (valores en cursiva en la Tabla 5), que han sido elegidas por menos del 10% de la muestra. 3.3 Validez de constructo Según el marco de la CD del Departament d’Ensenyament (2013, 2021), la variable CD se divide en 4 dimensiones y en 10 competencias, correspondientes cada una a un ítem de nuestra prueba. Para calcular la validez de constructo, se realiza un análisis factorial exploratorio mediante componentes principales, con rotación Varimax (AFE; KMO=0,635; p<.001), del que emergen 4 factores sin forzar. Estos factores se corresponden con las dimensiones teóricas (F3: Dimensión instrumentos y aplicaciones; F1: Dimensión de tratamiento de la información y organización de los PLEs; F4: Dimensión de comunicación interpersonal y colaboración; F2: Dimensión de hábitos, civismo e identidad digital, ver tabla 4). Además, cada competencia está en el factor correspondiente, excepto P03. Esto puede ser debido al tipo de pregunta tipo verdadero/falso que se ha diseñado para esta competencia. Por lo tanto, damos como válidos estos primeros valores de EFA con una n pequeña y un valor KMO que se acerca al 0.70 aceptable y con un 54% de la varianza total explicada, que nos indica un buen ajuste al modelo teórico, aun con la tipología de ítems dicotómicos y el tamaño limitado de la muestra. Con estos resultados podemos decir que el instrumento cumple la validez de constructo, y sólo nos queda medir la fiabilidad. 3.4 Fiabilidad Para calcular la fiabilidad de una prueba con ítems dicotómicos, no se recomienda usar el Alfa de Cronbach, si no un índice que tenga en cuenta el carácter no continuo de nuestros datos y sea más adecuado para escalas dicotómicas que el índice KR20 (Dominguez-Lara, 2012). Siguiendo a este autor y a Elosua (Oliden & Zumbo, 2008), hemos calculado mediante Excel el índice Alfa Ordinal (α=0,757), superior al índice KR20 (=0,550) y aceptable según los criterios establecidos por estos autores. En conclusión, podemos afirmar que la prueba es fiable, aunque se debe estudiar el ítem P06 para futuras versiones (Tabla 6). 3.5 Validez externa Se analizó el grado en el que el resultado de la prueba correlaciona con un criterio externo, como es el hecho de haber recibido una formación previa en CD. Se esperaba que los alumnos que hubieran recibido esta formación obtuvieran una puntuación mayor en la prueba. Una vez realizado el análisis descriptivo de las puntuaciones, se comprobó si la diferencia entre las medias de los dos grupos era significativa, para lo que se usó la prueba Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 276 de contraste no paramétrica de Mann-Whitney. Se consideró que, a pesar de la distribución normal de la muestra y la igualdad de sus varianzas, daría un resultado más acertado ante el limitado número de sujetos de la muestra. Su resultado (U= 464, p < .001), confirmó que existía una diferencia significativa entre los grupos y, por tanto, que la herramienta diseñada discrimina según el criterio externo establecido. Tabla 6 Matriz de componentes rotados Factor 1 Factor 2 Factor 3 Factor 4 Comunalidad P01 -0,159 -0,057 0,826 -0,001 0,711 P02 0,205 0,176 0,648 -0,040 0,494 P03 0,395 0,228 -0,099 0,131 0,235 P04 0,466 -0,078 0,129 0,535 0,526 P05 0,770 -0,182 0,090 -0,023 0,635 P06 -0,527 -0,383 0,081 0,360 0,561 P07 0,244 0,272 0,046 0,548 0,436 P08 0,032 0,110 -0,109 0,808 0,678 P09 -0,041 0,697 0,247 0,165 0,576 P10 0,147 0,730 -0,052 -0,066 0,561 Nota: Método de extracción: análisis de componentes principales. Método de rotación: Varimax con normalización Kaiser. La rotación ha convergido en 7 iteraciones. Figura 3 Distribución del alumnado de la muestra según nota obtenida total 0,0% 5,0% 10,0% 15,0% 20,0% 25,0% 0 5 10 15 20 25 30 35 40 123456789 Distribución del alumnado según nota CD (/10) N % Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 277 3.6 Valoración de la experiencia por los usuarios La aplicación del cuestionario indicó una satisfacción general de docentes y estudiantes. Los docentes comunicaron que se había respetado un buen clima de trabajo durante la prueba; que se había realizado de manera individual por el alumnado; que no había habido incidencias técnicas, salvo un docente que comentó que la página desapareció cuando estaban realizando la prueba. No hubo dudas durante la prueba, salvo dos docentes que comentaron que sus alumnos no entendían algunas palabras. Por último, se preguntó a los maestros acerca del tiempo que había llevado a los alumnos concluir la prueba. Se estableció, en su mayoría, un tiempo de entre 15 y 30 minutos, salvo un docente que utilizó 45 minutos. Respecto a la opinión de los estudiantes, estos manifestaron un alto grado de conformidad con la prueba a través de distintas preguntas que pretendían determinar el grado en el que ésta era comprensible (M=8.5; D.E.= .57), las preguntas y respuestas estaban redactadas de manera clara (M=8.5 y 8 respectivamente D.E.= 1.7 y 1.8), las respuestas eran difíciles (Me=3; D.E.= 1.2), la cantidad de preguntas era adecuada (M=5.5; D.E.= 1.8), la temática de la prueba era interesante (M=9; D.E.= .8), el diseño visual de la prueba era atractivo (M=8.5; D.E.= .1) y la prueba era motivadora (M=7; D.E.= 1.5). Por otra parte, también se recogió una serie de respuestas cualitativas que reafirmaron el agrado general respecto a la prueba, y manifestaron algunas mejoras que podrían realizarse como: reducir la cantidad de texto de la prueba, incluir un mayor número de imágenes que complementen la información textual, utilizar un lenguaje más simple que facilite la comprensión de enunciados y respuestas, y reducir la longitud de la prueba. 3.7 Descripción de la herramienta y protocolo creado 3.7.1. Instrumento de evaluación de la CD (Anexo 1) A partir del proceso presentado, se configuró la tercera versión del instrumento, el cual se constituye como un cuestionario online para la evaluación de la CD de estudiantes de ciclo superior de educación primaria. Este cuestionario incluye un primer apartado en el que están presentes una serie de preguntas para la recogida de información personal de los participantes (género, centro en el que están matriculados, edad, curso, y si ha repetido algún curso con anterioridad), garantizando que estos datos serán tratados de forma ética y confidencial, y con el único objetivo de poder analizar con mayor profundidad las respuestas obtenidas. En segundo lugar, cuenta con un total de diez preguntas destinadas a la evaluación de la CD propiamente dicha, distribuidas en cuatro dimensiones, siguiendo la conceptualización de esta competencia marcada por la Generalitat de Catalunya (Departament d’Ensenyament, 2013, 2021). De esta manera, cada pregunta va dirigida a la evaluación de cada una de las 10 subcompetencias que engloban la CD según el modelo anteriormente mencionado. A cada subcompetencia se asocia un indicador que se toma como referencia para elaborar las preguntas de evaluación (Tabla 7). La mayoría de estas preguntas son tipo test, con 4 opciones de respuesta con tan solo una opción correcta. También se incluye una pregunta conformada por un total de 6 consejos sobre los cuales Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 278 los estudiantes deberán determinar, de forma dicotómica, si son adecuados o no. Cada pregunta pondera un 10% en el resultado final de la prueba. Tabla 7 Relación dimensiones, preguntas, subcompetencias e indicadores D P Subcompetencia de la CD Indicador El alumno es capaz de… D1 P1 Competencia 1. Seleccionar, utilizar y programar dispositivos digitales y sus funcionalidades de acuerdo con las actividades a realizar. Utilizar los dispositivos digitales y sus funcionalidades básicas de manera autónoma para realizar tareas sencillas. P2 Competencia 2. Utilizar las funciones básicas de las aplicaciones de edición de textos, tratamiento de datos numéricos y presentaciones multimedia. Producir documentos que combinen texto, imágenes, datos numéricos, representaciones gráficas, enlaces u otros elementos multimedia. P3 Competencia 3. Utilizar programas y aplicaciones de creación de dibujo y edición de imagen fija y en movimiento. Utilizar aplicaciones de dibujo y editores de imagen, de video y de audio para realizar producciones sencillas. D2 P4 Competencia 4. Buscar, contrastar y seleccionar información digital considerando diversas fuentes y entornos digitales. Planificar búsquedas básicas y seleccionar la información más adecuada a los objetivos propuestos y organizar las fuentes seleccionadas. P5 Competencia 5. Construir nuevo conocimiento personal mediante estrategias de tratamiento de la información con el soporte de aplicaciones digitales. Organizar nuevo conocimiento de manera autónoma, integrando más de un recurso digital (audio, video, enlaces...) utilizando las herramientas más adecuadas. P6 Competencia 6. Organizar y emplear los propios entornos personales digitales de trabajo y aprendizaje. Organizar el dosier personal de aprendizaje para tener una compilación de las aplicaciones más utilizadas. D3 P7 Competencia 7. Realizar comunicaciones interpersonales virtuales y publicaciones digitales. Seleccionar las aplicaciones digitales de comunicación y publicación más adecuadas. P8 Competencia 8. Realizar actividades en grupo utilizando herramientas y entornos virtuales de trabajo colaborativo. Seleccionar la aplicación digital colaborativa más adecuada a la tarea a realizar mediante sus funcionalidades más habituales. Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 279 D4 P9 Competencia 9. Desarrollar hábitos de uso saludables de la tecnología. Identificar situaciones de riesgo que pueden ser susceptibles de producir problemas de adicción en las tecnologías digitales, y las conductas saludables que se derivan de un buen uso. P10 Competencia 10. Actuar de forma crítica, prudente y responsable en el uso de las TIC, considerando aspectos éticos, legales de seguridad, de sostenibilidad y de identidad digital. Reconocer situaciones potencialmente peligrosas o poco éticas en la construcción de la propia identidad digital. Nota: (D) dimensión, (P) pregunta En el momento de diseñar la prueba de evaluación se partió de las siguientes premisas: • Preguntas formuladas a partir de situaciones cotidianas en forma de casos. • Uso de un lenguaje inclusivo, claro, preciso y utilización de estrategias de lectura fácil en la redacción que faciliten la comprensión lectora: elementos gráficos y ayudas visuales, marcas y construcción sintáctica simple. • Opciones de respuesta precisas en las que la redacción y la comprensión lectora no sea un factor condicionante para determinar su validez. • Uso de ejemplos en el caso de conceptos propios de la TD. El tiempo que se estima necesario para la cumplimentación de la prueba es de 20-30 minutos. 3.5.2. Protocolo de aplicación (Anexo 2) Para facilitar la labor docente a la hora de aplicar el cuestionario, se creó también un protocolo de aplicación con instrucciones detalladas acerca de cómo debía realizarse su implementación en las aulas. En este documento, además de agradecer la participación en la experiencia y realizar una pequeña descripción sobre la naturaleza de la prueba, se incluyen una serie de indicaciones a tener en cuenta durante su realización por parte de los alumnos, tales como la necesidad de un soporte tecnológico para su realización, la imposibilidad de contestar las preguntas que le surjan al alumnado en relación a los contenidos concretos de la prueba, la realización de la misma de manera individual y en silencio, etc. Esta guía termina con una mención a la legislación específica tomada como referencia para garantizar a los participantes el tratamiento ético y confidencial de sus datos. Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 280 4. Discusión y conclusiones Este estudio toma en consideración los marcos existentes para la conceptualización de la CD y presenta una herramienta de evaluación válida y fiable que, tan solo modificando uno de los ítems, permitirá obtener una evaluación final objetiva de la CD al final de la etapa de educación primaria según las cuatro dimensiones de la CD (Departament d’Ensenyament, 2013, 2021). Este instrumento ha obtenido valores de validez y fiabilidad similares a los presentados por García-Valcárcel y Santiago (2020), pero con menos ítems (10 vs 40), y adaptado a alumnado de primaria (10-12 años). Los resultados obtenidos en el estudio piloto están en consonancia con los estudios previos que se han analizado (tabla 3), los cuales indican un nivel medio-bajo de CD (Colás- Bravo et al., 2017; Hutchinson et al., 2016; Martínez-Piñeiro et al. 2019; Paredes-Labra et al., 2019), en especial en áreas como la creación de contenidos (Amor & Serrano, 2019; Colás-Bravo et al., 2017; Martínez-Piñeiro et al., 2019; Paredes-Labra et al., 2019; Zhang & Zhu, 2016), el uso de la información (Martínez-Piñeiro et al., 2019; Paredes-Labra et al., 2019) y la seguridad en red (Colás-Bravo et al., 2017). Por otra parte, se ha constatado también que el grupo que ha realizado una formación específica sobre CD ha obtenido mejores resultados en la evaluación. Por lo tanto, se pone de manifiesto que la formación en CD debe de ser una acción planificada y sistemática que debe abordarse de manera específica durante la educación primaria como propone el Departament d'Ensenyament (2013, 2021), coincidiendo también con las propuestas realizadas por algunos autores de los artículos revisados (Martínez-Piñeiro et al., 2019; Paredes-Labra et al., 2019; Pérez- Escoda et al., 2016; Zhang & Zhu, 2016). Las conclusiones de nuestro estudio pueden resultar útiles para maestros de educación primaria e investigadores ya que este proceso puede reproducirse para medir objetivamente, el nivel de desarrollo de la CD del alumnado al terminar esta etapa educativa. Este tipo de evaluación permite ayudar a disminuir la brecha digital mediante acciones preventivas y compensatorias, sobre todo con colectivos vulnerables, que vayan dirigidas a mejorar las habilidades relacionadas con la CD desde edades tempranas (Unesco, 2016; United Nations, 2015). Como todo estudio, este trabajo presenta sus limitaciones, como la muestra por conveniencia, la cual forma parte de los datos representativos que se están recolpilando en una muestra de todo el territorio español. Éste tiene en cuenta diferentes tipologías de centro y alumnado y deberá permitir seguir avanzando en la validación externa del instrumento. Somos conscientes de que la administración en formato web puede limitar su validez, por eso el protocolo presentado (anexo 2) es un elemento clave en la aplicación de la prueba. Un ejemplo es la aplicación del instrumento como una actividad de aula en la que tienen el apoyo del docente a la hora de garantizar que los estudiantes entienden correctamente el procedimiento y los casos que se formulan. De este modo, también se puede reducir el nivel de estrés del alumnado que se genera frente a cualquier prueba de evaluación. Por último, y tras los resultados preliminares obtenidos, hay que tener en cuenta otros aspectos como el análisis de la influencia del contexto socioeconómico a fin de recoger las máximas evidencias posibles de todas aquellas variables del entorno que pueden influir en el desarrollo de la competencia digital y, como consecuencia, en su evaluación. Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 281 5. Financiación El proyecto que condujo a este trabajo ha recibido financiación de la Fundación Bancaria "la Caixa" con el código de proyecto “LCF/PR/SR19/52540001”6. Información adicional Anexos 1 y 2: https://doi.org/10.5281/zenodo.6545999 Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 282 Assessment of the digital competence of pupils in upper primary school in Catalonia 1. Introduction 1.1 Society and the digital divide The massive introduction of digital technologies (DT) in all areas of our lives (European Commission, 2013) has opened up countless new possibilities in terms of employment, education, leisure and social relations, etc., but also challenges and inequalities that need to be faced (Fundación Telefónica, 2021). In this paper we focus on the phenomenon of the digital divide, which is a widely accepted reality in modern society (OE DC, 2001) and which has become more evident during and since the COVID-19 pandemic (Rodicio-García et al., 2021). Recent studies point to the multidimensional nature of this gap, highlighting the distance between people who have not only access to but also training in the use of DT and the Internet, and those who, either due to lack of infrastructure and resources, and/or lack of training, are unable to use them (Ferrer i Guardia Foundation, 2020). The solution to this problem inevitably involves developing citizens' digital competence (DC). Back in 2007, the European Commission began to stress the importance of DC to achieving adequate personal development, social inclusion, active citizenship and employability among European citizens (European Commission, 2007; 2018). More recently, the UN in its Sustainable Development Goals (SDGs) (United Nations, 2015) set out to increase the number of young people and adults with the skills needed to access employment and become entrepreneurs, which undoubtedly includes DC (SDG 4), and to improve the use of DTs to promote the empowerment of women (SDG 5). In this context, schools, as institutions that aim to reduce inequalities, should ensure that young people receive quality education in DC from the moment they begin school (European Commission, 2007; 2018). In Spain, DC were explicitly included in the school curriculum as one of the eight basic competences with the approval of Organic Law 2/2006, of 3 May, on Education (LOE), a status that it has retained in all subsequent education laws down to the present day. However, in the school curriculum the importance of DC is merely referred to and there is no specific content, objectives or methodological and assessment guidelines, for example (Pérez-Escoda et al., 2016). 1.2 Definition and assessment of DC The need to assess DC as a key competence has been highlighted in different international proposals (De Pablos, 2016). Consequently, recent years have seen major advances in the development of models and standards for conceptualising DC (Table 1). Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 283 Table 1 Frameworks and benchmarks on the conceptualisation and evaluation of DC Frame or standard Context Conceptualisation Reference ISTE Standards for Students International 7 areas: (8) Empowered learners (9) Digital citizenship (10) Knowledge building (11) Innovative design (12) Computational thinking (13) Creative communication (14) Global collaboration International Society for Technology in Education (ISTE) (2016) Digital Kids Asia- Pacific (DKAP) Framework International 16 competences grouped into 5 domains: (6) Digital literacy (7) Online security and resilience (8) Online participation and citizenship (9) Digital emotional intelligence (10) Digital creativity and innovation UNESCO (2016) DQ Framework: Global Standards for Digital Literacy, Skills, and Readiness International 24 competences defined in 3 levels of development and grouped in 8 areas: (9) Identity (10) Use (11) Safety (12) Security (13) Emotional intelligence (14) Literacy (15) Communication (16) Rights DQ Institute (2019) Digcomp 2.1: The Digital Competence Framework for Citizens with eight proficiency levels and examples of use European 21 competences defined in 8 levels of development and grouped in 5 areas: (6) Information and digital literacy (7) Online communication and collaboration (8) Digital content creation (9) Network security (10) Troubleshooting Carretero et al. (2017) Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 290 for items P01 to P10; and 2 alternatives for P03); this helps us to fully understand the quality of each item within the test: Table 5 Weight of each distractor and difficulty per item Distractors A B C D Difficulty index Difficulty P01 0.022 0.049 0.154 0.775 0.77 Moderately easy P02 0.291 0.148 0.143 0.418 0.42 Moderately difficult P03 0.527 0.473 0.47 Moderately difficult P04 0.621 0.154 0.165 0.060 0.62 Moderately easy P05 0.137 0.527 0.176 0.159 0.53 Moderately easy P06 0.121 0.330 0.154 0.396 0.40 Highly difficult P07 0.429 0.181 0.242 0.148 0.43 Moderately easy P08 0.396 0.016 0.473 0.115 0.47 Moderately easy P09 0.154 0.462 0.308 0.077 0.46 Moderately easy P10 0.104 0.264 0.456 0.176 0.46 Moderately easy We observe that most of the items are at a medium level of difficulty. The only very difficult question is P06, which refers to the use and organisation of Personal Learning Environments (PLEs) and which needs to be revised because, as was seen above, it also fails to present acceptable values of biserial correlation, and, furthermore, it is a confusing question, since most of the distractors are chosen in a similar percentage. For the remaining questions, only one of the alternatives in questions 1, 4 and 9, which were chosen by less than 10% of the sample (values in italics in the table), could be improved. 3.3 Construct validity The framework published by the Department of Education (2013, 2021) divides the DC variable into 4 dimensions and 10 competencies, each corresponding to one item on our test. To calculate the construct validity, an exploratory factor analysis was carried out using principal components with Varimax rotation (AFE; KMO=0.635; p<.001), from which 4 unforced factors emerged. These factors correspond to the theoretical dimensions F3: Instruments and applications dimension; F1: Information processing and organisation of PLEs dimension; F4: Interpersonal communication and collaboration dimension; F2: Habits, civics and digital identity dimension (see table 4). In addition, each competence is in the corresponding factor, except P03. This may be due to the type of true/false question designed for this competence. Therefore, we consider these first EFA values to be valid, with a small n and a KMO value that is close to the acceptable 0.70 and with 54% of the total variance explained, which indicates a good fit to the theoretical model, even with the dichotomous item typology and the limited sample size. With these results we can say that the instrument complies with construct validity, and all that remains is to measure reliability. Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 291 3.4 Reliability To calculate the reliability of a test with dichotomous items, we felt that Cronbach's alpha was not the best option; instead we used an index that takes into account the non-continuous nature of our data and is more suitable for dichotomous scales than the KR20 index (Dominguez-Lara, 2012). Following that author and Elosua (Oliden & Zumbo, 2008), we used Excel to calculate the Ordinal Alpha index (α=0.757), which is higher than the KR20 index (=0.550) and acceptable according to the criteria established by those authors. In conclusion, we can affirm that the test is reliable, although item P06 should be studied for future versions. Table 6 Rotated component matrix Factor 1 Factor 2 Factor 3 Factor 4 Community P01 -0.159 -0.057 0.826 -0.001 0.711 P02 0.205 0.176 0.648 -0.040 0.494 P03 0.395 0.228 -0.099 0.131 0.235 P04 0.466 -0.078 0.129 0.535 0.526 P05 0.770 -0.182 0.090 -0.023 0.635 P06 -0.527 -0.383 0.081 0.360 0.561 P07 0.244 0.272 0.046 0.548 0.436 P08 0.032 0.110 -0.109 0.808 0.678 P09 -0.041 0.697 0.247 0.165 0.576 P10 0.147 0.730 -0.052 -0.066 0.561 Note: Extraction method: principal component analysis. Rotation method: Varimax with Kaiser normalisation. Rotation has converged in 7 iterations. 3.5 External validity We analysed the extent to which the test score correlates with an external criterion, such as having received prior DC training. It was expected that students who had received such training would score higher on the test. Once we had completed the descriptive analysis of the scores, we tested the difference between the means of the two groups for significance using the non-parametric Mann-Whitney test. We considered that, despite the normal distribution of the sample and the equality of their variances, this would provide a more accurate result given the limited number of subjects in the sample. The result (U= 464, p < .001) confirmed that there was a significant difference between the groups and, therefore, that the tool discriminates on the basis of the external criterion. Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 292 Figure 3 Distribution of students in the sample according to total marks obtained 3.6 User rating of the experience The application of the questionnaire indicated a general satisfaction of both teachers and students. The teachers reported that there was a good working atmosphere during the test; that the test was carried out individually by the students; and that there were no technical incidents, except for when one teacher commented that the page disappeared while the students were taking the test. Teachers generally reported that the students did not need to ask any questions during the test, although two teachers commented that their students did not understand some words. Finally, teachers were asked about the time it took for students to complete the test. For the most part, a time of between 15 and 30 minutes was established, except for one teacher who took 45 minutes. Regarding the students' opinion, they expressed a high degree of agreement with the test through different questions that aimed to determine the degree to which the test was understandable (M=8.5; S.D.= . 57), that the questions and answers were clearly written (M=8.5 and 8 respectively S.D.= 1.7 and 1.8), that the answers were difficult (Me=3; S.D.= 1.2), that the number of questions was adequate (M=5.5; S.D.= 1.8), that the subject matter of the test was interesting (M=9; S.D.= . 8), that the visual design of the test was attractive (M=8.5; S.D.= . 1) and that the test was motivating (M=7; S.D.= 1.5). Furthermore, a number of qualitative responses were also collected that reaffirmed general satisfaction with the test, and stated certain improvements that could be made, such as reducing the amount of text in the test, including a greater number of images to complement the textual information, using simpler language to facilitate the understanding of statements and answers, and reducing the length of the test. 0,0% 5,0% 10,0% 15,0% 20,0% 25,0% 0 5 10 15 20 25 30 35 40 123456789 Distribution of students by CD score (/10) N Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 293 3.7 Description of the tool and protocol created 3.7.1. DC assessment tool (Annex 1) On the basis of the process presented, we configured the third version of the instrument, which is an online questionnaire for evaluating the DC of upper primary school students. The first section of this questionnaire has a series of questions for collecting personal information from the participants (gender, centre where they are enrolled, age, year, and whether they have repeated a year), thus guaranteeing that these data will be treated ethically and confidentially with the sole objective of analysing the responses obtained in greater depth. The questionnaire has a total of ten questions distributed in four dimensions for assessing DC, in line with the conceptualisation of this competence established by the Catalan Department of Education (Departament d'Ensenyament, 2013, 2021). In this way, each question assesses each of the 10 sub-competences that comprise QOL according to the aforementioned model. Each sub-competence is associated with an indicator that is used as a reference for drawing up the assessment questions (table 7). Most of these are multiple-choice questions, with 4 possible answer options, only one of which is correct. There is also a question consisting of 6 pieces of advice which students must determine are appropriate or not. Each question is weighted at 10% of the final result of the test. Table 7 Relationship between dimensions, questions, sub-competences and indicators D P Sub-competence of the DC Indicator The student is able to... D1 P1 Competence 1. Select, use and programme digital devices and their functionalities according to the activities to be performed. Use digital devices and their basic functionalities autonomously to perform simple tasks. P2 Competence 2. Use the basic functions of text editing, numerical data processing and multimedia presentation applications. Produce documents combining text, images, numerical data, graphical representations, links or other multimedia elements. P3 Competence 3. Use programmes and applications to create drawings and edit still and moving images. Use drawing applications and image, video and audio editors to produce simple productions. D2 P4 Competence 4. Search, contrast and select digital information from different digital sources and environments. Plan basic searches and select the most appropriate information for the proposed objectives and organise the selected sources. Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 294 P5 Competence 5. Construct new personal knowledge through information processing strategies supported by digital applications. Organise new knowledge autonomously, integrating more than one digital resource (audio, video, links...) using the most appropriate tools. P6 Competence 6. Organise and use own personal digital work and learning environments. Organise the personal learning dossier in order to have a compilation of the most used applications. D3 P7 Competence 7. Conduct virtual interpersonal communications and digital publications. Select the most appropriate digital communication and publishing applications. P8 Competence 8. Carry out group activities using virtual collaborative work tools and environments. Select the most appropriate collaborative digital application for the task to be carried out. D4 P9 Competence 9. Develop healthy habits for using digital technology. Identify risk situations that could lead to addiction to digital technologies, and identify healthy behaviours that derive from a good use. P10 Competence 10. Act critically, prudently and responsibly in the use of ICT by considering ethical, legal, security, sustainability and digital identity aspects. Recognise potentially dangerous or unethical situations in the construction of one's own digital identity. Note: (D) dimension, (P) question The evaluation test was designed to ensure that it contains the following: • Questions formulated from everyday situations in the form of case studies. • Inclusive, clear, precise language and strategies to facilitate reading comprehension: graphic elements and visual aids, marks and simple syntactic construction. • Accurate response options in which wording and reading comprehension is not a determining factor in determining validity. • Examples in the case of DT-specific concepts. The estimated time needed to complete the test is 20-30 minutes. 3.5.2. Implementation Protocol (Annex 2) A protocol was also created with detailed instructions to help teachers administer the questionnaire in the classroom. In addition to reminding teachers to thank the students for Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 295 their participation in the experience and give a brief description of the nature of the test, the protocol includes a series of additional instructions, namely that teachers must provide the necessary technological support, that teachers cannot answer students’ questions concerning the content of the test, that students must complete the test individually and in silence, etc. The protocol ends by citing the specific legislation regarding the ethical and confidential treatment of the participants’ data. 4. Discussion and conclusions This study takes into account the existing frameworks for the conceptualisation of DC and presents a valid and reliable assessment tool which, with the modification of just one of the items, will make it possible to obtain a final objective assessment of DC at the end of the primary education stage and in line with the four dimensions of DC (Departament d'Ensenyament, 2013, 2021). The instrument has obtained validity and reliability values similar to those presented by García-Valcárcel and Santiago (2020), but with fewer items (10 vs. 40), and adapted to primary school pupils (10-12 years). The results obtained in the pilot study are in line with previous studies that have been analysed (Table 3), which indicate a medium-low level of DC (Colás-Bravo et al., 2017; Hutchinson et al., 2016; Martínez-Piñeiro et al. 2019; Paredes-Labra et al., 2019), especially in areas such as content creation (Amor & Serrano, 2019; Colás-Bravo et al., 2017; Martínez-Piñeiro et al., 2019; Paredes-Labra et al., 2019; Zhang & Zhu, 2016), information use (Martínez-Piñeiro et al., 2019; Paredes-Labra et al., 2019) and network security (Colás- Bravo et al., 2017). It was also found that the group that had undergone specific training in DC obtained better results in the evaluation. Therefore, it is clear that planned and systematic DC training should be provided during primary education, as proposed by the Department of Education (2013, 2021), a finding that also coincides with proposals put forward by authors of some of the articles reviewed (Martínez-Piñeiro et al., 2019; Paredes- Labra et al., 2019; Pérez-Escoda et al., 2016; Zhang & Zhu, 2016). The conclusions of our study will be useful for primary school teachers and researchers as this process can be replicated to objectively measure the level of development of students' DC at the end of this educational stage. This type of assessment can help to reduce the digital divide through preventive and compensatory actions aimed at improving DC-related skills from an early age and in particular among vulnerable groups (UNESCO, 2016; United Nations, 2015). Like all research, the present studies has its limitations, such as the convenience sample, which is part of the representative data collected in a sample from the whole of Spain. This study takes into account different types of centres and students and should allow further external validation of the instrument. We are aware that administration in web format may limit its validity, so the protocol presented (appendix 2) is a key element in the application of the test. One example is the application of the instrument as a classroom activity in which students have the support of the teacher, thus ensuring that they correctly understand the procedure and the cases that are formulated. In this way, the level of student stress that is generated by any assessment test can also be reduced. Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 296 Finally, and following these preliminary results, other aspects should be taken into account, such as the influence of socio-economic status, in order to collect as much evidence as possible of all environmental variables that influence the development and assessment of digital competence. 5. Funding This study received funding from the "la Caixa" Banking Foundation under the project code "LCF/PR/SR19/52540001". 6. Additional information - Annexes 1 and 2: https://doi.org/10.5281/zenodo.6545999 References Aiken, L. (2003). Test psicológicos y evaluación. Pearson Education Amor, M. I., & Serrano, R. (2019). An evaluation of Primary-School pupils’ Digital Competence. Revista ESPACIOS, 40(21), 12-21. https://bit.ly/3ph7obI Angoff, W. H. (1971). Scales norms and equivalent scores. En A R. L. Thorndike (Ed.), Educational measurement (2a. ed.). American Council on Education. Backoff, E., Larrazolo, N., & Rosas, M. (2000). Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). Revista Electrónica de Investigación Educativa, 1. Carretero, Vuorikari & Punie (2017). DigComp 2.1: The Digital Competence Framework for Citizens with eight proficiency levels and examples of use. https://bit.ly/3Lma0OZ Cizek, G. J., & Bunch, M. B. (2007). Standard setting. A guide to establishing and evaluating performance standards on tests. Thoundan. SAGE Publications, Inc. Colás-Bravo, M. P., Conde-Jiménez, J., & Reyes-de Cózar, S. (2017). Competencias digitales del alumnado no universitario. Revista Latinoamericana de Tecnología Educativa, 16(1), 7-20 https://doi.org/10.17398/1695-288X.16.1.7 Comisión Europea. (2013). Una nueva revolución industrial. Publications Office. https://data.europa.eu/doi/10.2775/69805 Comisión Europea. (2007). Key Competencies for Lifelong Learning: European Reference Framework. Office for Official Publications of the European Communities, Luxembourg. https://bit.ly/3h20QZL Comisión Europea. (2018). Proposal for a council recommendation on key competences for lifelong learning. https://bit.ly/3cKjBO5 Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 297 De la Selva, A. R. (2015). Los nuevos rostros de la desigualdad en el siglo xxi: La brecha digital. Revista Mexicana de Ciencias Políticas y Sociales, 60(223), 265-285. https://doi.org/10.1016/S0185-1918(15)72138-0 De Pablos-Pons, J., Colás-Bravo, P., Conde-Jiménez, J., & Reyes-de Cózar, S. (2016). La Competencia Digital de los estudiantes de educación no universitaria: Variables predictivas. Bordón. Revista de Pedagogía, 68(1), 169-185. https://doi.org/10.13042/Bordon.2016.48594 Departament d’Ensenyament. (2013). Competències bàsiques de l’àmbit digital. Identificació i desplegament a l’educació primària. Generalitat de Catalunya. https://bit.ly/3K4U1V8 Departament d’Ensenyament. (2021). Pla d’Educació Digital de Catalunya 2020 - 2023. Generalitat de Catalunya. https://bit.ly/3HOqT3p DQ Institute (2019). Leading Digital Education, Culture, and Innovation. https://bit.ly/38h78FD Dominguez-Lara, S. (2012). Propuesta para el cálculo del Alfa Ordinal y Theta de Armor. Revista de investigación en Psicología, 15(1), 213-217. https://doi.org/10.15381/rinvp.v15i1.3684 Eticas foundation (2018). El ecosistema de las TIC desde la perspectiva de género en Barcelona. Ajuntament de Barcelona, Departament de Transversalitat de Gènere. https://bit.ly/3ttyfTb Fundación Ferrer i Guardia. (2019). Bretxes Digitals i Educació. Usos de les TIC en l’aprenentatge, usos socials de pantalles i xarxes i noves bretxes digitals. Fundación Ferrer i Guardia. https://bit.ly/3oSlKNS Fundación Telefónica (2021). Sociedad Digital en España 2020-2021. https://bit.ly/39aeSsV García-Valcárcel, A. & Salvador, L. (2020). Propuesta de una prueba de evaluación de competencias digitales para estudiantes de Educación Obligatoria (Ecodies-v2). En A. Hernández Martín, A. Iglesias Rodríguez (Coord.), Evaluación de las competencias digitales de estudiantes de educación obligatoria: diseño, validación y presentación de la prueba Ecodies (pp. 135-162). Octaedro. Hutchison, A., Woodward, L., & Colwell, J. (2016). What Are Preadolescent Readers Doing Online? An Examination of Upper Elementary Students’ Reading, Writing, and Communication in Digital Spaces. Reading Research Quarterly, 51(4), 435-454. https://doi.org/10.1002/rrq.146 ISTE (2016). ISTE Standards for Students: A Practical Guide for Learning with Technology. https://bit.ly/3wUa8zq Kress, G. (2003). Literacy in the new media age. Routledge. Kuhlemeier, H., & Hemker, B. (2007). The impact of computer use at home on students’ Internet skills. Computers & Education, 49(2), 460-480. https://doi.org/10.1016/j.compedu.2005.10.004 Lankshear, C., & Knobel, M. (2007). A new literacies sampler. Peter Lang. Larson, L.C. (2009). Reader response meets new literacies: Empowering readers in online learning communities. The Reading Teacher, 62(8), 638–648. https://doi.org/10.1598/RT.62.8.2 Pixel-Bit. Revista de Medios y Educación, 64, 265-298 | 2022 | https://doi.org/10.12795/pixelbit.93927 PÁGINA | 298 Martínez-Piñeiro, E., Gewerc, A., & Rodríguez-Groba, A. (2019). Nivel de competencia digital del alumnado de educación primaria en Galicia. Revista de Educación a Distancia (RED), 19(61). https://doi.org/10.6018/red/61/01 Montero, L., & Gewerc, A. (2013). Una historia, cuatro historias. Acompañar proyectos de innovación educativa con las TIC. Graó. Murphy, K. R., & Davidshofer, C. O. (2005). Psychological testing: Principles and applications (6th ed.). Prentice-Hall. https://bit.ly/2SC2xFA Nunnally, J. C. (1978). Psychometric theory (2nd ed.). McGraw-Hill. OECD. (2001). Understanding the digital divide. OECD. https://bit.ly/3la31O4 Oliden, P. E., & Zumbo, B. D. (2008). Coeficientes de fiabilidad para escalas de respuesta categórica ordenada. Psicothema, 20(4), 896-901. https://bit.ly/3Lptan7 Paredes-Labra, J., Freitas, A., & Sánchez-Antolín, P. (2019). De la iniciación al manejo tolerado de tecnologías. La competencia digital de los estudiantes madrileños antes de la educación secundaria. Revista de Educación a Distancia (RED), 19(61), https://doi.org/10.6018/red/61/03 Pérez-Escoda, A., Aguaded Gómez, J. I., & Rodríguez-Conde, M. J. (2016). Generación digital v.s. Escuela analógica. Competencias digitales en el currículum de la educación obligatoria. Digital Education Review, 30, 165-183. https://bit.ly/3wurxPA Rodicio-García, M. L., Ríos-de-Deus, M. P., Mosquera-González, M. J., & Penado Abilleira, M. (2020). La brecha digital en estudiantes españoles ante la Crisis de la Covid-19. Revista Internacional de Educación para la Justicia Social 9(3), 103–125. https://doi.org/10.15366/riejs2020.9.3.006 UNESCO. (2016). A policy review: Building digital citizenship in Asia Pacific through safe, effective and responsible use of ICT. UNESCO, Asia and Pacific Regional Bureau for Education. https://bit.ly/3wrBFbP United Nations (2015). Agenda 2030 para el desarrollo sostenible. https://bit.ly/3FqrKXr Zhang, H., & Zhu, C. (2016). A Study of Digital Media Literacy of the 5th and 6th Grade Primary Students in Beijing. The Asia-Pacific Education Researcher, 25(4), 579-592. https://doi.org/10.1007/s40299-016-0285-2 Cómo citar: Baeza-González, A., Lázaro-Cantabrana, J.L., & Sanromà-Giménez, M. (2022). Evaluación de la competencia digital del alumnado de ciclo superior de primaria en Cataluña [Chilean student teachers’ purposes of use of digital technologies: Construction of a scale based on digital competences]. Pixel-Bit. Revista de Medios y Educación, 64, 265-298. https://doi.org/10.12795/pixelbit.93927