Evaluar competencias digitales en Educación Infantil desde las prácticas de aula

Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 61 - MAYO - 2021 https://revistapixelbit.com Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 61 MAYO 2021 EQUIPO EDITORIAL (EDITORIAL BOARD) EDITOR JEFE (EDITOR IN CHIEF) Dr. Julio Cabero Almenara, Departamento de Didáctica y Organización Educativa, Facultad de CC de la Educación, Universidad de Sevilla (España). EDITOR ADJUNTO (ASSISTANT EDITOR) Dr. Juan Jesús Gutiérrez Castillo, Departamento de Didáctica y Organización Educativa. Facultad de CC de la Educación, Universidad de Sevilla (España). Dr. Óscar M. Gallego Pérez, Secretariado de Recursos Audiovisuales y NN.TT., Universidad de Sevilla (España) CONSEJO DE REDACCIÓN EDITOR Dr. Julio Cabero Almenara. Universidad de Sevilla (España) EDITOR ASISTENTE Dr. Juan Jesús Gutiérrez Catillo. Universidad de Sevilla. (España) Dr. Óscar M. Gallego Pérez. Universidad de Sevilla (España) EDITORES ASOCIADOS Dra. Urtza Garay Ruiz, Universidad del País Vasco. (España) Dra. Ivanovnna Milqueya Cruz Pichardo, Pontificia Universidad Católica Madre y Maestra. (República Dominicana) VOCALES Dra. María Puig Gutiérrez, Universidad de Sevilla. (España) Dra. Sandra Martínez Pérez, Universidad de Barcelona (España) Dr. Selín Carrasco, Universidad de La Punta (Argentina) Dr. Jackson Collares, Universidades Federal do Amazonas (Brasil) Dra. Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) Dra. Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Dr. Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Dr. Fabrizio Manuel Sirignano, Università degli Studi Suor Orsola Benincasa (Italia) CONSEJO TÉCNICO Edición, maquetación: Manuel Serrano Hidalgo, Universidad de Sevilla (España) Dra. Raquel Barragán Sánchez, Universidad de Sevilla (España) Antonio Palacios Rodríguez, Universidad de Sevilla (España) Diseño de portada: Lucía Terrones García, S.A.V, Universidad de Sevilla (España) Revisor/corrector de textos en inglés: Rubicelia Valencia Ortiz, MacMillan Education (México) Revisores metodológicos: evaluadores asignados a cada artículo Responsable de redes sociales: Manuel Serrano Hidalgo, Universidad de Sevilla (España) Administración: Leticia Pinto Correa, S.A.V, Universidad de Sevilla (España) CONSEJO CIENTÍFICO Jordi Adell Segura, Universidad Jaume I Castellón (España) Ignacio Aguaded Gómez, Universidad de Huelva (España) María Victoria Aguiar Perera, Universidad de Las Palmas de Gran Canaria (España) Olga María Alegre de la Rosa, Universidad de la Laguna Tenerife (España) Manuel Área Moreira, Universidad de la Laguna Tenerife (España) Patricia Ávila Muñoz, Instituto Latinoamericano de Comunicación Educativa (México) Antonio Bartolomé Pina, Universidad de Barcelona (España) Angel Manuel Bautista Valencia, Universidad Central de Panamá (Panamá) Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. Jos Beishuizen, Vrije Universiteit Amsterdam (Holanda) Florentino Blázquez Entonado, Universidad de Extremadura (España) Silvana Calaprice, Università degli studi di Bari (Italia) Selín Carrasco, Universidad de La Punta (Argentina) Raimundo Carrasco Soto, Universidad de Durango (México) Rafael Castañeda Barrena, Universidad de Sevilla (España) Zulma Cataldi, Universidad de Buenos Aires (Argentina) Manuel Cebrián de la Serna, Universidad de Málaga (España) Luciano Cecconi, Università degli Studi di Modena (Italia) Jean-François Cerisier, Université de Poitiers, Francia Jordi Lluí s Coiduras Rodrí guez, Universidad de Lleida (España) Jackson Collares, Universidades Federal do Amazonas (Brasil) Enricomaria Corbi, Università degli Studi Suor Orsola Benincasa (Italia) Marialaura Cunzio, Università degli Studi Suor Orsola Benincasa (Italia) Brigitte Denis, Université de Liège (Bélgica) Floriana Falcinelli, Università degli Studi di Perugia (Italia) Maria Cecilia Fonseca Sardi, Universidad Metropolitana de Venezuela (Venezuela) Maribel Santos Miranda Pinto, Universidade do Minho (Portugal) Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) María-Jesús Gallego-Arrufat, Universidad de Granada (España) Lorenzo García Aretio, UNED (España) Ana García-Valcarcel Muñoz-Repiso, Universidad de Salamanca (España) Antonio Bautista García-Vera, Universidad Complutense de Madrid (España) José Manuel Gómez y Méndez, Universidad de Sevilla (España) Mercedes González Sanmamed, Universidad de La Coruña (España) Manuel González-Sicilia Llamas, Universidad Católica San Antonio-Murcia (España) Ángel Pi o González Soto, Universidad Rovira i Virgili, Tarragona (España) António José Meneses Osório, Universidade do Minho (Portugal) Carol Halal Orfali, Universidad Tecnológica de Chile INACAP (Chile) Mauricio Hernández Ramí rez, Universidad Autónoma de Tamaulipas (México) Ana Landeta Etxeberrí a, Universidad a Distancia de Madrid (UDIMA) Linda Lavelle, Plymouth Institute of Education (Inglaterra) Fernando Leal Ríos, Universidad Autónoma de Tamaulipas (México) Paul Lefrere, Cca (UK) Carlos Marcelo Garcí a, Universidad de Sevilla (España) Francois Marchessou, Universidad de Poittiers, Parí s (Francia) Francesca Marone, Università degli Studi di Napoli Federico II (Italia) Francisco Martí nez Sánchez, Universidad de Murcia (España) Ivory de Lourdes Mogollón de Lugo, Universidad Central de Venezuela (Venezuela) Angela Muschitiello, Università degli studi di Bari (Italia) Margherita Musello, Università degli Studi Suor Orsola Benincasa (Italia) Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Trinidad Núñez Domínguez, Universidad de Sevilla (España) James O’Higgins, de la Universidad de Dublín (UK) José Antonio Ortega Carrillo, Universidad de Granada (España) Gabriela Padilla, Universidad Autónoma de Tumalipas (México) Ramón Pérez Pérez, Universidad de Oviedo (España) Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Julio Manuel Barroso Osuna, Universidad de Sevilla (España) Rosalía Romero Tena. Universidad de Sevilla (España) Hommy Rosario, Universidad de Carabobo (Venezuela) Pier Giuseppe Rossi, Università di Macerata (Italia) Jesús Salinas Ibáñez, Universidad Islas Baleares (España) Yamile Sandoval Romero, Universidad de Santiago de Cali (Colombia) Albert Sangrá Morer, Universidad Oberta de Catalunya (España) Ángel Sanmartí n Alonso, Universidad de Valencia (España) Horacio Santángelo, Universidad Tecnológica Nacional (Argentina) Francisco Solá Cabrera, Universidad de Sevilla (España) Jan Frick, Stavanger University (Noruega) Karl Steffens, Universidad de Colonia (Alemania) Seppo Tella, Helsinki University (Finlandia) Hanne Wacher Kjaergaard, Aarhus University (Dinamarca) Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. FACTOR DE IMPACTO (IMPACT FACTOR) SCOPUS (CiteScore Tracker 2021: 2)- FECYT: Ciencias de la Educación. Cuartil 1. Posición 16. Puntuación: 39,80- DIALNET MÉTRICAS (Factor impacto 2019: 1,336. Q1 Educación. Posición 12 de 226) ERIH PLUS - Clasificación CIRC: B- Categoría ANEP: B - CARHUS (+2018): B - MIAR (ICDS 2019): 9,9 - Google Scholar (global): h5: 23; Mediana: 44 - Criterios ANECA: 20 de 21 Píxel-Bit, Revista de Medios y Educación está indexada entre otras bases en: SCOPUS, Fecyt, Iresie, ISOC (CSIC/ CINDOC), DICE, MIAR, IN-RECS, RESH, Ulrich’s Periodicals, Catálogo Latindex, Biné-EDUSOL, Dialnet, Redinet, OEI, DOCE, Scribd, Redalyc, Red Iberoamericana de Revistas de Comunicación y Cultura, Gage Cengage Learning, Centro de Documentación del Observatorio de la Infancia en Andalucía. Además de estar presente en portales especializados, Buscadores Científicos y Catálogos de Bibliotecas de reconocido prestigio, y pendiente de evaluación en otras bases de datos. EDITA (PUBLISHED BY) Grupo de Investigación Didáctica (HUM-390). Universidad de Sevilla (España). Facultad de Ciencias de la Educación. Departamento de Didáctica y Organización Educativa. C/ Pirotecnia s/n, 41013 Sevilla. Dirección de correo electrónico: r[email protected] . URL: https://revistapixelbit.com/ ISSN: 1133-8482; e-ISSN: 2171-7966; Depósito Legal: SE-1725-02 Formato de la revista: 16,5 x 23,0 cm Los recursos incluidos en Píxel Bit están sujetos a una licencia Creative Commons Attribution-NonCommercial- ShareAlike 4.0 Unported (Reconocimiento-NoComercial-CompartirIgual)(CC BY-NC-SA 4.0), en consecuencia, las acciones, productos y utilidades derivadas de su utilización no podrán generar ningún tipo de lucro y la obra generada sólo podrá distribuirse bajo esta misma licencia. En las obras derivadas deberá, asimismo, hacerse referencia expresa a la fuente y al autor del recurso utilizado. ©2021 Píxel-Bit. No está permitida la reproducción total o parcial por ningún medio de la versión impresa de la Revista Píxel- Bit. Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 61 MAYO 2021 índice MONOGRÁFICO 1.- Hands of the World intercultural project: developing student teachers’ digital competences through contextualised learning // El proyecto intercultural “Hands of the World”: desarrollando las competencias digitales de estudiantes de magisterio a través del aprendizaje contextualizado. (Bilingüe) Sharon Tonner-Saunders, Jill Shimi 2.- Evaluar competencias digitales en Educación Infantil desde las prácticas de aula // Evaluate digital competencies in Early Childhood Education from classroom practices. (Bilingüe) Elena Ramírez Orellana, . Isabel Cañedo Hernández, Begoña Orgaz Baz, Jorge Martín Domínguez 3.- Competencias digitales del profesorado para innovar en la docencia universitaria// The digital skills of teachers for innovating in university teaching. (Bilingüe) Carlos Rodríguez-Hoyos, Aquilina Fueyo Gutiérrez, Isabel Hevia Artime 4.-The role of ‘Rich Tasks’ an interdisciplinary and digital approach to learning post COVID-19 // El papel de las “tareas enriquecidas” en un enfoque interdisciplinar y digital para el aprendizaje post COVID-19. (Bilingüe) Christopher Harris 5.- Latin American and Caribbean Teachers’ Transition to Online Teaching During the COVID-19 Pandemic: Challenges, Changes and Lessons Learned // La transición a la enseñanza en línea llevada a cabo por los docentes de América Latina y el Caribe durante la pandemia de COVID-19: desafíos, cambios y lecciones aprendidas. (Bilingüe) Carol Hordatt Gentles, Tashane Haynes Brown 6.- Competencia Digital Docente del profesorado de FP de Galicia // Digital Teaching Competence of Galician Vocational Training Teachers. (Bilingüe) Lorena Casal Otero, Eva María Barreira Cerqueiras, Raquel Mariño Fernández, Beatriz García Antelo 7.- Pedagogy by proxy: teachers’ digital competence with crowd-sourced lesson resources // Pedagogía en colaboración: competencia digital de los profesores con recursos didácticos compartidos. Elizabeth Hidson MISCELÁNEA 8.- Uso de tecnologías digitales para atender necesidades educativas especiales en la formación docente del educador diferencial // Use of digital technologies to meet special educational needs in the teaching training of differential teachers. Marcelo Palominos Bastias, Carlos Marcelo García 9.- Estudio de la competencia mediática frente al impacto de los youtubers en los menores de edad españoles // Study of media competence against the impact of the youtubers in minors in Spain. (Bilingüe) Manuel Antonio Conde, Áqueda Delgado Ponce 10.- Proyecto LingüisTIC: impacto de la Plataforma Walinwa sobre la competencia en comunicación lingüística del alumnado en situación de desventaja sociocultural // LingüisTIC Project: impact of the Walinwa Platform on the language communication competence of students in situations of sociocultural disadvantage. (Bilingüe) Susana Sánchez Castro, Mª Ángeles Pascual Sevillano 7 37 71 99 131 165 197 231 257 271 Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 Evaluar competencias digitales en Educación Infantil desde las prácticas de aula Evaluate digital competencies in Early Childhood Education from classroom practices Dra. Elena Ramírez Orellana Catedrática de Universidad. Facultad de Educación. Universidad de Salamanca. España Dra. Isabel Cañedo Hernández Profesora Titular de Universidad. Facultad de Educación. Universidad de Salamanca. España Dra. Begoña Orgaz Baz Profesora Titular de Universidad. Facultad de Educación. Universidad de Salamanca. España Dr. Jorge Martín Domínguez Profesor Contratado Doctor. Facultad de Educación. Universidad de Salamanca. España Recibido: 2020/10/26 Revisado: 2021/01/20 Aceptado: 2021/03/03 Preprint: 2021/04/12 Publicado: 2021/05/01 ABSTRACT El presente trabajo pretende, por una parte, crear un instrumento para evaluar las habilidades digitales de alumnos de educación infantil (3 a 6 años de edad) partiendo de sus prácticas de aula; y por otra, valorar los niveles de autonomía adquiridos por los alumnos respecto de dichas habilidades. El estudio se realizó durante dos años escolares, recopilando datos de un total de 254 alumnos de 17 aulas con un recurso TIC en ocho escuelas. En primer lugar, los resultados ofrecen un instrumento diseñado y verificado en la práctica para la evaluación de las habilidades digitales. En segundo lugar, los resultados sobre autonomía destacan la importancia que tienen factores como la madurez, el contenido curricular y la naturaleza de la práctica en el aula para explicar la adquisición de habilidades digitales. Es importante subrayar la necesidad de realizar más estudios de evaluación de habilidades adoptando un enfoque centrado en las prácticas. RESUMEN This paper has a twin purpose: on the one hand, to create an instrument for assessing the digital skills of pupils in early childhood education (aged 3-6) based on their classroom practices; and on the other, to confirm the levels of autonomy acquired by the pupils in terms of digital skills. The study was conducted over the course of two school years, gathering data for a total of 254 pupils from 17 classrooms in eight schools working with an ICT resource. First of all, the results describe a classroom-based instrument designed and verified for the assessment of the pupils’ digital skills. Furthermore, the results related to the levels of autonomy stress the importance that maturity factors, curricular content, and aspects associated with the nature of the classroom practice have for explaining the acquisition of digital skills. It is important to emphasize the need for further skills assessment studies adopting a classroom practice approach. PALABRAS CLAVES · KEYWORDS Habilidades digitales; Educación Infantil; Prácticas de clase; TIC; Instrumento de evaluación Digital skills; Early Childhood Education; Classroom Practices; ICT; Assessment Tool Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 38 < 1. Introducción. Cómo adquieren los alumnos las habilidades digitales en los procesos de enseñanzaaprendizaje (Voogt et al., 2018) actualmente es un tema prioritario. Este trabajo se enmarca en un proyecto de investigación sobre las prácticas en el aula con Tecnologías de la Información y la Comunicación (en adelante, TIC) en la etapa de Educación Infantil, en el que también se ha abordado el estudio de las habilidades digitales que los niños adquieren en las aulas analizadas. Por lo tanto, el trabajo que aquí se presenta forma parte de un proyecto más amplio que incluye a 17 profesores y ocho escuelas de la provincia de Salamanca (España) en el que se utiliza un pupitre digital, junto con la orientación y el apoyo tecnológico de un experto del Centro para la Innovación en Tecnologías Avanzadas (CITA), además del respaldo de un proyecto de investigación con financiación competitiva. El proyecto está permitiendo estudiar directamente las prácticas de aulas utilizando el recurso TIC y sus repercusiones en lo que aprenden los alumnos de infantil, una de las etapas menos estudiadas en relación a las habilidades digitales. La investigación aborda el proceso de aprendizaje de los alumnos, basándose en un análisis de las prácticas en el aula con un recurso TIC específicamente diseñado para niños de esta edad. En este documento se aborda la evaluación del proceso de aprendizaje con el recurso TIC, sin perder de vista el entorno escolar y curricular en el que tiene lugar. 1.1. El problema de evaluar el efecto de las tecnologías Tanto los especialistas en la materia como las autoridades educativas manifiestan un creciente interés sobre el impacto de los recursos TIC en el proceso de aprendizaje de los alumnos. La administración está interesada en saber si son efectivas sus inversiones en TIC y cuál es la naturaleza de los resultados que se derivan de esos planes de incorporación de estos medios. Los estudios realizados se agrupan en dos tipos claramente definidos: a) Estudios descriptivos basados en cuestionarios y muestras amplias que proporcionan resultados sobre los procesos de aprendizaje de las materias básicas en las diferentes etapas de la enseñanza obligatoria (Pérez-Sanagustín et al., 2017; Chauhan, 2017), y b) Estudios experimentales sobre diseños específicos de materiales para diferentes contenidos basados en el uso de las TIC (Law et al., 2009). Ambos tipos de estudios tienen sus méritos, pero plantean problemas en la aplicación de los resultados. En el primer caso, porque las metodologías utilizadas hacen muy difícil concluir cuáles de los resultados obtenidos pueden atribuirse exclusivamente al uso de las TIC y cuáles son producto de otros enfoques de enseñanza que no están vinculados a esos recursos. En el caso de los estudios experimentales, las posibilidades de generalizar los resultados son limitadas, dado que se consideran diseños con recursos muy específicos. Todo ello suscita un animado debate entre los especialistas en tecnologías de la educación que lleva a una conclusión obvia: no es fácil evaluar el impacto de las TIC. Hay innumerables factores que influyen en la eficacia de cualquier tecnología; es sumamente difícil aislar los efectos causados por las tecnologías de los asociados a las personas que las utilizan y a los propios usos. La literatura sobre evaluación, tecnologías y educación se ha centrado en ciertos temas tratados a menudo de manera inadecuada, lo que ha creado confusión sobre la eficacia de las TIC (Voogt et al., 2018). Estos pueden resumirse muy brevemente como sigue: Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 39 < ▪ La controversia sobre "si la tecnología funciona o no" o "si es eficaz o no". Usando modelos de diseño experimental o cuasiexperimental se da por sentado que los efectos de las tecnologías no varían, independientemente de la población, la tecnología específica y el contexto en que se utilicen. Sin embargo, los resultados de las investigaciones sobre la integración de las tecnologías subrayan cada vez más que su impacto depende de cómo se utilizan, con qué fines y en qué condiciones. ▪ La cuestión de adoptar un enfoque simplista para estudiar un fenómeno complejo. Tras varios años de investigación sobre la integración de tecnologías, se ha observado que esta integración es un proceso continuo, que a menudo incluye un complejo conjunto de objetivos, basado en un plan de acción que se reajusta a medida que se aplica. Por lo tanto, es un proceso dinámico no lineal. En vista de estas dificultades, los conocimientos acumulados sobre el efecto de las tecnologías adolecen de debilidades por varias razones: un enfoque que implica en gran medida una evaluación acumulada, una falta de conocimiento de los efectos a largo plazo de los proyectos evaluados y dificultades en la generalización de los resultados obtenidos de los proyectos individuales. En el caso que nos ocupa, el punto de partida de la intervención planteaba una situación en la que los posibles efectos de las TIC se limitarían a un ámbito específico, dentro de la etapa de escolarización particular, y en el contexto peculiar de cada escuela y de cada profesor. Esta situación conduce a un estudio de investigación evaluativa vinculado a dicho contexto particular, con las limitaciones específicas que hemos descrito más arriba, y especialmente las que afectan a las posibilidades de extrapolar los resultados. En cualquier caso, como tal investigación evaluativa está orientada a la resolución práctica de problemas en el contexto donde tiene lugar (Escudero, 2016). Además, estudiamos el efecto que tiene un recurso TIC en los alumnos, aunque inscrito dentro de una comprensión del impacto que tienen las tecnologías que pone de relieve la complejidad y el dinamismo de los procesos de aula que las utilizan. Como sostienen Kirschner y Kester (2016, p. 538), esto significa "una investigación para obtener pruebas que sirvan de base para decidir qué medios de comunicación deben utilizarse en qué situaciones, con qué grupos para lograr qué objetivos y en qué circunstancias". 1.2. Competencias TIC en Educación Infantil El sistema educativo en España considera que las competencias son un componente transversal del currículo, y que la adquisición de competencias es el fin último de la escolarización (Martín & Luna 2011). Las leyes especifican que la capacidad de procesar información es una de las competencias básicas, junto con la competencia digital que se aborda desde todas las áreas y asignaturas, de conformidad con las directrices marcadas por la Comisión Europea (2016). El concepto de competencia se refiere a las capacidades para aplicar los conocimientos que se desarrollan progresivamente en diferentes situaciones de enseñanza, funcionando de forma interdisciplinaria y general. La adquisición de competencias implicaría el uso funcional de los conocimientos que son transferibles a diferentes contextos (Martín & Luna 2011). Aunque el currículo de la educación infantil en España no hace referencia a las competencias tal y como se describen explícitamente para Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 46 < Programa del Rincón del Ratón 28- ¿Es capaz de abrir los programas del Rincón del Ratón desde escritorio? 29- ¿Es capaz de escribir su nombre para registrarse en el juego? 30- ¿Es capaz de seleccionar su nombre en la pantalla de registro? 31- ¿Es capaz de avanzar por las pantallas hasta el final del juego? 32- ¿Es capaz de retroceder por las pantallas hata el comienzo del juego? 33¿Es capaz de buscar la ayuda en el juego? 34- ¿Es capaz de salir del juego? 35- ¿Es capaz de mirar su puntuación en el juego? 36- ¿Es capaz de llegar a las actividades desde la pantalla menú-principal del juego? 37- ¿Es capaz de realizar las distintas actividades del juego? 38- ¿Es capaz de elegir el nivel de dificultad en el juego? 39- ¿Es capaz de completar la mayoría de los juegos usados en clase? 40- ¿Comprende el objetivo final de los juegos? (Negro) Item eliminado en su totalidad del cuestionario. (Gris 1) Item evaluable solo en el segundo momento del curso. (Gris 2) Item no evaluable en tercero por estar adquirido. (Blanco) Item evaluable en el primer y segundo momento del curso Merecen ser destacados algunos aspectos. Por un lado, se constató que ciertos ítems que tienen que ver con el manejo de algunos componentes del hardware y del software fueron eliminados, así como los referidos al uso de navegadores de Internet. Nos referimos a habilidades que aparecen señaladas en negro en la tabla 2. Por otro lado, los datos también pusieron de manifiesto que no era necesario evaluar ciertas habilidades en el último curso porque se habían adquirido en los anteriores (las que aparecen en gris 2 en la tabla 2). Por último, se distingue entre fichas de primera y segunda evaluación, con un menor número de preguntas en la primera frente a la segunda. Las habilidades que se acotaron para la segunda evaluación son las que aparecen en gris 1 en la tabla 2. Todo el proceso de análisis descrito ha permitido simplificar el contenido del instrumento y diseñarlo para diferenciar la evaluación en primero, segundo y tercer curso de Infantil. Este instrumento se aplicó en el curso 2015-16 y nos ha ofrecido los resultados sobre el grado de autonomía de los alumnos con el recurso, segundo objetivo del trabajo, y que presentamos en el siguiente apartado. Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 47 < 3. Análisis y resultados 3.1. Grado de autonomía en el uso de las habilidades digitales entre los alumnos del segundo ciclo de Educación Infantil. Para conocer el grado de autonomía en el uso del recurso TIC, los profesores registraron en el instrumento de evaluación descrito anteriormente, las ejecuciones de cada alumno en dos momentos del curso escolar 2015-16. Los resultados quedan reflejados en las Tabla 3 y 4 que se muestran a continuación: Tabla 3 Porcentajes de ejecución autónoma en ítems evaluados por categorías, momentos y cursos. (Manejo del ratón, Interfaz de usuario y Dispositivos de audio) Habilidades digitales Curso 1º EI Curso 2º EI Curso 3º EI Manejo del ratón 1º Eval. 2º Eval. 1º Eval. 2º Eval. 1º Eval. 2º Eval. 1. Clic 89.0% (n=82) 100% (n=80) 98.9% (n=91) 98.7% (n=78) No evaluado No evaluado 2. Doble clic 52.4% (n=82) 57.5% (n=80) 92.2% (n=90) 88.3% (n=77) 96.7% (n=92) 97.8% (n=93) 3. Coordinación cursorratón 85.4% (n=82) 95.0% (n=80) 97.8% (n=91) 97.4% (n=78) No evaluado No evaluado 4. Situarse espacialmente en la pantalla con el ratón 87.8% (n=82) 95.0% (n=80) 97.8% (n=91) 97.4% (n=78) 97.8% (n=92) 96.8% (n=93) 5. Botón derecho 0.0% (n=82) 1.3% (n=80) 1.2% (n=84) 1.4% (n=72) 18.5% (n=92) 0% (n=93) 6. Botón izquierdo 93.9% (n=82) 100% (n=80) 98.9% (n=91) 98.7% (n=77) No evaluado No evaluado Interfaz de usuario 9. Encender el equipo 35.4% (n=82) 58.8% (n=80) 73.6% (n=91) 82.4% (n=51) 95.7% (n=92) 93.5% (n=93) 10. Apagar el equipo 2.4% (n=82) 6.3% (n=80) 33.3% (n=90) 25.4% (n=51) 41.3% (n=92) 48.4% (n=93) Dispositivos de audio 12. Ajustar el volumen de los auriculares 47.6% (n=82) 68.8% (n=80) 75.0% (n=84) 90.3% (n=72) 96.7% (n=92) 97.8% (n=93) 13. Ajustar el volumen de los altavoces 47.6% (n=82) 43.8% (n=80) 70.2% (n=84) 66.7% (n=72) 82.6% (n=92) 83.9% (n=93) Tabla 4 Porcentajes de ejecución autónoma en ítems evaluados por categorías, momentos y cursos (CD-ROM, Herramientas Office y Programas del Rincón del Ratón) Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 48 < CD-ROM 1º Eval. 2º Eval. 1º Eval. 2º Eval. 1º Eval. 2º Eval. 15. Abrir y cerrar el lector 32.9% (n=72) 55.0% (n=80) 73.6% (n=91) 82.1% (n=78) 91.3% (n=92) 94.6% (n=93) 16. Insertar el CD-ROM 13.9% (n=72) 27.5% (n=80) 41.1% (n=90) 44.2% (n=77) 59.8% (n=92) 68.8% (n=93) Herramientas Office 17. Abrir programas (Word, paint) No evaluado 31.3% (n=80) No evaluado 63.6% (n=77) No evaluado 77.4% (n=93) 18. Cerrar programas (Word, paint) No evaluado 87.5% (n=80) No evaluado 89.6% (n=77) No evaluado 96.8% (n=93) 21. Seleccionar herramientas (colores y formas) No evaluado 97.5% (n=80) No evaluado 100% (n=51) No evaluado 97.8% (n=93) 22. Dibujar en Paint No evaluado 97.5% (n=80) No evaluado 100% (n=51) No evaluado 97.8% (n=93) Programas del Rincón del Ratón 28. Abrir programas desde el escritorio No evaluado 40.0% (n=80) No evaluado 66.7% (n=51) No evaluado 75.3% (n=93) 31. Moverse a través de las pantallas No evaluado 92.5% (n=80) No evaluado 98.0% (n=51) No evaluado 97.8% (n=93) 32. Retroceder pantallas No evaluado 93.8% (n=80) No evaluado 98.0% (n=51) No evaluado 97.8% (n=93) 34. Salir del juego 20.7% (n=82) 88.8% (n=80) 41.8% (n=90) 98.0% (n=51) 58.7% (n=92) 94.6% (n=93) 35. Mirar puntuación No evaluado 98.8% (n=80) No evaluado 100% (n=51) No evaluado 98.9% (n=92) 36. Acceder a diferentes actividades desde el menú No evaluado 56.3% (n=80) No evaluado 80.4% (n=51) No evaluado 88.0% (n=92) 37. Realizar distintas actividades 84.1% (n=82) 97.5% (n=80) 92.2% (n=90) 100% (n=51) 98.9% (n=92) 97.8% (n=92) 38. Seleccionar el nivel de dificultad No evaluado 97.5% (n=80) 52.9% (n=85) 100% (n=51) No evaluado 97.8% (n=92) 39. Completar el juego 85.4% (n=82) 97.5% (n=80) No evaluado 100% (n=51) 96.7% (n=92) 97.8% (n=92) 40. Comprender el propósito del juego 86.6% (n=82) 97.5% (n=80) 95.6% (n=90) 100% (n=51) No evaluado No evaluado Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 49 < 4. Discusión Los datos ponen de relieve cómo la adquisición de las habilidades se explica por el desarrollo madurativo de los sujetos. En las tablas 3 y 4 de resultados finales, esta tendencia se revela de forma contundente: prácticamente en el 100% de los ítems los alumnos progresan hacia una mayor autonomía desde la primera evaluación a los 3 años hasta la última evaluación cuando ya han cumplido los 5 o 6 años. Aunque existen diferencias individuales dentro de cada grupo de clase que explican pequeños matices de variabilidad en los datos, en el conjunto de los resultados la progresión es constante. También lo datos revelan el peso que los contenidos curriculares ejercen sobre el aprendizaje de algunas habilidades que requieren una cierta familiaridad con conocimientos sobre todo de lectoescritura. El manejo de algunos componentes del hardware y del software necesita de un conocimiento del lenguaje escrito, que en esta etapa no es todavía objeto de aprendizaje sistemático. Son habilidades que requieren un conocimiento de las letras: teclas de letras y números, poner nombre documentos, guardar documentos, escribir su nombre, seleccionar su nombre, teclear búsquedas, buscar ayudas. Sin que esto signifique que los alumnos no sean capaces de aprender a interactuar con pantallas de textos multimedia, desarrollando estrategias que les permiten dotar de sentido a una amplia variedad de representaciones simbólicas (Levy, 2009). En este mismo sentido, como se refleja en la tabla 4, los resultados de ítems sobre la navegación e interpretación de los iconos de «los programas del Rincón de Ratón» muestran la progresiva autonomía obtenida por los alumnos (Burnett, 2009). Podrían señalarse también todas las habilidades que se refieren al uso de navegadores para tareas de búsqueda de información y elaboración de información que no son objeto de aprendizaje en estos niveles. Por último, aparecen otros resultados que se explican en buena medida por cómo se utiliza el recurso en las clases. Nos referimos por un lado a los ítems 8, 11 y 14 eliminados desde un principio de la evaluación y, por otro, a los resultados de los ítems 5, 10 (Tabla 3) y 16 de la Tabla 4. Estos grupos de ítems reflejan prácticas de clase con el recurso que favorecen o no la adquisición de las habilidades correspondientes. La forma en que el recurso se gestiona para las actividades del aula, explica lo que los alumnos aprenden. Así, el comportamiento de estos ítems obedece a razones que trataremos de explicar. Los ítems 8 y 11 no se trabajan en las aulas, el 8 porque las teclas se sustituyen por el ratón y el 11 porque al configurar los profesores la interfaz de usuario, los alumnos no tienen que abrir o cerrar carpetas. El caso del 14 es diferente, porque únicamente un aula de las 17 dispone de impresora. Por otra parte, el ítem 5 se refiere a una habilidad de orden secundario que los profesores no trabajan porque el botón derecho no necesitan utilizarlo para el tipo de tareas que desarrollan. Por último, los ítems 10 y 16 presentan niveles de ejecución autónoma menores porque en un caso, ítem 10, los alumnos no suelen apagar el equipo porque este se enciende al entrar en clase y los alumnos van pasando sin apagar el equipo hasta finalizar la sesión. Y en el caso del ítem 16, porque se trabaja el CD-Rom desde la pantalla del escritorio al estar instalado en el sistema. En definitiva, los resultados discutidos sobre el grado de autonomía de los alumnos nos permiten sintetizar en la Tabla 5 un posible perfil del grado de autonomía en el uso de las habilidades TIC de los alumnos evaluados: Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 50 < Tabla 5 Perfil del grado de autonomía en el uso de las habilidades TIC HABILIDADES DIGITALES EVALUADAS EN EL 2º CICLO DE E.INFANTIL GRADO DE AUTONOMÍA DE USO DE LOS ALUMNOS DE 2º CICLO DE EDUCACIÓN INFANTIL Manejo del ratón: Clic, doble Clic, manejo del cursor y uso de los botones derecho-izquierdo. Los alumnos de Infantil manejan todas las habilidades de uso del ratón antes de llegar al último curso, salvo el uso del botón derecho que no se consigue en tercero Interfaz del usuario: Encender y apagar equipo. Más de la mitad de los alumnos de Infantil saben encender y apagar el equipo desde el segundo cuatrimestre del primer curso y en su totalidad al final del tercer curso. Dispositivos de audio: Controlar volumen de cascos y/o altavoces Casi la mitad de los alumnos de Infantil controlan su equipo audio en primer curso y casi la totalidad (entre el 80-90%) al final de la etapa. CD-Rom: Abrir y cerrar lector e introducir el CD-Rom. Más de la mitad de los alumnos de Infantil saben abrir y cerrar el lector de su equipo desde el segundo cuatrimestre del primer curso y en su totalidad al final del tercer curso. Introducirlo en el lector lo consiguen el 70% de los alumnos y solo al final del ciclo. Herramientas Office: Abrir y cerrar programas (Word, Paint), seleccionar herramientas (formas, colores…) y dibujar en Paint Casi el 80% de los alumnos abren y cierran su equipo (lo cierran mejor que lo abren) y casi la totalidad de los alumnos lo hacen al final de la etapa. Respecto a la utilización de las herramientas (formas, colores) casi la totalidad (entre el 90- 100%) lo hacen desde segundo curso. Programas Rincón del Ratón: Abrir programa desde escritorio, avanzar y retroceder en la pantalla, llegar a actividades desde menú, realizar actividades del juego y completarlas, elegir nivel de dificultad, mirar puntuación y comprender el objetivo final. Respecto a las habilidades más generales de manejo en el escritorio y pantalla con los juegos del programa, los alumnos van progresando en autonomía a lo largo de los tres cursos y lo consiguen casi la totalidad de ellos en tercero. Destacar, por ejemplo, que a la hora de salir de los juegos sólo un 20% de los alumnos lo hacían en el primer curso y llegan a conseguirlo casi la totalidad (95%) en tercero. En el resto de habilidades referidas al manejo con los juegos (actividades, niveles y puntuaciones) y la comprensión, los alumnos progresan en autonomía a lo largo del ciclo, con diferencias individuales, llegando a ser casi total (95%) en tercero. 5. Conclusiones y limitaciones Este trabajo intenta valorar los efectos que la introducción de un recurso TIC produce sobre el aprendizaje de los alumnos participantes. La valoración se ha planteado desde la práctica con un doble objetivo. Por un lado, desarrollar un mejor instrumento para evaluar las habilidades digitales en un nivel educativo donde cualquier evaluación es difícil de Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 51 < plantear por la naturaleza evolutiva de la etapa (Kurcikova, 2018). Y, por otro, que el sistema de evaluación no sólo permita registrar los cambios madurativos de los alumnos (Donker & Reitsma, 2007); sino también que permita reflejar el peso que puedan ejercer ciertos contenidos curriculares de la etapa sobre el aprendizaje de estas habilidades multimedia (Clements et al. 2013). Esto ha supuesto plantear la valoración de forma continuada, tratando de atender a una concepción de evaluación formativa, confiando en que el propio desarrollo del proceso de evaluación modifique sucesivamente la misma, para atender a la dimensión práctica del objeto de evaluación. Dichos presupuestos se han reflejado en los resultados obtenidos pues no sólo recogen lo que los alumnos aprenden por participar en una experiencia didáctica con apoyo de un recurso digital; sino que también reflejan el papel que los factores madurativos juegan en la explicación de lo que se adquiere. Dichos resultados han subrayado otros aspectos ligados sobre todo al tipo de prácticas que se desarrollan, a la influencia y al efecto de otros contenidos del currículum sobre el aprendizaje multimedia. Asimismo, queremos subrayar otra cuestión planteada en los presupuestos teóricos. Nos referimos al tema del efecto que las tecnologías puedan o no tener sobre las experiencias de enseñanza. Lo que aquí se ha expuesto no puede desligarse de esa otra perspectiva más general de la relación entre tecnología y experiencias de enseñanza. De tal forma que si algún efecto tiene el recurso TIC sobre el aprendizaje, hay que explicarlo incorporándolo a un conjunto de elementos que incluyen desde las actividades de aula y las concepciones de los profesores, hasta la cultura de innovación de los centros y la accesibilidad a las tecnologías en las familias de origen (Voogt et al., 2018). Es, por tanto, necesario seguir abundando en estudios evaluativos que enfocados sobre la práctica educativa, valoren lo que los alumnos aprenden en torno a distintas competencias. Los estudios de investigación evaluativa cuidadosamente diseñados pueden proporcionar información detallada sobre estas acciones y prácticas, lo que es importante para poder comprender la naturaleza de los resultados desarrollados a partir de las evaluaciones. Por último, las limitaciones que este trabajo presenta se derivan de la fase preliminar en la que se encuentra el estudio centrado en el desarrollo del instrumento de evaluación y en el análisis de hasta qué punto evalúa los niveles de autonomía en competencia digital de los alumnos. Como expertos en la materia nos han puesto de relieve en comunicaciones personales, sería interesante profundizar a partir de aquí, en otros aspectos como el grado de dificultad y discriminación que presentan las tareas, determinar la fiabilidad de la prueba así como realizar una aproximación al análisis longitudinal para entender mejor el progreso de los estudiantes en este sentido. 6. Financiación. Esta investigación se ha realizado dentro del proyecto de I+D+I "Estudio sobre la integración del recurso digital El Rincón del Ratón en las prácticas de los profesores de Infantil. Relaciones entre teorías, concepciones, prácticas docentes y aprendizaje" (Nº de referencia EDU2009-11295) del Ministerio de Ciencia e Innovación. Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 52 < Evaluate digital competencies in Early Childhood Education from classroom practices 1. Introduction When considering current research topics of interest in education, one would be how digital skills are acquired as regards pupils’ teaching-learning processes (Voogt et al., 2018). Accordingly, this paper is framed within a research project on classroom practices involving Information and Communications Technology (hereinafter ICT) at the stage of early childhood education, which has also addressed the study of the digital skills the children have acquired in the classrooms analyzed. The work being presented here is therefore part of a project that includes 17 teachers and eight schools in the province of Salamanca (Spain) in which a digital desk is used, accompanied by the technological guidance and support of an expert from the Centre for Innovation in Advanced Technologies (CITA in its Spanish acronym), with the backing of the activities involved in an R&D project pursued by our working party. The Project is enabling a direct study to be made of classroom practices using the ICT resource and its impact on what the pupils learn during their early childhood education, which is one of the least studied stages in terms of digital skills. The research studies the learning process of those pupils, based on an analysis of classroom practices with an ICT resource specifically designed for children of this age. This paper will report our findings to date regarding the matter of assessing the learning process with the ICT resource, without losing sight of the school and curricular setting in which it takes place. 1.1. The problem of evaluating the effects of technologies Regarding the impact ICT resources have on the pupils’ learning process, a certain amount of interest has been expressed by both specialists on the matter and education authorities. The latter are keen to know how effective their investments are in the field of ICTs in education and the nature of the results forthcoming from those plans for the incorporation of new media. The studies conducted are grouped into two clearly defined types: a) Descriptive studies based on the use of questionnaires with very extensive samples that provide results on the learning processes in the core subjects at different stages of compulsory schooling (Pérez-Sanagustín et al., 2017; Chauhan, 2017), and b) Experimental studies on the specific designs of materials for different content areas based on the use of ICTs (Law et al., 2009). Both these types of studies have their merits, but they pose problems in the application of the results obtained. In the former case, this is because the methodologies used make it very difficult to conclude which of the learning outcomes obtained may be attributed exclusively to the use of ICTs, and which ones are the products of other teaching approaches that are not linked to these resources. In the latter case involving experimental studies, the possibilities of generalizing the results are very limited indeed given that they consider designs with highly specific resources. This all leads to a lively debate among specialists in educational technologies that prompts an obvious conclusion: it is not easy to assess the impact of ICTs. It is extremely difficult to isolate the effects caused by technologies from those associated with the people using them and the usages themselves. Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 53 < The literature on assessment, technologies and education has been focusing on certain topics that have been repeatedly addressed in an inadequate manner, creating confusion on the effectiveness of ICTs (Voogt et al., 2018). These can be very briefly summarized as follows: ▪ The issue of those studies on “whether or not the technology works” or “whether or not it is effective”. Such studies tend to adopt a model with an experimental or quasiexperimental design, and take it for granted that the effects of the technologies do not vary, regardless of the population, the specific technology, and the context within which they are used. In spite of this, the results forthcoming from the research into the integration of technologies are increasingly emphasizing that the impact technologies have depends on how they are used, for what purposes, and under what conditions. ▪ The issue of adopting a simplistic approach to the study of a complex phenomenon. After several years’ research into the integration of technologies, it has been noted that this integration is an ongoing process, which often includes a complex set of goals, being based on an action plan that is steadily readjusted as it is implemented. It is therefore a non-linear, dynamic process. In view of these difficulties, the accumulated knowledge regarding the effect of technologies suffers from certain weaknesses for several reasons, which include the following: an approach that largely involves an aggregate assessment, a lack of knowledge on the long-term effects of the projects assessed, and difficulties in the possibilities of generalizing the results obtained from individual projects. In the case that concerns us here, the genesis of the intervention in the educational context of the project analyzed from the onset informed a situation in which the possible effects of the ICTs would be restricted to a specific context, within a framework of action defined by the specific characteristics of the schooling stage, and the particular context of each school and of each teacher involved. This well-defined situation clearly leads to an evaluation research of the effects of ICTs that is linked to each particular context. Nevertheless, we should like to flag up these conditions from the start, with a view to facilitating the proper interpretation of the results. In any case, as such evaluative research is oriented to the practical resolution of problems in the context where it takes place (Escudero, 2016). In addition, this specific paper studies the effect an ICT resource has on what the pupils learn, albeit inscribed within an understanding of the impact technologies have that underscores the complexity and dynamism of classroom processes using ICTs, with the particular interest of knowing how to use classroom practices to assess the acquisition of digital skills by pupils in early childhood education. As Kirschner and Kester contend (2016, p.538) this means “a research to gain evidence to inform decision as to what media should be used in what situations with what groups to achieve what goals under what circumstances”. Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 54 < 1.3. ICT competencies in early childhood education The education system in Spain considers competencies to be a mainstream component of the curriculum, with the current law on education stipulating that the acquisition of competencies is the ultimate aim of schooling (Martín & Luna 2011). This same law specifies that the ability to process information is one of the basic competencies, along with the digital competency that is to be addressed on a mainstream basis as regards all the components of the curriculum in all areas and subjects, pursuant to the provisions of the guidelines marked out by the European Commission (2016) for its member states. In general, acquiring competencies would involve a functional use of the knowledge that integrates different capabilities and contents, and which are transferrable to different contexts (Martín & Luna 2011). The curriculum in early childhood education in Spain does contain, within the field of “Languages: communication and representation”, explicit references to new technologies, specifically in Block 2: Audiovisual language and information technologies, where the main goal to be achieved by pupils in early childhood education is as follows: “An introduction to the use of technological instruments, evaluating their potential as facilitators of communication and expression, and as a source of information and the diversification of learning processes”. This goal is subsequently embodied in content that is very close to the European Commission’s understanding of digital competency (2016). In keeping with Guitert, Romeu and Baztán (2021), DigComp is referred to as a framework for developing and understanding digital competence in Europe. These framework highlight how the concepts of digital competence, digital literacy, computer and information literacy, internet skills, ICT literacy, media literacy, new media literacy, network literacy, technological fluency and 21st century skills are some frequently observed labels in use to describe what is needed to benefit from digital tools and media. Nevertheless, the evaluation of digital competencies in early childhood education, should consider certain peculiarities related to classroom practices and pupils that have an impact on the acquisition of digital skills. Therefore, a general thread running through the research into the matter of the acquisition of competencies in early childhood education has always been linked to the debate on the adjustment of assessment instruments and methods to the pupils’ developmental stage and to the classroom practices at this stage of their schooling (Kurcikova, 2018). For example, in relation to ICT competencies, because of the pupils’ still immature motor skills, they find that handling the mouse still poses a major physical challenge (Donker & Reitsma, 2007). Other sensorial and cognitive challenges that children of this age find demanding include the location of items on the screen and the interpretation of text messages (Krcmar & Cingel 2014). Nevertheless, there are instances of research that highlight the advantages of digital resources in the development and acquisition of competencies for pupils in early childhood education due to certain design aspects of ICT resources: they are motivational, with dynamic displays that are colorful and interactive, and they are capable of immediately showing the effects of actions in simulated environments; all of which mean that a pupil’s individual development will be better integrated within teaching-learning processes (Flewitt, 2011; Lin, 2012). With these considerations in mind, we may affirm that the studies on the efficacy of ICTs in the acquisition of skills at an early age, because of the challenge they pose, are few and far between, and their findings are often not very clear. Some of the more noteworthy contributions have been provided by the review by Savage et al. (2010) on how ICTs contribute to the learning of the written language in early schooling. This review does not Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 55 < appear to uncover any significant differences between traditional strategies and others that incorporate the use of ICTs. In spite of this, the conclusions those authors have reached point to a substantial increase in the pupils’ learning in early reading and writing competencies when their teachers use ICTs in a way that is consistent with an approach to literacy that is closely connected with the curriculum’s requirements for teaching reading. This same idea is shared in studies on the initial acquisition of other major competencies, such as mathematics (Clements et al. 2013) and personal autonomy (Lau, et al. 2005). Other conclusions that might shed some light on the work we are presenting here, while admittedly not dealing with exactly the same age group, are, for example, those reported by Burnett (2009). The studies reviewed on this occasion, above all as regards digital literacy, refer to matters that are used in this work for pupils in early childhood education, such as browsing patterns in digital texts, the role of icons as reading keys, and narrative structures with multimedia languages. At any event, Burnett’s review highlights the weight that approaches to the teaching of literacy have in research into digital competency. Furthermore, we have other evidence of research that explores the incorporation of ICTs within different contexts and time frames; for example, in the proposal made by Neumann, Finger, & Neumann (2017) regarding a conceptual framework for emergent digital literacy, these experts conclude that limited research has been conducted on the identification of emergent digital literacy skills and its predictive relationships with proficient digital literacy skills, which means that studies are required to identify the particularities of digital literacy and the transfers between digital and non-digital practices. They propose a conceptual framework for designing those studies, and they review myriad studies with uneven results regarding the advantage involved in the use of digital formats compared to traditional ones in the acquisition of different skills related to early literacy. Along these lines, the paper by Willoughby, Evans, and Nowak (2015) comparing eBooks with paper ABC and storybook as the control condition, has shown how children (aged 4) improved over time in emergent literacy under all conditions, with no significant differences being found between conditions. The work by Saçkes, Cabe and Bell (2011) on the development of digital skills in pupils from nursery school through to the third cycle of primary education, stress the importance of the classroom practices teachers undertake from nursery school onwards in relation to the use of computers for reducing the initial digital divide between pupils with access to ICTs at home and those without that possibility. They likewise report research that compares the role of computers at home and in educational contexts in the acquisition of social and cognitive skills at early ages (Phuoc & Subrahmanyam 2013). In short, the conclusions drawn from this review underscore the need to increase the number of papers on classroom practices using ICTs that provide a more thorough explanation of what happens as regards the pupils’ learning processes when technologies are incorporated into classroom settings (Stevenson 2013). Our aim is to address some of these issues through the paper’s goals: ▪ The first of these goals describes the procedure followed for creating an instrument for assessing digital competency (scorecard) based on the classroom practices undertaken by a group of teachers in the second cycle of early childhood education using an ICT resource designed for working with children of this age. Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 62 < 3. Analysis and results 3.1. Autonomy in the use of digital skills among pupils in the second cycle of early childhood education. To know the degree of autonomy in the use of the ICT resource, the teachers used the assessment instrument described in the previous paragraph to record each pupil’s individual performance at two different moments during the 2015-16 school year. The results from these scorecards are listed in Tables 3 and 4 below. Tabla 3 Percentages of autonomous performance in items assessed by categories, moments and courses: Handling the mouse, User interface, Audio devices & CD-ROM YEAR 1 YEAR 2 YEAR 3 Handling the mouse 1st Assessment 2nd Assessment 1st Assessment 2nd Assessment 1st Assessment 2nd Assessment 1. Click 89.0% (n=82) 100% (n=80) 98.9% (n=91) 98.7% (n=78) Not assessed Not assessed 2. Double click 52.4% (n=82) 57.5% (n=80) 92.2% (n=90) 88.3% (n=77) 96.7% (n=92) 97.8% (n=93) 3. Coordinating mouse-cursor 85.4% (n=82) 95.0% (n=80) 97.8% (n=91) 97.4% (n=78) Not assessed Not assessed 4. Situating themselves on the screen with the mouse 87.8% (n=82) 95.0% (n=80) 97.8% (n=91) 97.4% (n=78) 97.8% (n=92) 96.8% (n=93) 5. Right button 0.0% (n=82) 1.3% (n=80) 1.2% (n=84) 1.4% (n=72) 18.5% (n=92) 0% (n=93) 6. Left button 93.9% (n=82) 100% (n=80) 98.9% (n=91) 98.7% (n=77) Not assessed Not assessed User interface 9. Switching equipment on 35.4% (n=82) 58.8% (n=80) 73.6% (n=91) 82.4% (n=51) 95.7% (n=92) 93.5% (n=93) 10. Switching equipment off 2.4% (n=82) 6.3% (n=80) 33.3% (n=90) 25.4% (n=51) 41.3% (n=92) 48.4% (n=93) Audio devices 12. Adjusting volume on headphones 47.6% (n=82) 68.8% (n=80) 75.0% (n=84) 90.3% (n=72) 96.7% (n=92) 97.8% (n=93) 13. Adjusting volume on loud speakers 47.6% (n=82) 43.8% (n=80) 70.2% (n=84) 66.7% (n=72) 82.6% (n=92) 83.9% (n=93) Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 63 < Table 4 Percentages of autonomous performance in items assessed by categories, moments and courses: Office tools & Mouse Corner programs YEAR 1 YEAR 2 YEAR3 CD-ROM 1st Assessment 2nd Assessment 1st Assessment 2nd Assessment 1st Assessment 2nd Assessment 15. Opening and closing CD drive 32.9% (n=72) 55.0% (n=80) 73.6% (n=91) 82.1% (n=78) 91.3% (n=92) 94.6% (n=93) 16. Inserting CD-Rom in drive 13.9% (n=72) 27.5% (n=80) 41.1% (n=90) 44.2% (n=77) 59.8% (n=92) 68.8% (n=93) Office tools 17. Opening programs (Word, paint) Not assessed 31.3% (n=80) Not assessed 63.6% (n=77) Not assessed 77.4% (n=93) 18. Closing programs (Word, paint Not assessed 87.5% (n=80) Not assessed 89.6% (n=77) Not assessed 96.8% (n=93) 21. Selecting tools (colours and formats) Not assessed 97.5% (n=80) Not assessed 100% (n=51) Not assessed 97.8% (n=93) 22. Drawing in Paint Not assessed 97.5% (n=80) Not assessed 100% (n=51) Not assessed 97.8% (n=93) The Mouse Corner programs 28. Opening programs from the desktop Not assessed 40.0% (n=80) Not assessed 66.7% (n=51) Not assessed 75.3% (n=93) 31. Moving through screens Not assessed 92.5% (n=80) Not assessed 98.0% (n=51) Not assessed 97.8% (n=93) 32. Moving back Not assessed 93.8% (n=80) Not assessed 98.0% (n=51) Not assessed 97.8% (n=93) 34. Exiting the game 20.7% (n=82) 88.8% (n=80) 41.8% (n=90) 98.0% (n=51) 58.7% (n=92) 94.6% (n=93) 35. Checking scores Not assessed 98.8% (n=80) Not assessed 100% (n=51) Not assessed 98.9% (n=92) 36. Accessing activities from the game’s main screen-menu Not assessed 56.3% (n=80) Not assessed 80.4% (n=51) Not assessed 88.0% (n=92) 37. Performing different activities 84.1% (n=82) 97.5% (n=80) 92.2% (n=90) 100% (n=51) 98.9% (n=92) 97.8% (n=92) Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 64 < 38. Selecting level of difficulty Not assessed 97.5% (n=80) 52.9% (n=85) 100% (n=51) Not assessed 97.8% (n=92) 39. Completing games 85.4% (n=82) 97.5% (n=80) Not assessed 100% (n=51) 96.7% (n=92) 97.8% (n=92) 40. Understanding the game’s ultimate purpose 86.6% (n=82) 97.5% (n=80) 95.6% (n=90) 100% (n=51) Not assessed Not assessed 4. Discussion The data stress how the acquisition of the skills assessed is explained largely by the children’s level of maturity. Tables 3 and 4 corresponding to the final results reveal this tendency in an unequivocal manner: almost 100% of the pupils’ items progress toward greater autonomy from the first assessment at the age of three through to the final assessment when they are five or six years old. This means the pupils’ progression throughout this stage is constant, although there are individual differences within each class group that explain certain minor nuances of variability in the data. Elsewhere, the data also reveal the impact the curricular content at this stage has on the learning of certain digital skills that require some familiarity with, above all, reading and writing. Likewise, the handling of some of the resource’s hardware and software components requires some knowledge of writing, which is still not part of the formal teaching at this stage. We are referring to the skills that require knowing the alphabet, something that is still not seriously addressed during these years of schooling, for example letter and number keys, naming documents, saving documents, writing their names, selecting their name, typing in searches, and finding help. This does not mean the pupils are incapable of learning to interact with multimedia text screens, as they develop strategies that enable them to give meaning to a wide array of symbolic images (Levy 2009). Along these lines, as reflected in Table 4, the results for the items linked to browsing and the interpretation of the game icons regarding the programs in “The Mouse Corner” reveal the increasing autonomy acquired by the pupils (Burnett 2009). Also related to this matter, note should be taken of all the skills that involve the use of internet browsers that are associated with instructional tasks for searching for information and compiling that information that are not part of the learning process at these levels of schooling: using a browser and accessing websites. Finally, there are results that are explained largely by the way in which the ICT resource is used in the classrooms. We are referring, on the one hand, to items 8, 11 and 14 (Table 3), which were withdrawn from the assessment and, on the other, to the results of items 5, 10 (Table 3) and 16 in Table 4. These groups of items reflect classroom practices with the ICT resource that may or may not favor the acquisition of the corresponding skills. The way in which the resource is managed for the classroom activities also explains what the students learn. Thus, the behavior of these items responds to several reasons that we shall now seek to explain: items 8 and 11 are not addressed in the classes; in the case of 8 because the keys are replaced by the mouse, and in 11 because the way in which the teachers set up the user interface means that the pupils do not have to open or close folders. The case of 14 is different, as only one of the 17 classrooms has a printer. Furthermore, item 5 refers to Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 65 < a secondary skill that is not addressed by the teachers either, because the pupils do not need to use the right button for the type of tasks they are set. Finally, items 10 and 16 record lower levels of autonomous performance because in one case, item 10, the pupils do not usually turn off the equipment, as it switches itself on when they enter the classroom and the pupils then take turns to use the resource, without turning it off until the end of the session. In the case of item 16, the lower level of performance is due to the fact the CD-Rom is operated from the desk’s screen, as it is installed in the system. In sum, the results discussed on the pupil’s degree of autonomy enable us to use Table 5 to succinctly describe the degree of autonomy in the use of ICT skills among the pupils assessed: Table 5 Profile of the degree of autonomy in the use of ICT skills among the pupils assessed DIGITAL SKILLS ASSESSED IN THE 2nd CYCLE OF EARLY CHILDHOOD EDUCATION DEGREE OF USER AUTONOMY AMONG PUPILS IN THE 2nd CYCLE OF EARLY CHILDHOOD EDUCATION Handling the mouse: Click, double click, move the cursor and use the right and left buttons Pupils in early childhood education master all the skills for handling the mouse before they reach the final year, except the use of the right button that is not mastered until Year 3. User interface: Turn the equipment on and off Over half the pupils in early childhood education know how to turn the equipment on and off as of the second half of Year 1, and all of them do by the end of Year 3. Audio devices: Adjust the volume on headsets and/or loudspeakers Almost half of the pupils in early childhood education can control their audio equipment in Year 1, and almost all of them (between 80% and 90%) can by the end of this cycle. CD-Rom: Open and close the drive and insert the CD-Rom Over half the pupils in early childhood education know how to open and close the drive on their equipment as of the second half of Year 1, and all of them do by the end of Year 3. Office tools: Open and close programs (Word, Paint), select tools (shapes, colors…) and draw in Paint Almost 80% of the pupils open and close their equipment (they find it easier to close down than to open), and almost all of them do by the end of this cycle. Regarding the use of tools (shapes, colors) almost all of them (between 90% and 100%) do so as of Year 2. The Mouse Corner programs: Open programs from the desktop, move the screen forwards and backwards, launch activities from the menu, play games and finish them, choose the level of difficulty, check scores, and understand the end goal Regarding the most general skills involved in handling the desktop and screen with the program’s games, the pupils become increasingly more autonomous over the three years, and almost all of them achieve this in Year 3. It should be noted, for example, that only 20% of the pupils knew how to exit the games in Year 1, but almost all of them (95%) did in Year 3. Regarding all the other skills involved in the handling of games (activities, levels and scores) and comprehension, the pupils became more autonomous as the cycle progressed, albeit with individual differences, with almost all of them (95%) achieving this in Year 3. 5. Conclusions This research sets out to assess the effects that the introduction of an ICT resource has on the learning process of the pupils involved. The assessment has been based on Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 66 < classroom practice, and has a twin objective. On the one hand, to develop a better instrument for assessing digital skills at a stage of schooling in which any assessment is a challenge due to the developmental nature of these ages (Kurcikova, 2018). on the other hand, to ensure that the assessment system allows not only recording the pupils’ changes in maturity (Donker & Reitsma, 2007), but also reflecting the weight that certain curricular content at this stage may have on the learning of these digital skills (Clements et al., 2013). This has meant considering the assessment on a continuous basis, seeking to respond to an understanding of learning development, in the hope that the development of the assessment process itself will in turn steadily modify it in order to address the practical dimension of the assessment’s purpose. These presuppositions have been reflected in the results obtained because they not only show that the pupils learn by taking part in a teaching experience supported by a digital resource, as they also reveal the role played by maturity factors in the explanation of what is acquired. These results have also singled out other aspects linked above all to classroom practices, as well as to the influence and impact that other curricular content has on digital learning. Finally, we should like to highlight another issue addressed in the theoretical presuppositions. We are referring to the effect technologies may or may not have on teaching experiences, over and above what has been reported by focusing on a specific learning process. In our opinion, what has been discussed here cannot be separated from that other more general perspective involving the relationship between technology and teaching experiences. As we have mentioned in preceding paragraphs, if the ICT resource does indeed have an impact on the learning process, this needs to be explained through the inclusion of a series of aspects ranging from classroom activities and teachers’ approaches through to the culture of innovation in schools and accessibility to technologies at homen (Voogt et al., 2018). There is a need, therefore, to continue conducting evaluative studies on classroom practice that assess what pupils learn regarding different competencies. Carefully designed evaluative research studies can provide in-depth information on these actions and practices, which is of importance to be able to understand the nature of the results developed from the assessments. Finally, the limitations of this work derive from the preliminary phase in which the study is focused on the development of the assessment instrument and the analysis of the extent to which it assesses the levels of autonomy in digital competence of the students. As experts in the field have pointed out in personal communications, it would be interesting to deepen from here, in other aspects such as the degree of difficulty and discrimination of the tasks, determine the reliability of the test and make an approach to longitudinal analysis to better understand the progress of students in this regard. 6. Acknowledgements This research has been carried out as part of the R+D project "Estudio sobre la integración del recurso digital El Rincón del Ratón en las prácticas de los profesores de Infantil. Relaciones entre teorías, concepciones, prácticas docentes y aprendizaje" (Reference number EDU2009-11295) of the Spanish Ministry of Science and Innovation. Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 67 < References Burnett, C. (2009). Research into literacy and technology in primary classrooms: an exploration of understandings generated by recent studies. Journal of Research in Reading, 2(1), 22-37. https://doi.org/10.1111/j.1467-9817.2008.01379.x Chauhan, S. (2017). A meta-analysis of the impact of technology on learning effectiveness of elementary students. Computers & Education, 105, 14-30. https://doi.org/10.1016/j.compedu.2016.11.005 Clements, D. H., Sarama, J., Wolfe, C. B., & Spitler, M. E. (2013). Longitudinal evaluation of a scaleup model for teaching mathematics with trajectories and technologies: Persistence of effects in the third year. American Educational Research Journal, 50(4), 812-827. https://doi.org/10.3102%2F0002831212469270 Comisión Europea (2016). Lifelong learning—Key competences: Summary of Recommendation 2006/962/EC on key competences for lifelong learning. European Commission. http://bit.ly/3saiCze Donker, A., & Reitsma, P. (2007). Aiming and clicking in young children's use of the computer mouse. Computers in Human Behavior, 23(6), 2863-2874. https://doi.org/10.1016/j.chb.2006.06.002 Escudero, T. (2016). La investigación evaluativa en el Siglo XXI: Un instrumento para el desarrollo educativo y social cada vez más relevante. Relieve. Revista Electrónica de Investigación y Evaluación Educativa, 22(1), 1-21. https://doi.org/10.7203/relieve.22.1.8164 Flewitt, R. S. (2011). Bringing ethnography to a multimodal investigation of early literacy in a digital age. Qualitative Research, 11(3), 293-310. https://doi.org/10.1177/1468794111399838 Guitert, M., Romeu, T. & Baztán, P. (2021). The digital competence framework for primary and secondary schools in Europe. European Journal of Education, 56(1), 133-149. https://doi.org/10.1111/ejed.12430 Kirschner, P.A., & Kester, L. (2016). Towards a research agenda for Educational Technology Research. En N. Rushby & D. W. Surry (eds.). The Wiley Handbook of Learning Technology (pp. 523-541). John Wiley & Sons, Inc. https://doi.org/10.1002/9781118736494.ch27 Krcmar, M., & Cingel, D. P. (2014). Parent–child joint reading in traditional and electronic formats. Media Psychology, 17, 262–281. https://doi.org/10.1080/15213269.2013.840243 Kucirkova, N. (2018). Personalized learning with digital technologies at home and school: where is children’s agency?. En G. Oakley (Ed.), Mobile Technologies in Children’s Language and Literacy: Innovative Pedagogy in Preschool and Primary Education (pp. 133-153). Emerald Publishing. https://doi.org/10.1108/978-1-78714-879-620181009 Lau, C., Higgins, K., Gelfer, J., Hong, E., & Miller, S. (2005). The effects of teacher facilitation on the social interactions of young children during computer activities. Topics in Early Childhood Special Education, 25(4), 208-217. https://doi.org/10.1177/02711214050250040201 Law, N., Lee, Y. & Yuen, H.K. (2009). The impact of ICT in education policies on teacher practices and student outcomes in Hong Kong. En F. Scheuermann, & F. Pedro (Eds.). Assessing the effects Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 68 < of ICT in education – Indicators, criteria and benchmarks for international comparisons (pp. 143- 164). Publications Office of the European Union. http://dx.doi.org/10.2788/27419 Levy, R. (2009). ‘You have to understand words...but not read them’: young children becoming readers in a digital age. Journal of Research in Reading, 32(1), 75-91. https://doi.org/10.1111/j.1467-9817.2008.01382.x Lin, C.H. (2012). Application of a Model for the Integration of Technology in Kindergarten: An Empirical Investigation in Taiwan. Early Childhood Education Journal, 40(1), 5–17. https://doi.org/10.1007/s10643-011-0494-5 LOE. Ley Orgánica 2/2006, de 3 de mayo, de Educación (2006). Boletín Oficial del Estado, 106, 4 de mayo de 2006, 17158-17207. España. https://www.boe.es/eli/es/lo/2006/05/03/2 Martín, E., & Luna, M. (2011). El asesoramiento a la elaboración, seguimiento y mejora de proyectos curriculares de centro basados en competencias. En E. Martín & J. Onrubia. (coords.) Orientación educativa y procesos de innovación y mejora de la enseñanza en la educación secundaria (pp. 54-75) Colección Educación Secundaria. N.15. Vol.III. Graó. Neumann, M.M., Finger, G. & Neumann, D. L. (2017). A Conceptual Framework for Emergent Digital Literacy. Early Childhood Education Journal, 45(4), 471–479. https://doi.org/10.1007/s10643-016-0792-z Pérez-Sanagustín, M., Nussbaum, M., Hilliger, I., Alario-Hoyos, C., Heller, R. S., Twining, P. & Tsai, Ch. (2017). Research on ICT in K-12 schools. A review of experimental and survey-based studies in computers & education 2011 to 2015. Computers & Education, 104, A1-A15. https://doi.org/10.1016/j.compedu.2016.09.006 Phuoc Tran, & Subrahmanyam, K. (2013). Evidence-based guidelines for the informal use of computers by children to promote the development of academic, cognitive and social skills. Ergonomics, 56(9), 1349-1362. https://doi.org/10.1080/00140139.2013.820843 Siraj-Blatchford, J. & Siraj-Blatchford. I. (2004). IBM KidSmart Early Learning programme European Evaluation. European Commission for Education and Culture and IBM. https://bit.ly/3cPBhda Stevenson, I. (2013). Does technology have an impact on learning? A Fuzzy Set Analysis of historical data on the role of digital repertoires in shaping the outcomes of classroom pedagogy. Computers & Education, 69, 148–158. https://doi.org/10.1016/j.compedu.2013.07.010 Voogt, J., Knezek, G., Christensen, R., Lai, K.-W. (Eds.) (2018). Second Handbook of Information Technology in Primary and Secondary Education. Springer International Publishing AG. https://doi.org/10.1007/978-3-319-71054-9 Willoughby, D., Evans, M. A., & Nowak, S. (2015). Do ABC eBooks boost engagement and learning in prescholers? An experimental study comparing eBooks with paper ABC and storybook controls. Computers & Education, 82, 107-117. https://doi.org/10.1016/j.compedu.2014.11.008 Pixel-Bit. Revista de Medios y Educación, 61, 37-69 |2021| https://doi.org/10.12795/pixelbit.85580 PÁGINA | 69 < Como citar: Ramírez-Orellana, E., Cañedo-Hernández, I., Orgaz-Baz, B., & Martín-Domínguez, J. (2021). Evaluar competencias digitales en Educación Infantil desde las prácticas de aula [Evaluate digital competencies in Early Childhood education from classroom practices]. Pixel-Bit. Revista de Medios y Educación, 61, 37-69. https://doi.org/10.12795/pixelbit.85580