Una propuesta de evaluación de Recursos Educativos Digitales a través de la metodología fsQCA longitudinal

Nº 69 ENERO 2024 CUATRIMESTRAL e-ISSN:2171-7966 ISSN:1133-8482 Revista de Medios y Educación PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 69 - ENERO- 2024 https://revistapixelbit.com Píxel-Bit. Revista de Medios y Educación. 2024 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN ENERO 2 0 2 4 EQUIPO EDITORIAL (EDITORIAL BOARD) EDITOR JEFE (EDITOR IN CHIEF) Nº 69 Dr. Julio Cabero Almenara, Departamento de Didáctica y Organización Educativa, Facultad de CC de la Educación, Director del Grupo de Investigación Didáctica. Universidad de Sevilla (España) EDITOR ADJUNTO (ASSISTANT EDITOR) Dr. Juan Jesús Gutiérrez Castillo, Departamento de Didáctica y Organización Educativa. Facultad de CC de la Educación, Universidad de Sevilla (España) Dr. Óscar M. Gallego Pérez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) EDITORES ASOCIADOS Dra. Urtza Garay Ruiz, Universidad del País Vasco. (España) Dra. Ivanovnna Milqueya Cruz Pichardo, Pontificia Universidad Católica Madre y Maestra. (República Dominicana) Dra. Carmen Llorente Cejudo, Universidad de Sevilla (España) CONSEJO METODOLÓGICO Dr. José González Such, Universidad de Valencia (España) Dr. Antonio Matas Terrón, Universidad de Málaga (España) Dra. Cynthia Martínez-Garrido, Universidad Autónoma de Madrid (España) Dr. Luis Carro Sancristóbal, Universidad de Valladolid (España) Dra. Nina Hidalgo Farran, Universidad Autónoma de Madrid (España) CONSEJO DE REDACCIÓN Dra. María Puig Gutiérrez, Universidad de Sevilla. (España) Dra. Sandra Martínez Pérez, Universidad de Barcelona (España) Dr. Selín Carrasco, Universidad de La Punta (Argentina) Dr. Jackson Collares, Universidades Federal do Amazonas (Brasil) Dra. Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) Dr. Vito José de Jesús Carioca. Instituto Politécnico de Beja Ciencias da Educación (Portugal) Dra. Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Dr. Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Dr. Fabrizio Manuel Sirignano, Università degli Studi Suor Orsola Benincasa (Italia) Dra. Sonia Aguilar Gavira. Universidad de Cádiz (España) Dra. Eloisa Reche Urbano. Universidad de Córdoba (España) CONSEJO TÉCNICO Dra. Raquel Barragán Sánchez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Dr. Antonio Palacios Rodríguez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Dr. Manuel Serrano Hidalgo, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Diseño de portada: Dña. Lucía Terrones García, Universidad de Sevilla (España) Revisor/corrector de textos en inglés: Dra. Rubicelia Valencia Ortiz, MacMillan Education (México) Revisores metodológicos: evaluadores asignados a cada artículo CONSEJO CIENTÍFICO Jordi Adell Segura, Universidad Jaume I Castellón (España) Ignacio Aguaded Gómez, Universidad de Huelva (España) María Victoria Aguiar Perera, Universidad de Las Palmas de Gran Canaria (España) Olga María Alegre de la Rosa, Universidad de la Laguna Tenerife (España) Manuel Área Moreira, Universidad de la Laguna Tenerife (España) Patricia Ávila Muñoz, Instituto Latinoamericano de Comunicación Educativa (México) Antonio Bartolomé Pina, Universidad de Barcelona (España) Angel Manuel Bautista Valencia, Universidad Central de Panamá (Panamá) Jos Beishuizen, Vrije Universiteit Amsterdam (Holanda) Píxel-Bit. Revista de Medios y Educación. 2023 - ISSN: 1133-8482. e-ISSN: 2171-7966. Florentino Blázquez Entonado, Universidad de Extremadura (España) Silvana Calaprice, Università degli studi di Bari (Italia) Selín Carrasco, Universidad de La Punta (Argentina) Raimundo Carrasco Soto, Universidad de Durango (México) Zulma Cataldi, Universidad de Buenos Aires (Argentina) Luciano Cecconi, Università degli Studi di Modena (Italia) Jean-François Cerisier, Université de Poitiers, Francia Jordi Lluís Coiduras Rodríguez, Universidad de Lleida (España) Jackson Collares, Universidades Federal do Amazonas (Brasil) Enricomaria Corbi, Università degli Studi Suor Orsola Benincasa (Italia) Marialaura Cunzio, Università degli Studi Suor Orsola Benincasa (Italia) Brigitte Denis, Université de Liège (Bélgica) Floriana Falcinelli, Università degli Studi di Perugia (Italia) Maria Cecilia Fonseca Sardi, Universidad Metropolitana de Venezuela (Venezuela) Maribel Santos Miranda Pinto, Universidade do Minho (Portugal) Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) María-Jesús Gallego-Arrufat, Universidad de Granada (España) Lorenzo García Aretio, UNED (España) Ana García-Valcarcel Muñoz-Repiso, Universidad de Salamanca (España) Antonio Bautista García-Vera, Universidad Complutense de Madrid (España) José Manuel Gómez y Méndez, Universidad de Sevilla (España) Mercedes González Sanmamed, Universidad de La Coruña (España) Manuel González-Sicilia Llamas, Universidad Católica San Antonio-Murcia (España) António José Meneses Osório, Universidade do Minho (Portugal) Carol Halal Orfali, Universidad Tecnológica de Chile INACAP (Chile) Mauricio Hernández Ramírez, Universidad Autónoma de Tamaulipas (México) Ana Landeta Etxeberría, Universidad a Distancia de Madrid (UDIMA) Linda Lavelle, Plymouth Institute of Education (Inglaterra) Fernando Leal Ríos, Universidad Autónoma de Tamaulipas (México) Paul Lefrere, Cca (UK) Carlos Marcelo García, Universidad de Sevilla (España) Francois Marchessou, Universidad de Poittiers, París (Francia) Francesca Marone, Università degli Studi di Napoli Federico II (Italia) Francisco Martínez Sánchez, Universidad de Murcia (España) Ivory de Lourdes Mogollón de Lugo, Universidad Central de Venezuela (Venezuela) Angela Muschitiello, Università degli studi di Bari (Italia) Margherita Musello, Università degli Studi Suor Orsola Benincasa (Italia) Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Trinidad Núñez Domínguez, Universidad de Sevilla (España) James O’Higgins, de la Universidad de Dublín (UK) José Antonio Ortega Carrillo, Universidad de Granada (España) Gabriela Padilla, Universidad Autónoma de Tumalipas (México) Ramón Pérez Pérez, Universidad de Oviedo (España) Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Juan Jesús Gutiérrez Castillo, Universidad de Sevilla (España) Julio Manuel Barroso Osuna, Universidad de Sevilla (España) Rosalía Romero Tena. Universidad de Sevilla (España) Hommy Rosario, Universidad de Carabobo (Venezuela) Pier Giuseppe Rossi, Università di Macerata (Italia) Jesús Salinas Ibáñez, Universidad Islas Baleares (España) Yamile Sandoval Romero, Universidad de Santiago de Cali (Colombia) Albert Sangrá Morer, Universidad Oberta de Catalunya (España) Ángel Sanmartín Alonso, Universidad de Valencia (España) Horacio Santángelo, Universidad Tecnológica Nacional (Argentina) Francisco Solá Cabrera, Universidad de Sevilla (España) Jan Frick, Stavanger University (Noruega) Karl Steffens, Universidad de Colonia (Alemania) Seppo Tella, Helsinki University (Finlandia) Hanne Wacher Kjaergaard, Aarhus University (Dinamarca) Píxel-Bit. Revista de Medios y Educación. 2023 - ISSN: 1133-8482. e-ISSN: 2171-7966. FACTOR DE IMPACTO (IMPACT FACTOR) SCOPUS Q1 Education: Posición 236 de 1406 (83% Percentil). CiteScore Tracker 2022: 5 - Journal Citation Indicator (JCI). Emerging Sources Citation Index (ESCI). Categoria: Education & Educational Research. Posición 257 de 739. Cuartil Q2 (Percentil: 65.29) - FECYT: Ciencias de la Educación. Cuartil 1. Posición 16. Puntuación: 35,68- DIALNET MÉTRICAS (Factor impacto 2021: 1.72. Q1 Educación. Posición 12 de 228) - REDIB Calificación Glogal: 29,102 (71/1.119) Percentil del Factor de Impacto Normalizado: 95,455- ERIH PLUS - Clasificación CIRC: B- Categoría ANEP: B - CARHUS (+2018): B - MIAR (ICDS 2020): 9,9 - Google Scholar (global): h5: 42; Mediana: 42 - Journal Scholar Metric Q2 Educación. Actualización 2016 Posición: 405a de 1,115- Criterios ANECA: 20 de 21 - INDEX COPERNICUS Puntuación ICV 2019: 95.10 Píxel-Bit, Revista de Medios y Educación está indexada entre otras bases en: SCOPUS, Fecyt, DOAJ, Iresie, ISOC (CSIC/CINDOC), DICE, MIAR, IN-RECS, RESH, Ulrich’s Periodicals, Catálogo Latindex, Biné-EDUSOL, Dialnet, Redinet, OEI, DOCE, Scribd, Redalyc, Red Iberoamericana de Revistas de Comunicación y Cultura, Gage Cengage Learning, Centro de Documentación del Observatorio de la Infancia en Andalucía. Además de estar presente en portales especializados, Buscadores Científicos y Catálogos de Bibliotecas de reconocido prestigio, y pendiente de evaluación en otras bases de datos. EDITA (PUBLISHED BY) Grupo de Investigación Didáctica (HUM-390). Universidad de Sevilla (España). Facultad de Ciencias de la Educación. Departamento de Didáctica y Organización Educativa. C/ Pirotecnia s/n, 41013 Sevilla. Dirección de correo electrónico: [email protected] . URL: https://revistapixelbit.com/ ISSN: 1133-8482; e-ISSN: 2171-7966; Depósito Legal: SE-1725-02 Formato de la revista: 16,5 x 23,0 cm Los recursos incluidos en Píxel Bit están sujetos a una licencia Creative Commons Attribution-NonCommercial- ShareAlike 4.0 Unported (Reconocimiento-NoComercial-CompartirIgual)(CC BY-NC-SA 4.0), en consecuencia, las acciones, productos y utilidades derivadas de su utilización no podrán generar ningún tipo de lucro y la obra generada sólo podrá distribuirse bajo esta misma licencia. En las obras derivadas deberá, asimismo, hacerse referencia expresa a la fuente y al autor del recurso utilizado. ©2024 Píxel-Bit. No está permitida la reproducción total o parcial por ningún medio de la versión impresa de Píxel-Bit. Píxel-Bit. Revista de Medios y Educación. 2023 - ISSN: 1133-8482. e-ISSN: 2171-7966. Nº 69 PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Índice ENERO 2 0 2 4 1.- Competencia digital en labores de Investigación: predictores que influyen en función del tipo de universidad y género del profesorado de Educación Superior // Digital competence in research work: predictors that have an impact on it according to the type of university and gender of the Higher Education teacher. Francisco David Guillén-Gámez, Melchor Gómez-García, Julio Ruiz-Palmero 2.- La percepción de las familias acerca de las tareas digitales // Families' perceptions about digital homework. Mª Ángeles Hernández-Prados, José Santiago Álvarez-Muñoz, Juan Antonio Gil-Noguera 3.- Cuestionando el papel de las tecnologías en la Educación Infantil: brechas y falsas visiones // Questioning the role of technology in Early Childhood Education: divides and false views. Patricia Digón- Regueiro, Rosa María Méndez-García, M. Mercedes Romero-Rodrigo, Cecilia Verónica Becerra-Brito 4.- Uso académico del smartphone en la formación de posgrado: percepción del alumnado en Ecuador // Academic use of smartphones in postgraduate education: student perception in Ecuador. Alexander López- Padrón, Santiago Mengual-Andrés, Ernesto Andrés Hermann-Acosta 5.- Equivalencias entre los indicadores de la herramienta SELFIE y el marco DigCompEdu a partir de la técnica Delphi // Equivalences between SELFIE indicators and DigCompEdu framework based on Delphi technique. Jacoba Munar-Garau, Jorge Oceja, Jesús Salinas-Ibáñez 6.- Análisis del nivel de pensamiento computacional de los futuros maestros: una propuesta diagnóstica para el diseño de acciones formativas // Analysis of the level of computational thinking of future teachers: a diagnostic proposal for the design of training actions. Lourdes Villalustre-Martín 7.- Una propuesta de evaluación de Recursos Educativos Digitales a través de la metodología fsQCA longitudinal // A proposal for the evaluation of Digital Educational Resources through the longitudinal fsQCA methodology. Cristina Mendaña-Cuervo, Nieves Remo-Diez, Enrique López-González 8.- El uso del modelo GPT de OpenAI para el análisis de textos abiertos en investigación educativa // Use of GPT-3 for open text analysis in qualitative research. Héctor González-Mayorga, Agustín Rodríguez- Esteban, Javier Vidal 9.- Estrategias pedagógicas con TIC en contextos educativos vulnerables: Repercusiones en la pandemia y proyecciones de futuro // Pedagogical strategies with ICT in vulnerable educational contexts: Impact on the pandemic and future projections. María José Alcalá del Olmo-Fernández, María Jesús Santos- Villalba, José Luis González-Sodis, Juan José Leiva-Olivencia 10.- Perfiles de uso problemático de los videojuegos y su influencia en el rendimiento académico y los procesos de toma de decisiones en alumnado universitario // Profiles of Undergraduates’ videogames problematic use: the influence of academic performance and decision-making process. Barreto-Cabrera, Yenia del Sol, Suárez-Perdomo, Arminda, Castilla-Vallejo, José Luis 7 35 63 97 131 169 195 227 255 287 Píxel-Bit. Revista de Medios y Educación. 2024 - ISSN: 1133-8482. e-ISSN: 2171-7966. Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 Una propuesta de evaluación de Recursos Educativos Digitales a través de la metodología fsQCA longitudinal A proposal for the evaluation of Digital Educational Resources through the longitudinal fsQCA methodology Dra. Cristina Mendaña-Cuervo Profesora Titular de Universidad. Universidad de León, España Dña. Nieves Remo-Diez Profesora ayudante. Universidad de León, España Dr. Enrique López-González Catedrático de Universidad. Universidad de León, España Recibido: 2023/05/25; Revisado: 2023/09/23; Aceptado: 2023/11/18; Preprint: 2023/12/15; Publicado: 2024/07/01 RESUMEN El uso de las Tecnologías de la Información y Comunicación en el ámbito docente ha supuesto la proliferación de Recursos Educativos Digitales (REDs) que tratan de fomentar el aprendizaje autónomo y asíncrono de los estudiantes buscando, a su vez, mejorar el resultado académico. Sin embargo, en pocos casos se evalúa las consecuencias de dichos recursos en el proceso de aprendizaje. En este trabajo, se propone la metodología fsQCA para establecer las combinaciones de REDs que facilitan la obtención de un mejor desempeño de los estudiantes, frente metodologías que se basan en el estudio de los efectos netos de cada recurso. El trabajo se complementa con un análisis para varios cursos académicos a través de la metodología fsQCA longitudinal, lo que facilita realizar un análisis en el tiempo, propiciando una visión dinámica de oportunidad y relevancia de los REDs. Los resultados de la investigación sugieren que no existe una única combinación de REDs que conduzcan al éxito, sino que la utilización de dichos recursos de diferentes formas combinadas permite a los estudiantes el logro de sus objetivos académicos, concluyendo que la metodología planteada puede resultar de utilidad para la evaluación de REDs con independencia de la tipología de los mismos. ABSTRACT The use of Information and Communication Technologies in teaching has led to the proliferation of Digital Educational Resources (DERs) which seek to promote autonomous and asynchronous learning by students in order to improve academic results. However, the impact of these resources on the learning process is rarely evaluated. In this paper, the fsQCA methodology is proposed to establish the combinations of DERs which enable students to achieve better performance, as opposed to methodologies based on the study of the net effects of each resource. The study is complemented with an analysis for several academic years through the longitudinal fsQCA methodology, which helps to conduct an analysis over time, providing a dynamic perspective of the opportunity and relevance of the DERs. The results of the research suggest that there is no single combination of DERs leading to success, but that the use of these resources in different ways combined allows students to achieve their academic goals, concluding that the methodology proposed can be useful for the evaluation of DERs regardless of their typology PALABRAS CLAVES · KEYWORDS Aula invertida, recursos educativos digitales, resultado académico, fsQCA longitudinal, enseñanza superior Flipped classroom, digital educational resources, academic performance, longitudinal fsQCA, higher education Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 196 1. Introducción Los actuales estudiantes universitarios, considerados nativos digitales (Prensky, 2001), demandan modificaciones en los desarrollos educativos tradicionales. De hecho, en las últimas décadas se ha producido un cambio en la percepción sobre el modo de aprender de la denominada “Generación Z” o “Gen-Zers”, que ha impulsado la necesidad de adaptar tales procesos a sus expectativas (Schwieger & Ladwig, 2018), a su forma de aprender (Cickovska, 2020; Maquilón Sánchez et al., 2013) e incluso a sus aspiraciones profesionales (Barhate & Dirani, 2022). Si bien se considera como característica intrínseca a esta generación el uso natural de la tecnología y su capacidad para realizar múltiples tareas, hay autores que ponen en cuestionamiento estas aptitudes y, por ende, la necesidad de adaptar la educación a ellos (Kirschner & De Bruyckere, 2017). Pero, bien por esta circunstancia o por el proceso de digitalización general de la sociedad, existe la aceptación generalizada de que la forma de aprender ha cambiado, suscitando a su vez una mutación en la forma de enseñar, lo que ha supuesto la proliferación de publicaciones relacionadas con la elaboración y uso de recursos educativos digitales y objetos virtuales de aprendizaje (Gutiérrez-González et al., 2023) y su usabilidad (Estrada-Molina et al., 2022). Cada vez es más necesario entender el entorno de nuestros alumnos, en aras a motivarlos y hacerles llegar dicho conocimiento. Lo cual plantea, a su vez, la necesidad de adecuarles la enseñanza con metodologías pedagógicas innovadoras y congruentes con la idiosincrasia de su realidad, aplicando recursos y materiales educativos en consonancia con esta nueva realidad. En este contexto han surgido metodologías activas y colaborativas (Segura-Robles et al., 2020) que plantean que la docencia universitaria se desarrolle en función del aprendizaje de los alumnos, quienes tras la activación de un conjunto de competencias propiciadas por el diseño de la práctica educativa que efectúa el profesor, son capaces de aprender de forma autónoma (Pérez de Albéniz Iturriaga et al., 2015). De acuerdo con lo anterior, en el transcurso de la actividad docente de los autores del presente trabajo se planteó la oportunidad de adecuar los contenidos, la metodología de enseñanza y el seguimiento y monitorización particular y personalizada de los estudiantes con el objeto de afrontar los retos mencionados. En concreto, el esfuerzo docente se enfocó en contrastar la utilidad de aplicar alguna metodología activa, habiendo optado por el denominado “Aprendizaje Invertido” o “aula invertida”, o en el anglicismo generalizado de Flipped Classroom (FC) (Bergmann & Sams, 2012). Desde el punto de vista de la innovación en los recursos docentes y estrategias de enseñanza, la implementación de esta metodología ha sido realizada desde la perspectiva “los estudiantes primero”, esto es, considerando a los alumnos como protagonistas, tratando de potenciar su interactividad en el proceso de enseñanza–aprendizaje. Con este objetivo, se ha desarrollado un “Espacio Virtual de Aprendizaje (EVA)” en Moodle (https://sicodinet2.unileon.es), plataforma utilizada genéricamente en la Universidad de León y que, por tanto, resulta amigable, conocida y cómoda para los estudiantes. La utilización de una plataforma digital “obliga” a la elaboración de recursos educativos digitales (REDs), abriendo un abanico de posibilidades de adaptación al estudiante y proporcionando respuestas inmediatas a su evolución en el proceso de aprendizaje. En dicho EVA se registran todos los movimientos que los estudiantes realizan a lo largo del Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 197 curso académico con dichos REDs, tales como resolución de cuestionarios, realización de autoevaluaciones, visualización de vídeos, etc. Desde el punto de vista didáctico, la importancia de los materiales y los recursos educativos reside en que propician un determinado tipo de tareas y ciertas formas de realizarlas, condicionando los procesos de aprendizaje. De hecho, son un instrumento mediador entre el sujeto y su experiencia, permitiendo componer situaciones de aprendizaje. Sin embargo, el esfuerzo de innovación en el diseño, implementación y desarrollo de los diferentes REDs puestos a disposición de los estudiantes plantea la duda sobre cuál/es son aquellos que facilitan el proceso, o bien, qué combinación permite al alumnado conseguir el éxito académico. En efecto, si bien existe un cierto consenso sobre la evaluación de los REDs desde la perspectiva de su calidad, ésta suele centrarse en la adaptabilidad, interactividad, reusabilidad…, sin indagar sobre el resultado que supone su uso por parte de los estudiantes. Por este motivo, el principal objetivo de este trabajo es contrastar, analíticamente con evidencias, la utilidad y validez de los distintos REDs desarrollados para facilitar el resultado deseado en un ámbito de “aprendizaje invertido”. En este sentido, se plantea evaluar la relación entre la utilización de diferentes REDs puestos a disposición del alumnado y el resultado obtenido en el proceso de evaluación continua. A este respecto, cabe señalar que la utilización por parte de los estudiantes de un único RED por sí solo (como condición antecedente) no será suficiente para obtener un buen resultado (rendimiento académico), por lo que se propone la utilidad del análisis configuracional mediante el denominado “Análisis cualitativo comparativo de conjuntos borrosos” (fuzzy-set Qualitative Comparative Analysis, fsQCA) para identificar posibles combinaciones de REDs que puedan conducir a un alto rendimiento académico. Con el objetivo de poder evaluar posibles variaciones en el tiempo, se considera la oportunidad de utilizar la metodología fsQCA longitudinal, analizando un periodo de 4 cursos académicos. Además, en este trabajo se sigue un método inductivo, en consonancia con la literatura que utiliza esta metodología (Campbell et al., 2015; Federo & Saz-Carranza, 2018; Haxhi & Aguilera, 2017), lo que permitirá desarrollar proposiciones a partir de los hallazgos de la investigación. 2. Metodología 2.1. Proceso de implementación de la metodología de aula invertida o FC La investigación educativa actual parece demostrar que, si los estudiantes tienen la oportunidad de revisar los conceptos teóricos clave antes de la clase, la sesión presencial se puede utilizar de manera más efectiva para el aprendizaje activo mediante el análisis y sobre todo la aplicación práctica de dichos conceptos. Bajo esta premisa surge el aula invertida, que supone cambiar la dinámica activa del proceso de aprendizaje, trasladando el protagonismo a los estudiantes que han de anticipar su trabajo al propio desarrollo docente en el aula. En su puesta en práctica, el FC implica un cambio en el diseño metodológico, combinando la instrucción directa con el trabajo previo de los alumnos, lo que hace variar la dirección en la que el docente plantea el proceso. El proceso de aprendizaje implica actividades diferentes en función de los distintos momentos de tiempo (antes, durante y Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 204 3.2. Proceso de calibración Antes de implementar el análisis configuracional se han transformado los datos en conjuntos difusos, calibrando los valores de las variables. Si bien es factible utilizar el conocimiento experto, en el presente trabajo se ha optado por una calibración directa (Tabla 4), utilizando como umbrales los percentiles 90, 50 y 10 (Woodside, 2013). Tabla 4 Calibración de las variables Curso 2019-2020 Curso 2020-2021 Curso 2021-2022 Curso 2022-2023 90% 50% 10% 90% 50% 10% 90% 50% 10% 90% 50% 10% CAL 7.4 6.0 3.0 7.1 5.4 3.4 6.3 5.4 3.1 7.0 6.0 4.8 ENT 12.4 10.5 7.0 9.0 8.0 6.0 17.0 13.0 7.0 14.0 12.0 8.0 AUT 4.4 2.0 0.0 2.0 0.0 0.0 6.0 2.0 0.0 5.0 2.5 1.0 CUE 22.0 21.0 18.0 21.0 20.0 13.0 11.0 9.0 5.0 16.0 15.0 14.0 PPT 3.0 1.0 0.0 5.0 2.0 1.0 5.0 3.0 1.0 6.0 4.0 3.0 VID 22.0 20.0 19.0 18.0 16.0 13.0 23.0 21.0 17.4 30.0 28.0 25.0 REP 33.4 12.0 5.0 25.8 11.0 4.0 6.0 5.0 3.0 33.0 13.0 7.0 Nota: 90% total pertenencia, 50% punto de cruce, 10% no pertenencia 3.3. Análisis de condiciones necesarias Este análisis previo plantea la posibilidad de que alguna variable independiente pudiera ser una condición necesaria para obtener el resultado, obteniendo que todas las condiciones tienen un valor de consistencia inferior a .90 (Tabla 5), por lo que no parece que pudieran ser condiciones necesarias (Ragin, 2008). De igual forma, para el mismo umbral, los resultados no muestran que ninguna condición destaque por encima del resto y pudiera ser considerada cuasi-necesaria (Schneider & Wagemann, 2010). Tabla 5 Análisis de condiciones necesarias Curso 2019-2020 Curso 2020-2021 Curso 2021-2022 Curso 2022-2023 Consistencia Cobertura Consistencia Cobertura Consistencia Cobertura Consistencia Cobertura ENT .7521 .7804 .7399 .7534 .8009 .8352 .7550 .7059 AUT .7689 .7544 .8744 .7075 .7228 .7553 .7619 .6991 CUE .7816 .7622 .7107 .7659 .7810 .8191 .7710 .7231 PPT .6897 .7217 .6487 .6859 .7585 .7403 .6664 .6426 VID .7089 .7168 .7549 .7755 .6636 .6875 .6839 .6892 REP .7698 .7690 .6589 .6806 .7355 .7376 .6538 .6569 Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 205 3.4. Análisis de suficiencia Con los datos calibrados se elaboró la tabla de verdad, clasificando los casos por frecuencia y consistencia, fijando los umbrales para ambos parámetros. En concreto, en base a la literatura (Fiss, 2011; Ragin, 2008) se estableció una frecuencia mínima de 2 casos y un umbral de consistencia mínimo de .8. El análisis estándar propone tres soluciones (compleja, parsimoniosa e intermedia), habiendo optado por esta última, ya que la solución compleja es demasiado restrictiva (asume que la ausencia de casos reales supone ausencia de resultado), mientras que la parsimoniosa opta por la maximización (asume éxito en ausencia de casos reales) presentado únicamente las condiciones más importantes (“condiciones centrales”). Por su parte, la intermedia permite asumir que ciertas configuraciones causales no recogidas por los casos reales determinan el éxito (Ragin & Rihoux, 2004), siendo en consecuencia la solución más explicativa. Dado que el interés del estudio se centra en conocer las posibles combinaciones de REDs que contribuyen al resultado, se considera que cada condición causal debe contribuir teóricamente al resultado cuando está “presente”, habiendo obtenido los resultados que se muestran en la Tabla 6 bajo la notación propuesta por Fiss (2011). Tabla 6 Resultados 2019-2020 2020-2021 2021-2022 2022-2023 s1 s2 s3 s4 s5 s6 s2 s6 s7 s2 AUT ● ● • • • • • ENT ● ● ● ● ● ● ● CUE • ● • • • ● PPT • • • • • VID • • ● • • • REP ● • • • ● • Raw coverage .5101 .3829 .5638 .5678 .4211 .7204 .4527 .6827 .3755 .3357 Unique coverage .1466 .0193 .1091 .0807 .019 .2974 .0296 .3498 .0426 .0204 Consistency .8543 .8232 .8639 .8564 .8645 .8799 .8801 .8253 .8314 .8830 Overall solution Coverage: Consistency: .5295 .8501 .7057 .8348 .7501 .8481 .7458 .8123 Nota: los círculos negros indican la presencia de la condición y los espacios en blanco se refieren a condiciones que no importan. Los círculos grandes (●) representan elementos centrales (con una fuerte relación causal con el resultado), mientras que los pequeños (•) son elementos periféricos que indican una relación más débil. Se puede observar que en todos los cursos se obtiene más de una solución, corroborando la idea inicial de que no existe una única combinación de recursos que permita Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 206 explicar el resultado (CAL). En este sentido, la utilización por el estudiante de diferentes combinaciones de REDs puede permitirle alcanzar el objetivo. Con relación a los recursos, si bien todos los analizados forman parte de alguna solución, cabe destacar que las entregas de actividades (ENT) forman parte de 7 soluciones y, lo que es más importante, en todos los casos constituyen una condición central. Los cuestionarios de autoevaluación práctica (AUT) también se muestran presenten en 7 soluciones, si bien mayoritariamente se considera condición periférica, por lo que no se le puede otorgar la misma importancia que al anterior recurso. El resto de REDs analizados no muestran una pauta común, por lo que sólo son consistentes en las soluciones o combinaciones en las que aparecen. El análisis longitudinal permite observar que la solución s2 se repite todos los periodos, a excepción del curso 2020-2021, en el que las restricciones derivadas de la pandemia de Covid-19 (distancia, uso de mascarillas, cuarentenas de estudiantes…) pudieran explicar la diferencia. En dicha solución, están presentes todos los recursos a excepción de los cuestionarios de autoevaluación teórica (CUE), lo que podría cuestionar la utilidad de este recurso. Sin embargo, este recurso está presente en 6 soluciones, requiriendo menores condiciones causales que la solución s2. Por ejemplo, en la s6 que se repite en dos cursos, únicamente la combinación de este recurso con la entrega de actividades (ENT) proporciona también un alto rendimiento académico. La diferente combinación de recursos en estas soluciones también podría deberse a la multiplicidad de materiales que los estudiantes manejan para aprehender los contenidos teóricos, ya que además de los contenidos en PDF o tradicionales “apuntes”, tanto los vídeos (VID) como las presentaciones (PPT) facilitan el estudio de esta parte de la asignatura. Cabe mencionar que, si bien como es lógico y se refleja en la Figura 1, los estudiantes disponen de los contenidos teóricos, no se han considerado al no tratarse de un recurso digital y debido a la dificultad de cuantificar el uso que los alumnos realizan de los mismos. Por periodos, en el curso 2019-2020 las dos soluciones propuestas permiten explicar cerca del 53 % del resultado, con una consistencia del 85 %. Para el resto de cursos estos parámetros pueden observarse en la Tabla 6, situándose en todos los casos la cobertura entre el 70-75 % con consistencias entre el 81-85 %. Con relación a las soluciones particulares, la investigación sugiere que un modelo o solución es informativo cuando la consistencia está por encima de .74 y la cobertura está entre .25 y .65 (Ragin, 2008; Woodside, 2013), circunstancias que se cumplen en todas las soluciones obtenidas. 4. Discusión y Conclusiones En este trabajo se han evaluado los recursos educativos digitales (REDs) a disposición del alumnado en un entorno de aula invertida. Para ello, aplicando el análisis comparativo cualitativo borroso (fsQCA), se ha tratado de establecer las combinaciones de recursos utilizados por los estudiantes universitarios que obtienen un resultado positivo en la evaluación de la asignatura. Además, el análisis longitudinal de varios cursos académicos facilita una mejor comprensión de la naturaleza de los REDs en cada caso. Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 207 A este respecto, si bien existen trabajos sobre las pautas para diseñar recursos educativos que contribuyan al aprendizaje (Rozo & Real, 2019), con propuestas de sistemas de recomendación para guiar a los estudiantes en su proceso de aprendizaje (Ndiyae et al., 2019), pocos son los trabajos que evalúen la repercusión de su uso combinado en el rendimiento académico. En todo caso, los estudios se centran en la evaluación por parte de los estudiantes a través de encuestas (Drozdikova-Zaripova & Sabirova, 2020), o en la recomendación del uso de determinados recursos en función de las visitas o valoraciones de otros estudiantes (Bendjebar et al., 2023). Además, suele realizarse analizando un recurso concreto, por ejemplo, los vídeos (Hasan et al., 2020; Noetel et al., 2021) o los cuestionarios (Sotola & Crede, 2021), tratando de identificar efectos netos en el rendimiento académico. Sin embargo, el análisis de casos contrarios realizado en este trabajo ha permitido detectar que existen casos que no soportan el efecto principal, es decir, una relación simétrica entre el resultado académico (outcome) y cada una de las condiciones antecedentes por separado (REDs), por lo que la evaluación de un solo recurso carece de validez. De hecho, en todos los periodos que abarca el estudio y para todas las variables o recursos se pone de manifiesto que efectivamente existen casos contrarios, lo que permite plantear: Proposición 1: La alta utilización de un RED puede contribuir tanto a un rendimiento alto como bajo (principio de asimetría). Otros trabajos utilizan un análisis de correlación para conocer el efecto neto de cada recurso (Okike & Mogorosi, 2020; Soffer & Cohen, 2019), asumiendo que el uso de un recurso pueda tener una influencia directa en el resultado, sin considerar el efecto conjunto o combinado con el resto de los recursos. En este sentido, esta primera proposición ratifica la necesidad de un análisis configuracional como el desarrollado en el trabajo, que ha permitido comprobar la validez de la metodología fsQCA para la evaluación de recursos docentes, con independencia de la tipología de los mismos y del entorno en el que se apliquen. Además, el resultado del análisis de condiciones necesarias, habida cuenta de que ningún recurso sobresale de los demás, ratifica lo anterior y, a su vez, permite asumir: Proposición 2: La alta utilización de un RED, por sí solo, no es suficiente para la obtención de un alto rendimiento académico (principio de complejidad). En todos los periodos se obtiene más de una solución, por lo que se puede concluir también que no hay una única combinación de REDs que, utilizados conjuntamente, impliquen la obtención de un buen resultado académico. Esta circunstancia tiene su lógica en las diferentes formas de aprender de cada estudiante, por lo que si bien alguna combinación presenta mejores resultados, como cabría esperar no hay un único camino. Estudios precedentes que analizan el efecto conjunto de todos los recursos, por ejemplo, en función del tiempo de uso (Okike & Mogorosi, 2020), tampoco consideran qué combinación o combinaciones de recursos podrían favorecer la obtención de un buen resultado, al no discernir las posibles opciones de combinaciones. En este caso, en base a nuestras consideraciones podemos proponer: Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 208 Proposición 3: No hay una única combinación de REDs que implique un alto rendimiento académico (principio de equifinalidad). A su vez, el análisis de los resultados concretos en el caso de estudio ha permitido detectar qué recursos docentes son utilizados (están presentes en las soluciones) por los alumnos que han obtenido mejores resultados, lo que facilita establecer hacia dónde ha de dirigirse el esfuerzo del profesorado en el desarrollo e implementación de REDs para esta asignatura. Así, el recurso ENT sobresale de los demás, presentando una fuerte relación causal con el resultado en casi todas las combinaciones obtenidas, en consonancia con el trabajo de Latif y Miles (2020) con relación al impacto de las tareas en las calificaciones o resultado y con Soffer y Cohen (2019) que también concluyen que la presentación de tareas es un predictor significativo del éxito académico. Esto nos permite proponer: Proposición 4: Las actividades prácticas realizadas autónomamente (ENT) es una condición decisiva para la obtención de un alto rendimiento académico. El trabajo muestra también aquellos recursos que, sin embargo, no son considerados de mucha utilidad o, al menos, su empleo no resulta explicativo en las soluciones obtenidas. A este respecto, la combinación de todos los recursos analizados, a excepción de los cuestionarios de autoevaluación teórica (CUE), se repite como solución en todos los periodos, lo que podría suponer una baja utilidad de este recurso, nuevamente coincidente con las conclusiones de Latif y Miles (2020) así como con Di Meo y Martí-Ballester (2020). Sin embargo, en combinación con determinados recursos concretos sí facilita el logro del objetivo (forma parte de otras soluciones), por lo que no es posible asumir que se trate de un recurso ineficaz. Aun así, este trabajo sugiere nuevas líneas de estudio, al objeto de generalizar los resultados aquí obtenidos. En concreto, se han analizado los recursos existentes, si bien es posible incorporar otros distintos. Además, y dado que las teorías de la configuración se basan en el principio de asimetría causal, según el cual una condición (o una combinación de condiciones) que explica la presencia de un resultado puede ser diferente de las condiciones que conducen a la ausencia del mismo resultado, también cabría proponer ampliar el estudio para encontrar las configuraciones que expliquen un bajo rendimiento académico. Por otro lado, se ha considerado como resultado la media de las pruebas de evaluación presenciales, surgiendo la posibilidad de llevar a cabo un estudio diferenciado a propósito de los resultados teóricos y prácticos, lo que permitiría conocer qué recursos favorecen qué aprendizajes en los alumnos. En esta misma línea, podría resultar de interés un seguimiento concreto de los estudiantes que permiten obtener las combinaciones sugeridas por el modelo en cada curso, identificando patrones o características comunes de los grupos, especialmente comprobando si se trata de alumnos de primera matrícula o, por el contrario, alumnos repetidores, entendiendo que los recursos utilizados por unos y otros pueden diferir por el diferente nivel inicial de conocimientos de que parten. Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 209 5. Financiación Los autores, miembros del “Grupo de Innovación Docente para el Avance del Aprendizaje Autónomo Guiado (A3G)”, en el que participan profesores de diferentes Áreas de Conocimiento y con docencia en Grados distintos, desean agradecer a la Universidad de León la financiación de este trabajo a través de los Planes de Apoyo a los Grupos de Innovación Docente de la Universidad de León. Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 210 A proposal for the evaluation of Digital Educational Resources through the longitudinal fsQCA methodology 1. Introduction Today's university students, considered digital natives (Prensky, 2001), demand modifications in traditional educational developments. In fact, in recent decades there has been a change in the perception of how the so-called "Gen-Zers" learn, which has driven the need to adapt such processes to their expectations (Schwieger & Ladwig, 2018), to their way of learning (Cickovska, 2020; Maquilón Sánchez et al., 2013) and even to their professional aspirations (Barhate & Dirani, 2022). While the natural use of technology and the ability to multitask is considered an intrinsic characteristic of this generation, there are authors who question these skills and, therefore, the need to adapt education to them (Kirschner & De Bruyckere, 2017). But, either because of this circumstance or because of the general process of digitalisation of society, there is a widespread assumption that the way of learning has changed, leading in turn to a mutation in the way of teaching, which has resulted in a proliferation of publications related to the development and use of digital educational resources and virtual learning objects (Gutiérrez- González et al., 2023) and their usability (Estrada-Molina et al., 2022). There is an increasing need to understand our students' environment, in order to motivate them and provide them with this knowledge. Therefore, it is necessary to adapt the teaching to them with innovative pedagogical methodologies in line with the idiosyncrasies of their reality, applying resources and educational materials in accordance with this new reality. In this context, active and collaborative methodologies have emerged (Segura-Robles et al., 2020) suggesting that university teaching should be developed in terms of student learning, who, after activating a set of competencies fostered by the design of the educational practice implemented by the teacher, are capable of learning autonomously (Pérez de Albéniz Iturriaga et al., 2015). According to the foregoing, during the teaching activity of the authors of this paper, the opportunity arose to adapt the contents, the teaching methodology and the particular and personalised monitoring and follow-up of the students in order to face the aforementioned challenges. Specifically, the teaching effort was focused on contrasting the usefulness of applying an active methodology, having opted for the Flipped Classroom (FC) (Bergmann & Sams, 2012). From the point of view of innovation regarding teaching resources and teaching strategies, the implementation of this methodology has been undertaken from the perspective of "students first", that is, considering the students as protagonists, trying to enhance their interactivity in the teaching-learning process. With this objective in mind, a "Virtual Learning Environment (VLE)" has been developed in Moodle (https://sicodinet2.unileon.es), a platform used throughout the University of León and which, therefore, is friendly, familiar and comfortable for students. The use of a digital platform "forces" the development of Digital Educational Resources (DERs), opening up a range of possibilities for student adaptation and providing immediate responses to their evolution in the learning process. This VLE records all the actions that students carry out throughout the Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 211 academic year with these DERs, such as solving questionnaires, taking self-assessments, watching videos, etc. From the teaching point of view, the importance of educational materials and resources lies in the fact that they favour a certain type of tasks and certain ways of performing them, conditioning the learning processes. In fact, they are a mediating instrument between the learner and his or her experience, making it possible to create learning situations. However, the effort to innovate in the design, implementation and development of the different DERs made available to students raises the question of which ones facilitate the process, or which combination allows students to achieve academic success. Indeed, although there is a certain consensus on the evaluation of DERs from the perspective of their quality, this tends to focus on adaptability, interactivity, reusability, etc., without investigating the results of their use by students. Consequently, the main objective of this research is to contrast, analytically and with evidence, the usefulness and validity of the different DERs developed to enable the desired result in a Flipped Classroom environment. In this sense, it is proposed to evaluate the relationship between the use of different DERs made available to students and the results obtained in the continuous assessment process. Therefore, it should be noted that the use by students of a single DER on its own (as an antecedent condition) will not be sufficient to obtain a good result (academic performance), so we propose the usefulness of configurational analysis using fuzzy-set Qualitative Comparative Analysis (fsQCA) to identify possible combinations of DERs which may lead to high academic performance. In order to be able to evaluate possible variations over time, the opportunity to use the longitudinal fsQCA methodology is considered, analysing a period of 4 academic years. Furthermore, this study follows an inductive method, in line with the literature using this methodology (Campbell et al., 2015; Federo & Saz-Carranza, 2018; Haxhi & Aguilera, 2017), which will allow us to develop propositions based on the research findings.En este epígrafe se deben incluir los fundamentos y el propósito del estudio, utilizando citas bibliográficas, así como la revisión de la literatura más significativa del tema a nivel nacional e internacional. 2. Metodology 2.1. Process of implementation of the Flipped Classroom methodology The current educational research seems to show that, if students have the opportunity to review key theoretical concepts before class, the classroom session can be used more effectively for active learning through the analysis and, above all, the practical application of these concepts. The Flipped Classroom arises from this premise, involving a change in the active dynamics of the learning process, transferring the leading role to the students who have to anticipate their work prior to the actual teaching session in the classroom. In its implementation, the FC represents a change in the methodological design, combining direct instruction with the students' previous work, which changes the direction in which the teacher approaches the process. The learning process involves different activities depending on the different moments in time (before, during and after the face-to-face sessions) which, in turn, require ad hoc educational resources linked to the methodology (Ferrando Rodríguez et al., 2023). Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 212 In our case, the process of introducing the FC methodology has involved a new methodological design, not only because of the different materials to be included in the students' work corpus at each point in time, but also because of the effects they are expected to produce. It has therefore been necessary to design and implement new teaching resources, mostly digital, to support this process in order to address the different moments in time. Figure 1 shows the implementation design undertaken, detailing the DERs used and made available to the students. Figure 1 FC implementation design As it can be observed, in addition to the mandatory theoretical content and the practical exercises conducted by the teachers in the classroom, the students have numerous and varied digital resources at their disposal, many of which are voluntary and which, in the opinion of the teachers, can be used to promote the autonomous and active learning process that this methodology is intended to encourage and whose evaluation this study is intended to address. 2.2. Sample Students of the subject "Cost Accounting" of the curriculum of the Degree in Business Administration and Management of the University of León, from the academic year 2019- 2020 to the academic year 2022-2023. Out of the total number of students enrolled in each academic year, only those who have taken the assessment tests and, therefore, are included Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 213 in the study with a grade in the final transcripts have been taken into account. The data for students enrolled vs. tested in each academic year are shown in Table 1. Table 1 Data of the sample for each period (academic year) Enrolled Tested 2019-2020 Total Male Female 80 38 42 47.50% 52.50% 64 29 35 45.31% 54.69% 2020-2021 Total Male Female 95 46 49 48.44% 51.58% 77 37 40 48.05% 51.95% 2021-2022 Total Male Female 96 41 55 42.71% 57.29% 78 31 47 39.74% 60.26% 2022-2023 Total Male Female 80 41 39 51.25% 48.75% 64 39 35 45.31% 54.69% 2.3. Data collection and analysis process The outcome variable of our research is the grade obtained by the students in the assessment process. Meanwhile, without detriment to other educational resources available to students (theoretical content, exercises or practical cases to be solved in the classroom), the independent variables in this study are the DERs available to students for their own learning process, i.e. those that they can voluntarily use for their progress. Specifically, we have considered the DERs whose description and symbology are shown in Table 2. Table 2 Description of variables Variables Symbol Description Dependent variable Academic performance ACP Quantitative result of the continuous assessment process (grade obtained). Independent variables Activities to be submitted PAC Submissions of practical activities carried out autonomously. Practical self-assessment PQU Practical self-assessment questionnaires completed. Questionnaires TQU Theoretical self-assessment questionnaires completed. PPT presentations PPT Access to PowerPoint presentations of the curriculum's topics. Videos VID Visualisation of a total of 31 videos available. Exercise repository REP Access to the repository in order to complete exercises (assumptions) from previous years. Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 220 resource. The rest of the DERs analysed do not show a common pattern, so they are only consistent in the solutions or combinations in which they appear. The longitudinal analysis shows that the s2 solution is repeated every period, with the exception of the 2020-2021 academic year, in which the restrictions resulting from the Covid- 19 pandemic (distance, use of masks, student quarantines, etc.) could explain the difference. In this solution, all the resources are present with the exception of the theoretical selfassessment questionnaires (TQU), which could call into question the usefulness of this resource. However, this resource is present in 6 solutions, requiring fewer causal conditions than solution s2. For example, in s6 which is repeated in two groups, only the combination of this resource with the submission of activities (PAC) also provides a high academic performance. The different combination of resources in these solutions could also be due to the multiplicity of materials students use to learn the theoretical content, since in addition to PDF content or traditional "notes", both videos (VID) and presentations (PPT) help students to learn this part of the subject. It is worth mentioning that, although it is logical and is reflected in Figure 1, the theoretical contents are available to students, they have not been considered as they are not a digital resource and due to the difficulty in quantifying the use that students make of them. By periods, in the 2019-2020 academic year, the two proposed solutions explain around 53 % of the result, with a consistency of 85 %. For the remaining academic years, these parameters can be observed in Table 6, with coverage in all cases between 70-75 % with consistencies between 81-85 %. Regarding the particular solutions, research suggests that a model or solution is informative when the consistency is above .74 and the coverage is between .25 and .65 (Ragin, 2008; Woodside, 2013), circumstances which are met in all the solutions obtained. 4. Discussion and Conclusions In this paper we have evaluated the digital educational resources (DERs) available to students in a Flipped Classroom environment. For this purpose, by applying the fuzzy-set qualitative comparative analysis (fsQCA), we have tried to establish the combinations of resources used by university students who obtain a positive result in the evaluation of the subject. In addition, the longitudinal analysis of several academic years facilitates a better understanding of the nature of the DERs in each case. In this regard, while there is some work on guidelines to design educational resources that contribute to learning (Rozo & Real, 2019), with proposals for recommendation systems to guide students in their learning process (Ndiyae et al., 2019), there is little research that evaluates the impact of their combined use on academic performance. In any case, studies focus on student evaluation through surveys (Drozdikova-Zaripova & Sabirova, 2020), or on recommending the use of certain resources based on visits or ratings from other students (Bendjebar et al., 2023). Furthermore, it is often conducted by analysing a specific resource, e.g. videos (Hasan et al., 2020; Noetel et al., 2021) or questionnaires (Sotola & Crede, 2021), trying to identify net effects on academic performance. However, the analysis of counterfactual cases carried out in this paper has detected that there are cases which do not support the main effect, i.e. a symmetrical relationship between academic performance Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 221 (outcome) and each of the separate antecedent conditions (DERs), so that the evaluation of a single resource lacks validity. In fact, in all the periods covered by the study and for all the variables or resources, it is clear that there are indeed contrary cases, which makes it possible to suggest that the main effect of a single resource is not valid: Proposition 1: High utilisation of a DER can contribute to both high and low performance (asymmetry principle). Other studies use a correlation analysis to determine the net effect of each resource (Okike & Mogorosi, 2020; Soffer & Cohen, 2019), assuming that the use of a resource can have a direct influence on the result, without considering the joint or combined effect with the rest of the resources. In this sense, this first proposition ratifies the need for a configurational analysis such as the one developed in this paper, which has allowed us to verify the validity of the fsQCA methodology for the evaluation of teaching resources, regardless of their typology and the environment in which they are applied. Furthermore, the result of the analysis of necessary conditions, given that no resource stands out from the others, ratifies the above and, in turn, allows us to assume: Proposition 2: The high use of a DER alone is not sufficient for high academic performance (complexity principle). In all periods more than one solution is obtained, so it can also be concluded that there is no single combination of DERs which, when used together, implies obtaining a good academic result. This circumstance has its logic in the different ways of learning of each student, so that although some combination shows better results, as might be expected, there is no single approach. Previous studies analysing the joint effect of all resources, for example, in terms of time of use (Okike & Mogorosi, 2020), also do not consider which combination(s) of resources might be more conducive to achieving a good result, as they do not discern the possible choices of combinations. In this case, on the basis of our considerations we can propose: Proposition 3: There is no single combination of DERs which implies high academic performance (equifinality principle). At the same time, the analysis of the specific results in the case study has made it possible to detect which teaching resources are used (are present in the solutions) by the students who have obtained the best outcomes, which makes it easier to establish where the teachers' efforts should be aimed in the development and implementation of DERs for this subject. Thus, the PAC resource stands out from the others, presenting a strong causal relationship with the outcome in almost all the combinations obtained, in line with the findings of Latif and Miles (2020) regarding the impact of homework on grades or outcome and with Soffer and Cohen (2019) who also conclude that homework submission is a significant predictor of achievement. This allows us to propose: Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 222 Proposition 4: Self-directed practical activities (PAC) is a decisive condition for high academic achievement. The study also shows those resources which, despite this, are not considered to be very useful or, at least, their use is not explanatory in the solutions obtained. In this respect, the combination of all the resources analysed, with the exception of the theoretical selfassessment questionnaires (TQU), is repeated as a solution in all the periods, which could imply a low usefulness of this resource, again coinciding with the conclusions of Latif and Miles (2020) as well as Di Meo and Martí-Ballester (2020). Nevertheless, in combination with certain specific resources it does facilitate the achievement of the objective (it is part of other solutions), so it is not possible to assume that it is an ineffective resource. In spite of this, this research suggests new lines of study, with the aim of generalising the results obtained here. Specifically, existing resources have been analysed, although it is possible to incorporate other, different ones. Moreover, since the configuration theories are based on the principle of causal asymmetry, according to which a condition (or a combination of conditions) explaining the presence of an outcome may be different from the conditions leading to the absence of the same outcome, it could also be proposed to extend the study to find the configurations that explain low academic performance. On the other hand, the average of the face-to-face assessment tests has been considered as the result, raising the possibility of conducting a differentiated study of the theoretical and practical results, which would make it possible to find out which resources favour which learning processes in the students. Along the same lines, it could be of interest to monitor the students who obtain the combinations suggested by the model in each academic year, identifying patterns or common characteristics of the groups, especially verifying whether they are first-time students or, on the contrary, repeating students, on the understanding that the resources used by one or the other may differ due to the different initial level of knowledge from which they start out. 5. Funds The authors, members of the "Teaching Innovation Group for the Progress of Autonomous Guided Learning (A3G)”, in which professors from different areas of knowledge and teaching in different degrees participate, would like to thank the University of León for funding this research through the Support Plans for the Teaching Innovation Groups of the University of León. References Barhate, B., & Dirani, K. M. (2022). Career aspirations of generation Z: a systematic literature review. European Journal of Training and Development, 46(1/2), 139–157. https://doi.org/10.1108/EJTD-07-2020-0124 Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 223 Bendjebar, S., Djebarnia, N. E. I., Mehenaoui, Z., & Lafifi, Y. (2023). Recommendation of pedagogical resources based on learners’ profiles. International Journal of Informatics and Applied Mathematics. https://doi.org/10.53508/ijiam.1213949 Bergmann, J., & Sams, A. (2012). Flip Your Classroom: Reach Every Student in Every Class Every Day. International Society for Technology in Education. Campbell, J. T., Sirmon, D. G., & Schijven, M. (2015). Fuzzy Logic and the Market: A Configurational Approach to Investor Perceptions of Acquisition Announcements. Academy of Management Journal, 59(1), 163–187. https://doi.org/10.5465/amj.2013.0663 Cickovska, E. (2020). Understanding and Teaching Gen Z in Higher Education. Horizons Serie A, 26, 275–290. https://doi.org/10.20544/HORIZONS.A.26.3.20.P22 Di Meo, F., & Martí-Ballester, C.-P. (2020). Effects of the perceptions of online quizzes and electronic devices on student performance. Australasian Journal of Educational Technology. https://doi.org/10.14742/ajet.4888 Drozdikova-Zaripova, A. R., & Sabirova, E. G. (2020). Usage of Digital Educational Resources in Teaching Students with Application of “Flipped Classroom” Technology. Contemporary Educational Technology, 12(2), ep278. https://doi.org/10.30935/cedtech/8582 Estrada-Molina, O., Fuentes-Cancell, D. R., & Morales, A. A. (2022). The assessment of the usability of digital educational resources: An interdisciplinary analysis from two systematic reviews. Education and Information Technologies, 27(3), 4037–4063. https://doi.org/10.1007/s10639- 021-10727-5 Federo, R., & Saz-Carranza, A. (2018). A configurational analysis of board involvement in intergovernmental organizations. Corporate Governance: An International Review, 26(6), 414– 428. https://doi.org/https://doi.org/10.1111/corg.12241 Ferrando Rodríguez, L., Gabarda-Mendez, V., Marin Suelves, D., & Ramón-Llin Más, J. (2023). ¿Crea contenidos digitales el profesorado universitario? Un diseño mixto de investigación. Pixel-Bit. Revista de Medios y Educación, 66, 137–172. https://doi.org/10.12795/pixelbit.96309 Fiss, P. C. (2011). Building better causal theories: A fuzzy set approach to typologies in organizational research. Academy of Management Journal, 54, 393–420. https://doi.org/10.5465/AMJ.2011.60263120 Greckhamer, T., Misangyi, V. F., & Fiss, P. C. (2013). Chapter 3 The Two QCAs: From a Small-N to a Large-N Set Theoretic Approach. In P. C. Fiss, B. Cambré, & A. Marx (Eds.), Configurational Theory and Methods in Organizational Research (Vol. 38, pp. 49–75). Emerald Group Publishing Limited. https://doi.org/10.1108/S0733-558X(2013)0000038007 Gutiérrez-González, C., Montero, L., Espitia, L., & Torres, Y. (2023). Análisis de la producción científica relacionada con Recursos Educativos Digitales (RED) y Objetos Virtuales de Aprendizaje (OVA), entre 2000 – 2021. Revista de Investigación Educativa, 41(1), 263–280. https://doi.org/10.6018/rie.518741 Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 224 Hasan, R., Palaniappan, S., Mahmood, S., Abbas, A., Sarker, K. U., & Sattar, M. U. (2020). Predicting Student Performance in Higher Educational Institutions Using Video Learning Analytics and Data Mining Techniques. Applied Sciences, 10(11), 3894. https://doi.org/10.3390/app10113894 Haxhi, I., & Aguilera, R. V. (2017). An Institutional Configurational Approach to Cross-National Diversity in Corporate Governance. Journal of Management Studies, 54(3), 261–303. https://doi.org/https://doi.org/10.1111/joms.12247 Kirschner, P. A., & De Bruyckere, P. (2017). The myths of the digital native and the multitasker. Teaching and Teacher Education, 67, 135–142. https://doi.org/10.1016/J.TATE.2017.06.001 Latif, E., & Miles, S. (2020). The Impact of Assignments and Quizzes on Exam Grades: A Differencein-Difference Approach. Journal of Statistics Education, 28(3), 289–294. https://doi.org/10.1080/10691898.2020.1807429 Maquilón Sánchez, J. J., Mirete Ruz, A. B., García Sánchez, F. A., & Hernández Pina, F. (2013). Valoración de las TIC por los estudiantes universitarios y su relación con los enfoques de aprendizaje. Revista de Investigación Educativa, 31(2), 537–554. https://doi.org/10.6018/rie.31.2.151891 Ndiyae, N. M., Chaabi, Y., Lekdioui, K., & Lishou, C. (2019). Recommending system for digital educational resources based on learning analysis. Proceedings of the New Challenges in Data Sciences: Acts of the Second Conference of the Moroccan Classification Society. https://api.semanticscholar.org/CorpusID:85519277 Noetel, M., Griffith, S., Delaney, O., Sanders, T., Parker, P., del Pozo Cruz, B., & Lonsdale, C. (2021). Video Improves Learning in Higher Education: A Systematic Review. Review of Educational Research, 91(2), 204–236. https://doi.org/10.3102/0034654321990713 Okike, E. U., & Mogorosi, M. (2020). Educational Data Mining for Monitoring and Improving Academic Performance at University Levels. International Journal of Advanced Computer Science and Applications, 11(11). https://doi.org/10.14569/IJACSA.2020.0111171 Pappas, I. O., & Woodside, A. G. (2021). Fuzzy-set Qualitative Comparative Analysis (fsQCA): Guidelines for research practice in Information Systems and marketing. International Journal of Information Management, 58, 102310. https://doi.org/10.1016/J.IJINFOMGT.2021.102310 Pérez de Albéniz Iturriaga, A., Escolano Pérez, E., Pascual Sufrate, M. T., Lucas Molina, B., & Sastre i Riba, S. (2015). Metacognición en un proceso de aprendizaje autónomo y cooperativo en el aula universitaria. Contextos Educativos, 18, 95–108. https://doi.org/10.18172/con.2576 Prensky, M. (2001). Digital Natives, Digital Immigrants Part 1. On the Horizon, 9(5), 1–6. https://doi.org/10.1108/10748120110424816 Ragin, C. C. (2000). Fuzzy-Set Social Science. University of Chicago Press. Ragin, C. C. (2008). Redesigning Social Inquiry: Fuzzy Sets and Beyond. University of Chicago Press. https://doi.org/10.7208/chicago/9780226702797.001.0001 Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 225 Ragin, C. C., & Davey, S. (2022). Fuzzy-set/Qualitative comparative analysis 4.0. In Department of Sociology, University of California. http://www.socsci.uci.edu/~cragin/fsQCA/software.shtml Ragin, C. C., & Rihoux, B. (2004). Qualitative Comparative Analysis (QCA): State of the Art and Prospects. Qualitative Methods, 3–13. https://doi.org/10.5281/zenodo.998222 Rozo, H., & Real, M. (2019). Pedagogical guidelines for the creation of adaptive digital educational resources: A review of the literature. Journal of Technology and Science Education, 9(3), 308. https://doi.org/10.3926/jotse.652 Russo, I., & Confente, I. (2019). From dataset to qualitative comparative analysis (QCA)—Challenges and tricky points: A research note on contrarian case analysis and data calibration. Australasian Marketing Journal, 27(2), 129–135. https://doi.org/https://doi.org/10.1016/j.ausmj.2018.11.001 Schneider, C. Q., & Wagemann, C. (2010). Standards of Good Practice in Qualitative Comparative Analysis (QCA) and Fuzzy-Sets. Comparative Sociology, 9(3), 397–418. https://doi.org/https://doi.org/10.1163/156913210X12493538729793 Schwieger, D., & Ladwig, C. (2018). Reaching and Retaining the Next Generation: Adapting to the Expectations of Gen Z in the Classroom. Information Systems Education Journal, 3, 16. http://iscap.info;http://isedj.org Segura-Robles, A., Parra-González, M., & Gallardo-Vigil, M. (2020). Bibliometric and Collaborative Network Analysis on Active Methodologies in Education. Journal of New Approaches in Educational Research, 9(2), 259–274. Soffer, T., & Cohen, A. (2019). Students’ engagement characteristics predict success and completion of online courses. Journal of Computer Assisted Learning, 35(3), 378–389. https://doi.org/10.1111/jcal.12340 Sotola, L. K., & Crede, M. (2021). Regarding Class Quizzes: a Meta-analytic Synthesis of Studies on the Relationship Between Frequent Low-Stakes Testing and Class Performance. Educational Psychology Review, 33(2), 407–426. https://doi.org/10.1007/s10648-020-09563-9 Woodside, A. G. (2013). Moving beyond multiple regression analysis to algorithms: Calling for a paradigm shift from symmetric to asymmetric thinking in data analysis and crafting theory. Journal of Business Research, 66, 463–472. https://doi.org/10.1016/j.jbusres.2012.12.021 Woodside, A. G. (2014). Embrace perform model: Complexity theory, contrarian case analysis, and multiple realities. Journal of Business Research, 67(12), 2495–2503. https://doi.org/10.1016/j.jbusres.2014.07.006 Zadeh, L. A. (1965). Fuzzy sets. Information and Control, 8(3), 338–353. https://doi.org/10.1016/S0019-9958(65)90241-X Cómo citar: Pixel-Bit. Revista de Medios y Educación, 69, 195-226 | 2024 | https://doi.org/10.12795/pixelbit.100000 PÁGINA | 226 Mendaña-Cuervo, C., Remo-Diez, N., & López-González, E. (2024). Una propuesta de evaluación de Recursos Educativos Digitales a través de la metodología fsQCA longitudinal [A proposal for the evaluation of Digital Educational Resources through the longitudinal fsQCA methodology]. Pixel-Bit. Revista de Medios y Educación, 69, 195-226. https://doi.org/10.12795/pixelbit.100000