La Calidad de la Docencia Online en la Educación Superior: Un Nuevo Enfoque para su Medición

REICE, 2022, 20(3) REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación 2022, 20(3), 81-100. https://doi.org/10.15366/reice2022.20.3.005 La Calidad de la Docencia Online en la Educación Superior: Un Nuevo Enfoque para su Medición Quality of Online Teaching in High Education: A New Approach for its Measurement José M. Ramírez-Hurtado 1, *, Esteban Vázquez-Cano 2, Víctor E. Pérez León 3 y Alfredo G. Hernández-Díaz 1 1 Universidad Pablo de Olavide, España 2 UNED, España 3 Universidad de Sevilla, España DESCRIPTORES: RESUMEN: Docencia virtual Educación superior Ecuaciones estructurales Análisis de importanciavaloración Calidad de servicio El uso de Internet y el desarrollo de las nuevas tecnologías han provocado importantes cambios en la enseñanza y en el aprendizaje de los estudiantes de educación superior. La pandemia provocada por la Covid-19 ha hecho que muchas universidades hayan tenido que transferir sus actividades presenciales a la docencia online. Por este motivo, el objetivo de este trabajo es medir la calidad de servicio de la docencia online que se ha impartido durante el período de la Covid-19. Para ello, se utiliza como metodología una variante del análisis de importanciavaloración (Gap-IPA), en el que las importancias se derivan mediante un modelo de ecuaciones estructurales. Los datos han sido obtenidos a partir de una muestra de 467 estudiantes de una universidad del sur de España, los cuales reciben docencia de modo presencial en circunstancias normales o habituales. Los resultados muestran que para mejorar la calidad de la docencia online hay que actuar prioritariamente sobre los siguientes aspectos: interacción entre los estudiantes, concentración durante las clases online, revisión de pruebas online, utilidad del sistema y diversidad de actividades de evaluación. Los resultados de este estudio permiten orientar a los responsables educativos en la correcta definición de sus estrategias. KEYWORDS: ABSTRACT: Online teaching High education Structural equations Importance-performance analysis Quality service The use of the Internet and the development of new technologies have introduced remarkable changes in the teaching-knowledge process in higher education. Due to the Covid-19 pandemic, most of universities have had to change from the traditional face-to-face teaching to online teaching methods (eLearning). For this reason, the present research aims to measure the quality of service perceived by the students about the eLearning process during the period of the Covid-19. To attain this goal, a variant of the Importance-Performance-Analysis (Gap- IPA) method is used. The importance is evaluated by means of the Structural Equation Method. The data was gathered from a sample of 467 students from a Spanish southern University, who receive face-to-face teaching under normal or customary circumstances. The results show that for improving the quality of online teaching priority action must be taken on the following aspects: interaction between students, concentration during online lessons, revision of online tests, system utility and diversity of assessment methods. The findings of this study allow to guide educational managers in the correct definition of their strategies. CÓMO CITAR: Ramírez-Hurtado, J. M., Vázquez-Cano, E., Pérez León, V. E. y Hernández-Díaz, A. G. (2022). La calidad de la docencia online en la educación superior: Un nuevo enfoque para su medición. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 20(3), 81-100. https://doi.org/10.15366/reice2022.20.3.005 *Contacto: [email protected] ISSN: 1696-4713 revistas.uam.es/reice Recibido: 25 de enero 2021 1ª Evaluación: 23 de abril 2021 2ª Evaluación: 19 de julio 2021 Aceptado: 9 de octubre 2021 J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 82 1. Introducción El sector de la educación superior está afrontando nuevos desafíos con los que no se había encontrado antes. Estos desafíos vienen motivados por el incremento de la competitividad a nivel global, los avances en la tecnología y el incremento de universidades que ofrecen a los estudiantes un amplio abanico de elecciones. Como consecuencia de ello, las universidades y centros de educación superior están reflexionando sobre cómo poder mejorar la calidad del servicio que ofrecen (Murillo y Román, 2019). El uso de Internet en la educación y, especialmente, en la educación superior ha provocado importantes cambios en cómo es llevado a cabo el aprendizaje. El modelo de e-learning para la enseñanza y el aprendizaje se ha incrementado rápidamente en los últimos años, influenciado fundamentalmente por el desarrollo de la tecnología (Rodrigues et al., 2019). En los primeros meses del año 2020 la educación presencial en muchos países ha sido fuertemente golpeada debido a la pandemia del coronavirus. El cierre de universidades, escuelas y otros centros educativos ha provocado que las actividades presenciales sean transferidas de forma inmediata a la enseñanza online. Según un informe de la UNESCO, más de 1500 millones de estudiantes de 165 países se han visto afectados por el cierre de centros educativos debido a la Covid-19, impactando sobre aproximadamente un 90% de la población mundial de estudiantes (UNESCO, 2020). Este cierre de los centros educativos no ha afectado únicamente a estudiantes, profesores y familias, sino que ha tenido también consecuencias económicas y sociales de largo alcance. La enseñanza online que se ha llevado a cabo en estos meses en muchos centros educativos no puede ser comparada en términos de experiencia, planificación y desarrollo a las propuestas que están específicamente diseñadas para su impartición de forma online (Hodges et al., 2020). Durante todo este tiempo los profesores han tenido que rediseñar y planificar la enseñanza de las asignaturas que fueron diseñadas inicialmente para ser impartidas de forma presencial. Un hándicap importante es que no todo el profesorado ni el alumnado disponía de los medios tecnológicos requeridos ni de las competencias digitales necesarias para poder impartir y recibir la docencia online de forma adecuada. Todo ello ha puesto de manifiesto la existencia de una brecha digital importante tanto en el profesorado como en el estudiantado (Fernández Enguita, 2020). Asimismo, esta situación ha favorecido el impulso de la enseñanza online a nivel mundial. Ante esta situación sobrevenida, las universidades que siguen el modelo docente tradicional o presencial han tratado de adoptar estrategias para que el servicio de la docencia online se desarrolle con la calidad suficiente para satisfacer a los clientes, en este caso a los estudiantes. Dentro de la importancia que tiene el análisis de la calidad de los sistemas educativos (Hernández et al., 2014), resulta fundamental medir la calidad de servicio de la docencia online. En este sentido, las percepciones de los estudiantes sobre el e-learning pueden ser un indicador crucial de la calidad del aprendizaje y de los resultados obtenidos. De hecho, los estudios de satisfacción de los estudiantes con el e-learning es un tópico recurrente en la literatura (Cole et al., 2014). Por ello, el estudio de la calidad de servicio es fundamental para que la implantación del sistema de aprendizaje online cubra las J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 83 necesidades de los estudiantes. De igual modo, la evaluación de la calidad docente es considerado como un indicador de eficiencia del sistema (Matosas-López et al., 2019). Los modelos de medición de la calidad fueron desarrollados principalmente en los sectores industrial y de fabricación, por lo que no pueden ser simplemente aplicados a la educación superior. Muchos estudios previos señalan que la naturaleza de los sectores es diferente y, por tanto, se requieren nuevos modelos para aplicarlos al sector de educación superior (Dick y Tarí, 2013; Noaman et al., 2017). Además, no hay un modelo estándar que pueda ser utilizado para medir la calidad en la educación superior (Noaman et al., 2017). En general, parece existir poco consenso entre los investigadores sobre cómo medir la calidad docente en la educación superior (Goos y Salomons, 2017). Este trabajo trata de aportar un método adecuado para la medición de la calidad de servicio en la educación superior, en un período tremendamente complicado para las instituciones educativas como es el de la pandemia debido a la Covid-19. Así pues, el principal objetivo de este trabajo es medir la calidad de la docencia online de asignaturas que estaban inicialmente diseñadas para docencia presencial. Con ello, se pretende identificar qué elementos o atributos de la docencia online deben ser mejorados y sobre cuáles hay que seguir desarrollando el mismo desempeño. Para ello, se va a aplicar una variante del tradicional análisis de importancia-valoración de Martilla y James (1977), propuesta Allen y otros (2020) y denominada Gap-IPA, mediante la cual la importancia de cada atributo se ha obtenido por medio de la aplicación de un modelo de ecuaciones estructurales. Los datos han sido seleccionados en una universidad del sur de España. Hay que tener presente que España ha sido uno de los países más afectados a nivel mundial por la pandemia de la Covid-19, con un número muy elevado de fallecidos y contagiados. 2. Revisión de la literatura La calidad de servicio en la educación superior ha recibido una gran atención por parte de los gestores e investigadores debido a su importancia sobre los resultados económicos, sobre la reducción de costes y sobre la satisfacción de los estudiantes (Noaman et al., 2017; Shauchenka y Bleimann, 2014). Por ello, muchas universidades tratan de analizar su posición estratégica evaluando la calidad de servicio y adaptando las percepciones de los estudiantes para alcanzar una posición de liderazgo (Noaman et al., 2017). La creciente competitividad de las instituciones de educación superior, no solamente a nivel internacional sino también a nivel nacional y regional, ha puesto en vigor la necesidad de adoptar al estudiante como el principal cliente (Yildiz y Kara, 2015). Ante esta situación, al igual que las organizaciones tienen la constante obligación de satisfacer a sus clientes, las universidades necesitan satisfacer a sus estudiantes, considerados como los principales clientes en la educación superior (Srikanthan y Dalrymple, 2007; Telford y Mason, 2005). Para que las universidades puedan satisfacer a sus estudiantes es crucial mejorar la calidad del servicio que ofrecen (Chong y Ahmed, 2012; Kwek et al., 2010). Tradicionalmente las universidades han utilizado métodos cuantitativos o cualitativos para medir las percepciones de calidad de los estudiantes, tales como: entrevistas, grupos de enfoque o investigación observacional (Martínez-Caro et al., 2015; Moreno Olivos, 2018). Muchos de estos métodos utilizados en la educación superior han sido J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 84 adaptados de la medición de la calidad en otras industrias: TQM, Quality Function Deployment, Six Sigma, ISO 9001 o el modelo EFQM. Mientras que los tradicionales estudios han estado basados en los modelos de gestión, las investigaciones posteriores han estado apoyadas en las teorías del marketing de servicios (Franklin y Shemwell, 1995). Uno de los principales desafíos en la educación superior es desarrollar un modelo adecuado para medir la calidad de servicio (Chong y Ahmed, 2012). Muchos estudios han buscado adaptar el famoso modelo SERVQUAL de Parasuraman y otros (1988), mientras que otros han tratado de identificar atributos y dimensiones de la calidad de servicio desde la perspectiva de los estudiantes (Lagrosen et al., 2004; O’Neill y Palmer, 2004). También existen algunos estudios que, en vez de utilizar de forma genérica el modelo SERVQUAL, han utilizado un modelo específico para medir la calidad de servicio en la educación superior, denominado HESQUAL, a partir de una fase exploratoria de métodos cualitativos (Lagrosen et al., 2004; Leblanc y Nguyen, 1997). Martilla y James (1977) desarrollaron el análisis de importancia-valoración 1 (IPA), como una herramienta para crear estrategias de marketing. Este método trata de identificar las puntuaciones que los estudiantes dan a la importancia y a la valoración de una serie criterios de calidad. Esta herramienta consiste básicamente en analizar conjuntamente tanto la importancia que los consumidores y usuarios conceden a los atributos que componen un producto o servicio, así como la valoración que hacen de los mismos tras su utilización y disfrute (Picón et al., 2011). Uno de los mayores atractivos del IPA es que los resultados pueden ser representados gráficamente en una escala bidimensional, dando lugar a cuatro cuadrantes: (a) concentrarse aquí (alta importancia, baja valoración), donde se reflejan aspectos de la organización que son importantes para los clientes, pero el desempeño no es adecuado; (b) mantener el buen trabajo (alta importancia, alta valoración); (c) baja prioridad (baja importancia, baja valoración); y (d) posible derroche de recursos (baja importancia, alta valoración), donde se reflejan aspectos que son desempeñados de forma adecuada por la organización, pero no son importantes para los clientes. Los investigadores sugieren que la prioridad debe estar focalizada en aquellos atributos que caen en el cuadrante “concentrarse aquí”. Algunos investigadores han modificado y ampliado el IPA, sin embargo, el marco básico siempre ha permanecido el mismo (Sampson y Showalter, 1999). En este trabajo consideramos que una de las variantes que mejor se ajusta a la medición de la calidad es el denominado Gap-IPA propuesto por Allen et al. (2020). Mediante el Gap-IPA la importancia y la valoración se representan en dos dimensiones, utilizando el concepto expresado en SERVQUAL mediante el cual la calidad de servicio se mide como la discrepancia entre las expectativas y las percepciones de los clientes (Parasuraman et al., 1988). Siguiendo a Teas (1993), quien consideró que las expectativas podrán ser interpretadas como la importancia de un atributo, podemos asumir que las discrepancias entre la importancia y la valoración pueden representar las discrepancias entre las expectativas y las percepciones. Para ello, la importancia y la valoración de cada atributo puede ser representada en un gráfico circular con dos sectores diferentes (Figura 1). El sector 1 El nombre original del método se denomina importance-performance analysis (IPA). Nosotros hemos traducido al castellano como análisis de importancia-valoración, siguiendo la traducción de Ábalo y otros (2006). J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 85 exterior contienes los atributos para los cuales la importancia es superior a la valoración, mientras que el sector interior contiene los atributos para los cuales la importancia es inferior a la valoración. Por tanto, el sector exterior puede ser considerado como el área crítica, mientras que el sector interior como el área de no prioridades. La aplicación del Gap-IPA requiere que la importancia y la valoración sean expresadas en la misma escala (Figura 1). Allen y otros (2020) proponen una normalización con valores de 0 a 1. Por tanto, el sector exterior contiene atributos con una discrepancia de 0 a 1, donde 0 indica que la valoración es igual que la importancia, y 1 la máxima diferencia entre la importancia y la valoración. Por otro lado, el sector interior contiene atributos cuya discrepancia va desde 0 hasta -1. El valor -1 es la máxima discrepancia entre la importancia y la valoración. El valor 0 delimita el borde entre los dos sectores. En comparación con el IPA tradicional, el Gap-IPA proporciona una representación gráfica más sencilla. También en el IPA tradicional hay que hacer una comparación continua entre la importancia y la valoración, mientras que en el Gap-IPA solamente se utiliza la medida de la discrepancia, lo que permite un enfoque inmediato (Allen et al., 2020). Figura 1 Representación gráfica del análisis Gap-IPA 3. Método Para obtener los datos se pasó un cuestionario a los estudiantes de los distintos grados que se imparten en la Universidad Pablo de Olavide de España, mediante un muestreo de conveniencia con efecto de bola de nieve. La población total de estudiantes estaba formada por 10.030 estudiantes. Las asignaturas que reciben habitualmente estos estudiantes se refieren a materias presenciales, sin embargo, desde marzo de 2020 la docencia recibida fue en modo online. Se optó por los distintos grados porque el uso de estudiantes de diferentes grados proporciona beneficios tales como la validez externa y el incremento del poder estadístico (Marks et al., 2005). Los grados pertenecían a las siguientes ramas científicas: arte y humanidades, ciencias sociales y jurídicas, ciencias de la salud, ingeniería y arquitectura y ciencias experimentales. El J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 86 cuestionario fue distribuido a los estudiantes por diversos medios, durante los meses de junio y julio de 2020. En primer lugar, se llevó a cabo la distribución a través del aula virtual de dicha universidad, mediante la colaboración de diversos profesores. También se distribuyó a través de la cuenta Twitter de la universidad. Para alcanzar una tasa de respuesta más elevada se contactó con los delegados y subdelegados de los distintas Facultades que existen en la universidad, los cuales distribuyeron el cuestionario a través de correo electrónico y de distintas redes sociales. También se contactó con el Área de Estudiantes de la universidad, que también se encargó de distribuir el cuestionario a través de correo electrónico y de diversas redes sociales. En total el número de respuestas válidas recibidas fue de 467, lo que supone casi el 5% del total estudiantes matriculados en los distintos grados que se imparten en la universidad. Dado que el tamaño muestral obtenido ha sido de 467 estudiantes y que la población total era de 10.030 estudiantes, con un nivel de confianza del 95% y bajo el supuesto de máxima indeterminación con P=Q=50%, el error muestral obtenido ha sido del 4,43%. Siguiendo el criterio de Ficapal-Cusí et al (2013), este margen de error permite otorgar al estudio significatividad estadística adecuada, dado que es inferior al 5%. Para la obtención de los datos se pasó un cuestionario estructurado a los estudiantes. En este cuestionario los estudiantes tenían que valorar los atributos en una escala de 0 a 7 puntos, donde 0 significa “menor valoración” y 7 “mayor valoración”. Los atributos fueron seleccionados de la literatura sobre e-learning y calidad de la docencia (Cuadro 1). En total se analizaron once atributos que representaban a tres dimensiones. Cuadro 1 Dimensiones y atributos seleccionados para la medición de la calidad Dimensión VO Atributo Características del sistema (CAR) CAR1 Utilidad (Chin y Wang, 2008; DeLone y McLean, 2003; Hassanzadeh et al., 2012) CAR2 Facilidad de uso (Abdalla, 2007; DeLone y Mclean, 2003; Tarhini et al., 2017; Wang y Liao, 2008) CAR3 Disponibilidad de soporte técnico (Mohammadi, 2015; Wang y Wang, 2009) Eficacia de la docencia online (EFIC) EFIC1 Rapidez en el aprendizaje frente a la docencia presencial (DeLone y McLean, 2003) EFIC2 Autonomía en el aprendizaje online (Chin y Wang, 2008; DeLone y McLean, 2003) EFIC3 Concentración en las clases online (Abdalla, 2007; Liaw, 2008) EFIC4 Interacción con los compañeros (Eom et al., 2006; Lee, 2010; Liaw, 2008) Relación con el profesorado y evaluación (PROF) PROF1 Interacción con el profesorado (Eom et al., 2006; Lee, 2010; Liaw, 2008) PROF2 Tiempo de respuesta del profesorado (DeLone y McLean, 2003) PROF3 Diversidad de actividades de evaluación (Ho y Dzeng, 2010) PROF4 Sistema de revisión de pruebas online (Thurmond et al., 2002) Nota. VO: Variable observable. Además de los atributos anteriores, las importancias se obtuvieron mediante la aplicación de un modelo de ecuaciones estructurales. Para este modelo de ecuaciones estructurales se incluyó en el cuestionario otra variable latente, denominada “satisfacción con la docencia virtual”, definida también en una escala de 0 a 7 puntos, donde 0 significaba “menor valoración” y 7 “mayor valoración”. J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 87 A partir de la literatura se planteó el modelo de ecuaciones estructurales que aparece en la Figura 2. En dicho modelo se plantea que las características del sistema tienen un efecto directo sobre la eficacia de la docencia online y sobre las relaciones de los estudiantes con el profesorado y con la diversidad de aspectos de la evaluación. Asimismo, estas últimas variables latentes tienen efecto directo sobre la satisfacción de los estudiantes con la docencia online. Figura 2 Modelo de ecuaciones estructurales especificado para la derivación de las importancias de los atributos Nota. El modelo de ecuaciones estructurales se estimó mediante el software AMOS. 4. Resultados Los datos fueron analizados con SPSS. Para determinar la fiabilidad de las escalas se calculó el coeficiente Alpha de Cronbach para las puntuaciones de la valoración. Los valores del coeficiente Alpha de Cronbach fueron superiores a 0,7, por lo que podemos afirmar que el cuestionario tenía alta fiabilidad. Para comprobar la validez del cuestionario se aplicó un análisis factorial a las valoraciones. La medida de Kaiser- Meyer-Olkin fue superior a 0,75. Además, también se rechazó la hipótesis nula de la prueba de esfericidad de Barlett, por lo que la idea de aplicar un análisis factorial fue aceptable. Una vez aplicado el análisis factorial se obtuvieron cuatro factores que representan a las cuatro dimensiones dadas en la Cuadro 1, por lo que podemos afirmar que el cuestionario goza de validez. Para poder aplicar el análisis de importancia-valoración fue necesario obtener la importancia de cada atributo. Estas importancias fueron derivadas mediante la aplicación de un modelo de ecuaciones estructurales, siguiendo el criterio de Allen y otros (2020). Para la estimación de los parámetros del modelo se ha utilizado el método de máxima verosimilitud. A pesar de que los datos no cumplen el supuesto de normalidad multivariante, dicho método es capaz de facilitar la convergencia de las estimaciones incluso en ausencia de normalidad multivariante (Lévy et al., 2006). La evaluación del modelo se ha llevado a cabo siguiente el criterio de Bollen (1989) y Rindskopf y Rose (1988), los cuales proponen evaluar separadamente el modelo de medida y el modelo estructural. Para evaluar el modelo de medida se ha analizado la fiabilidad y validez. En relación con la fiabilidad se han analizado la fiabilidad de los ítems y la fiabilidad de cada constructo. Con respecto a la validez, se ha analizado la validez convergente y la validez discriminante. Los resultados aparecen en los Cuadros 2 y 3. J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 88 Cuadro 2 Medidas de fiabilidad de los ítems y del constructo Factores λ α de Cronbach CR (Composite Reability) AVE Características del sistema 0,896 0,897 0,744 CAR1 <--- CAR 0,879 CAR2 <--- CAR 0,896 CAR3 <--- CAR 0,812 Eficacia del aprendizaje 0,851 0,853 0,596 EFIC1 <--- EFIC 0,580 EFIC2 <--- EFIC 0,801 EFIC3 <--- EFIC 0,785 EFIC4 <--- EFIC 0,890 Desempeño del profesorado y características de evaluación 0,884 0,881 0,650 PROF1 <--- PROF 0,757 PROF2 <--- PROF 0,859 PROF3 <--- PROF 0,807 PROF4 <--- PROF 0,801 Satisfacción de los estudiantes con la docencia online 0,952 0,952 0,868 SAT1 <--- SAT 0,919 SAT2 <--- SAT 0,925 SAT3 <--- SAT 0,951 La fiabilidad de los ítems se midió comprobando que las cargas factoriales estandarizadas fuesen superiores a 0,7, para que la varianza compartida entre el constructo y su indicador fuese superior a la varianza del error (Fornell y Larcker, 1981; Hair et al., 1998), si bien algunos autores consideran que una carga factorial superior a 0,5 también es aceptable (Chau, 1997). En el Cuadro 2 podemos observar que todas las cargas factoriales estandarizadas son superiores a 0,7. Tan sólo hay una carga que vale 0,580, pero que la hemos considerado también válida por el criterio de Chau (1997). La fiabilidad del constructo se ha medido a través del coeficiente α de Cronbach y a través del coeficiente de fiabilidad compuesta (CR). En el Cuadro 2 podemos observar que los valores del coeficiente α de Cronbach son todos superiores a 0,7. De igual modo, los valores del coeficiente CR son todos también superiores a 0,7, por lo que podemos afirmar que se cumple la fiabilidad de los constructos. La validez del modelo de medida se ha determinado a través de la validez convergente y de la validez discriminante. La validez convergente se ha medido a través de la varianza media extraída (AVE). Se puede observar en el Cuadro 2 que todos los valores de los coeficientes AVE son superiores a 0,5, por lo que se verifica la validez convergente. En relación con la validez discriminante, se han calculado todas las correlaciones entre los constructos (Cuadro 3). Se observa que dichas correlaciones son menores que la raíz cuadrada del AVE para cada constructo, salvo para el caso de la variable latente EFIC. No obstante, los valores de correlación obtenidos en el caso de esta variable son muy similares a la raíz cuadrada del AVE, por lo que podemos afirmar que se verifica la validez discriminante. J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 89 Cuadro 3 Validez discriminante de los constructos CAR EFIC PROF SAT CAR 0,863 EFIC 0,768 0,772 PROF 0,793 0,808 0,807 SAT 0,675 0,811 0,762 0,932 Nota. Los valores en negrita se corresponden con la raíz cuadrada del AVE de cada constructo. La evaluación del modelo estructural se ha determinado mediante los valores del coeficiente de correlación al cuadrado y a través de la significatividad de los paths o coeficientes de regresión. En el Cuadro 4 podemos ver que todos los coeficientes son significativos a un nivel de significación del 1%. Por otro lado, las correlaciones múltiples al cuadrado que se han obtenido son todas superiores a 0,3, por lo que con estas dos condiciones se verifica la validez nomológica o predictiva. Cuadro 4 Estimación de parámetros Relación Carga factorial S.E. C.R. Carga factorial estandarizada p-valor PROF <--- CAR 0,617 0,040 15,465 0,793 *** EFIC <--- CAR 0,204 0,040 5,097 0,343 *** EFIC <--- PROF 0,409 0,060 6,873 0,536 *** SAT <--- EFIC 0,859 0,115 7,495 0,563 *** SAT <--- PROF 0,358 0,076 4,702 0,307 *** CAR1 <--- CAR 1 0,879 CAR2 <--- CAR 1,024 0,039 25,985 0,896 *** CAR3 <--- CAR 0,886 0,040 22,139 0,812 *** EFIC1 <--- EFIC 1 0,580 EFIC2 <--- EFIC 1,338 0,103 12,966 0,801 *** EFIC3 <--- EFIC 1,468 0,115 12,804 0,785 *** EFIC4 <--- EFIC 1,485 0,108 13,735 0,890 *** PROF1 <--- PROF 1 0,757 PROF2 <--- PROF 1,135 0,059 19,192 0,859 *** PROF3 <--- PROF 1,135 0,063 17,925 0,807 *** PROF4 <--- PROF 1,074 0,060 17,84 0,801 *** SAT1 <--- SAT 1 0,919 SAT2 <--- SAT 1,036 0,030 34,881 0,925 *** SAT3 <--- SAT 1,014 0,027 37,779 0,951 *** Nota. *** p-valor<0,001. S.E.: error estándar. C.R.: ratio crítico. Finalmente, con respecto a la bondad del ajuste del modelo estimado se han obtenido una serie de medidas que vienen recogidas en el Cuadro 5. Este tipo de medidas hacen referencia al ajuste absoluto, al ajuste incremental y la parsimonia del modelo. J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 96 Cole, M. T., Shelley, D. J. y Swartz, L. B. (2014). Online instruction, e-learning, and student satisfaction: A three years’ study. International Review of Research in Open and Distance Learning, 15(6), 111-131. https://doi.org/10.19173/irrodl.v15i6.1748 De Oliveira, O. J. y Ferreira, E. C. (2009, 8 de mayo). Adaptation and application of the SERVQUAL scale in higher education [Comunicación]. POMS 20th Annual Conference, Orlando (FL), Estados Unidos. DeLone, W. H. y McLean, E. R. (2003). The DeLone and McLean model of information systems success: A ten years’ update. Journal of Management Information Systems, 19(4), 9- 30. https://doi.org/10.1080/07421222.2003.11045748 Dhawan S. (2020). Online learning: A panacea in the time of covid-19 crisis. Journal of Educational Technology Systems. 49(1), 5-22. https://doi.org/10.1177/0047239520934018 Dick, G. P. y Tarí, J. J. (2013). A review of quality management research in higher education institutions. Kent Business School Working Paper Series, 274, 13-43. Eom, B. S., Wen, H. J. y Ashill, N. (2006). The determinants of students’ perceived learning outcomes and satisfaction in university online education: An empirical investigation. Decision Sciences Journal of Innovative Education, 4(2), 215-235. https://doi.org/10.1111/j.1540-4609.2006.00114.x Fernández Enguita, M. (2020, 31 de marzo). Una pandemia imprevisible ha traído la brecha previsible. Cuaderno de Campo. [Blog]. https://bit.ly/2VT3kzU Ficapal-Cusí, P., Torrent-Sellens, J., Boada-Grau, J. y Sánchez-García, J. C. (2013). Evaluación del e-learning en la formación para el empleo: Estructura factorial y fiabilidad. Revista de Educación, 361, 9-7. https://doi.org/10.4438/1988-592X-RE-2013-361-232 Fornell, C. y Larcker, D. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18, 30-50. https://doi.org/10.2307/3151312 Franklin, K. K. y Shemwell, D. W. (1995, 30 de octubre). Disconfirmation theory: An approach to student satisfaction assessment in higher education [Ponencia]. Annual Meeting of the Mid- South Educational Research Association Conference. New Orleans, Estados Unidos. García-Peñalvo, F. J., Corell, A., Abella-García, V. y Grande, M. (2020). La evaluación online en la educación superior en tiempos de la Covid-19. Education in the Knowledge Society, 21, art. 12. https://doi.org/10.14201/eks.23086 Goñi, J. M. (2011). Las finalidades del currículo de matemáticas en secundaria y bachillerato. En J. M. Goñi (Ed.), Didáctica de las matemáticas (pp. 9-25). Editorial Graó. Goos, M. y Salomons, A. (2017). Measuring teaching quality in higher education: Assessing selection bias in course evaluations. Research in Higher Education, 58, 341-364. https://doi.org/10.1007/s11162-016-9429-8 Grönroos, C. (1994). From marketing mix to relationship marketing: Towards a paradigm shift in marketing. Management Decision, 32(2), 4-20. https://doi.org/10.1108/00251749410054774 Guzmán, J. C. (2018). Las buenas prácticas de enseñanza de los profesores de educación superior. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 16(2), 133-149. https://doi.org/10.15366/reice2018.16.2.008 Hair, J., Anderson, R., Tatham, R. L. y Black, W. C. (1998). Multivariate data analysis. Prentice- Hall. Hassanzadeh, A., Kanaani, F. y Elahi, S. (2012). A model for measuring e-learning systems success in universities. Expert Systems with Applications, 39, 10959-10966. https://doi.org/10.1016/j.eswa.2012.03.028 J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 97 Hernández, R., Murillo, F. J. y Martínez-Garrido, C. (2014). Factores de ineficacia escolar. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 12(1), 103-118. Hidalgo, N. y Murillo, F. J. (2017). Las concepciones sobre el proceso de evaluación del aprendizaje de los estudiantes. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 15(1), 107-128. https://doi.org/10.15366/reice2017.15.1.007 Ho, C. L. y Dzeng, R. J. (2010). Construction safety training via e-learning: Learning effectiveness and user satisfaction. Computers & Education, 55, 858-867. https://doi.org/10.1016/j.compedu.2010.03.017 Hodges, C., Moore, S., Lockee, B., Trust, T. y Bond, A. (2020, 27 de marzo). The difference between emergency remote teaching and online learning. Educause Review. https://bit.ly/3b0Nzx7 Kwek, L. C., Lau, T. C. y Tan, H. P. (2010). Education quality process model and its influence on students’ perceived service quality. International Journal of Business and Management, 5(8), 154-165. https://doi.org/10.5539/ijbm.v5n8p154 Lagrosen, S., Seyyed-Hashemi, R. y Leitner, M. (2004). Examination of the dimensions of quality in higher education. Quality Assurance in Education, 12(2), 61-69. https://doi.org/10.1108/09684880410536431 LeBlanc, G. y Nguyen, N. (1997). Searching for excellence in business education: An exploratory study of customer impressions of service quality. International Journal of Educational Management, 11(2), 72-79. https://doi.org/10.1108/09513549710163961 Lee, M. C. (2010). Explaining and predicting users’ continuance intention toward elearning: An extension of the expectation–confirmation model. Computers & Education, 54, 506- 516. https://doi.org/10.1016/j.compedu.2009.09.002 Lévy M. J. P., Martín F. M. T. y Román G.M.V. (2006). Optimización según estructuras de covarianzas. En J. P. Lévy M. y J. Varela (Dirs.), Modelización con estructuras de covarianzas en ciencias sociales (pp. 11-30). Netbiblo. Liaw, S. S. (2008). Investigating students’ perceived satisfaction, behavioral intention, and effectiveness of e-learning: A case study of the Blackboard system. Computers & Education, 51(2), 864-873. https://doi.org/10.1016/j.compedu.2007.09.005 Marks, R. B., Sibley, S. D. y Arbaugh, J. B. (2005). A structural equation model of predictor for effective online learning. Journal of Management Education, 29(4), 531-563. https://doi.org/10.1177/1052562904271199 Martilla, J. y James, J. (1977). Importance-performance analysis. Journal of Marketing, 41(1), 77- 79. https://doi.org/10.2307/1250495 Martínez-Caro, E., Cegarra-Navarro, J. G. y Cepeda-Carrión, G. (2015). An application of the performance-evaluation model for e-learning quality in higher education. Total Quality Management & Business Excellence, 26(5), 632-647. https://doi.org/10.1080/14783363.2013.867607 Matosas-López, L., Romero-Ania, A. y Cuevas-Molano, E. (2019). ¿Leen los universitarios las encuestas de evaluación del profesorado cuando se aplican incentivos por participación? Una aproximación empírica. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 17(3), 99-124. https://doi.org/10.15366/reice2019.17.3.006 Mohammadi, H. (2015). Investigating users’ perspectives on e-learning: An integration of TAM and IS success model. Computers in Human Behavior, 45, 359-374. https://doi.org/10.1016/j.chb.2014.07.044 Moreno Olivos, T. (2018). La evaluación docente en la universidad: Visiones de los alumnos. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 3(16), 87-102. https://doi.org/10.15366/reice2018.16.3.005 J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 98 Murillo, F. J., Martínez Garrido, C. y Hernández, R. (2011). Decálogo para una enseñanza eficaz. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 9(1), 6- 27. Murillo, F. J. y Román, M. (2019). Retos en la evaluación de la calidad de la educación en América Latina. Revista Paraguaya de Educación, 8(1), 13-33. https://doi.org/10.35362/rie530559 Noaman, A. Y., Ragab, A. H., Madbouly, A. I., Khedra, A. M. y Fayoumi, A. G. (2017). Higher education quality assessment model: Towards achieving educational quality standard. Studies in Higher Education, 42(1), 23-46. https://doi.org/10.1080/03075079.2015.1034262 O’Neill, M. A. y Palmer, A. (2004). Importance-performance analysis: A useful tool for directing continuous quality improvement in higher education. Quality Assurance in Education, 12(1), 39-52. https://doi.org/10.1108/09684880410517423 Parasuraman, A., Zeithaml, V. A. y Berry, L. L. (1988). SERVQUAL: A multiple-item scale for measuring consumer perceptions of service quality. Journal of Retailing, 64(1), 12-40. Picón, E., Varela, J. y Braña, T. (2011). La representación de los datos mediante el análisis de importancia-valoración. Metodología de Encuestas, 13, 121-142. Rindskopf, D. y Rose, T. (1988). Some theory and applications of confirmatory second-order factor analysis. Multivariate Behavioral Research, 23(1), 51-67. https://doi.org/10.1207/s15327906mbr2301_3 Rodrigues, H., Almeida, F., Figueiredo, V. y Lopes, S. L. (2019). Tracking e-learning through published papers: A systematic review. Computers & Education, 136, 87-98. https://doi.org/10.1016/j.compedu.2019.03.007 Sampson, S. E. y Showalter, M. J. (1999). The performance-importance response function: Observations and implications. Service Industries Journal, 19(3), 1-26. https://doi.org/10.1080/02642069900000027 Shauchenka, H. V. y Bleimann, U. (2014). Methodology and measurement system for higher education service quality estimation. Proceedings of the 2014 Conference on Education Technologies and Education, 21-28, Interlaken, Suiza. Srikanthan, G. y Dalrymple, J. F. (2007). A conceptual overview of a holistic model for quality in higher education. International Journal of Educational Management, 21(3), 173-193. https://doi.org/10.1108/09513540710738647 Tarhini, A., Masa’deh, R., Al-Busaidi, K. A., Mohammed, A. B. y Maqableh, M. (2017). Factors influencing students’ adoption of e-learning: A structural equation modeling approach. Journal of International Education in Business, 10(2), 164-182. https://doi.org/10.1108/JIEB-09-2016-0032 Teas, R. K. (1993). Expectations, performance evaluation and consumer’s perception of quality. Journal of Marketing, 57(4), 18-34. https://doi.org/10.2307/1252216 Tejedor, S., Cervi, L., Pérez-Escoda, A., Tusa, F. y Parola, A. (2021). Higher education response in the time of coronavirus: perceptions of teachers and students, and open innovation. Journal of Open Innovation: Technology, Market, and Complexity, 7, 43. https://doi.org/10.3390/joitmc7010043 Telford, R. y Masson, R. (2005). The congruence of quality values in higher education. Quality Assurance in Education, 13(2), 107-119. https://doi.org/10.1108/09684880510594364 Thurmond, V. A., Wambach, K., Connors, H. R. y Frey, B. B. (2002). Evaluation of student satisfaction: Determining the impact of a web-based environment by controlling for student characteristics. American Journal of Distance Education, 16(3), 169-190. https://doi.org/10.1207/S15389286AJDE1603_4 J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 99 UNESCO. (2020). Impacto del Covid-19 en la educación. UNESCO. Wang, Y. S. y Liao, Y. W. (2008). Assessing e-government systems success: A validation of the Delone and Mclean model of information systems success. Government Information Quarterly, 25(4), 717-733. https://doi.org/10.1016/j.giq.2007.06.002 Wang, W. T. y Wang, C. C. (2009). An empirical study of instructor adoption of web-based learning systems. Computers & Education, 53, 761-774. https://doi.org/10.1016/j.compedu.2009.02.021 Yang, C. C. (2003). Improvement actions based on the customers’ satisfaction survey. Total Quality Management and Business Excellence, 14(8), 919-930. https://doi.org/10.1080/1478336032000090842 Yildiz, S. M. y Kara, A. (2015). Developing alternative measures for service quality in higher education: Empirical evidence from the school of physical education and sports sciences. En Jr. L. Robinson (Eds.), Proceedings of the 2009 Academy of marketing science (AMS) annual conference. Developments in marketing science: Proceedings of the academy of marketing science. Springer. https://doi.org/10.1007/978-3-319-10864-3_102 Breve CV de los autores José M. Ramírez-Hurtado Profesor Titular del Departamento de Economía, Métodos Cuantitativos e Historia Económica de la Universidad Pablo de Olavide. Es Doctor desde el año 2007, recibiendo Premio Extraordinario de Doctorado. Ha participado en diversos proyectos de investigación y en proyectos de innovación docente con asignaturas de estadística y matemáticas, así como en numerosos congresos. Ha publicado un extenso número de artículos en revistas, tanto nacionales como internacionales, sobre diversas temáticas. Ha participado como docente en la implantación del Sistema Europeo de Transferencia de Créditos en la Facultad de Ciencias Empresariales de la Universidad Pablo de Olavide en diversas asignaturas. Pertenece al colectivo docente internacional INNOVAGOGÍA. Entre sus principales líneas de investigación se encuentra el análisis de la docencia y la educación. Email: [email protected] ORCID ID: https://orcid.org/0000-0002-2289-1874 Esteban Vázquez-Cano Profesor Titular de la Facultad de Educación de la UNED en el Departamento de Didáctica, Organización Escolar y Didácticas Especiales. Doctor en Ciencias de la Educación con Premio Extraordinario. Es Director del Grupo de Investigación RADTE "Estrategias metodológicas para la construcción de una red a distancia de tecnología educativa". Coordinador del Grupo de Innovación Docente MAPE-TIC "Modelos didácticos para el aprendizaje personalizado y escalable mediante tecnologías emergentes en contextos ubicuos y móviles" y Director del Máster en Inspección y Supervisión Educativa de la UNED. Sus principales líneas de investigación con la Organización y Supervisión Escolar, el Aprendizaje Móvil y Ubicuo y el Diseño y la Programación del Currículo. Editor asociado del "British Journal of Educational Technology" (JCR-Q1). Email: [email protected]s ORCID ID: https://orcid.org/0000-0002-6694-7948 J. M. Ramírez-Hurtado REICE, 2022, 20(3), 81-100 100 Víctor E. Pérez León Profesor del Departamento de Economía Aplicada II, Facultad de Ciencias Económicas y Empresariales en la Universidad de Sevilla. Doctor en Ciencias Económicas (Universidad de Pinar del Río, Cuba, Julio, 2011). Estancia en el Programa de Postdoctorado en Didáctica Desarrolladora y Currículo por Competencias (Universidad de Santander, México, Sept.-Dic. 2016), enfocado en la construcción de conocimientos teóricos y prácticas investigadoras en relación con el proceso de formación de competencias en la universidad, a partir del enfoque científico de la didáctica y sus impactos en currículo. Ha desarrollado investigaciones con fines didácticos en la identificación de variables de entrada al sistema universitario que predicen la evolución de los estudiantes en las Carreras Técnicas en la Universidad de Pinar del Río, Cuba (2014). Email: [email protected] ORCID ID: https://orcid.org/0000-0002-0608-727X Alfredo G. Hernández-Díaz Catedrático de la Universidad Pablo de Olavide, de Sevilla, impartiendo docencia en asignaturas de Estadística e Investigación Operativa en diferentes grados de la Facultad de Empresariales. Coordina un grupo de investigación sobre el uso de herramientas matemáticas y modelos econométricos para todo tipo de problemas reales de interés para la empresa y la sociedad en general. A lo largo de su carrera ha liderado todo tipo de proyectos de I+D+i así como de innovación docente. Cofundador de la Revista de Métodos Cuantitativos para le Economía y la Empresa en 2006 (indexada en Scopus) y miembro de diversos equipos editoriales de revistas y congresos internacionales. Email: [email protected] ORCID ID: https://orcid.org/0000-0002-2392-3786