Modelo de excelencia de programas formativos en línea (MEPFL)

Modelo de Excelencia de Programas Formativos en Línea (MEPFL) OLGA MARÍA ALEGRE DE LA ROSA Universidad de La Laguna, España LUIS MIGUEL VILLAR ANGULO Universidad de Sevilla, España Introducción Guías y estándares europeos para el aseguramiento de la calidad en la educación superior Desde 1990 muchas universidades españolas han usado procedimientos para el aseguramiento de la calidad de forma que las instituciones de educación superior sean las responsables de responder a los criterios y estándares de los programas formativos propuestos por los respectivos gobiernos. Distintos modelos evaluativos, aunque no mutuamente exclusivos, han usado diferentes criterios para examinar el desarrollo organizativo de las instituciones. Por ejemplo, el así denominado Modelo general adaptado para desarrollar un autoestudio consistente en la teoría general de sistemas, la distinción entre proceso y énfasis en las tareas, los valores democráticos, y la investigación acción (Messer, Fishman y Mccrady, 1992, p. 359). Más aún, el modelo evaluativo de los cuatro niveles de Kirkpatrick: reacción, aprendizaje, conducta y resultados (Bates, 2004, p. 341), y otras aproximaciones evaluativas genuinas y específicas, como el Modelo instructivo de Situaciones Educativas basado en las teorías de sistemas y de la comunicación humana (Doménech y Descals, 2003, pp. 166-167), o el aprendizaje evaluativo , que es un tipo de evaluación híbrido en el que se pueden encontrar elementos de otras teorías evaluativas (racional, constructivista, responsiva, participativa, y orientada a la utilización) (Edelenbos y Van Buuren, 2004, p. 608). Además del modelo europeo , otras instituciones de educación superior utilizan las normas ISO 9000 como un sistema que presta atención a procesos de prestación de servicios y a la actuación representada por medio de indicadores identificados y publicados. Tomados en su conjunto, estos modelos evaluativos tienen limitaciones o debilidades conceptuales. Consecuentemente, estamos persuadidos por la Asociación Europea para el Aseguramiento de la Calidad en la Educación Superior de la necesidad de realizar más investigación y entrenamiento en los principios y métodos de aseguramiento de la calidad. Por consiguiente, la profesionalización es un asunto importante en el campo de la evaluación y del aseguramiento de la calidad. Además, la comprensión del sistema formal de política universitaria de calidad es compleja y multiestratos. Esta tendencia se hace particularmente visible a través del deseo de integrar estudiantes en los mecanismos de aseguramiento de la calidad interna. También se necesitan fundamentos teóricos al evaluar un programa formativo con el objeto de comprender procesos de como se realiza la Revista Iberoamericana de Educación (ISSN: 1681-5653) n.º 42/5 – 25 de abril de 2007 EDITA: Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI) Olga María Alegre de la Rosa, Luis Miguel Villar Angulo planificación, la ejecución o la implicación de las personas en la revisión de los programas formativos, así como la revisión de los resultados y la propuesta de cambios (Lennie, 2005). La Agencia Canaria de Evaluación de la Calidad y Acreditación Universitaria (ACECAU) está formalmente reconocida con responsabilidades para el aseguramiento de la calidad externa de las dos universidades canarias: La Laguna (ULL) y Las Palmas de Gran Canaria (ULPGC). De esta forma, los evaluadores externos son clave como enlaces entre la política de la agencia y la práctica universitaria. Sin embargo, pocas agencias ofrecen asesoramiento en el entrenamiento del personal con objeto de animar y ayudar a las instituciones de educación superior a usar medidas apropiadas, en particular, el aseguramiento de la calidad como medio para mejorar la calidad de los procesos de enseñanzaaprendizaje de las titulaciones. En este sentido, algunas agencias españolas tienen más recursos para desarrollar criterios y estándares para la evaluación de titulaciones preguntando al profesorado, estudiantes y personal de administración y servicios (PAS), por ejemplo, qué es lo que conocen acerca de la evaluación de las titulaciones y en qué situaciones la utilizarían (Monroe et al. , 2005). Aunque los evaluadores internos y externos no perciben la necesidad de una titulación específica de grado para la práctica de la evaluación de programas formativos, ésta implica una serie compleja de actividades informadas por varios tipos de conocimiento que requiere un apoyo continuo de entrenamiento y desarrollo (Holroyd, 2000, p. 42). Los actores de la evaluación de titulaciones de la Universidad y de las agencias interactúan en una multiplicidad de formas. Se implican en la evaluación cuando se presenta el autoestudio del programa formativo. De hecho, los profesores universitarios como evaluadores pueden jugar un papel en la formulación e implantación de la autoevaluación de una titulación. Pero también juegan un papel crucial en la evaluación externa de las titulaciones por medio de grupos de revisión de colegas, visitas a los contextos universitarios donde ocurre la enseñanza y publicación de los informes evaluativos. Así, argumentamos que los beneficiarios deben tener un papel activo en los procesos de aseguramiento de la calidad, y participar en al menos las siguientes fases: diseño e interpretación de indicadores de calidad, interpretación de datos evaluativos, y utilización de información evaluativa. De esta forma, los evaluadores tienen la oportunidad de trasladar los criterios e indicadores de calidad a otros profesores, estudiantes y PAS. No obstante, los evaluadores externos encuentran difícil la tarea evaluativa por la falta de detalle de algunas instrucciones en los criterios y subcriterios evaluativos antes del periodo de inmersión en los documentos e informes de autoevaluación. En agudo contraste con el retrato de los múltiples e interdependientes pasos, desde la política de los criterios y subcriterios a la calidad de la docencia en las titulaciones, muchos estudios evaluativos de la calidad de las titulaciones prestan atención únicamente o predominantemente al sistema de educación formal, fallando al no tomar en consideración o investigar el entrenamiento en el rol de evaluador. Si los actores universitarios y de las agencias de evaluación se tienen que entrenar, entonces se tiene que considerar la situación o programa formativo, porque, como Modarresi, Newman y Abolafia (2001) han concluido, el área de trabajo juega un papel importante en el desarrollo de actitudes profesionales. Esta es la razón por la que queremos conocer las variaciones actitudinales atribuidas al ambiente de trabajo de tres grupos de participantes: dos de las universidades canarias y uno de la ACECAU. Hay mucho que conocer en la formación evaluativa en línea para preparar al personal universitario y de las agencias para trabajar conjuntamente de una manera participativa. Tales cursos en Revista Iberoamericana de Educación (ISSN: 1681-5653) • 2 • Modelo de Excelencia de Programas Formativos en Línea (MEPFL) línea tienen que implicar la realización de simulaciones evaluativas o de experiencias del mundo real que reflejen la realización de programas formativos (Barnette y Wallis, 2003, p. 61). La Fundación Europea para la Gestión de la Calidad (EFQM) plantea un modelo no normativo basado en nueve criterios de facilitadores y resultados que reconoce la existencia de muchas aproximaciones para conseguir la excelencia combinando acciones de facilitación y resultados (Jackson, 2001). Se ha usado, por ejemplo, como fundamento para mejorar la actuación de los destinos turísticos (Go y Govers, 2000). Es más, para algunos investigadores, EFQM puede ser una estrategia prometedora para establecer un proyecto de gestión sobre el funcionamiento interno de una institución y de autoevaluación (Westerveld, 2003). Propósito del estudio El Modelo de Excelencia de Programas Formativos en Línea (MEPFL), descrito en este artículo, es una adaptación del modelo EFQM. Recurrimos al desarrollo del profesorado en línea para colocar nuestro caso de evaluación del entrenamiento. Pone su énfasis en cómo aprenden y practican los criterios y subcriterios de una titulación o programa formativo el personal universitario y de las agencias evaluativas. El aprendizaje de criterios, subcriterios e indicadores es una forma de fortalecimiento del conocimiento, destrezas y actitudes del personal universitario y de las agencias, de forma que puedan desarrollar la mejora de las titulaciones universitarias. A continuación referimos algunas características clave de MEPFL localizadas en la plataforma moodle de enseñanza en línea en la siguiente dirección: http://gid.us.es:8083, con variedad de módulos en su diseño: características de los sujetos como aprendices, resultados de aprendizaje, ambiente del curso, y factores institucionales (Tallent-Runnels et al. , 2006): • Los participantes utilizaron como material escrito para el seguimiento del programa formativo un libro (Villar y Alegre, 2004). • Los participantes aprendieron doce lecciones –subcriterios o indicadores de calidad– que se agruparon en criterios (ver Tabla 1) y se daban a conocer semanalmente con un calendario predefinido. Todos los recursos y materiales docentes, así como las fuentes documentales estaban hipervinculados. El estilo interrogativo adoptado en los indicadores de calidad sirve para expresar la formidable naturaleza de la calidad de un programa formativo. • Cada indicador de calidad incluye una aproximación de cuatro fases de reflexión siguiendo el formato de un ciclo: Análisis funcional, Aprendizaje experiencial, Reflexión como meditación y Construcción de compromiso. • Los participantes discutieron dos tópicos en foros asíncronos: Evaluación institucional de titulaciones o servicios y Autoevaluación de un programa formativo, que se organizaron y se pusieron a disposición de los participantes en periodos quincenales, permaneciendo accesibles hasta el final del curso. • Los participantes accedieron al correo electrónico para mantener interacciones con los asesores de MEPFL u otros participantes. Revista Iberoamericana de Educación (ISSN: 1681-5653) • 3 • Olga María Alegre de la Rosa, Luis Miguel Villar Angulo • Los participantes accedieron a los artículos e instituciones relacionadas con la evaluación universitaria por medio de enlaces a distintos localizadores de recursos uniformes, así como a sus propias calificaciones y horarios desde cualquier localización. • En general, los participantes obtuvieron presentaciones Microsoft Power Point, mapas conceptuales, guías de estudio y recursos en sus ordenadores personales. • Los participantes remitieron las actividades de aprendizaje usando interfaces de la plataforma o por medio de correo electrónico interno. Fueron actividades de aprendizaje que tenían una relevancia real para una titulación universitaria y que presentaban tareas de evaluación complejas que se debían completar en un periodo dado de tiempo (normalmente quince días era el plazo máximo para su remisión). • Las tareas de evaluación relacionadas con la actividad atrajeron la atención de los participantes a expensas de aquellas otras actividades que no fueron calificadas. • Los participantes completaron doce exámenes en línea por medio de cuestionarios Web cuyas respuestas se grabaron en la base de datos del servidor. Cada examen de un indicador de calidad fue programado para que fuera específico del mismo y que pudiera ofrecer una retroacción instantánea a los participantes. Es decir, una evaluación auténtica integrada a la perfección en las actividades de aprendizaje para valorar formativamente la comprensión de los conceptos básicos, y posiblemente para tener una percepción del progreso en el aprendizaje de los participantes. • Los participantes expresaron su satisfacción con MEPFL: evaluaron la calidad de los materiales y del proceso de entrenamiento como una forma de evaluación formativa para la revisión del curso. • Los participantes se reunieron con los dos asesores de MEPFL y con los colegas en sendos talleres celebrados de forma presencial en ambas universidades canarias, y posteriormente a través de correo electrónico. Por tanto, la meta específica del estudio fue la siguiente: Evaluar si los participantes implicados en MEPFL dominaron el conjunto de indicadores de calidad del programa formativo expuesto en la Tabla 1. TABLA 1 Criterios e indicadores de calidad de MEPFL CRITERIO I. PROGRAMA FORMATIVO Indicador de calidad 1: ¿Cómo se redactan los objetivos de un programa formativo? Indicador de calidad 2: ¿Cómo se establece la flexibilidad curricular con los objetivos del progrema formativo? CRITERIO II. ORGANIZACIÓN DE LA ENSEÑANZA Indicador de calidad 3: ¿Cómo se planifica la mejora continua? Indicador de calidad 4: ¿Cómo se establece una comunicación eficaz? Revista Iberoamericana de Educación (ISSN: 1681-5653) • 4 • Modelo de Excelencia de Programas Formativos en Línea (MEPFL) CRITERIO III. RECURSOS HUMANOS Indicador de calidad 5: ¿Cómo se implica al personal académico en actividades de investigación, desarrollo e innovación? Indicador de calidad 6: ¿Cómo se valora la docencia del personal académico? CRITERIO IV. RECURSOS MATERIALES Indicador de calidad 7: ¿Cómo se acomodan la Biblioteca y los fondos documentales al proceso formativo? Indicador de calidad 8: ¿Cómo se adaptan los medios y recursos al programa formativo? CRITERIO V. PROCESO FORMATIVO Indicador de calidad 9: ¿Cómo se fomentan competencias estudiantiles en el proceso de enseñanza-aprendizaje? Indicador de calidad 10: ¿Cómo es la metodología de enseñanza-aprendizaje? Indicador de calidad 11: ¿Cómo se orienta y motiva al estudiante en una tutoría del proceso formativo? CRITERIO VI. RESULTADOS Indicador de calidad 12: ¿Cómo se mide la satisfacción del alumno en un proceso formativo? Metodología Participantes Los participantes estuvieron formados por 21 miembros funcionarios y contratados. Todos eran voluntarios y reunieron los siguientes criterios: a) Campus universitario o ACECAU; b) Campo científico, y c) méritos profesionales. De los 21 participantes, 7 (33.3%) eran hombres y 14 (66.7%) eran mujeres. Cuatro participantes fueron menores de 24 años (19%). Tres participantes tenían entre 25 y 29 años (14.3%). Seis participantes tenían entre 30 y 34 años (28.6%). Cuatro encuestados (19%) tenían entre 35 y 39 años, y dos entre 45 y 49 años (9.5%). Todos los participantes tenían dedicación completa a las dos universidades canarias: ocho de La Laguna (ULL) (38.1%) y seis de Las Palmas de Gran Canaria (ULPGC) (28.6%) y siete era personal contratado de la ACECAU (38.1%). Doce participantes tenían doctorado (57.1%) y ocho (38.1%) el grado de licenciado y solo una persona tenía una titulación inferior (diplomatura). Tres (o 14.3%) tenían el rango de catedrático, cuatro titulares de universidad (19%), cuatro asociados (19%), dos titulares de escuela (9,5%) y siete (33.3%) tenían otros rangos como nombramiento de contrato. La experiencia docente osciló entre nada y más de nueve años. De los encuestados, trece (61.9%) tenía tres años de experiencia, y seis (28.6%) entre cuatro y seis años de experiencia. Cinco participantes (23.8%) enseñaban en el campo científico de Ciencias Sociales; tres (14.3%) en el campo de las Ciencias Técnicas y de la Salud, mientras que 33.3% fue personal de la ACECAU. Algunos participantes enseñan disciplinas de doce áreas de conocimiento. Revista Iberoamericana de Educación (ISSN: 1681-5653) • 5 • Olga María Alegre de la Rosa, Luis Miguel Villar Angulo Nueve participantes (42.9%) indicaron que la preparación en el programa de evaluación de programas era media; baja o alta, el 19% (N = 4), respectivamente; muy baja el 14,3% (N = 3), y sin formación alguna el 4,8% (N = 1). De otra parte, informaron 15 (71.4%) que su experiencia práctica en Convergencia Europea era media; otro 14,3% muy baja (N = 3); baja el 9,5% (N = 2), y alta sólo el 4.8% (N = 1). Diez participantes siguieron el curso en casa (47.6%), ocho en el trabajo (38.1%), y tres en otros lugares (14.3%). Usamos los datos personales como variables independientes en el estudio. El MEPFL tuvo lugar en el primer trimestre del curso 2005-2006. Medidas y análisis de datos Nuestro análisis empleó datos de cuestionarios y tests en línea pasados a los participantes. Los datos recopilados pertenecieron a alguno de los siguientes tipos básicos: 1) Atributos , lo que eran los participantes (características demográficas). Se obtuvo esta información por medio de un cuestionario en línea. 2) Necesidades de evaluación , lo que los participantes manifestaron como su interés (una escala en línea de tres puntos con doce declaraciones que se usó como herramienta diagnóstica). 3) Actitudes y opiniones sobre los indicadores de calidad , lo que los participantes consideraron como verdad y manifestaron que querían (doce hojas de evaluación en línea con una escalad de cinco puntos tipo Likert. Cada hoja constaba de diez declaraciones). 4) Aprendizaje de los indicadores de calidad , los participantes respondieron de hecho doce pruebas en línea de elección múltiple sobre indicadores de calidad. (Cada test se componía de diez declaraciones). Organizamos nuestras variables independientes en tres áreas: 1) Demográficas (género y edad). 2) Académic as, o cualidades personales de los participantes que son esenciales para dominar todos los aspectos del trabajo académico (grado, nombramiento profesional, rango de experiencia docente, Universidad, campo científico, área de conocimiento, departamento, titulación donde imparte docencia, facultad, materia). 3) Desarrollo profesional , o conocimiento pedagógico productivo del profesorado (formación docente, experiencia en convergencia europea). Variables dependientes . Usamos tres medidas distintas para juzgar la experiencia previa del profesorado, y para evaluar los indicadores de calidad: 1) Experiencia anterior . Esta variable fue definida por dos ítems referidos específicamente al conocimiento educativo. Para cada ítem, los encuestados tuvieron que indicar el grado en el que el entrenamiento educativo era una característica personal dentro de una escala de 5 puntos. Revista Iberoamericana de Educación (ISSN: 1681-5653) • 6 • Modelo de Excelencia de Programas Formativos en Línea (MEPFL) 2) Calidad de MEPFL. Se emplearon doce cuestionarios de opiniones y actitudes de capacidades para capturar el cambio potencial en las actitudes en los participantes que fueron adaptados de temas comunes de la literatura sobre desarrollo profesional docente universitario (por ejemplo, ‘ El indicador es relevante para la formación de un evaluador’ ). El alfa de Cronbach (α = .989) para todas las pruebas mostró un alto grado de fiabilidad interna. 3) Autoevaluación. Se usaron doce pruebas, hechas por los investigadores, de respuesta múltiple para medir el aprendizaje. Es más, la realización de las pruebas se entendió como una actividad de aprendizaje por el tiempo invertido en la realización de la tarea (por ejemplo, ‘ Un mecanismo ampliamente usado para definir el perfil de egreso del estudiante es el siguiente ’). El alfa de Cronbach (α = .989) para todas las pruebas mostró un alto grado de fiabilidad interna. Las respuestas requerían seleccionar de un rango de cuatro posibilidades de ítems y las pruebas se administraron al final de cada lección de capacidad. La validez facial, la claridad de la declaración, la clave de la respuesta correcta, y el enunciado de los distractores fueron algunos de los determinantes que tuvimos presentes para referirnos a la calidad de las pruebas sobre capacidades. Se generaron las frecuencias y las medias por medio del paquete estadístico SPSS 12.0. Se computaron los test t de muestras independientes y los análisis de la varianza para comparar las medias de las variables independientes analizadas. Se usó el test de la χ2 para determinar la significación de las diferencias en las frecuencias. Preguntas de investigación El estudio presente es un intento de profundizar en la forma y la sustancia de las reflexiones del profesorado sobre indicadores de calidad que asegure la calidad de un programa formativo. Las preguntas de investigación que nos permitieron interrogar la evidencia sobre los indicadores de calidad fueron consecuentemente las siguientes: a) ¿Cuáles son las necesidades sobre indicadores de calidad de MEPFL de los participantes?. b) ¿Existen diferencias significativas entre las opiniones y actitudes de los participantes respecto de los indicadores de calidad de MEPFL? Relaciones de hipótesis Dos tipos de análisis estadísticos han guiado nuestro estudio. La primera hipótesis se comprobó por medio de estadísticas descriptivas. La hipótesis 2 se comprobó en el nivel 0.05 de significación usando dos pruebas de colas. Las hipótesis fueron las siguientes: Hipótesis n.º 1 . Todos los participantes afirman que tienen una percepción de necesidad de indicadores de calidad. Hipótesis n.º 2 . Existe una diferencia estadísticamente significativa entre las opiniones y actitudes de los participantes hacia indicadores de calidad como consecuencia de sus atributos demográficos y académicos. Revista Iberoamericana de Educación (ISSN: 1681-5653) • 7 • Olga María Alegre de la Rosa, Luis Miguel Villar Angulo Resultados Resultados Percepciones sobre las necesidades de indicadores de calidad Percepciones sobre las necesidades de indicadores de calidad Además de recoger datos resumidos y descriptivos de las características demográficas y académicas de los participantes también obtuvimos información que consideraba la importancia y necesidad de los indicadores de calidad, con objeto de examinar mejor la relevancia de MEPFL con relación al aprendizaje de los indicadores de calidad. La escala iba de 1-3, con pesos de “1 = Sin necesidad”, “2 = De alguna necesidad,” y “3 = De mucha necesidad”. La Figura 1 muestra el porcentaje de alguna y de mucha necesidad de los doce indicadores de calidad de los encuestados. La evaluación de necesidades se aplicó al principio de MEPFL utilizando un procedimiento análogo al utilizado por otros investigadores para conocer, por ejemplo, los intereses y necesidades del profesorado o las prioridades para el desarrollo académico o de una materia según las percepciones de profesores y estudiantes (Ballantyne, Borthwick y Packer, 2000). Además de recoger datos resumidos y descriptivos de las características demográficas y académicas de los participantes también obtuvimos información que consideraba la importancia y necesidad de los indicadores de calidad, con objeto de examinar mejor la relevancia de MEPFL con relación al aprendizaje de los indicadores de calidad. La escala iba de 1-3, con pesos de “1 = Sin necesidad”, “2 = De alguna necesidad,” y “3 = De mucha necesidad”. La Figura 1 muestra el porcentaje de alguna y de mucha necesidad de los doce indicadores de calidad de los encuestados. La evaluación de necesidades se aplicó al principio de MEPFL utilizando un procedimiento análogo al utilizado por otros investigadores para conocer, por ejemplo, los intereses y necesidades del profesorado o las prioridades para el desarrollo académico o de una materia según las percepciones de profesores y estudiantes (Ballantyne, Borthwick y Packer, 2000). FIGURA 1 Necesidades de formación en indicadores de calidad percibidas por los participantes FIGURA 1 Necesidades de formación en indicadores de calidad percibidas por los participantes 66,7 85,7 81 81 90,5 76,2 81 81 85,7 85,7 52,4 42,9 85,7 9,5 9,5 14,3 14,3 19 4,8 14,3 14,3 9,5 28,6 9,5 0 10 20 30 40 50 60 70 80 90 100 NÚMERO DE LOS INDICADORES DE CALIDAD P o r c e n t a j e Muy necesario 85,7 66,7 85,7 81 81 90,5 76,2 81 81 85,7 85,7 42,9 Necesario 9,5 28,6 9,5 14,3 14,3 4,8 19 14,3 14,3 9,5 9,5 52,4 1 2 3 4 5 6 7 8 9 10 11 12 Se aceptó la Hipótesis 1. Como se indica en la Figura 1, todos los participantes consideraron muy necesario el desarrollo profesional en todos los indicadores de calidad de MEPFL en distinto grado. El porcentaje más alto (90.5%) indicó que los participantes consideraron el indicador de calidad 6 -¿Cómo se valora la docencia del personal académico?- muy relevante para sus intereses y necesidades. Los participantes igualmente consideraron como muy importantes otros indicadores de calidad. No obstante, percibieron solo de alguna necesidad el indicador de calidad 12 -¿Cómo se mide la satisfacción del alumno en un proceso formativo?- con un nivel de 52.4%. Se aceptó la Hipótesis 1. Como se indica en la Figura 1, todos los participantes consideraron muy necesario el desarrollo profesional en todos los indicadores de calidad de MEPFL en distinto grado. El porcentaje más alto (90.5%) indicó que los participantes consideraron el indicador de calidad 6 -¿Cómo se valora la docencia del personal académico?- muy relevante para sus intereses y necesidades. Los participantes igualmente consideraron como muy importantes otros indicadores de calidad. No obstante, percibieron solo de alguna necesidad el indicador de calidad 12 -¿Cómo se mide la satisfacción del alumno en un proceso formativo?- con un nivel de 52.4%. Se usó la prueba de Chi-cuadrado para comparar si dos variables independientes (variables demográficas y académicas de los participantes, por ejemplo, una variable nominal – grado o titulación académica – y una variable de intervalo – ciclo o rango de edad –) tenían distribuciones significativamente diferentes a lo largo de las creencias y necesidades de los 12 indicadores de calidad de MEPFL. Incorporamos los datos en varias tablas de contingencia. Con respecto a la relación entre campo científico (personal de la agencia y de Ciencias Sociales) con el indicador de calidad 3 -¿Cómo se planifica la mejora continua?-, este indicador fue muy necesario, χ ² = (12, N = 21) = 23, p < .028. Lo mismo ocurrió con el Se usó la prueba de Chi-cuadrado para comparar si dos variables independientes (variables demográficas y académicas de los participantes, por ejemplo, una variable nominal – grado o titulación académica – y una variable de intervalo – ciclo o rango de edad –) tenían distribuciones significativamente diferentes a lo largo de las creencias y necesidades de los 12 indicadores de calidad de MEPFL. Incorporamos los datos en varias tablas de contingencia. Con respecto a la relación entre campo científico (personal de la agencia y de Ciencias Sociales) con el indicador de calidad 3 -¿Cómo se planifica la mejora continua?-, este indicador fue muy necesario, χ ² = (12, N = 21) = 23, p < .028. Lo mismo ocurrió con el Revista Iberoamericana de Educación (ISSN: 1681-5653) • 8 • Modelo de Excelencia de Programas Formativos en Línea (MEPFL) indicador de calidad 8: –¿Cómo se adaptan los medios y recursos al programa formativo? – , χ ² = (18, N = 21) = 29.51, p < .042. Respecto a la variable género, el aprendizaje del indicador de calidad 4 -¿Cómo se establece una comunicación eficaz?-, fue considerado muy necesario por las mujeres, χ ² = (2, N = 21) = 7.23, p < .027. Igualmente sucedió con el indicador de calidad 12 -¿Cómo se mide la satisfacción del alumno en un proceso formativo?-, χ ² = (2, N = 21) = 13.20, p < .001. Opiniones y actitudes de los participantes sobre los indicadores de calidad del programa formativo Mostramos en la Tabla 2 las medias y las desviaciones típicas de los 12 ítems que sustancian el valor de MEPFL: relevancia, utilidad, adecuación, etcétera. Para cada ítem, hemos desarrollado un análisis de la varianza o una prueba t . A continuación describimos los efectos significativos medidos con las pruebas. TABLA 2 Medias y desviaciones típicas de los ítems de la escala de calidad de MEPFL __________________________________________________________________ M S.D. _______________________________________________________________________________ Relevancia .84 .33 Utilidad .85 .34 Adecuación .84 .33 Adaptación .86 .34 Consejos .85 .34 Estructura .86 .32 Pertinencia .84 .33 Lectura .85 .34 Impacto .83 .32 Consumo de tiempo 1.14 .59 _______________________________________________________________________________ Se aceptó parcialmente la Hipótesis 2 . Con respecto a la variable género, el profesorado universitario y el personal de la agencia difieren en el ítem consumo de tiempo, t (27) = 2.520, p < .018. Un ANOVA en el que la variable independiente fue el tipo de campo científico, con cinco niveles, indicó un efecto significativo en utilidad, F (4,25), = 2.78, p < .049; adecuación F (4,25), = 3.18, p < .030; adaptación, F (4,25), = 4.10, p < .011; estructura, F (4,25), = 3.94, p < .013; pertinencia, F (4,25), = 2, 86, p < .044, e impacto, F (4,25), = 3.22, p < .029. Más aun, la experiencia de los participantes en programas de Convergencia Europea difirió significativamente en el conocimiento pedagógico F (4,21), = 21.33, p < .000. También, los participantes con distinto nivel de conocimiento pedagógico tuvieron una actitud diversa respecto de la relevancia de MEPFL, t (28) = 2.182, p < .044. Evaluación de las actividades de aprendizaje Las actividades de aprendizaje reflejaron la forma en que el conocimiento de los indicadores de calidad se usa en la vida real de una titulación. Las actividades dan sentido y estructura al estudio de MEPFL. Revista Iberoamericana de Educación (ISSN: 1681-5653) • 9 •