Hacia políticas tecnológicas de calidad en la educación superior. Evaluación de los servicios universitarios de producción de nuevas tecnologías de la información y comunicación

Hacia políticas tecnológicas de calidad en la educación superior. Evaluación de los Servicios Universitarios de Producción de Nuevas Tecnologías de la Información y Comunicación JULIO CABERO ALMENARA JOSÉ MARÍA FERNÁNDEZ BATANERO Universidad de Sevilla, España 1. Introducción Los centros de recursos audiovisuales, multimedias o telemáticos, han sido una respuesta lógica de las instituciones universitarias para ayudar a sus profesores, alumnos y personal de administración y servicios a incorporar las diferentes tecnologías que en los distintos momentos históricos iban apareciendo. En el caso de los profesores, diferentes trabajos han puesto de manifiesto que uno de los elementos que facilita la utilización de las TICs es, no sólo su presencia, sino también la existencia de centros de producción y centros de dinamización que les ayuden en su diseño, producción y utilización (Cabero, 2005). Al mismo tiempo, diferentes investigaciones que se han realizado en nuestro contexto (Cabero, 2001, 2002 y 2003; Guzmán, 2002; Reyes y Siles, 2002; Fandos, 2004; Raposo, 2002 y 2004; El Bakkali, 2005; Ortiz, 2005; Pérez Lorido, 2006) han llamado la atención respecto a que las formas organizativas que se adopten en las Universidades, y una de ellas son los centros de apoyo al profesorado en TICs, son una de las claves para conseguir acciones formativas de calidad con TICs y que los profesores las utilicen en su práctica docente; es decir, pretenden ayudar a que tales limitaciones puedan ser resueltas, asesorando, formando y ayudando al profesor a la producción de diferentes tecnologías. En el reciente trabajo realizado por el Consejo de Coordinación Universitario del Ministerio de Educación (MEC) de España, para la búsqueda de propuestas para la renovación de las metodologías educativas en la Universidad, una de las iniciativas que se propone para ello, en concreto la 22, se identifica como: “La constitución de alguna instancia institucional, de carácter técnico, que sirva de recurso de apoyo a los procesos de innovación metodológica” . Iniciativa que se explica en los siguientes términos: “Los procesos didácticos son procesos complejos que necesitan de recursos técnicos de apoyo”. Nadie discute hoy en día esa cuestión en lo que se refiere a los medios técnicos como el mantenimiento de equipos, pero sigue sin aplicarse a las cuestiones didácticas. Revista Iberoamericana de Educación ISSN: 1681-5653 n.º 44/5 – 25 de noviembre de 2007 EDITA: Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI) Julio Cabero Almenara y José María Fernández Batanero Lo primero resulta necesario sin duda, pero la universidad precisa, también, de personas especialistas en pedagogía universitaria y en didáctica que se pongan al servicio de la comunidad para resolver sus dudas o, cuando menos, colaborar con ellos en la búsqueda de la respuesta más adecuada. Si uno se fija en las mejores universidades del mundo, todas ellas cuentan con esos servicios y con personal especializado dedicado full time a las funciones de apoyo (Consejo de Coordinación Universitaria, 2006). Las denominaciones que han recibido han sido diversas como ya señalamos en otro trabajo (Cabero, 1996), y han ido desde “centros de recursos audiovisuales”, “centros de aprendizaje”, “centros de documentación”, “secretariados audiovisuales”…; nosotros aquí por ser la de centros de recurso la más usual será la que utilizaremos. Blázquez, citado en el trabajo que realizaron sobre los centros de recursos Blázquez y Martínez (1995, p. 448), los define como: “Un lugar polivalente donde de una manera flexible, cada docente puede encontrar las mayores facilidades para conocer, producir y utilizar los medios de enseñanza.” Desde nuestro punto de vista dos son las grandes perspectivas desde las cuales podemos abordarlos, las que nosotros denominamos como “técnico-instrumental” y “didáctico-curricular”: “… en la primera se le conciben como centros exclusivos de almacenaje, préstamos y producción de medios técnicos audiovisuales. Mientras que en la segunda se desempeñan como verdaderos lugares de aprendizaje puestos a disposición tanto de los profesores como de los estudiantes” (Cabero, 1996, pp. 411-412). A los primeros se les puede considerar como puros centros de préstamos de material audiovisual, informático y telemático, y a los segundos como centros de apoyo al aprendizaje. Para Area (2004, pp. 174-175), las principales funciones que pueden cumplir los centros de recursos son las siguientes: facilitar la disponibilidad de medios y materiales a los profesores, formar y asesorar al profesorado en el uso de los medios, diseñar y producir material didáctico, y evaluar los efectos y experiencias del uso de los medios en la enseñanza. En las últimas décadas gracias a la extensión de las redes de comunicación en la universidad y la significación que las TICs han ido teniendo dentro de la enseñanza, los centros de recursos se han ampliado y se encuentran presentes en la mayoría, por no decir en todas las universidades españolas. Es cierto que en algunos casos, las universidades no les han conferido el estatus de institución específica, y se encuentran incluidos dentro de otras instituciones como por ejemplos los Institutos de Ciencias de la Educación, Servicios Centrales de la Universidad o las Bibliotecas, pero también lo es, que también en estos casos desempeñan, o pretenden desempeñar, las mismas funciones que los autónomos. En la actualidad dos acontecimientos están influyendo bastante en la política universitaria española, y por tanto, también en las actividades, funciones y concreciones que se realicen sobre los centros de recursos: La incorporación de la universidad española al Espacio de Educación Superior Europeo, y las políticas de calidad. Respecto al primero de los aspectos, debemos señalar las posibilidades que las TICs nos ofrecen para la configuración de nuevos entornos, ricos y variados, de comunicación que puedan ser de utilidad para alcanzar escenarios formativos de calidad. Aspecto sobre el que se viene reclamando la atención desde diferentes ámbitos, valga, por ejemplo, cómo los rectores que se reunieron en el “Primer Encuentro Revista Iberoamericana de Educación (ISSN: 1681-5653) • 2 • Hacia políticas tecnológicas de calidad en la educación superior. Evaluación de los Servicios Universitarios... Internacional de Rectores Universia” (Universia, 2005) en Sevilla, y que elaboraron la denominada “Declaración de Sevilla”, indicaban en ella: “Proveeremos la plena incorporación de las tecnologías de la información en la docencia y la gestión universitaria como una dimensión nueva y enriquecedora de la formación universitaria.” Por lo que respecta al segundo, la calidad, indicar que si al principios las políticas de calidad iban dirigidas a las empresas y al análisis de los productos que en ellas se producen, poco a poco se han ido desplazando a todas las instituciones y a los servicios que en las mismas se prestan. Y si al principio las instituciones solían ser privadas, en los últimos tiempos se está desarrollando un fuerte impulso para que alcance a las públicas. Hablar de calidad es una cuestión compleja, en primer lugar porque existen diferentes definiciones del término calidad, asumiendo al mismo tiempo que ésta es un concepto polisémico y que depende para su concreción de la visión en la cual nos movamos. Nosotros vamos a entender por calidad la definición que propone el Ministerio de Educación y Cultura español cuando la define en su aplicación a la educación en los siguientes términos: “…la satisfacción de los usuarios del servicio público de la educación, de los profesores y del personal no docente, y el impacto en la sociedad se consigue mediante un liderazgo que impulse la planificación y la estrategia del centro educativo, la gestión de su personal, de sus recursos y de sus procesos hacia la consecución de la mejora permanente de sus resultados” (Ministerio de Educación y Cultura, 1997, p. 19). Distintos son los modelos de calidad con que nos encontramos: EFQM, normas ISO, modelo DEMING, modelo PAM. Modelos que se han centrado en diferentes contextos geográficos: europeo, japonés, norteamericano… En nuestro contexto educativo español, el modelo que se ha adoptado ha sido el EFQM. 2. La investigación realizada Los objetivos marcados eran dos fundamentalmente: • Definir los criterios y descriptores para la evaluación de los servicios de medios audiovisuales y nuevas tecnologías de la información y comunicación existentes en las universidades españolas. • Creación de una guía de evaluación de los servicios de medios audiovisuales y nuevas tecnologías existentes en las universidades españolas, y actividades que están realizando para su adaptación a los estudios del EEES. 2.1. Fases de desarrollo de la investigación Nuestro trabajo, en función de los objetivos propuestos, lo estructuramos en dos grandes fases, una primera destinada a revisar los estudios realizados respecto a los centros de recursos de producción de TICs universitarios, así como también los documentos elaborados en relación a la calidad en centros universitarios, sin olvidarnos del análisis de modelos específicos existentes en nuestro contexto sobre la calidad. En este sentido, pretendíamos recoger información sobre las normas de calidad que se están elaborando en nuestro contexto; así, sometimos a revisión las dos siguientes: “Normas ISO 9000 aplicadas a Revista Iberoamericana de Educación (ISSN: 1681-5653) • 3 • Julio Cabero Almenara y José María Fernández Batanero la obtención de un sello de calidad en la Universidad” y el “Modelo de evaluación IFQM Perfil V.4.0”. Adaptado a grupo de universidades. La segunda fase se ha referido a la elaboración de una “Guía para la evaluación/autoevaluación de unidades/servicios universitarios de producción de TICs”. Para ello, se llevó a cabo un estudio Delphi. Como señala Luna y otros (2006, p. 95): “…la técnica Delphi pretende obtener una visión de expertos sobre un tema a partir de rondas repetidas de preguntas, siendo un método capaz de obtener y depurar los juicios del grupo. La operativa del método Delphi consiste en el envío de encuestas sucesivas a un grupo de expertos previamente elegidos. El consenso se obtiene por un procedimiento matemático de agregación de juicios individuales”. Como técnica presenta una serie de ventajas como son: la posibilidad de poder contar con diferentes expertos ubicados en distintos sitios, el ahorro de tiempo y dinero, permite las negociaciones entre diferentes usuarios… (Braun, 1998; Rowe y Wright, 1999; Luna y otros, 2005). 2.2. La muestra La muestra que ha participado para la elaboración de la “Guía de evaluación de unidades/servicios universitarios de producción de TICs” está compuesta por un total de 30 sujetos, tanto para la primera como la segunda vuelta, todos ellos unidos por un aspecto común, estar vinculados a la misma línea de trabajo e investigación, en concreto, a las tecnologías educativas. Aunque existía cierta uniformidad en la muestra, también nos encontramos con una amplia diversidad, lo que creemos que es un elemento importante a considerar para la calidad de las respuestas que nos ofrecieron, en esta variedad nos encontramos con diferencias en: la titulación, cargo o experiencia con las tecnologías educativas, y su variedad geográfica. En nuestra muestra todos eran expertos y profesores de Tecnología Educativa y NN.TT. de diferentes universidades españolas, algunos de los cuales o eran responsables de centros de este tipo en sus universidades, o lo habían sido. Indicar que algunos eran técnicos cualificados en las universidades que a continuación detallamos: Cent - Tecnología Educativa” (Universidad Jaume I); Secretariado de recursos audiovisuales y nuevas tecnología (SAV) (Universidad de Sevilla); Laboratori de Mitjans interactius (Universidad de Barcelona); Centro de Enseñanzas virtuales (Universidad de Granada); Laboratorio de Educación y Nuevas Tecnologías (Universidad de La Laguna); Campus Extens (Universidad de las Islas Baleares); Enseñanza virtual y Laboratorio tecnológico (Universidad de Málaga); Gabinete de Teleeducación (Universidad Politécnica de Madrid); Centre de Recursos Educatius (Universidad Rovira i Virgili); La Factoría de Recursos (Universidad Politécnica de Cataluña); Centro de Tecnología de la Imagen y recursos didácticos (Universidad de Málaga); ATICA (Universidad de Murcia). Éramos concientes que gran parte de la calidad de los resultados alcanzados dependería de la calidad de los evaluadores participantes en la muestra, por eso pusimos un cuidado especial en su elección. Para ello les pedimos que cumplimentaran una ficha donde pretendíamos recoger información de una serie de dimensiones, que nos permitieran contextualizarlos, como son: titulación académica, títulos administrativos,… El cuadro que a continuación presentamos detalla el número de Doctores que han intervenido, así como la aproximación en la titulación de doctor ya, que salvo la de Cine y Psicología todos los demás son Doctores/as en Educación (Ciencias de la Educación, Pedagogía, Filosofía y Ciencias de la Educación). Revista Iberoamericana de Educación (ISSN: 1681-5653) • 4 • Hacia políticas tecnológicas de calidad en la educación superior. Evaluación de los Servicios Universitarios... CUADRO 2 Titulación de los sujetos de la muestra DOCTORES LICENCIADOS Ciencias de la Educación 7 2 Pedagogía 6 2 2 Filosofía y Ciencias de la Educación 6 1 Psicología 2 Cine 1 Ns/Nc 1 2.3. Instrumento de recogida y análisis de información El instrumento de recogida de información que hemos utilizado para la realización del estudio Delphi ha sido el cuestionario. De él se realizaron dos versiones, aplicadas para las dos sesiones Delphi que pusimos en funcionamiento. El primero estaba compuesto de 11 ítems, destinados a que realizaran la valoración global de la guía, la adecuación de cada una de las dimensiones, si eliminarían o incorporarían alguna dimensión, si pensaban que los ítems que proponíamos para cada una de las dimensiones eran adecuados, si eliminarían o incorporarían algún ítem, o si cambiarían algún ítem de la dimensión en la cual lo habíamos situado. La tipología de los ítems era diferente, desde aquellos que solicitaban una puntuación hasta los que pedían una respuesta. Para la segunda sesión Delphi aplicamos un cuestionario más reducido que para la primera versión, en concreto en este caso solamente tenía 5 ítems, con lo cual pretendíamos recoger información de la valoración general de la guía, de la adecuación de los ítems que configuraban las diferentes dimensiones, si eliminarían o incorporarían algún ítem en las dimensiones, o si cambiarían algún ítem de una dimensión a otra. 2.4. Proceso de diseño y construcción de la “Guía de evaluación de unidades/servicios universitarios de producción de TICs” Indicar desde el principio que la construcción de la primera versión fue realizada por el equipo de la Universidad de Sevilla, y se construyó a partir de la experiencia que teníamos como director de un centro de recursos que disponía de un sello de calidad de la norma ISO 9001, y de la revisión del modelo de evaluación IFQM perfil V. 4.0 adaptado al grupo de universidades. Señalar que cuando le preguntamos a nuestros expertos que puntuaran (0 —nada válida— a 10 —muy válida—), la adecuación general de la guía, lo hicieran teniendo en cuenta que debería servir para alcanzar los siguientes objetivos: “Definir los criterios y descriptores para la evaluación de los servicios de medios audiovisuales, nuevas tecnologías de la información y comunicación y telemáticos, existentes en las universidades españolas” y “Creación de una guía de evaluación de los servicios de medios audiovisuales y nuevas tecnologías existentes en las universidades españolas, y actividades que están realizando para su adaptación a los estudios del EEES”. La guía pretendía recoger información en 31 dimensiones: Revista Iberoamericana de Educación (ISSN: 1681-5653) • 5 • Julio Cabero Almenara y José María Fernández Batanero CUADRO 3 Dimensiones de la Guía 1. Características generales de la Institución (Universidad). 16. Políticas de información a los clientes/usuarios. 2. Denominación del Servicio/Unidad. 17. Actividades de formación para el personal de la Unidad/Servicio. 3. Política general de la Unidad/Servicio. 18. Actividades organizadas para la formación y perfeccionamiento del personal docente y de investigación de la institución. 4. Personal. 19. Actividades organizadas para la formación y perfeccionamiento del alumnado de la institución. 5. Clientes/Usuarios potenciales. 20. Actividades organizadas para la formación y perfeccionamiento del personal de administración y servicios (PAS) de la institución. 6. Presupuestos. 21. Existencia de políticas de evaluación y autoevaluación de la Unidad/Servicio. 7. Información página Web. 22. Relaciones con otras unidades/servicios/instituciones. 8. Gestión electrónica/E-administración. 23. Realización de investigaciones. 9. Actividades. 24. Política medioambiental. 10. Existencia de manual de procesos, productos y procedimientos. 25. Establecimiento de políticas de derechos de autor. 11. Instalaciones. 26. Existencia de políticas de liderazgos. 12. Medios (hardware) existentes en la Unidad/Servicio. 27. Existencia de políticas de construcción y análisis de los procesos que intervienen. 13. Medios ( software ) existentes en la Unidad/Servicio. 28. Premios y distinciones recibidas. 14. Mantenimiento de los equipos. 29. Cumplimiento normas de Seguridad laboral. 15. Política de adquisición de medios. 30. Clima y ambiente laboral. 31. Otros. La puntuación media que alcanzamos fue de 8,71 con una desviación típica de 1,448, valor que nos señala la alta valoración que alcanzó la guía por aquellas personas que cumplimentaron el instrumento de valoración respectivo. Lo mismo que hicimos respecto a la valoración general de la guía, le preguntamos a nuestros expertos que realizaran una valoración de cada una de las dimensiones. De nuevo el intervalo de puntuación que se le ofrecía iba de 0 a 10. Las puntuaciones medias y las desviaciones típicas alcanzadas fueron las siguientes: Revista Iberoamericana de Educación (ISSN: 1681-5653) • 6 • Hacia políticas tecnológicas de calidad en la educación superior. Evaluación de los Servicios Universitarios... TABLA 4 Valoración de las dimensiones realizadas por los expertos en el primer Delphi realizado DIMENSIONES MEDIA DESV. TÍPICAS 1. Características generales de la Institución (Universidad) 8,79 1,250 2. Denominación del Servicio/Unidad. 8,46 2,064 3. Política general de la Unidad/Servicio. 8,83 1,049 4. Personal. 9,23 1,232 5. Clientes/Usuarios potenciales. 9,05 1,588 6. Presupuestos. 8,55 1,438 7. Información página Web. 8,86 1,490 8. Gestión electrónica/E-administración. 8,52 1,167 9. Actividades. 9,32 0,995 10. Existencia de manual de procesos, productos y procedimientos. 8,64 1,706 11. Instalaciones. 9,00 1,380 12. Medios (hardware) existentes en la Unidad/Servicio. 9,23 1,056 13. Medios (software) existentes en la Unidad/Servicio. 9,09 0,971 14. Mantenimiento de los equipos. 8,55 1,371 15. Política de adquisición de medios. 8,73 1,316 16. Políticas de información a los clientes/usuarios. 9,18 1,053 17. Actividades de formación para el personal de la Unidad/Servicio. 8,91 1,231 18. Actividades organizadas para la formación y perfeccionamiento del personal docente y de investigación de la institución. 9,05 1,588 19. Actividades organizadas para la formación y perfeccionamiento del alumnado de la institución. 8,00 2,047 20. Actividades organizadas para la formación y perfeccionamiento del personal de administración y servicios (PAS) de la institución. 8,55 1,625 21. Existencia de políticas de evaluación y autoevaluación de la Unidad/Servicio 9,32 1,086 22. Relaciones con otras unidades/servicios/instituciones. 8,77 1,193 23. Realización de investigaciones. 8,09 1,849 24. Política medioambiental. 7,73 1,932 25. Establecimiento de políticas de derechos de autor. 7,64 2,920 26. Existencia de políticas de liderazgos. 7,08 2,430 27. Existencia de políticas de construcción y análisis de los procesos que intervienen. 8,05 1,558 28. Premios y distinciones recibidas. 7,95 1,759 29. Cumplimiento normas de Seguridad Laboral. 7,73 2,914 30. Clima y ambiente laboral. 8,91 1,151 31. Otros. 7,60 2,675 Revista Iberoamericana de Educación (ISSN: 1681-5653) • 7 • Julio Cabero Almenara y José María Fernández Batanero Como podemos observar las puntuaciones son bastante elevadas, y nos permiten señalar que los expertos las han visto a todas pertinentes para ser ubicadas en la guía. De todas formas cuando le preguntamos de forma general, si eliminarían alguna dimensión, nos encontramos que el 58,3% señalaba que no y el 41,7% que si. Ello se explica, por una parte, por la propuesta que algunos expertos señalaron respecto a la posibilidad de unificar la dimensión 26 “Existencia de políticas de liderazgos” y la 30 “Clima y ambiente laboral”, y por otra, por la eliminación de la dimensión “otros”. Es de señalar que dada la puntuación adoptamos la decisión de eliminar la dimensión “Otros” para la segunda versión de la guía que sería sometido a otro Delphi. Preguntados también si incorporarían alguna nueva dimensión, el 70% (f=14), señaló que no, mientras que sólo el 30% (f=7), percibía tal necesidad. También pretendíamos conocer, no sólo la pertinencia de las dimensiones, sino también la de los diferentes ítems que se incorporaban en las mismas. Las puntuaciones medias y sus desviaciones típicas, se ofrecen en la tabla 5. TABLA 5 Las puntuaciones medias y sus desviaciones típicas de los diferentes ítems DIMENSIONES MEDIA DESV. TÍPICAS 1. Características generales de la Institución (Universidad). 8,55 1,625 2. Denominación del Servicio/Unidad. 8,23 2,114 3. Política general de la Unidad/Servicio. 8,41 1,623 4. Personal. 8,27 1,723 5. Clientes/Usuarios potenciales. 8,45 1,945 6. Presupuestos. 8,41 1,563 7. Información página Web. 8,82 1,651 8. Gestión electrónica/E-administración. 8,19 1,632 9. Actividades. 8,50 1,371 10. Existencia de manual de procesos, productos y procedimientos. 8,48 1,470 11. Instalaciones. 8,81 1,365 12. Medios (hardware) existentes en la Unidad/Servicio. 8,14 1,621 13. Medios (software) existentes en la Unidad/Servicio. 8,51 2,089 14. Mantenimiento de los equipos. 8,57 1,660 15. Política de adquisición de medios. 8,48 1,401 16. Políticas de información a los clientes/usuarios. 8,76 1,670 17. Actividades de formación para el personal de la Unidad/Servicio. 8,57 1,599 Revista Iberoamericana de Educación (ISSN: 1681-5653) • 8 • Hacia políticas tecnológicas de calidad en la educación superior. Evaluación de los Servicios Universitarios... 18. Actividades organizadas para la formación y perfeccionamiento del personal docente y de investigación de la institución. 7,85 1,927 19. Actividades organizadas para la formación y perfeccionamiento del alumnado de la institución. 7,67 2,008 20. Actividades organizadas para la formación y perfeccionamiento del personal de administración y servicios (PAS) de la institución. 8,00 1,747 21. Existencia de políticas de evaluación y autoevaluación de la Unidad/Servicio. 8,67 1,155 22. Relaciones con otras unidades/servicios/instituciones. 8,76 1,546 23. Realización de investigaciones. 8,05 2,085 24. Política medioambiental. 8,29 2,473 25. Establecimiento de políticas de derechos de autor. 8,44 1,886 26. Existencia de políticas de liderazgos. 7,90 2,700 27. Existencia de políticas de construcción y análisis de los procesos que intervienen. 8,05 2,109 28. Premios y distinciones recibidas. 8,52 1,914 29. Cumplimiento normas de Seguridad Laboral. 9,28 1,127 30. Clima y ambiente laboral. 8,81 1,209 Preguntados sobre los ítems que eliminaría, señalar que las respuestas fueron más destinadas a precisar algunos términos y eliminar algunas duplicaciones, que a eliminaciones concretas. Que por otra parte cuando existieron fueron señaladas por un número bajo de expertos. No ocurrió lo mismo con la pregunta referida a si incorporarían algunos ítems en concreto. En este caso sí nos encontramos con un número más elevado de propuestas, las cuales dado su interés fueron mayoritariamente incorporadas por nosotros en la nueva versión de la guía. Una vez efectuados los diferentes cambios, elaboramos una nueva versión de la guía, con la cual efectuamos la segunda ronda del Delphi, para ello realizamos un nuevo cuestionario. En esta segunda versión la puntuación media que se alcanzó fue de 9,23 con una desviación típica de 0,707. Valor que era ligeramente superior al obtenido en la primera aplicación; en concreto 0,50 puntos más, y lo que era más significativo es que su desviación típica había disminuido en cerca de 0,70, en consecuencia las puntuaciones ofrecidas por los diferentes jueces eran más uniformes. En conclusión, creemos que la guía recibió una alta valoración por aquellas personas que cumplimentaron el instrumento de valoración correspondiente. Las puntuaciones medias y las desviaciones típicas alcanzadas, en la segunda versión de la guía, así como la diferencia entre las puntuaciones medias de la 1.ª y 2.ª versión se presentan a continuación. Revista Iberoamericana de Educación (ISSN: 1681-5653) • 9 •