La evaluación de un programa de formación para profesores principiantes universitarios

Laevaluación de un programa de formación para profesores principiantes universitarios CRISTINA MAYOR Ruiz Departamento de Didáctica y O.E. Universidad de Sevilla RESUMEN Son numerosas las iniciativas que contemplan la evaluación del programa como un componente esencial de los proyectos formativos. Para este objetivo, los profesores res - ponden a un cuestionario y asisten a una sesión de evaluación conjunta entre profesores y monitores. El análisis de datos y los resultados procedentes de todo el proceso son pre - sentados en este estudio. SLrMMARY They arenurnerous the initiatives that envisage the evaluntion of Ihe program as un essential component of the formative projects. For this objective, the teacbers answer to a questionnaire and attend a session of evaluation joint between teachers and monitors. Re analysis of data and the results originating from ah tbe process are presented in Ibis study. 1. La evaluación de programas formativos para profesores universitarios Son numerosas las iniciativas que contemplan la evaluación del programa como un componenteesencial de proyectos formativos.Teichler (1992)afirma que «la evaluación de los programas se considera también como una parte integral de/desarrollo del curriculurn» (p. 1943). Los planteamiento evaluativos, asícomo los elementos analizados, dependen de los objetivos de la experiencia, Revista Complutense de Educación, vol.?, nY 1, 996. Servicio de Publicaciones. Universidad Complutense. Madrid, 19% 172 Cristina Mayor Ruiz de los participantes y de las estrategias ruetodológicas usadas. Así una autora que representa un modelo para la evaluación de programas formativos que contenipla cada uno de estos elementos y sus relaciones es Slimmer (1983). En la Figura 1 podemos observar la secuencia de los distintos momentos del proceso y las influencia de las que cada aspecto participa; podemos asimismo afirmar que es este un modelo bastante completo ya que recoge las distintas etapas en la eva - luación de programas formativos, en las que más tarde profundizaremos. Pero debemos comenzar presentado los distintos conceptos que sobre la evaluación de programas hemos revisado. Celorrio (1993) define la evaluación de un programa formativo como «la valoracióncuidadosa y sistemática de sus características y de su funcionamiento, con la finalidad de determinar la calidad del mismo para tomar decisiones sobre posibles soluciones o cambios válidos para llegar a ellas» (p. 121). Completa esta perspectiva Worthen (1992) quien define la evaluación de programas como «aquellas acciones emprendidas para juzgar el valor o la utilidad de un programa de mejora (...). La evaluación del currículum puede caftficarse como evaluación de programas si el currículum se enfoca hacia el cambio o la mejora; no obstante, la evaluación de programas a menudo no implica una valoración del currículum» (p. 2524). INTUICIÓN FORMATIVA FILOSOFÍA DE PA RTA M EN TO OBJETIVOS DEL PROGRAMA r -— RECURSOS DISPONIBLES RECOGIDA DE DATOS ¡ ANÁLISIS DE DATOS INTERPR ETAC ION DE DATOS TOMA DE DECISIONES t CONGRUENCIA__J SOR oÚ~ TOMA DE DECISION L =r9~si=t INTERNNEXTERNA CÓMO -4— FORMATIVA’SUMATIVA L ESTUDIANTES — OUIÉN ~ PROFESORES COLEGAS EXPECTATIVAS! K _________ OUÉ ~ NECESIDADES! DEFICIENCIAS PRÁCTICA LIMITACIONES 1 MODIFICACIÓN PERMANENCIA LSX PAN SSN La evaluación de un programa dejórmacion... 173 Como estamos comprobando en ambos planteamientos existe un elemento común cual es determinar la calidad-utilidad del propio programa, cuestión que no siempre es tenida en cuenta. El planteamiento evaluativo dependerá linealmente del propósito u objetivo de tal proceso; en este sentido se entiende que los propósitos más frecuentes, aunque no los más necesarios o convenientes, en la evaluación de programas son: 1. Rendir cuentas del valor del programa: Cuba y Lincoln (1981) sostienen que una de las pocas cuestiones que distintas perspectivas tienen en común es la idea de que la evaluación podría determinar el valor de un programa educativo. 2. Ayudar en la toma de decisiones: Worthen y Sanders (1987) consideran «la evaluación como un proceso para identificar y recoger información que ayude a la toma de decisiones» (p. 44). Las tomas de decisiones pueden ir dirigidas a la aplicación; ala continuación, expansión y certi - ficación. 3. Servircomo función política, bien pararecoger apoyos~, o para encontrar oposición. La evaluación de programas puede ser un elemento que aparece en diferen - tes momentos del proceso formativo. Un esquema de las etapas aconsiderar en una evaluación de programas formativos se presenta en eltrabajo de Antúnez y otros (1987): Se inicia el proceso con una «Fase Previa Diagnóstica» o Evaluación Formativa Inicial,, consistente en verificar la coherecia entre el dise - ño y e] diagnóstico de condiciones previas. El instrumento más acorde. según los autores es la entrevista. Evaluación formativa procesual: Se realiza durante el período de formación, aun cuando hay que tener presente que la dinámica de tra - bajo va adeterminar modificaciones y adaptaciones sucesivas; supone por tanto un período de control-regulación en el que se recoge infor - mación que posibilitela adaptación metodológica (acomodación de la línea de trabajo a las necesidades, niveles y expectativas) y la medida del progreso en la consecución de objetivos. Instrumento recomendado la observación de las sesiones y la aportación documental. Esta eva - luación formativa debe pretender, según los autores «proporcionar ele - mentos y generar información para la toma de decisiones desde un enfoque prospectivo» (Antúnezy otros, 1987: 71). — Evaluación sumativa final: es la más frecuente y además es la que menos información aporta y con menos precisión. El cuestionario es el instrumento más idóneo. 174 Cristina Mayor Ruiz — evaluación de impacto: centrada en los cambios reales visibles, para lo cual es necesario atender a dos aspectos: los cambios en el compor - tamiento y habilidades del profesor, y los cambios en las estructuras organizativas y funcionales del centro. La observación y el cuestiona - rio son las técnicas sugeridas. Pero ello no significa que todos los procesos evaluativos completen cada una de estas etapas, sino que existen inicitivas que están más centradas en una aspec - to u otro. Un ejemplo de ello es el modelo longitudinal, basado en tres fases: eva - luación sumativa, formativa y confirmativa presentado por Siegel y Hanson (1994); el cual está básicamente dirigido hacia los resultados, procedimientos y criterios para abordar estas fases. Algunos enfoques alternativos sobre la evaluación de programas los presenta Worthen (1992) a través de cinco categorías o modelos, muchos de ellos centra - dos ampliamente en este tema, aún cuando algunos de ellos se dirigen más específicamente a la evaluación del curriculum: 1) Enfoque sobre la congruencia entre la ejecución y los objetivos: Representado por Tyler, quien propone un proceso en el cual los gran - des objetivos estaban establecidos en términos de comportamientos y medidos con instmmentos estandarizados; los resultados se compara - ban con los objetivos a fin de determinar hasta qué punto la ejecución era congruente con las expectativas. 2) Enfoque de la gestión de decisiones: Basado en el modelo de eva - luación de Stufflebeam, a través del cual el evaluador identifica las decisiones y recoge información sobre las relativas ventajas o des - ventajas de cada decisión, a fin de decidir cuál es la más apropiada. La evaluación resulta una función explícitamente compartida entre los evaluadores y los tomadores de decisiones. 3) Enfoque orientado a la elaboración de juicios: Este modelo permi - te que los expertos emitan juicios sobre el programa que examinan, aun cuando muchos evaluadores no están dispuestos cumplir la simple función de jueces educativos, por lo que proponen al alternancia con otros enfoques. 4) Enfoques contrapuestos: Incluye prácticas divergentes de evalua - ciones, que pueden definirse como de naturaleza contrapuesta; un esfuerzo planificado paragenerar puntos de vistas opuestos dentro de laevaluación global. 5) Enfoque pluralistas-intuitivos: El evaluador es un retratista de los valores y necesidades de todos los grupos e individuos afectados en el programa, que calibra y equilibra esta variedad de juicios y criterios de un modo intuitivo. La evaluación de un programa deformacion... 175 No obstante, este análisis de modelos de evaluación de programas ha demos - trado que estos planteamientos han fracasado en la normalización de criterios y que las bases teóricas sobre las que se fundamentan los mismos carecen de axiomas, no son deductivas, ni tienen poder de predicción, ni han sido probadas ni validadas empíricamente (Worthen, 1992). En función de estos resultados, para Worthen (1992) existen cuatro áreas en el tema de la evaluación de programas que deben ser mejoradas: La evaluación carece de una base adecuada de conocimiento, de forma que guíela práctica. — Los estudios de evaluación raramente se evalúan. Los evaluadores de programas no llegan a comprender la naturaleza política de la evaluación. — Los evaluadores de programas hacen una elección restrictiva de los enfoques y técnicas de evaluación. Sin embargo, Lawrenz y McCreath (1988) utilizan procedimientos tanto cualitativos como cuantitativos para evaluar dos programas de formación para profesores en ejercicio y com - parar las ventajas y desventajas de los métodos de evaluación. En este sentido, Schaffer, Stringfield y Wolfe (1992), Villar y Marcelo (1992) y Villar (1994) apoyan insistentemente la proliferación de proyectos de investigación centrados en la evaluación de programas formativos. Es importante para nuestro trabajo considerar las matizaciones que sobre los términos evalua - ción y supervisión realizan Dagley y Orson (1991). Los autores afirman que en la investigación educativa es común el uso indiscriminado de ambos términos y ello conlíeva problemas. «La evaluación está referida a las tareas administrati - vas de enjuiciar la efectividad y calidad de la enseñanza, para después deter - minar la futura promoción del pro frsor <Pittman y Mate, 1989) <evaluación sumativa). La supervisión está referida al desarrollo de procesos encaminados a ¡nc/orar los comportamientos instruccionalesdel projésor <...) Claramente el concepto de supervisión que hemos desarrollado coincide con el de evaluación formativa.» (p. 73). Coincidimos con Villar y Marcelo (1992) cuando afirman que en el ámbito de la evaluación de planes de formación se producen fundamentalmente dos lagunas, una en cuanto a la falta de cultura evaluativa y otra en cuanto al propio concepto. En primer lugar, «no existe en nuestro país una tradiciónasentada de evaluación de las actividades educativas en general y de formación del projé - sorado en particular En segundo lugar la evaluacón es un concepto que gene - ra reservas, de~sc~o~fi~anza o escepticismo» (p. 419). A estos problemas, debemos añadir un tercero encabezado por los instrumentos y técnicas de recogida de informacion. En la evaluación de programas formativos es común el uso de instrumentos y procedimientos de investigación de corte cuantitativo, así como apuntan Cook y Reichardt (1986) «elcreciente interés por losmétodoscualitativos en investi - 176 Cristina Mayor Ruiz gación evaluativaprocede de la insatisfáccióncon el estilo de evaluaciones cuantitativas y de una nuevaconcepción de la adecuación del modelo cientttwo cuantitativo a la evaluación de pro gramas de intervención (...). Los métodos cua - litativos son apropiados por sí mismos como procedimientos de estiniación de la evaluación del impacto de un programa» (p. 75). Es por ello que en nuestro tra - bajo hemos intentado atender a las dos vertientes; podemos encontrar en lafase que hemos denominado de Reflexión o también calificada de evaluación del impacto, una aportación más cualitativa, y en esta última, dedicada a la evalua - ción del propio programa, de sus componentes, estructura, etc., por una concep - ción más cuantitativa, aunque, pensamos que sin olvidar la dimensión de calidad. Esta decisión ha sido adoptada, entre otros motivos, porque cuando se utili - zan modelos cualitativos en la evaluación de programas aparecen problemas de inferencia, intrínsecos al entorno de los procesos sociales en marcha; es por ello que un diseño experimental para tal objetivo no causa estos problemas (Cook, y Reichardt, 1986). Estos autores presentan dos tipos de evaluación de programas de formación: — Análisis de impacto: empleado para estimar el impacto general del pro - grama en quienes fueron participantes. Estábasado en la cuestión sobre el éxito o fracaso de un programa. Normalmente de corte cuantitativo. — Análisis de proceso: concentrado en los elementos internos del programa. preocupados por cómo funciona, generalmente utilizando técfficas cua - litativas. En este sentido estos tipos de evaluación se presentan en nuestro trabajo. Entendemos que la Fase de Reflexión supone conocer la aplicación práctica de cada uno de los contenidos del programa, es decir, supone describir e interpretar los componentes del proceso que no se han asimilado e interiorizado y que por tanto son deficientes en la práctica de los profesores universitarios. Esto supone una evaluación del impacto del programa desde una línea cualitativa, funda - mentada en la grabación de vídeo y en las entrevistas como elementos del estu - dio de caso. Complementario a esta actividad, analizaremos en este epígrafe, la evalua - ción del programa en cuanto a sus componentes, estructura, documentación. monitores, etc., que hemos desarrollado en base a unos cuestionarios y a la gra - bación de una sesión de evaluación con el conjunto de participantes. Esta aportación, más o menos novedosa, puesto que en principio parece contraria a la que apuntan Cook y Reichardt (1986), (quienes afirman que la evaluación de proceso debe ser cualitativa y la evaluación del impacto gene - ralmente es cuantitativa). Estas afirmaciones no se pueden entender drásticamente, ya que los mismos autores reconocen que ~<los análL~is de proceso que tratan de evaluar los componentes del programa (de.sde una línea cualitativa) proporcionan una escasa intórmación sobre los efectosgenerales del pro gro - ma» (p.2O3), aún cuando los análisis enlazados de una y otra metodología La evaluación de un programa deformacion... ‘77 resultan raros y escasos. Nuestra intención ha estado por aunar ambos esfuerzos y situar la evaluación sobre el impacto en una perspectiva más cualitativa, menos anclada en los conceptos de eficiencia y más dirigida a los procesos de mejora. 2. Los profesores participantes en el programa formativo Los profesores que han participado en nuestro programa básicamente han configurado la muestra de los instrumentos utilizados para la evaluación del mismo. El programa ha reunido a los profesores universitarios que participaban en el Seminario de «Formación para Profesores Principiantes en Estrategias Didácticas» y quepor tanto poseían un contrato de trabajo en la Universidad His - palense a partir de 1990, es decir, cuya experiencia docente no superaba tres años, para así poderlosconsiderar profesores noveles. -Los cuestionarios fueron distribuidos para el pretest en la «Sesión Cinco» (una sesión intemedia) del Seminario, con el objeto de recoger información sobre la marcha del mismo; e igualmente se distribuyen en la ~<sesión l0>~, sesion final o de evaluación, para recoger la información que configurará el postest. En las tablas quepresentamos a continuación aparecen los datos referidos a los sujetos pertenecientes a la muestra durantelos dos momentos de recogida de información, un total de veintiocho en elpretest y de quince en el postest, ade - más de los datos que conforman las variables de estudio (Sexo, Facultad y Grupo de Titulación). Como vemos en la tabla 1 el porcentaje de hombresque ha contestado a los cuestionarios pretest y postest es sensiblemente superior al de las mujeres en ambos casos, superando en tres y un puntos respectivamente las puntuaciones femeninas, por lo que podemos decir que la variable sexo está prácticamente igualada. TABLA 1 Frecuencias de sujetos en función del sexo SEXO E Pretest Postest Pretest Postest 1. Hombres 15 8 53,6 53,3 2. Mujeres 12 7 42,9 46,6 Total 27 15 100 lOO 178 Cris tina Mayor Ruiz Cada una de las carreras a las que pertenecen los sujetos de la muestra se han agrupado en torno a cinco grupos de titulaciones básicas: Cuando nos referimos al «Grupo de Titulación» estamos considerando una distribución arbitraria que realizamos de los distintos Departamentos, en función de la naturaleza de la distintas áreas de conocimiento, categorización frecuente - mente utilizada en la administración universitaria. Básicamente son cinco grupos de titulaciones, aún cuando en el trabajo de Mingorance, Mayor y Marcelo (1993) se atiende a tres grupos, ya que pensamos que la distribución en base a cinco categorías está más ajustada ala realidad. CUADRO 1 Distribución de titulaciones de la Universidad de Sevilla Grupos Titulaciones Grupo 1 (Humanas) • Filosofía, Geografía e H~, Filología, Pedagogía, Psico - logia y Bellas Artes. Grupo 2 (Sociales) Derecho. Económicas, CC. Información, Empresariales, Graduado Social y Trabajo Social. Grupo 3 (Ciencias) e Matemáticas, Física, Química, Biología, Farmacia e Infor mática y Estadística. Grupo 4 (Técnicas) Arquitectura, Ingenieros Industriales, Agrícolas y Poli técnica. GrupoS (Sanitaria) Medicina, CC. Salud, Odontología. Como observamos en la tabla 2 mayoritariamente los profesores principian - tes se distribuyen tanto en el pretest como en el postest en el Grupo 2 (Sociales> con unos índices superiores al cincuenta y cinco porciento; seguido dcl Grupo 1 (Humanas) con valores igual o superior al veinte porciento. En el pretest sobre - sale el GrupoS (Sanitarias) y en postest el Grupo 3 (Ciencias). Los sujetos que han contestado a los cuestionarios sc reparten mayoritaria - mente en titulaciones como Económicas. Enfermería, Derecho y Psicología. El índice de abstención en las respuesta es mayor en el postest (asciende a cuatro sujetos) mientras que en el pretest aparece únicamente el sujeto de Ingeniería del Diseño en la opción «No Contesta» (NC). La evaluación de un programa defor¡nacwn... TABLA 2 Frecuencias de sujetos en función del grupo de titulación Pretest Portes! Grupos F F Grupo 1 (Humanas) 6 21,4 3 20 Grupo 2 (Sociales) . 16 57,1 8 53,3 Grupo 3 (Ciencias) . 2 7,1 2 13,3 Grupo 4 (Técnicas) 1 3,5 1 6,6 GrupoS (Sanitaria) 3 10,7 1 6.6 Total . 28 15 TABLA 3 Frecuencia de sujetos por titulaciones en pretest/postest Prelest Postest Titulaciones F F Contabilidad . 11 38,3 5 40 Enfermería . 3 10,7 1 6,6 Derecho Penal ... . 3 lO,? 1 6.6 Psiquiatría . 3 10,7 2 13,3 Teoría Económica 1 3,6 NC Ingeniería Energética 3 3,6 1 6,6 Teoría e FU Educación 1 3,6 1 6,6 Geografía Física 2 7,1 NC Comunicación Audiovisual 1 3,6 NC Algebra 2 7,1 2 13,3 Ingeniería Diseño NC NC Total 27 15 En cuanto a los años de experiencia habría que señalar que el 53,6% de la muestra estáen su primer año de experiencia docente y el 39,3% en su segundo año; podemos afirmar entonces que son mayoritariamente principiantes con menos de tres años de experiencia, lo cual favorece los objetivos de nuestro estudio y del programa que diseñamos. 179 186 Cristina Mayor Ruiz 4. Resultados La aplicación de esteinstrumento se ha efectuado básicamente al finalizar el seminarioformativo. No obstante era de nuestro interés conocerdurante el pro - ceso del mismo algunas percepciones generales que nosindicaran, aun cuando levemente, los puntos de vistas que sobre el programa estaban teniendo los par - ticipantes. Como hemos señalado, sobre la evaluación del seminariohemos recogido diversos tipos de datos. Es la causa por la cual en la sesión número cinco se les pasó a los profesores únicamente la primerasección del cuestionario de evaluación y aquella relativa a las competencias de los monitores,que hasta entonces habían intervenido. El objetivo que nos motivaba a ello era, por un lado la anteriormente mencionada y, por otro, no retardar en varios meses, con la pér - dida de información que ello pudiera conllevar, las percepciones de los módulos hasta entonces desarrollados. En la tabla siguiente exponemos los datos relativos al pretest y postest de la primerasección del cuestionario. 4.1. Análisis de los componentes del programa: la SecciónPrimera del Cuestionario de Evaluacióndel Seminario Hemos comprobado que las valoraciones pertenecientes a la etapa del pretest son bastante elevadas, lo cual no exigió durante el desarrollo del programa que se efectuaran modificaciones sustanciales. Contrastando ambasetapas,pretest y postest, comprobamos que las opinio - nes, en términos generales, sobrepasan, en todos los casos, la puntuación que hemos denominado «De Acuerdo», lo cual apunta hacia una valoración bastan - te positiva del seminario. No obstante, aparecen dimensionesque progresan hacia índices más positivos y otras que disminuyenestos. En cuanto al contenido del seminario, éste ha sido valorado en torno al inte - rés de los temas seleccionados, sin olvidar que estos estaban determinados en función de los problemas e inquietudes demostrados en los cuestionarios carac - terísticos de la Fase de Diagnóstico y en función igualmente de la relevancia y de la adecuación de estos. Observamos que al finalizar el seminario se aumenta, en 0.1 punto, la percepción positiva de los temas elegidos. La configuración de los temas del seminario expuesta con anterioridad en el epígrafe relativo al dise - ño del programa. Sobre la metodología del seminario, también se advierte una opinión posi - tiva, cercana al índice 4, aun cuando disminuye levemente al finalizar éste. En muchas ocasiones las estrategias docentes que utilizan los monitores está determinada por la propia temática, lo cual condiciona también estas aprecia - ciones. 187 La evaluación de un programa de formac con... TABLA 4 Puntuaciones de las dimensiones evaluadas Iihmensiones Pretest Postest Difrrencia Contenido Metodología Organizacion Relaciones Monitores Impacto ActividadFormativa 3,7 3,9 3,6 4,2 3,9 3,5 3,9 3,8 3,8 3,6 4,2 3,5 3,7 4 0,1 -0,1 0 0 -0,4 0,2 0,1 5 4,5 4 3,5 3 2,5 2 1,5 Impacto Contenido Organización Monitores Formación Metodologia Relaciones ~, Pretest Postest Figura 2. Histograma sobre las dimensiones evaluadas. Evaluación dei seínínarin. 188 Cristina Mayor Ruiz Las cuestionesorganizativas j de relacionesentre los diferentesmonitores y los profesores participantes son, en todo momento, cordiales y respetuosas, lo cual tambiénfavorece a la participación y al dinamismo de las propias sesiones. Lasvaloraciones en tomo a los monitores se realiza en esta dimensión de mane - ra generalizada, no obstante, tenemos oportunidad de profundizar en ellas duran - te el análisis de la tercera sección del cuestionario. Sin embargo,debemos apun - tar el descenso, de 0,4 puntos, que aparece de una aplicación a otra; algo que si observamos el análisis de cada uno de los módulos, que presentaremos seguida - mente, vemos que los monitores de las cinco primeras sesiones obtiene una puntuación ligeramente superior a los de las cinco últimas; motivo por el cual esta dimensión puede estar influenciada. Las percepciones sobre el impacto nos parecen de vital importancia para nuestrotrabajo, ya que es imprescindible para conocer la eficacia y calidad del programa, que existan repercusiones significativas en la práctica diaria de los pro - fesores. El impacto de los aprendizajes logrados se reflejan en base a tres cues - tiones: la seguridad y confianza en las actividades docentes; la resolución de pro - blemas de enseñanza; y la repercusión directa en las tareas diarias. Observarnos pues, que los profesores al finalizar el programa perciben más positivamente el impacto que su participación en esta actividad formativa estáteniendo en su pro - fesióndocente. Por último, es importante para evaluar el programa unas consideraciones sobre esta etapa formativa en la vida profesional del profesorprincipiante. Estas apreciacioneshan ido dirigidas a la funcionalidad, a la utilidad y a la satisfacción con este seminario. Si observamos en las tablas expuestas en los anexos donde se recogen las puntuaciones otorgadas a cada item se apreciauna de los índices más elevados en la pregunta 4, relativa ala recomendación de este tipo de actividad a otros compañeros. 4.2. Análisis de losaspectos positivos y negativos: la SecciónSegunda del Cuestionario de Evaluación del Seminario Sobre las aportaciones de los participantes en el programa hemos procedido a su organización en función de las dimensionesque conforman la sección pri - mera del cuestionario, intentando agruparaquellas que estáii referidas a la misma temática. Es por ello que configuramos una tabla en la que confrontamos estas opiniones. Podemos observar que básicamente las aportaciones de los profesores (reco - gido en la columna de «Aspectos a Añadir») van dirigidas a corregir los aspectos negativos que han apuntado. Es frecuente encontrarrecomendaciones dirigidas a una metodología más práctica, con más posibilidades de exponer sus propios problemas y con más coloquio o participación; se trata pues de atender las demandadas individuales.Asíhay profesores que sugieren el análisis de vídeo La evaluación de un programa deformacion... CUADRO 2 Matriz sobre las dimensiones valoradas Dhnens¡anes A. CONTENIDOS B. METODOLOGÍA Aspectos positivos — Mostrar distintos métodos de ensenanza (5) — Aporte de material bibliográfico (12) — Diversidad de enfo - ques (lO) — Hacer reflexionar sobre la enseñanza (20) — Orientar en solución de problemas (28) — Análisis de Casos (4) Aspectos negalivas — Algunos monitores no se han ceñido al lema del Seminario (15) — Algunas cuestiones demasiado técnicas (24) Poco diálogo grupo (12) en Aspectos a añadir Modelo de profesor eficiente (4) Punto de vista de alumnos (4) Más demostracton práclica t7) — Coloquio eníre profe - sores (12) «Análisis de vídeo a todos los participan - ces: A mí me ha sido muy positivo» (24) C, ORGANIZACIÓN 1). RELACIONES E. MONITORES — Despliegue de re - cursos técnicos y humanos (15) — Conocer experiencia de otros colegas (13) — Compartir problemas (28) — Gran riqueza de pun - tos de vistas por la variedad de monttores (27) Tener fotocopia de transparencias durante la sesión (19) Más posibilidades de plantear dudas (15) Algunos ponentes muy teóricos (24) Falta saber cómo se lleva a la práclica, nt> sólo mosirar modelos (7, 13) E IMPACTO G, ACTIVtDAD FORMATIVA — Extraer cuestiones aplicables a la prácti - ca (4, 24) — Concienciarse de necesidad de mejorar la enseñanza (13) — Posibilidades de per - fe cci o n amiento docente (28> — Muchas aportaciones no tienen en cuenta limitaciones prácticas (20) — No contar con apoyo del Departamento (28) — Más posibilidades de poner en práctica las ideas (20) — «Obligatorio para todos los profesores. con ct,rrección de deficiencias» (21) 189 * El número que aparece entre paréntesis identiltea al sujeto que hace la aportación. 190 Cristina Mayor Ruiz para todos los participantes, algo que proporcionaría esa resolución de problemas personalizado que señalan otros participantes. Pero la grabación de vídeo no es aceptada por todos los sujetos y tampocopuedeser una actividad de obligado cumplimiento, al menos durante el prograína no se planteó como requisito. En general se han resaltadopositivamente aspectos que consideramos de vital ímportanciapara garantizar la calidad del programa, como son la iniciativa o pro - puesta del propioprograma a la institución correspondiente (el ICE de la Uni - versidad de Sevilla), la selección de contenido y actividades, y por último la per - tinencia en la variedad de monitores. Una segunda pregunta abierta propuesta a los profesores es la relativa a consideraciones concretas a incluir en futuros diseños de programasformativos de estas características. Estapregunta número 24 del cuestionario se asemeja bas - tante a la que hemos expuesto en la columna tercera de la tabla anterior, aun cuando es más específica y sugiereactividades más detalladas. En la tabla siguiente exponemos estas aportacíones. • Mesa redonda donde participen representantes de la Universidad, alumnos, pro - fesores principiantes, profesores con experiencia, pedagogos, etc. • Tratar metodologías específicas para cada una de las distintas disciplinas acadé - micas - • Contenidos a incluir: — Tutorías: ¿Cómo distribuir el tiempo entre distintas tareas? — Gestión: ¿Cómo acceder a los órganos de gestión del Departamento? — Proyecto Docente: ¿Cómo hacer un proyecto docente personalizado? — Cuestiones sobre categoría profesional. — Comportamiento en el aula. — Oratoria: ¿Cómo hablar en público? — Atender a otras competecícias profesionales no docentes. Por último, la pregunta 25, demanda a los profesores una opinión abierta sobre la valoración general del seminario. Coincidiendo con las aportaciones numéricas la percepción es bastante positiva, en la tabla siguiente recogemos los aspectos más frecuentes y destacados; no obstante somos conscientes que aparecen opiniones reiterativas de las ya expuestas,pensamos pues que esta intervención viene a resumir lo anterior en palabras de los propios partici - pantes. La evaluación de un programa deformacion. - - 191 4.3. Análisis de las Competenciasdocentes de los monitores de losMódulos Formativos: la Sección Tercera del Cuestionario de Evaluación del Seminario Hemos señalado con anterioridad que los monitoreshan recibido valora - ciones tanto durante las cuestiones cerradas, con una dimensión específica, como en las preguntas abiertas. En estaseccion se analiza en profundidad a cada uno de los monitores de los distintosmódulos, en base a una bateria de cues - tiones sobre competencias docentes. En la tabla siguiente se exponenlos re - sultados de las puntuaciones medias de cada item y el índice global de cada módulo. • «La idea es buena y necesaria para los profesores principiantes» (13) * • «En general me ha gustado, aunque algunos profesores no se han ajustado al tema del Seminario, me hubiera gustado participar más en la evaluación que me han hecho los alumnos» (15). • Normal (16). • «Una iniciativa muy Buena» (4). • «Muy acertada la iniciativa, ya que hoy día no se le da importancia y cada pro - fesor enseña según su experiencia» (19). • «Muy interesante y me ha ayudado a reflexionar sobre cómo enfrentarme a los alumnos y a la preparación más amena de la asignatura» (20). • «Muy buena organización, elaborada y trabajada, al igual que los conteni - dos» (27). • «Bastante positiva, eliminar quizás cuestiones muy técnicas que no entendemos e Ir más a la práctica» (24). • «Opinión positiva desde que comenzó el curso. La variedad de especialistas es una fórmula muy positiva, máxime cuando han tenido el detalle de dar textos totocopiados. Es el más interesante de los que a hecho el lCE>~ (25). • «Muy bueno, está superado todo loque se puede pedir de un seminario de este tipo» (28). • «Positivo por las nuevas posibilidades, quizás fuera interesante hacer un segui - míento pasado unos años» (29) * El número que aparece entre paréntesis identitica al sujeto que hace la aporta - ción. Cristina Mayor Ruiz TABLA 5 Puntuaciones sobre las competencias docentes de los monitores de los diferentes módulos — (1)Introducción — (D) Estudio de Casos — (P) Planificación — (A) Ambiente de clase — (L) Lección Magistral — (Ci Creatividad — (T) Trabajo en grupo — (E) Evaluación —— (R) Reí, de eoí-nunícac’on — (Y) ProyectoDocente COMPETFNCtAS Media 1 P L T R D A C E Y Relevancia para mi trabajo docente 3,6 3,1 3.6 3.6 3.1 3.5 3 2» 2.9 4 3.7 Claridad y estructuración de contenidos 3,3 3.2 3,9 3,6 3,4 3.1 3,3 2» 2.5 4,1 4.3 Posibilitar la adquisición de nuevas destrezas docentes 3,7 3.3 4 3,3 4,2 4.1 4 3.3 3.2 4 3,6 Claridad expositiva del ponente 3,6 3.7 4 3,8 4 3.9 2.7 3.5 3 3,8 4,3 Capacidad de motivación 3.5 3,8 3.8 3,5 3.8 3.7 2.7 2,9 3.2 3.7 4.1 Dominio del contenido 3,9 4 4 4 4.2 3,9 3,6 3.8 3.6 4 4.3 Facilitad para las relaciones interpersonales.. 3,8 4.1 4 4,1 4,1 4.1 3,3 3.3 3.1 3.9 4.1 Capacidad para propiciar la rellexión ..,,,,~,, 35 353,5 3.7 36 37 3,6 3.4 3.4 3,4 3.5 Posibilidad de aplicacion práctica 33 3.1 3.6 3.6 3 3,5 3.3.32.7 3.7 4.3 Adecuación a objclivos del seminario 3.6 3.6 4 3.8 3,7 3,6 3,5 3.3 2,6 4.1 4 Valoración general 3.7 3,8 3.9 3.8 3,9 3,6 3,3 3 4,1 4,2 MEDIA de MODULOS 3.5.3,6 3.8 3,7 3,8 3,7 3,3 3.2 3 3.8 4 En primer lugar debemos destacar la puntuación coincidente, de 3,5, que existe entre la media de todos los módulos y el valor de la dimensiónMonitores analizada en la sección primera del instrumento. En cuanto a la puntuación media de cada módulo señalarque el valor más elevado lo obtiene el referido al ProyectoDocente, módulo que se ofertóexpresamente a los participantes y pre - sentaron gran interés, no obstante, también en las competencias específicas obtiene elevados índices. Es destacable el valor 4,3 expresado en cuanto a «CIa - rídad y estructuración de contenidos», para la «Claridad expositiva del ponente», para «Dominio del contenido» y también para «Posibilidad de aplicación prác - tica». Esta es la puntuación ínás alta que ha sido concedida y todas ellas se concentran en el mismo módulo, el de ProyectoDocente. 192 La evaluación de un programa deformacion. -. 193 También resaltamos las puntuaciones obtenidaspor el módulo «Trabajo en Grupo» en la competencia «Posibilitar la adquisición de nuevas destrezas docen - te» y «Dominio de Contenido». La media de este módulo ha sido también de las más positivas, con un valor de 3,8. Repiten este índice otros módulos, como el de Planificación y el de Evaluación. Sin embargo, si atendemos a la «Valoración General» de los participantes, los módulos más valorados, desde los más positivos, son «Proyecto Docente», «Eva - luación», «Planificación»,«Lección Magistral» y el de «Relaciones de Comu - nicación». Para todos los monitores es destacable el «Dominio en el Contenido» y la «Facilidad para las relaciones interpersonales». Atendiendo a las competencias peor valoradas, debemos señalar con 3,3 puntos la referida a la «Claridad y estructuración del contenido» y a la «Posibi - lidad de aplicación práctica». Si consideramoslos índicespor módulos es el de ~<Creatividad» el que recibe la opinión más negativa, y concretamente es en la competencia de ~<Claridad y estructuración de Contenidos». Por tanto, aun cuando todos los módulossobrepasan en la puntuación media la Valoración Media: 3, algunos superan incluso la Valoración Alta: 4. Estas per - cepciones se encuentran, entonces, en total consonancia con las manifestadas anteriormente, matizándose la calidad de los ponentes y las satisfacción con las exposiciones de estos. 4.4. Análisis del seminatio en base al Diifr-rencial Semántico: la Sección Cuarta del Cuestionario de Evaluacióndel Seminario Esta sección de cuestionario de Evaluación del Seminario está referida a una prueba sobre las percepciones de los profesoresparticipantes en el seminario en base a un Diferencial Semántico. La corrección de esta prueba se ha efectuado otorgando a cada espacio existente entre ambas columnas un valor de 1 a 7, estando el índice más bajo más cerca de los aspectos negativos, y viceversa. La media de cada uno de estos adjetivos ha configurado el perfil definitivo que presentamos en la Figura 3. Asimismo, hemos determinadotambién la puntua - ción media de todos los adjetivos para conocer la puntuación global, ascendien - do ésta a 5,1 puntos. Estos significa que la valoración global está significativa - mente más cerca de los aspectos positivos. En un análisis más detallado podemos afirmar que todas las valoraciones se encuentran en la zona de las puntuaciones superiores, es decirentre 4 y 6, sien - do así que no existenvaloracionesinferiores a 4, que sería el punto medio, aun cuando también son inexistentes las superiores a 6. El seminario ha sidovalorado con las puntuaciones más altas en los adjetivos útil, Bueno, Válido, Informativo y Estimulante.Asimismo ha obtenido los índi - ces más bajos, valor 4, en los adjetivos Largo, Teórico y Lento. Es, por tanto, que el perfil en este diferencialsemántico del seminario es altamente positivo. Cristina Mayor Ruiz Inútil Malo Difícil Detestable Fragmentado Insatisfactorio confuso Sin valor lnnecesarío Escaso Inconsistente Pesimista Falso Irrelevante Débil Superficial Pasivo Largo Desinformativo Teórico - Aburrido - Lento Informal Convencional No estimula 1 23456 7 Útil Bueno Fácil Se disfruta coherente Satisfactorio claro Válido Muy importante Amplio Consistente Optimista cierto Relevante Fuerte Profundo Activo Corto Informativo - Práctico Interesante Rápido Formal Imaginativo E stim u la Figura 3. Perfil valorasivo del Senjinario en base a tío diferencial semánlico. 4.5. Análisis de los elementos del Documento: la Sección Quinta del Cuestionario de Evaluacióndel Seminario Por la consideraciónque anteriormente hemos efectuado se incluye en el cuestionario una dimensión, formada por un solo item, sobre la utilidad del vídeo como estrategiaformativa en actividades de estas características. Asimis - mo tres dimensiones más conforman la totalidad de esta parte del instrumento. Es importante para nuestro trabajo considerar otras cuestiones al margen de la exposición de contenidosintegrantes en el documento, ya que este material se configura eminentemente práctico y por ello incluye numerosas actividades que el profesorpuede desarrollar autónomamente. Dimensiones Contenido 3,5 Actividades 3,3 Vídeo 4,1 Imagen 31 194 La evaluación de un programa dejbrmac¡on.. 195 Recordamos igualmente que las puntuaciones para valorar el documento oscilan entre 1 = Completamente en Desacuerdo y 5 = Completamente de Acuer - do. Observamos,pues, que todas las dimensionesobstentan un valorsuperior a la media, indicada con el código «Normal», es decir todas se encuentran con índices por encima del valor 3, y por lo tanto se pueden calificar de positivas. Entretodas ellas el vídeo es el recibe la puntuación más elevada,4,1, ya que se ha configurado como un material novedoso y de granutilidad formativa no sólo para aquellos quehan accedido a ser grabadosino también como posibilidad de analizar actuacionesdocentes de otros profesores universitarios. Ello ha permi - tido comparar situaciones conflictivas y comprobar reacciones y tomas de deci - siones para la resolución de problemasprácticos. En cuanto al contenido delDocumento, detalladoexpresamente en el epí - grafe relativo al diseño del programa, es valorado con una puntuación de 3,5, lo cual indica que un gran número de sujetos lo consideran adecuado a las nece - sidades y demandas expresadas. Las actividades propuestas en este material están especificadas según las distintas temáticas abordadas en el mismo.Muchas de ellas se trabajaron durante las sesiones del programa y otras se recomendaron para un uso individual. La valoración que se hace de este capítulo del Do - cumento pensamosque es satisfactorio y de gran rentabilidad a la hora de llevar a la práctica y poder resolver problemas concretosde situaciones docentes diarias. La imagen del Documento es un elemento que también incide en la percep - ción positiva del Seminario, ya que se realizó un gran esfuerzo porconfeccionar este material de forma satisfactoria. El tamaño, formato, funcionalidad,estructura y otros aspectos fueron resaltados por los profesores, siendo la calidad de la impresión el elemento que más crítica ha recibido. En términos generales, el documento ha sido aceptado positivamente como un material adecuado a los objetivos y con una gran utilidadpráctica para los profesores. 4.6. Análisis de los aspectos positivos y negativos delDocumento: la Sección Sexta del Cuestionario de Evaluacióndel Seminario Exponemos a continuaciónuna tabla de tres columnas para recoger las apor - taciones más significativas de los participantessobre los aspectos positivos, negativos y a añadir al Documento. Algunos de estos aspectos se pueden considerar reiterativos, aun cuando pensamos que es interesante conocer las opinionesespecíficas de los protago - nistas. Los aspectos positivos están centrados en la abundanteaportación de actividades y casos, teniendo en cuentaque la selección de contenidos se con - sidera afortunada y dirigida a los objetivos. Los aspectos negativos más fre -