La evaluación en las universidades andaluzas

I,a evaluación en las universidades andaluzas Antonio Trinidad Requena Universidad de Granada. Departamento de Ciencias Politicas y Sociologia. Granada. Spain Resumen - El presente articulo aborda la evaluación de la Facultad de Ciencias Politicas y Sociologia de la Universidad de Granada. Tiene como objeto clarificar el concepto de evaluación, 10s objetivos a cubrir y su.contextualización. Igualmente, analiza 10s criterios en 10s que se basan las decisiones metodológicas adoptada, sehalando sus ventajas e inconvenientes. Por úitimo, presentamos el modelo de evaluación empleado en el anáiisis de la Facultad y 10s resultados derivados de su aplicación. Palabras clave: evaluación, universidad, organización, centros educativos, profesores. Abstract. The evaluation in Andalucia? uniuersities This article deals with the evaluation of the Faculty of Political Science and Sociology at the University of Granada. Its object is to clarify the concept of evaiuation, the objetives to be coverd and their placing into context. It also anaiyzes the criteria on which the selected methodological decisions are based, pointing out the advantages and drawbacks. Finally, we present the evaluation model used in the anaiysis of the Faculty and the results deriving from its application. Key words: evaluation, university, organization, teaching institution, teacher. Sumario Introducción Descripción del modelo de evaluación Cuestiones metod~ló~icas Y Bibliografia Introducción La evaluación de programas, políticas públicas, constituye un tema de mhima actudidad, como 10 demuestra la cantidad de publicaciones aparecidas recienteniente en el mercado editorial, tanto de libros como de artículos y sobre todo la prolífera cantidad de instrumentos de evaluación. Y es que no debemos olvidar la existencia de numerosos factores que favorecen la práctica de la evaluación. Podríamos mencionar: 216 Papers 51, 1997 Antonio Trinidad Requena a) La integración europea. Espaiía ha afrontado en 10s diez últimos aiíos, y tras una compleja transición democrática, la entrada en las instituciones europeas. La Comunidad Europea está llevando a cabo un conjunt0 de actividades, integradas en el Programa Monitor, tendientes a evaluar estrategias, programas, proyectos, así como el apoyo y el desarrollo de metodologías evaluativas. Todo el10 ha ll~~vado a que 10s responsables políticos de nuestro país presten atención a la evaluación de políticas públicas. 6) La diversidad de la intervención pziblica. Para Roses (1984), el Estado de bienestar ha desplazado el centro de la gravedad desde la (calta polítican característica del viejo Estado liberal -relaciones internacionales, guerra y paz, ley y orden, finanzas públicasa la ((baja política,) -consistente en ofrecer bienes y servicios a 10s clludadanos donde quiera que se encuentren-. Dicho de otra forma, las adninistraciones públicas cubren un espectro de una extrema variedad: infraestructuras, sanidad, vivienda, educación, sistema de pensiones, subsidios, subvenciones, en la intervención en la ((baja polítia), y sobre todo en aquellas acciones donde 10s resultados no son visibles y 10s ciudadanos son 10s ((clientes)) de las prestaciones públicas, requiere 10s servicios de la evaluactón como instrumento que garantice la equidad y la transparencia de la acción en áreas como la cultura, el bienestar, 10s equilibrios interterritoriales, etc. c) La legitimación. La evaluación ha recibido el gran impulso como consecuencia de sus efectos también legitimadores. Y legitimadores tanto hacia dentro como hacia fuera. Es decir, como medio para obtener recursos, inversiones, etc., por ejemplo del Allinisterio de Economia, y como medio, hacia fuera, para que la evaluación de 10s efectos de las políticas legitime que 10s ciudadanos contribuyen -via impuestoscon sus recursos al sostenimiento de esas políticas. d) El crecimiento de costes. Cuando el gasto público se dispara, 10s recursos disponibles son escasos y la presitjn fiscal es elevada. Entonces la actividad pública no puede llevarse a callo a cualquier precio, sino con un coste adecuado. Y el10 no por las razones de competitividad, sino porque el empleo de 10s recursos públicos -medios escasos para usos alternativosestá sujeto a una racionalidad de asignacibn no s610 económica, sino también política, según la cual debe maximizarse su eficacia y eficiencia. Como dice el profesor Beltrán (1991): aindagar la eficacia y la eficiencia de la acción pública puede permitir que se revisen 10s cursos de actividades en 10s que no se logren en una proporción razonable 10s objetivos propuestos, o en 10s que se utilice de forma illadecuada un volumen excesivo de 10s recursos disponibles, en último extremo, dinero público)). En el caso que nos ocupa -instituciones universitarias-, 10s altos costes totales de la educación superior demandan, tanto por parte de las autoridades educativas como de la sociedad en general, un mayor control sobre las universidades. e) La calidad. Es un concepto que en 10s últimos años ha impregnado a toda la sociedad. Parecería que la evaluación, cua1 producto de mercado, ha La evaluaci6n en las universidades andaluzas Pa~ers 51, 1997 217 incorporado estos elementos de la coyuntura sociocultural en que vivimos, tomando la cccalidad de la ensefianza)) un auge hasta ahora desconocido, ensalzándose todas las modalidades del término: ensefianza de calidad, profesorado de calidad y evaluar para aumentar la calidad. Calidad como requisito para la competitividad. Como consecuencia del interés por la calidad se está creando una predisposición hacia la evaluación que implica, no s610 una mayor y mejor evaluación de las instituciones, sino también una perspectiva que suponga, además de una verificación del funcionamiento del sistema, un método para mejorarlo. Por 10 tanto, la cuestión de la evaluación, que en estos momentos está cobrando un gran protagonismo en todos 10s ámbitos de intervención social, tiene una importancia especial en el de la educación, sobre todo a nivel institucional. Prueba de el10 ha sido la creación en 10s últimos afios de: - El Instituto de Evaluación del Sistema Educativo, MEC. - Centros y gabinetes de evaluación en diferentes universidades. - Igualmente, el Plan Nacional de Evaluación de la calidad de las universidades. Ante esta situación de relevancia valorativa hemos evaluado la Facultad de Ciencias Políticas y Sociologia de la Universidad de Granada. Evaluación encaminada a conseguir 10s siguientes objetivos: 1. Negociar con todos 10s agentes de la Facultad, las dimensiones, las subdimensiones y 10s indicadores que van a ser evaluados. 2. Disefiar y elaborar 10s instrumentos necesarios para la evaluación. 3. Ensayar y validar, con carácter previo, 10s métodos, las técnicas y 10s instrumentos de evaluación a utilizar. 4. Conocer la realidad educativa de la Facultad, con la participación de todos 10s implicados en ella, para saber qué estamos haciendo. Cuestiones metodológicas La elección de un modelo u otro de evaluación no es una tarea Acil dado que supone adoptar una serie de decisiones metodológicas. Decisiones en las que intervienen múltiples factores como son nuestras concepciones ideológicas y filodficas del mundo, nuestra peculiar forma de captar e interpretar 10s fenómenos y 10s hechos sociales o nuestra formación epistemológica, pero, como dice Fernández Sierra (1992), ((sobre todo de la naturaleza del objeto de estudio y 10s objetivos que la evaluación se propongas. Para ir clarificando 10s factores que intervienen en un proceso de evaluación empezaremos por determinar 10s criteiios en 10s que se basan las decisiones metodológicas que vamos a tomar y que son la base del modelo que proponemos para evaluar la Facultad. Por parecernos la mis adecuada para nuestro objeto de estudio, fundamentalmente seguiremos la propuesta reali- 218 Papers51, 1997 Antonio Trinidad Requena zada por Angulo Rasco y otros (1991), en su articulo ((Evaluación educativa y participación democrática)) ' . En primer lugar optamos por una evaluación que considera que las personas implicadas en el proceso de evaluación no son meros (cobjetos de estudio)), sino sujetos activos en el desarrollo y la vida de la Facultad, estando implicados en todas las decisiones y valoraciones que presupone la evaluación, a la vez que se reconoce el pluralismo de valores e intereses diferentes. Principios de actividad, pluralidad :y diversidad que B. MacDonald (1985) recoge al considerar la Evaluación Democráticd como ((un servicio a la comunidad entera sobre las caracteristicas del programa educativa)); al igual que Beltrán (1991), en referencia directa a la evaluación de instituciones educativas -como en nuestro caso se trata-, lai define como ((aquella en la que, tanto 10s métodos aplicados como la información generada en el proceso evaluador es abierta, y se discute y se reelabora eritre 10s diferentes grupos de interés, formales o no, que configuran la comunidad educativa)). La negociación es otro de 10s criterios que debe inspirar todo proceso de evaluación, entendiendo por tal 10s diálogos y acuerdos que efectúan 10s evaluadores y 10s participantes de la instituc:ión a evaluar, antes, durante y después de la evaluación con el objetivo de evitar rechazos, reticencias, prejuicios y expectativas falsas de 10s distintos colectivos que integran la vida de una facultad o institución; en definitiva, aumemar la cultura evaluativa de la comunidad para evitar asociar evaluación con sanción y que nadie se pueda sentir amenazado o agredido en su independencia y autonomia. Pues, si no hay negociación, como apunta House (1979), ccnadie desea ser evaluador. 1. Los autores defienden una evaluación er terna que slrva a la sociedad y que cumpla las siguientes características: - Ni la verdad ni la valoración correcta está en posesión de grupos o personas privilegiadas. La verdad y la valoración es asunto de construcción democrática de todos. - No es el evaluador el que juzga, sino que Facilita que sean 10s implicados 10s que 10 hagan. - No se pretende convertir las complejidades naturales en simplificaciones que falsifiquen la realidad. - No pretende caer en la mística de 10s números o de las estadísticas. - Se siente mis comprometida con la utilización de procedimientos metodológicos sensibles a la riquaa, a la complejidad estructura y a las interacciones que se producen en toda realidad social. -- Parte de la clara explicitación de 10s criterios éticos que confirman 10s limites de su desarrollo. - Tiene como objetivo material la publicidad de sus informes, y que rechazan cualquier imposición para mantenerlos en sec1 eto o el ocultamiento de información valiosa. - Cuidará que el lenguaje de sus informes sea accesible no s610 a 10s directamente implicados en la realidad evaluativa, sino también a cualquier otro ciudadano interesado. - Pretende ser educativa. - Reconoce que un informe de evaluac ión no es solamente un contenido que se hace pública, sino que también puede crear una estructura social de relación y participación. - Se siente comprometida con la socied,id en general y con el desarrollo y la profundización de la democracia política. La evaluación en las universidades andaluzas Papers 51, 1997 219 La complejidad de 10s fenómenos sociaies, y en este caso educativos, es de tai magnitud que al evaluar una institución educativa en la que intervienen multitud de factores, se puede correr el riesgo de seleccionar, explicita o tácitamente, las variables mis fácilmente cuantificables u operativas, con el peligro de tomar en consideración 10s aspectos menos relevantes, 10s más nimios, 10s de menor interés educativo y, por consecuencia, llegar a conclusiones sesgadas, erróneas y engafiosas. En consecuencia tomamos como criteri0 la no simpliJl;cación de la complejidad natural para evitar que se falsifique la realidad de nuestro centro, utilizando métodos sensibles que capten la complejidad de 10s fenómenos evaluados. Como afirma Parlett y Hamilton (1987), la evaluación no intenta manipular, controlar o limitar las variables situacionales, sino abarcar toda la complejidad de la escena. Partimos del principio de que el diseño o modelo de evaluación ha de ser emergente, flexible, siempre incompleto, siempre abierto a la evolución y al cambio según 10 requieran las circunstancias y el desarrollo de la evaiuación. El modelo que defendemos ha sufrido múltiples modificaciones para ir adaptándose a la realidad de la Facultad, asi como a las diferentes opciones metodológicas que han tenido que tomarse durante el proceso de evaluación. Los naturaiistas, como afirma Guba (1985), al creer que se desenvuelven en un medio de reaiidades múltiples, entienden que la interacción con las personas investigadas modifica, con el tiempo, tanto a 10s investigadores como a ellos mismos, por 10 que, ante la necesidad de teorias que toquen tierra, insistirán en un disefio abierto, emergente, que se despliega, se desatrolla y evoluciona en cascada, que nunca está completo hasta que la investigación se termina arbitrariamente cuando 10 aconseja el tiempo, 10s resultados u otras consideraciones logísticas. El modelo de la ((figura)) de Stake (1975) ha sido una de las bases teóricas en las que se apoya nuestro modelo, compartiendo con él su concepción de evaluación; en él destacamos dos actos básicos: la descripción, que engloba las intenciones, 10 que se planea y se pretende, y las observaciones, 10 que reaimente se observa o se percibe. Otra operación principal es eljuicio, referido a las normas utilizadas para emitir el juicio y/o 10s enjuiciamientos formulados sobre la institución o el programa evaluado. Otra idea que asumimos y que es introducida por Stake es la de la evaluación respondiente, llamada asi porque debe responder a 10s problemas y las cuestiones reales que se puedan plantear a las personas implicadas en un programa o institución educativa. Entre las peculiaridades de este tip0 de evaluación, Pérez Gómez (1985)~ destaca el centrar2. Las otras peculiaridades presentadas por A. Pkrez Gómez son: - Enfatiza más 10s problemas que las teorias. - Contempla las diferentes interpretaciones de las personas implicadas en el programa. - Responde a las necesidades de información y al nivel de conocimiento de las personas interesadas en el programa. - Enfatiza la necesidad de proporcionar a 10s interesados la experiencia del programa, implicándolos en su análisis. - Describe y ofrece un retrato completo y holistico del programa. 220 Papers 5 1, 1997 Antonio Trinidad Requena se más en la descripción de las activida~des que en la definición de 10s objetivos o las intenciones de la institución. Una vez presentados 10s diferentes criterios teóricos en 10s que nos hemos basado para elaborar el modelo de evaluación que posteriormente describimos, pasamos a sefialar las distintas opciones metodológicas que acompaiian a tales criterios. En primer lugar, hemos optado por una evaluación interna, entendiendo por tai aquella que realiza la propia comunidad y que tiene por finalidad el realizar una evahaciónformatiiva con el objetivo de contribuir al perfeccionamiento de la realidad educativa del centro, tomando un enfoque global u holístico, que considera la evaluación como un todo en el que todas las partes, todos 10s sujetos implicados, todas las fases de su desarrollo, son tenidas en cuenta de manera globalizadora. Dentro de las perspectivas positivis talcuantitativa y naturalistalcualitativa, optamos por la complementariedad de ambos, superando tal disyuntiva y considerando que la mezcla de atributos de ambas perspectivas permite una mejora de la evaluación de 10s hechos sociales. Por úitimo, entendemos que el estudio de casos al plantearlo en el estudio de ~;LS instituciones educativas como clarificación de su funcionamiento en una situación real contextualizada, respetando su especificidad institucional y con una finalidad descriptiva, es el que mejor se adapta a la perspectiva de la eva1uac:ión que se pretende. Descripción del modelo de evaluación y resultados En base a 10s planteamientos sefialados, el modelo de evaluación seguido consta de tres niveles o fases: la primera denominada negociación; la segunda, descripción, y la tercera, valoración. Analicemos cada uno de ellos, sefialando a la vez 10s resultados mis relevantes después de su aplicación. En el primer nivel -negociacióntodos 10s sectores de la comunidad universitaria, tanto profesores como alumnos y equipo directivo, determinan aquellas dimensiones que a su juicio son las más relevantes para ].a evaluación de la Facultad. A partir de ellas, se pueden establecer 10s criterios -según esta comunidadque mejor definen la calidad de la ensefianza universitaria. En definitiva, se trataria de responder a la pregunta iqué evaluar? La elección de dimensiones e indicadores se ha realizado mediante una propuesta inicial abierta, en la que aparecen toda una serie de hechos y acontecimientos que tienen lugar en esta comunidad universitaria, agrupados en seis bloques: Contexto, Recurslos económicos y materiales, Profisorado, Alumnos, Organización yfincionamiclnto y Rectorado, y a partir de esta propuesta se han seleccionado las dimensiones y las subdimensiones objeto de evaluación. Para conocer el posicionamiento de profesores, equipo directivo y alumnos, se ha utilizado como material e instrumentos de investigación un cuestionario de valoración de dimensiones y, como constatación del mismo, un grupo de discusión. En cada una de las 48 dimensiones de las que consta el cuestionario, se pide tanto a profesores comcc a alumnos dos aportaciones: una, que La evaluaci6n en las universidades andaluzas - Papers 51, 1997 221 valoren la dimensión en relación con la relevancia que tiene para la evaluación de nuestra Facultad, en una escala que va del 1 al 5, en donde el 1 significa ccnada importantes y el 5, ccmuy importante)); la segunda aportación que se solicita consiste en contestar a una pregunta abierta sobre 10s aspectos a evaluar dentro de tal dimensión. Una vez que ha finalizado tal proceso, se le plantean tres preguntas nuevas que hacen referencia a 10s seis bloques en 10s que se han agrupado las dimensiones, acerca de si sobran, faltan o consideran necesario que aparezcan 10s seis, y por Último, deben sefialar las aportaciones complementarias que consideren oportuno incluir para mejorar el proceso de evaluación de la Facultad. Las conclusiones derivadas de la aplicación del primer nivel del modelo son: 1. Los seis bloques que inicialmente agrupaban las distintas dimensiones, van a permanecer según la ratificación realizada por la comunidad educativa de la Facultad, cuyo 8 1,7% considera que si deberian aparecer 10s seis bloques, al igual que la información aportada por el grupo de discusión y el análisis factorial. 2. Las dimensiones que profesores y alumnos consideran que no deben incluirse en la evaluación de la Facultad son las siguientes: - Relación y consideración de sus compafieros. - Expectativas sobre el nivel de logro de 10s alumnos. - Caracteristicas personales de 10s alumnos. - Caracteristicas sociofamiliares. - Antecedentes académicos. - Elección de carrera. - Reglamento de régimen interno. - Administrador delegado. - Conserjeria. 3. De 10s aspectos a evaluar en cada dimensión, que denominamos subdimensiones o indicadores, hemos seleccionado aquellos que coinciden en ambos colectivos -profesores y alumnos. El segundo nivel del modelo de evaluación, denominado descripcidn, corresponde a 10 que seria la fase propia de la evaluación, siendo su finalidad la de describir la realidad de la Facultad por parte de todos 10s agentes que intervienen en ella -profesores, alumnos y equipo directivoa partir de las dimensiones elegidas en el primer nivel, agrupadas en 10s bloques: - Contexto. - Recursos económicos y materiales. - Profesorado. - Alumnos. - Organización y funcionamiento. - Rectorado. 222 Papers 51, 1997 Antonio Trinidad Requena Descripción que tiene por objetivo conocer la marcha de la Facultad, qué es 10 que tiene, qué le falta y, en definitiva., qué se puede mejorar. Las técnicas utilizadas como instrumentos de recogida de información en la descripción de la Facultad son el Cuestonario de evaluución de la Facultadparaprofesores -CEFP-, Cuestionario de evaluación para alumno!; -CEFA-, Cuestionario abierto para el equipo decanal -CAED-, Grupos de discwión y análisis de documentos. Con la finalidad de conocer la estabilidad de 10s resultados en la evaluación de 10s profesores por parte de 10s alumnos, todos 10s profesores han sido evaluados por dos promociones de alumnos. De tal manera, que 10s profesores que imparten docencia en primer0 han sido evaluados por 10s alumnos de segundo y tercero, 10s que imparten docencia en segundo por 10s alumnos de tercero y cuarto, y así sucesivamente. De 10s resultados derivados de la aplicación del segundo nivel del modelo, por razones de espacio s610 analizamos las dimensiones ccprofesorado y alumnosn, cabe destacar: 1. De la dimensión ccProfesorado)) Al profesorado se le ha preguntado sobre su titulación acaddmica, experiencia profesional y producción científica. Aproximadamente, la mitad de 10s profesores -44%- son doctores, la distribución de 10s mismos, dentro del sector, es completa en catedráticos -100%-- para descender en titulares -83%-, asociados -20%- y ayudantes -1 L%-. Distribución obvia dentro de la carrera docente del profesorado universitario, ya que para ser titular o catedrático de Facultad es necesario ser doctor. Pero esto no quiere decir que el número de doctores sea el idóneo. Esta opinión coincide con el discurso dominante de profesores, alurnnos y equipo decanal sobre el nivel de formación y preparación del profesorado. En cuanto a formación didáctica, publicaciones, desarrollo de ponencias en congresos, conferencias impartidas, serninarios, pertenencia a grupos de investigación y estancia en centros de investiigación, nos centramos, en primer lugar, en las actividades desarrolladas a 10 largo de toda la formación. Mk de la mitad de 10s profesores dicen haber llevado al cabo las siguientes actividades: a) Realización de cursos de formación pedagógica. 6) Publicación de libros, artículos --en revistas nacionalesy capítulos de libros. c) Presentación de ponencias. d) Invitación a conferencias. e) Organización de jornadas. f) Participación en jornadas y reuniones científicas. g) Y, por úítimo, participación en investigaciones desarrolladas en su departamento. Por el contrario, tan s610 el 20% ha publicado artículos en revistas internacionales, otro 38% ha permanecido en centros de investigación y un 22% ha participado en investigaciones a nivell internacional. La correlación entre la La evaluaci6n en las universidades andaluzas Papers 5 1, 1997 223 I categoria profesional y las actividades investigadoras es estadisticamente significativa en las siguientes actividades: Significación - Formación pedagógica 0.014* - Publicación de libros O.OOO* - Publicación de capítulos 0.023* - Artículos en revistas internacionales 0.022* - Invitado a dar conferencias 0.028* - Participación en investigaciones a nivel nacional 0.032* - Investigaciones a nivel internacional 0.004* Por el contrario, las diferentes categorias de profesores llevan a cabo en porcentajes similares las siguientes actividades: - Publicación de artículos en revistas nacionales. - Presentación de ponencias. - Organización de seminatios. - Permanencia en centros de investigación. - Pertenencia a grupos de investigación. - Participación en investigaciones del departamento. O, 10 que es 10 mismo, ninguna de las cuatro categorias profesionales -ayudantes, asociados, titulares y catedráticospresenta diferencias apreciables en la realización de dichas actividades. Probablemente porque las diferencia~ radiquen en la cuantia -número de artículos, etc. Ai centrarnos en el trabajo desarrollado por 10s profesores en el úitimo aiío, en cuatro de las seis actividades señaladas en el cuadro 1 más de la mitad de 10s profesores dicen haberla realizado. Por el contrario, tan s610 un 20% ha estado en centros de investigación y un 40% ha organizado conferencias o seminarios. Al contrario que con la formación realizada a 10 largo de toda la carrera, las actividades realizadas en el último año no correlacionan con la categoria proCluadro 1. Proporción de profesores que han realizado alguna de las actividades siguientes en el último aiio. (En porcentajes horizontales) Si Actividades % Publicación de libros, capitulos, artículos 60 Presentación de ponencias 56 Estancia en centros de investigación 20 Investigaciones terminada o en marcha 86 Invitado a dar conferencias Organización de conferencias, cursos 40 (NI (50) - 230 Papers 51, 1997 Antonio Trinidad Requena 1.3. La identifcación con el trabajo En general, 10s profesores están mis satisfechos que insatisfechos con su trabajo; tan s610 un 12% declara estar algo insatisfecho, el 4% bastante insatisfecho, y el 32% poc0 satisfecho -cuadro 4. Las diferencias entre categorias de profesores no son notables. Aun asi, 10s ca1:edráticos son 10s más satisfechos, luego 10s asociados y titulares y por último llos ayudantes. Las diferencias por sexo tampoc0 son apreciables. Respecto a las causas de la satisfacción, destaca el reconocimiento de 10s profesores de que les gusta el trabajo que realizan -26%-. El porcentaje de 10s que indican este motivo es mis re:ducido entre catedráticos y titulares, sefialando como motivo otras razones no especificadas. Las causas de la insatisfacción son variadas. De éstas destacan las siguientes: - La com~etitividad entre compafieros, 22%. - Los alumnos, 1 1% - La necesidad de actualización, 1 1 %. 2. De la dimensión ((Alumnosw No es una novedad si decimos que las condiciones, 10s hábitos y las formas de estudio de 10s alumnos coadyuvan a 10s resultados finales de 10s estudiantes. Ante tal premisa, analizamos la valoraciión realizada por 10s alumnos sobre tales hechos. En lineas generales, 10s alumnos de la Facultad consideran buenas las condiciones de su lugar habitual de estudio, asi 10 manifiestan mis de las tres cuartas partes de 10s alumnos -24% nnuy buenas, 45% bastante buenas, 18% algo buenas-, el 7% piensa que son algo malas y tan s610 el 3,2% las encuentra bastante malas o muy malas. En cuanto a 10s hábitos de estudios,, la mitad de 10s alumnos confiesan no estudiar con replaridad. De éstos el 19% 10 hace ocasionalmente, un 15% cuando le apetece y el 14% para 10s exámenes -cuadro 5-. Al centrarnos Cuadro 4. Distribución de profesores seg~ln categoria profesional en relación con el grado de satisfacción con su trabajo. Total Ayudantes Asociados Titulares Catedráticos opiniones % % % % % Muy insatisfecho 4 11 6 Bastante insatisfecho 4 11 Algo insatisfecho 12 11 1 O 17 Algo satisfecho 16 33 20 13 Bastante satisfecho 56 44 60 56 67 Muy satisfecho 8 10 6 33 Total (N) (50) 100 (9) 100 (20) 100 (18) 100 (3) 100 La evaluaci6n en las universidades andaluzas Pa~ers 51, 1997 231 Cuadro 5. Proporción de alumnos según forma y hábitos de estudio. Total Segundo Tercero Cuarto Quinto hábitos % % % Yo % Regularmente 50 46 5 5 50 53 Ocasionalmente 19 25 19 14 11 Cuando me apetece 15 14 11 15 22 Para 10s exámenes 14 14 12 17 12 Nunca 0.3 0.6 0.9 NIC 0.6 1 2 en las diferencias por curso, observamos que 10s alumnos de 10s Últimos cursos tienden a estudiar regularmente, frente a 10s de 10s primeros que 10 hacen en ocasiones. Los que manifiestan estudiar más y menos horas son 10s alumnos de 10s primeros cursos, sobre todo 10s de segundo, que presentan la distribución rnás homogénea dentro de la escala. Por el contrario, 10s alumnos de 10s Últimos cursos tienen una marcada tendencia hacia posiciones medias de la escala. El mayor porcentaje de alumnos de cuarto y quinto manifiesta estudiar entre 1 1 y 15 horas, frente al 9% y al 5% que declara estudiar más de 20 horas. En relación con el número de clases a que asisten 10s alumnos, aproximadamente algo más de la mitad afirma asistir a todas -63%-. La otra mitad, se distribuye en torno a las 8 y 15 clases semanales -12% y 26% respectivamente-, 10 que supone una media de 2 y 4 horas al dia. No existen diferencias apreciables por razón del curso, si bien se aprecia, en 10s alumnos de quinto, una tendencia positiva hacia la asistencia, frente a 10s de segundo, tercer0 y cuarto en que suele ser algo menor. Si entre 10s alumnos de 10s diferentes cursos no existen diferencias en cuant:o a las condiciones de lugar de estudio, hábitos, dedicación y asistencia a clase, por el contrario, entre alumnos y profesores existen diferencias significativas en cuanto a la percepción del número de alumnos que asisten habitualmente a clase. El 88% de 10s profesores opinan que asisten asiduamente a clase entre 40 y 100 alumnos, mientras el 86% de 10s alumnos consideran estas cifras algo menores de, 21 a 80 -cuadro 6. A la vista de 10s resultados podemos concluir que no hay un Único perfil del alumno, sino como mínimo dos. Uno que podriamos llamar ccmodélico)), caracterizado por tener un lugar agradable de estudio, asistir a todas las clases y estudiar regularmente. Por el contrario, el otro perfil se caracteriza por tener un lugar de estudio regular, asistir a algunas clases y estudiar ocasionalmente o cuando le apetece. 2.1. Los resultados acad2micos El estudio de 10s resultados académicos es amplio y complejo por sí sólo; asi, ha 232 Papers 51, 1997 Anronio Trinidad Requena Cuadro 6. Proporción de aiumnos que asisten a clase con regularidad según profesores y aiumnos. Total cantidad % Profesores % Alumnos % Menos de 20 2 2 De 21 a 40 22 9 23 De 41 a 60 33 32 33 De 61 a 80 30 34 30 De 81 a 100 1 O 22 9 Más de 100 2 2 2 No contesta 3 10 2 . Total (N) (679) 100 (50) 100 (629) 100 sido el objeto de estudio de tesis e investigaciones6. Nosotros nos centraremos en 10s resultados académicos referidos a 10s cursos 90191 y 91192 en la convocatoI ria de junio, haciendo especial hincapié en 10s alumnos repetidores y en las variables que diferencian unos alurnnos de otra~s. Cabe destacar el descens0 de aprobados y no presentados al avanzar curso, frente al aumento de aprobados. De éstos, hay una tendencia a valores más positivos -.notables y sobresalientes-. Estos resultados no difieren de 10s de otras facultades similares del Estado espaiío17. La diferencia entre las asignaturas que mis suspensos concentran y las que menos es notable -25 puntos-. Difierencias que no se reproducen en ninguna de las otras calificaciones -aprob,ado, notable, sobresaliente-. En cuanto a 10s repetidores, en la distribución por sexo, 10s hombres repiten mis que las mujeres en todos 10s cursos. El 15% de 10s hombres de primero son repetidores, frente al 11,1% de mujeres. En segundo, el porcentaje es el 10,9% de 10s hombres y el 9,5% de las mujeres, en tercero, el 20,2% de 10s hombres matriculados repiten curso, aunque tan s610 el 13% de las mujeres 10 hacen. A conclusiones parecidas han llegado 10s estudios realizados por M. Latiesa (199 I), L. Salvador y A. Garcia-Valcátcel (1989), y R. González Tirados (1989). Del estudio de las variables que inciden en 10s resultados de 10s alumnos, podemos deducir algunas conclusione:~. En conjunto, son pocas las variables que marcan diferencias significativas. tU igual que en la evaluación del profesor por parte de 10s alumnos, en 10s cursos mis bajos influyen mis variables que en 10s últimos -tercera. 6. Entre otros cabe citar a: - LATIESA, M. (1 991): El rendimiento académico en distintos paises y centros uniuersitarios. - MAR~N IBÁÑEZ (1991): Elrendimiento de la Uniuersidad. - SALVADOR, L.; GARCIA, A. (1991): El rendimiento académico en la Uniuersidad de Cantabria: Abandonos retrasos en lar estudios. - GONZALEZ TIRADOS (1 992): Principak2s dijicultades en el rendimiento académico enprimer año de carrera de Ingenieria. 7. Véase LAURENTINO, S. (1989): El rendimiento académico en la Uniuersidad de Cantabria. La evaluacibn en las universidades andaluzas Papers 5 1, 1997 233 Las variables personales -sexo, edad, asistencia, hábitos, satisfacciónson las que actúan como mayores diferenciadores en 10s resultados de 10s alumnos. Las contextuaies -1icenciatura-, tan s610 afectan a tres asignatura del total -1ntroducción a la Ciencia Política e Historia de primero y Estructura Social Contemporánea de tercer-, siendo mejores 10s resultados de 10s alumnos de Sociologia y mis negativos 10s de Políticas. El sexo es de las variables que producen diferencias apreciables en las notas de 10s alumnos, en el mayor número de asignaturas, siendo 10s alumnos 10s que obtienen mejores notas que las aiumnas, al contrario de 10 que ocurría en el porcentaje de repetidores8. En relación con 10s hábitos de estudio de 10s alumnos, se aprecian diferencias significativa en algunas asignaturas, sobre todo en las de primero, al ser 10s dumnos que estudian con mayor regularidad 10s que obtienen mejores calificaciones9. La edad de 10s estudiantes es otra de las variables, junto con el sexo, que en asignaturas de primero y segundo sefiala diferencias importantes; se aprecia una marcada tendencia positiva a medida que aumenta la edad del alumno. 0,lo que es 10 mismo, 10s alumnos de mayor edad obtienen mejores notas que 10s más jóveneslO. 8. Según L. Garcia Aretio (1991), son mayoria 10s estudios que, referidos a la Universidad, confirman que no existen diferencias significativas de rendimiento debidas al sexo de 10s individuos. Asi se deduce de 10s trabajos de carácter nacional e internacional, tales como 10s de May y otros (1977), Herrero e Infestas (1980), Carney y Geys (1981), L. Salvador (1989) y Latiesa (1992), este Último referido al abandono. Por el contrario, algunas diferencias detectaron Weitz y Colver (1958) y Hood (1957). Asimismo, Garcia Llamas (1986) encontró que en la UNED y en la carrera de Ciencias de la Educación, el rendimiento académico de 10s varones es significativamente mk alto que el de las mujeres. 9. La nota de 10s exámenes parciales y la preparación diaria, son variables que inciden en el rendimiento de 10s alumnos de la Universidad Politécnica de Madrid, según el estudio Ilevado a cabo por R. Gonzrilez Tirados (1989). I O. En 10 que respecta a la edad, Patton (1958) concluye que 10s universitarios cuanto mis jóvenes ingresan, tienen mis probabilidad de éxito. Sin embargo, si se retrasa la entrada, la probabilidad de éxito será más elevada cuanto más edad tenga el estudiante. En 10s estudio~ referidos a la Universidad, no se han encontrado generalmente diferencias significativas en el rendimiento relacionadas con la edad. De el10 pueden dar muestra 10s trabajos de McDonald y McPherson (1975), Wileman y otros (1981), L. Garcia Aretio (1991). El estudio llevado a cabo por J.L. Garcia Llamas (1086), descubre que existe relación significativa entre la edad y el rendimiento de 10s alumnos de la UNED, deduciendo que el grupo mis numeroso de alumnos -10s de 23 a 29 años-, que en principio parece una edad óptima para el estudio, es el que en mayor grado opta por no presentarse a examen, siendo sus rendimientos bajos o medios. Por su parte, M. Latiesa (1992), encontró que 10s alumnos de mis edad abandonan, fracasan, en mayor medida en 10s estudios universitarios. También, Infestas (1986), en investigación realizada en la Universidad de Salamanca, encontró que 10s mayores de 25 años abandonaban la Universidad en mayor medida que 10s mk jóvenes. En 10 que respecta a la Universidad de Cantabria, L. Salvador. y otros (1989) descubren que la forma de ingreso y la edad son las variables que presentan mayor asociación con el rendimiento académico, siendo 10s más jóvenes, aquéllos que ingresan con menos de 20 años e inician 10s estudios superiores como continuación de 10s medios a través del COU, 10s que presentan un mejor rendimiento. 234 Papers 51, 1997 Antonio Trinidad Requena 2.2. La ident$cación con 10s estudios Los estudiantes que acceden a la educación superior están condicionados en su elección por determinadas variables, especialmente por la oferta de plazas y las trayectorias académicas anteriores, M. Latiesa (1992). Estas variables influyen, con independencia de que 10s alumnos sean conscientes de ellas o no, por el contrario, hay otras variables -subjeti.vasque 10s estudiantes manifiestan que han determinado su elección y que nosotros hemos intentado determinar. Estas variables que hemos denominado subjetivas, ya que obedecen a manifestaciones conscientes de 10s alumnos:, han sido, por grado de influencia, las siguientes: 1°. Una vocación personal, me guaita -80%. 2O. Me gusta la profesión para la que me capacita -78%. 30. Obtener una cultura general --77%. 40. Necesidad de matricularme en alguna facultad -18%. 50. No me han admitido en otra --I 1%. 60. Por no trasladarme a otra ciutiad distinta de donde resido -10%. 7O. Trasladarme a otra ciudad distinta de donde resido -8%. Como podemos observar, hay una opinión mayoritaria sobre la elección vocacional o profesional, siendo una minoria la influida por las variables coyunturales o culturales. De todos modos, tle las variables seiíaladas por 10s alumnos como influyentes, hay tres de ellas que no afectan por igual a todos. aLa necesidad de matricularse en alguna facultad)) es una de ellas, al presentar diferencia~ significativas en la distribución por curso, 10s alumnos de 10s últimos cursos tienden a justificar su opción por este motivo. ((La obtención de una cultura general)) y (cel poder trasladarse a otra ciudad)), presentan diferencias notables entre 10s alumnos, siendo, de nuevo, 10s alumnos de cuarto y quinto 10s que tienden a esto con mayor frecuencia. Por tanto, podemos deducir, con todas las reservas de poder equivocarnos, que a 10s alumnos, de las dos primeras promociones de la Facultad les influyeron a la hora de elegir la carrera mis las variables personales que las estrictamente profesionales. Es una hipótesis defendida, tambiém, por 10s alumnos que intervienen en 10s dos grupos de discusión, al entender que muchos alumnos de la Facultad son de ((rebote)). O, 10 que es 10 mismol, 10s alumnos optaron por esta carrera, bien porque no les admitieron en otra -1 I%-, porque tenian que estudiar algo o, simplemente, porque les permitia trasladarse a otra ciudad: La mayoria de la gente viene de 30 rebote y existe la idea de que esta es una Facultad de cachondeo (B 1 OGF). En cuanto a la satisfacción o a la insatisfacción del alumnado con su trabajo de estudiante, en general, 10s alumrios están más satisfechos que insatisfechos con sus estudios; tan s610 un 3% declara estar muy insatisfecho, el 8% bastante insatisfecho y el 11% algo satisfecho -cuadro 7-. Las diferencias La evaluaci6n en las universidades andaluzas Pavers 51, 1997 235 Cuadro 7. Satisfacción por 10s estudios, según curso matriculado. - Total Segundo Tercero Cuarto Quinto satisfacción % % % Yo Yo Muy insatisfecho 3 3 3 1 3 Bastante insatisfecho 8 5 8 12 15 Aigo insatisfecho 11 7 13 12 18 Aigo satisfecho 16 16 11 20 18 Bastante satisfecho 46 50 46 47 39 Muy satisfecho 14 18 17 6 5 NIS NIC Total (N) - (629) 100 (255) 100 (178) 100 (1 14) 100 (82) 100 entre cursos son notables. Quiere esto decir que la asociación entre cursos de pertenencia y grado de satisfacción es alta. Asi, 10s alumnos de quinto son 10s menos satisfechos seguidos de 10s de cuarto y tercero, y por último 10s mis satisfechos son 10s de segundo. Respecto a las causas de la satisfacción, destaca el reconocimiento de 10s alumnos de que les gustan 10s estudios que realizan -40%-. El porcentaje de 10s que indican este motivo es mis reducido entre 10s alumnos de tercero, y señalan como motivo la formación que dan, siendo éste, a su vez, el segundo de 10s motivos que mencionan 10s alurnnos -24%--, seguido de 10s contenidos --23%-. Entre las causas de la insatisfacción destaca el plan de estudios --53%--, las pocas salidas profesionales -15Y-, 10s profesores -12%-, 10s resultados académicos -10%- y por últim0 la elección de otra carrera -3%. Para finalizar, s610 nos queda analizar la última fase de la evaluación, que tiene lugar en el nivel tercero del modelo denominado valoración, en el que todos 10s agentes de la comunidad hacen un juicio de valor sobre la Facultad. En esta linea hemos propuesto a profesores y alumnos que evalúen la Facultad en su conjunt0 en una escala entre 1 y 10, donde el 1 corresponde a la valoración negativa y el 10 a la positiva, al mismo tiempo que indicasen las razones por las cuales otorgaban una u otra valoración. Pues bien, la puntuación mis frecuente es la otorgada al 4: el 47% del total de la muestra opta por valores negativos. O sea, concede un suspens0 a esa evaluación global de la Facultad. Respuesta que, por grupos, presenta diferencias significativas, siendo 10s profesores 10s que evalúan mis positivamente a la Facultad. Es decir, 10s alumnos tienden a valorar negativamente la Facultad, mientras 10s profesores 10 hacen a la inversa. Las razones alegadas a la hora de justificar la evaluación son muchas, y son diferentes, también, entre 10s colectivos. Entre 10s alumnos señalan por frecuencia las siguientes: 236 Papers 51, 1997 Antonio Trinidad Requena 1. Profesorado 2. Instalaciones 3. Compartir edifici0 con otras licenciaturas 4. Información 5. Plan de estudios 6. Masificación 7. Participación 8. Motivación Por el contrario, 10s profesores sefialan otra serie de aspectos o acciones para justificar la evaluación de la Facultad. Entre ellas se imponen: 1. Masificación 2. Preparación previa de 10s alumnos 3. Relación de la Facultad con el medio 4. Investigación 5. Metodologia 6. Organización y funcionamient.~ 7. Plan de estudios 8. Departamentos Bibliografia ÁLVAREZ, C. (1989). c(Eva1uaciÓn de la docencia en la UAM)). Boletín del Instituto de Ciencias de la Educación, 14. ANGULO, F.; FERNÁNDEZ SÁNCHEZ, J.; MFIRT~NEZ ARIAS, M R. (1987). Cuestionario de evaluación delprofesorado de la Univem;dad Complutense. Madrid: ICEUM. (Texto policopiado) . ANGUGO RASCO, J.F.; CONTRERAS DOMINGO J. y SANTOS GUERRA (1991). ((Evaluación educativa y participación democrática)). Cuadernos de PedagogLa, núm. 195, septiembre. Barcelona. APEZECHEA, H. (1989). ((Modelos de investigación, diseño de prueba e investigación cualitativa)). Punto, 2 1, 47/48, (17-2 1). BELTRÁN, M. (1 991). La productividad ,de la Administración Espafiola: Un Análisis Comparativo. Madrid: Ministeri0 de Economia y Hacienda. CASANOVA, M.A. (1987). ((La evaluación educativa, a debates. Comunidad Educativa, 155, (23-27). CELORRIO, R. (1 984). Evaluación del rendimiento en la enseñanza superior a distancia: El Centro Asociado de la UNED de Soria. Tesis Doctoral. Ciencias de la Educación. Madrid: UNED. COOK, T. D.; REICHARDT, C.S. (1 986). Ilfétodos cualitativos y cuantitativos en investigación evaluativa. Madrid: Morata. CROMBACH, L.J. (1981). Towavd reforn oj'progrumrn evaluations. San Francisco: JosseyBass. DE MIGUEL, M. (1 99 1). Lu waluación de la instituciones universitarias. Madrid: Consejo de Universidades. FERNÁNDEZ SIERRA, J. (1 992). Evaluación cualitativa de propamas de educación para la salud. Málaga: Ediciones Aljibe. La evaluación en las universidades andaluzas - Papers 5 1, 1997 237 GUBA, E.G. (1 985). Toward a Metodology of Naturalistic Inquiry in Educational Evaluation. Los Angeles: Center for the Study of Evaluation, UCLA. HOUSE, E.R. (1979). ((Coherence and credibility: The esthetics of evaluation)). Educational evaluation andpolicy analysis, 1, 5. MCDONALD, B. (1985). Democracy and Evaluation. University of East Anglia. MCDONALD, F; ELIAS, F! (1976). Executive summary report: Beginning teacher evaluation study, Phase II. Princeton, NJ.: Educational Testing Service. P.~RLETT, M.R.; HAMILTON, D. (1987). ((Evaluation in illumination: A new approach to the study of innovative programmes)). En HAMILTON, D. y otros (eds.). 0.c. PEREZ GOMEZ, A. (1985). ((Modelos comtemporáneos de evaluación)). En GIMENO, J.; P~REZ, G. (comp.). La ensefianza, su teoria y su práctica. Madrid: AkalIUniversidad. ROSES (1984). Citado en BELTRAN, M. (1991). Laproductiuiakd de la Administración Espafiola: Un Análisis Comparativo. Madrid: Ministeri0 de Economia y Hacienda. SABIRON, E (1990). Evaluacidn & Centros Docentes. Modelo, aplica~iones~guia. Zaragoza: Central de Ediciones, S.L. Col. Documentos de trabajo en educación. SANTOS, M.A. (1 990). Hacer visible 10 cotidiano. Teoria y práctica de la evaluación cualitativa de centros escolares. Madrid: Akal. SCRNEN, M.S. (1 975). ((Evaluation bias and its control)). Occasional Paper Series, núm. 4. Universidad de Western Michigan. Centro de Evaluación. STAKE, R.E. (1975). c<Programm evaluation, particularly responsive evaluation)). Occasional Paper Series, núm. 5. University of Western Michigan. Evaluation Center. PTAKE, R.E. (1981). ((Setting standars for educational evduators)). Evaluation News, 2, 2, (148-152). STUFFLEBEAM, D.L.; SHINKFIELD, A.J. (1 987). Evaluación sistemática: Guia teórica y práctica. Madrid: Paidós-MEC.