¿Cómo evaluar el cambio estructural de género en universidades? Aprendizajes de una práctica colaborativa y feminista

¿CÓMO EVALUAR EL CAMBIO ESTRUCTURAL DE GÉNERO EN UNIVERSIDADES? APRENDIZAJES DE UNA PRÁCTICA COLABORATIVA Y FEMINISTA How to evaluate gender structural change at universities? Learnings from a collaborative and feminist practice JULIA ESPINOSA-FAJARDO Universidad de Sevilla [email protected] MARÍA BUSTELO Universidad Complutense de Madrid [email protected] MARÍA VELASCO Universidad Complutense de Madrid [email protected] Cómo citar/Citation Espinosa-Fajardo, J., Bustelo, M. y Velasco M. (2022). ¿Cómo evaluar el cambio estructural de género en universidades? Aprendizajes de una práctica colaborativa y feminista IgualdadES, 7, 413-440. doi: https://doi.org/10.18042/cepc/IgdES.7.03 (Recepción: 02/09/2022; aceptación tras revisión: 25/10/2022; publicación: 23/12/2022) Resumen En los últimos años, diversas han sido las iniciativas que se han puesto en marcha para promover la igualdad de género en las universidades. Sin embargo, como sucede con las políticas de género en su conjunto, estas resultan controvertidas y hacen frente, con frecuencia, a diferentes tipos de dificultades en su implementación que ralentizan el alcance de sus objetivos. La evaluación, en este contexto, se presenta 414 JULIA ESPINOSA-FAJARDO, MARÍA BUSTELO Y MARÍA VELASCO IgualdadES, 7, julio-diciembre (2022), pp. 413-440 como un proceso clave para el aprendizaje y la mejora a este respecto. El presente artículo comparte la experiencia de la evaluación del proyecto europeo de investigación-acción «Transforming organisational culture for gender equality in research and innovation» (GENOVATE), basada en la combinación de los enfoques colaborativo y feminista. De forma específica, a partir del modelo de evaluación desarrollado en el marco del proyecto, explora cómo evaluar el cambio estructural de género en universidades y qué potencialidades trae consigo esta combinación de enfoques frente a los enfoques clásicos en evaluación. Palabras clave Planes de igualdad de género; universidades; evaluación colaborativa; evaluación feminista, cambio estructural de género. Abstract In recent years, universities have carried out various initiatives to promote gender equality. However, as with gender policies in general, these are controversial and often face diverse types of difficulties in their implementation that slow down the achievement of their goals. Evaluation, in this context, becomes a fundamental process for learning and improvement in this regard. This article presents the evaluative experience of the European action-research project «Transforming organisational culture for gender equality in research and innovation» (GENOVATE), based on the combination of collaborative and feminist approaches. Specifically, based on the evaluation model developed in the project, it explores how to evaluate structural gender change in universities and what potential this combination of approaches brings in comparison to the classic approaches in evaluation. Keywords Gender equality plans; universities; collaborative evaluation; feminist evaluation; gender structural change. ¿CÓMO EVALUAR EL CAMBIO ESTRUCTURAL DE GÉNERO EN UNIVERSIDADES?… 415 IgualdadES, 7, julio-diciembre (2022), pp. 413-440 SUMARIO I. INTRODUCCIÓN. II. EVALUACIÓN COLABORATIVA Y FEMINISTA. III. LA EVALUACIÓN EN EL PROYECTO «TRANSFORMING ORGANISATIONAL CULTURE FOR GENDER EQUALITY IN RESEARCH AND INNOVATION» (GENOVATE). IV. EL MODELO GENOVATE DE EVALUACIÓN DEL CAMBIO ESTRUCTURAL DE GÉNERO: 1. Ejes y dimensiones de análisis. 2. Preguntas de evaluación e indicadores. 3. Consideraciones metodológicas. V. CONCLUSIONES. BiBliografía. I. INTRODUCCIÓN A lo largo de las últimas cuatro décadas, diferentes tipos de políticas e iniciativas públicas se han puesto en marcha para promover la igualdad de género. Sin embargo, la promoción de la igualdad de género constituye una cuestión controvertida y compleja (Meier, 2006; Daly, 2005; Walby, 2005) y el compromiso con la misma tiende a evaporarse durante la implementación de las intervenciones (Engeli y Mazur, 2018; Espinosa-Fajardo, 2018; Bustelo, 2017; Longwe, 1997). A este respecto, diversas dificultades y resistencias al cambio en materia de igualdad de género han sido documentadas por académicas y profesionales feministas (Verloo, 2018; Cavaghan, 2017; Lombardo y Mergaert, 2016; Cornwall et al., 2007; Ferree y Tripp, 2006). En el sector concreto de las políticas de ciencia e innovación, así como en el de la educación superior en general, se ha observado en los últimos años una mayor preocupación por la persistencia de la desigualdad de género y se han puesto en marcha diferentes tipos de medidas para hacerle frente (Pastor y Acosta, 2016; Pastor et al., 2015). El avance de las mujeres en el sector ha sido desigual y lento. Por ejemplo, solo el 26,2 % de los puestos académicos de alto nivel están ocupados por mujeres, aunque representan el 48,1 % de todas las personas con doctorado (Comisión Europea, 2021). Las iniciativas para promover la igualdad de género en la investigación se centraron primero en programas específicos para ayudar a las mujeres a seguir carreras científicas. Cuando esto resultó insuficiente para aumentar el número de mujeres en el campo, el enfoque se desplazó hacia la lucha contra las barreras estructurales y la promoción de la transformación estructural de las instituciones utilizando un enfoque sistémico, integral y sostenible. Siguiendo este enfoque en el 7.º 416 JULIA ESPINOSA-FAJARDO, MARÍA BUSTELO Y MARÍA VELASCO IgualdadES, 7, julio-diciembre (2022), pp. 413-440 Programa Marco, la Comisión Europea lanzó una convocatoria de cambio estructural de género para abordar sistemáticamente este tipo de desigualdad en la ciencia a través de planes de acción orientados al género dentro de las universidades y centros de investigación. Con este enfoque, el cambio estructural de género se ha convertido en una estrategia para mejorar la igualdad de género, impulsando desde una perspectiva holística y sistémica transformaciones en las culturas, las estructuras y las personas de las universidades y centros de investigación. Sin embargo, la puesta en práctica de este tipo de iniciativas también se enfrenta a importantes retos debido a su carácter transformador (Alonso Álvarez y Diz Otero, 2022; Lombardo y Bustelo, 2022; Tildesley et al., 2021; Palmen y Schmidt, 2019; Verge et al., 2018). En este escenario, la evaluación se convierte en una herramienta crucial para acompañar la implementación de las acciones de igualdad, aprender de los desafíos emergentes y guiar el proceso transformador. Entendida como «el enjuiciamiento sistemático de la valía o mérito de un objeto» (Stufflebeam y Shinkfield, 1987: 19), la evaluación conforma un proceso que persigue medir, analizar y valorar tanto el diseño como la implementación e impactos de las políticas y que puede ser realizada en cualquier momento del ciclo de la política pública. De este modo, constituye un ejercicio fundamental para identificar qué factores influyen en la adecuada ejecución de las políticas y cómo mejorar estas para generar resultados con mayor impacto en materia de igualdad de género. Este artículo presenta la práctica de evaluación del proyecto «Transforming organisational culture for gender equality in research and innovation» (GENOVATE), centrada en el análisis y valoración del cambio estructural de género en universidades combinando los enfoques colaborativo y feminista. Los enfoques clásicos en evaluación se orientan fundamentalmente a la medición de resultados finales —a través de un conjunto predefinido de criterios— de cara a la rendición de cuentas. Los enfoques colaborativo y feminista, por su parte, analizan no solo los resultados, sino también el diseño y la implementación. Su intención es mejorar la comprensión del funcionamiento de las políticas y, en concreto, de cómo estas generan o pueden acelerar transformaciones en materia de igualdad. En este sentido, no se orientan principalmente a la rendición de cuentas, sino especialmente al aprendizaje y la mejora continua. A partir de la práctica evaluativa del proyecto GENOVATE, se explora su modelo de evaluación del cambio estructural de género en universidades y se trata de responder a la siguiente pregunta: ¿qué aporta esta combinación de enfoques, frente a los enfoques clásicos, a la evaluación del cambio estructural de género? En concreto, se exploran las propuestas y potencialidades del modelo GENOVATE en relación con los ejes y áreas de análisis, las preguntas ¿CÓMO EVALUAR EL CAMBIO ESTRUCTURAL DE GÉNERO EN UNIVERSIDADES?… 417 IgualdadES, 7, julio-diciembre (2022), pp. 413-440 de evaluación y los indicadores, así como a las orientaciones metodológicas para captar el cambio generado por planes de igualdad en universidades. Para ello, a continuación, se expone el estado del arte en materia de evaluación colaborativa y feminista. Asimismo, se presentan las características de la evaluación del proyecto GENOVATE y, tomando como base esta experiencia evaluativa, se comparte el modelo GENOVATE de evaluación del cambio estructural de género. El artículo se cierra con unas conclusiones que persiguen alimentar los debates emergentes sobre cómo evaluar el cambio en materia de igualdad de género, en general, y cómo hacerlo en el ámbito de las universidades, en concreto. II. EVALUACIÓN COLABORATIVA Y FEMINISTA La evaluación colaborativa y la evaluación feminista conforman dos enfoques específicos de la disciplina de evaluación de programas y políticas públicas que se han desarrollado en las últimas décadas. Ambos comparten una clara orientación a la promoción de la justicia social, así como características epistemológicas y metodológicas fuertemente conectadas con el paradigma de la evaluación transformadora (Mertens, 2009; Nirenberg et al., 2003). En este sentido, conciben la evaluación no solo como un ejercicio técnico, sino eminentemente político. Entienden que la misma no se orienta meramente a la rendición de cuentas, sino al aprendizaje, la mejora de las políticas públicas y el empoderamiento de la ciudadanía, con un foco en los grupos y personas con menos voz. En esta línea, ambos enfoques otorgan un papel central a los actores y actoras (a partir de ahora, stakeholders o partes interesadas) en la generación de conocimiento y consideran al equipo evaluador como un facilitador de la evaluación. A su vez, en tanto que comprenden la evaluación como una oportunidad para promover el cambio social, ponen especial atención a entender cómo los procesos contribuyen a los resultados en cada contexto específico. Ahora bien, cada uno de estos enfoques evaluativos cuenta con su propio recorrido y muestra también sus particularidades. Por una parte, la evaluación colaborativa nace de la apuesta por la participación de los stakeholders en la evaluación que empieza a desarrollarse en la década de los sesenta del pasado siglo (Cousins et al., 2013). Desde entonces, diversas han sido las propuestas que bajo diferentes denominaciones —como evaluación democrática, evaluación de cuarta generación, evaluación para el empoderamiento, evaluación participativa, evaluación con enfoque colaborativo, entre otras— han puesto el foco en la implicación dinámica y continua de las partes interesadas en los procesos evaluativos así como en el reconocimiento de sus conocimientos y saberes (Shulha et al., 2016; Chouinard, 418 JULIA ESPINOSA-FAJARDO, MARÍA BUSTELO Y MARÍA VELASCO IgualdadES, 7, julio-diciembre (2022), pp. 413-440 2013; Cousins et al., 2013; Fetterman, 2005; Institute of Development Studies, 1998; Monnier y Conan, 1995; Guba y Lincoln, 1989). Estas propuestas —que en este artículo denominaremos «evaluación colaborativa» en sentido amplio— dan respuesta a las críticas a los enfoques clásicos de evaluación caracterizados por un carácter positivista y cuantitativo, un foco en la medición de resultados y en el análisis de la atribución (causa-efecto) y una perspectiva top-down (Guba y Lincoln, 1989; Scriven, 1973). Frente a ello, optan por aproximaciones de tipo cualitativo, reconociendo el papel de la intersubjetividad en la construcción del conocimiento, y ponen el foco en el análisis de la contribución de los proyectos dirigiendo la mirada a los procesos de implementación. Asumen que la medición de resultados y el análisis de la atribución no siempre ayudan a comprender el cambio social y, en nuestro caso, no facilitan entender el cambio estructural de género. Asimismo, sostienen que comprender los procesos de un proyecto es más importante que producir explicaciones generalizadas. En este sentido, sitúan a la diversidad de stakeholders y a sus diferentes perspectivas y prioridades como un elemento clave a considerar en todo el proceso de indagación y valoración de los programas y políticas públicas. Tabla 1. Características de la evaluación colaborativa y feminista Evaluación colaborativa Evaluación feminista Propósitos de la evaluación La evaluación como proceso social y político que persigue aprender y mejorar los programas y políticas, desarrollar capacidades en las instituciones y organizaciones y empoderar a las personas. La evaluación como actividad política para promover el aprendizaje y la mejora en materia de igualdad de género, así como el empoderamiento de las mujeres. Papel del equipo evaluador Facilitador en el proceso de evaluación. Facilitador que reconoce las relaciones de poder existentes en las instituciones, las políticas y las evaluaciones. Implicación de los stakeholders Participación de las partes interesadas y fomento de la apropiación de la evaluación. Reconocimiento de las relaciones desiguales de género y otras relaciones de poder presentes en los procesos participativos. Foco de análisis Los objetivos del programa en sí mismos. El cambio en materia de igualdad de género entendido como un proceso no lineal y marcado por la intersección entre factores de desigualdad. ¿CÓMO EVALUAR EL CAMBIO ESTRUCTURAL DE GÉNERO EN UNIVERSIDADES?… 419 IgualdadES, 7, julio-diciembre (2022), pp. 413-440 Evaluación colaborativa Evaluación feminista Métodos Combinación de técnicas cuantitativas y cualitativas, siempre adaptadas a los stakeholders. Los métodos de investigación se entienden como construcciones sociales y las técnicas se definen con los stakeholders. Generación de conocimiento La evaluación crea la realidad y debe reflejar, a través de la negociación, el conocimiento de las diferentes partes interesadas y promoverlo. El conocimiento es un poderoso recurso que es cultural, social y temporalmente contingente y que se basa en múltiples formas de conocimiento, algunas de ellas más privilegiadas que otras. Fuente: elaboración propia a partir de Sudashan y Nandi (2018); Haylock y Miller (2016); Shulha et al. (2016); Espinosa y Tamargo (2015); Brisolara et al. (2014); Hay et al. (2012); Podems (2010); Fetterman (2005); Sielbeck-Bowen et al. (2002); Institute of Development Studies (1998), y Guba y Lincoln (1989). Por otra parte, la relación entre evaluación e igualdad de género empieza a tomar fuerza a raíz de la IV Conferencia Internacional sobre la Mujer de Naciones Unidas (1995). La definición del mainstreaming de género como una de las dos estrategias —junto con el empoderamiento de las mujeres— para promover la igualdad supuso reconocer la necesidad de incorporar la perspectiva de género en todas las fases del ciclo de las políticas públicas, incluida la evaluación (Espinosa-Fajardo y Bustelo, 2019). Desde entonces, un número creciente de publicaciones —basadas en las teorías y metodologías feministas— se han desarrollado para evaluar las políticas públicas desde una perspectiva de género, así como para evaluar políticas específicas de igualdad. En general, estas contribuciones subrayan la importancia de la evaluación como un ejercicio para acelerar los cambios positivos en relación con la igualdad de género (Nandi y Sudarshan, 2021; Sudashan y Nandi 2018; Brisolara et al., 2014; Espinosa, 2013; Batliwala y Pittman, 2010; Sielbeck- Bowen et al., 2002; Humphries, 1999). La evaluación feminista reconoce la producción de conocimiento como una fuente de poder y el conocimiento en sí mismo como un producto fruto de un contexto social y cultural. Por ende, subraya la necesidad de dar espacio a todos los tipos de saberes en la construcción de conocimiento evaluativo y promueve la participación de los diferentes stakeholders, poniendo el foco en aquellos que cuentan con menos poder —con frecuencia mujeres— (Haylock y Miller, 2016; Brisolara et al. 2014; Sielbeck—Bowen et al., 2002). 420 JULIA ESPINOSA-FAJARDO, MARÍA BUSTELO Y MARÍA VELASCO IgualdadES, 7, julio-diciembre (2022), pp. 413-440 Por otra parte, subraya que la desigualdad de género es sistémica y estructural y es un reflejo de una injusticia social. Esta, además, se ve atravesada y acentuada por otros factores de desigualdad basados en la clase social, la etnia, la edad, la discapacidad, la orientación afectivo-sexual, entre otros (Nandi y Sudarshan, 2021; Brisolara et al. 2014). En este punto, dado el carácter sistémico y estructural de la desigualdad, se reconoce que el avance a la igualdad de género no es lineal, sino que hace frente a diferentes tipos de dificultades y resistencias. La promoción de la igualdad es una tarea controvertida que requiere atender a dimensiones1 clave donde se produce y reproduce la desigualdad de género (Brisolara et al., 2014; Espinosa, 2013; Batliwala y Pittman, 2010). Además, para impulsar el cambio estructural, se deben tener en cuenta las intersecciones entre los diferentes tipos de desigualdad (Brisolara et al. 2014; Nandi y Sudarshan, 2021; Bustelo, 2017; Espinosa y Tamargo, 2015). En el caso de la promoción del cambio estructural de género que aquí nos ocupa, se han desarrollado algunas propuestas para analizar este tipo cambio. Muchas de ellas provienen de los estudios sobre cambio intraorganizacional y sobre mainstreaming de género y aún son escasas aquellas que emanan de los estudios específicos de evaluación (Acker, 1999 y Gunnarsson et al., 2007, citado en Wennberg et al., 2013; Groverman y Kloosterman, 2010; Navarro, 2007; Mukhopadhyay et al. 2006; Moser, 2005). En todo caso, todas ellas reconocen la complejidad del objeto. Siguiendo a Navarro (2007) y Mukhopadhyay et al. (2006), y su adaptación del marco de análisis de Tichy al estudio de las políticas de igualdad, la evaluación del cambio estructural puede realizarse observando tres ejes de análisis en interacción: las «ideas», que se refieren a la política y cultura institucional; las «estructuras y mecanismos», vinculados a la política y cultura organizativa, y las «personas», relacionadas con los individuos y los grupos. El presente artículo explora, a partir de la experiencia del proyecto GENOVATE, el marco de análisis de Tichy como base de los ejes y dimensiones de análisis en la evaluación del cambio estructural de género en universidades. 1 Las principales dimensiones subrayadas por la literatura son: los diferentes roles de género y la división sexual del trabajo; la participación de mujeres y hombres en la esfera pública y privada; el control del uso del cuerpo de mujeres; las necesidades prácticas y estratégicas de género; los diferentes usos del tiempo de mujeres y hombres, y su desigual acceso y control sobre recursos, beneficios y servicios (Hunt y Brouwers, 2003 y Miller y Razavi, 1998, en Espinosa, 2013). ¿CÓMO EVALUAR EL CAMBIO ESTRUCTURAL DE GÉNERO EN UNIVERSIDADES?… 421 IgualdadES, 7, julio-diciembre (2022), pp. 413-440 III. LA EVALUACIÓN EN EL PROYECTO «TRANSFORMING ORGANISATIONAL CULTURE FOR GENDER EQUALITY IN RESEARCH AND INNOVATION» (GENOVATE) El proyecto GENOVATE, financiado por el 7.º Programa Marco de Investigación de la Comisión Europea, se llevó a cabo en el periodo 2013-2017. Como principal objetivo, este proyecto de investigación-acción perseguía garantizar la igualdad de oportunidades entre mujeres y hombres mediante el fomento de una gestión competente en materia de género en los órganos de investigación, innovación y toma de decisiones científicas. Para ello, el proyecto se centró en tres ámbitos diferentes: la igualdad de género en la contratación, la promoción y el apoyo a la investigación; el cambio en los entornos de trabajo y la cultura del lugar de trabajo, y la excelencia en la investigación y la innovación a través de la igualdad y la diversidad de género. A la par, estos tres ámbitos fueron abordados en dos niveles de investigación-acción distintos, pero interconectados y paralelos: el nivel del consorcio2, vinculado al desarrollo de ocho paquetes de trabajo3 diferentes, y el nivel institucional, relacionado con la implementación de planes de Acción para la Igualdad de Género (PAIG) en seis de las siete instituciones socias4. La evaluación dentro del proyecto GENOVATE se definió, desde el propio diseño inicial del mismo, como un proceso integrado y continuo, orientado a proporcionar insumos sobre cómo acompañar y acelerar el cambio 2 El consorcio del proyecto estaba conformado por las siete universidades socias: Universidad de Ankara (Turquía), Universidad de Bradford (Reino Unido), Universidad de Trnava (Eslovaquia), Universidad Complutense de Madrid (España), Universidad Tecnológica de Lulea (Suecia), Università degli Studi di Napoli Federico II (Italia) y University College Cork (Irlanda). 3 Estos paquetes de trabajo (work packages, en inglés) versaron sobre: 1. Gestión del Consorcio GENOVATE; 2. Desarrollo de un modelo social de implementación de la igualdad de género; 3. Igualdad de género en contratación, promoción y apoyo a la investigación; 4. Cambio en la cultura y ambiente de trabajo; 5. Excelencia en investigación e innovación a través de la igualdad de género y la diversidad; 6. Intercambio de conocimiento y estudios de casos institucionales: 7. Evaluación, y 8. Estrategia de difusión y sostenibilidad. 4 Las seis universidades socias que implementaron PAIG fueron la Universidad de Ankara (Turquía), la Universidad de Bradford (Reino Unido), la Universidad de Trnava (Eslovaquia), la Universidad Tecnológica de Lulea (Suecia), la Università degli Studi di Napoli Federico II (Italia) y el University College Cork (Irlanda). La Universidad Complutense de Madrid (España), como séptima socia, estuvo a cargo de la evaluación en el proyecto. 428 JULIA ESPINOSA-FAJARDO, MARÍA BUSTELO Y MARÍA VELASCO IgualdadES, 7, julio-diciembre (2022), pp. 413-440 en las universidades socias. Para ello, el foco no se puso solamente en la medición y valoración de los resultados finales con un foco la rendición de cuentas. Por lo contrario, asumiendo que los procesos de cambio estructural de género son controvertidos y complejos, se dirigió la mirada a cómo fueron diseñadas las acciones en materia de igualdad, cómo se implementaron y en qué modo se generaron transformaciones en materia de igualdad (ver gráfico 2). De esta manera, el modelo persiguió valorar la propia conceptualización de las intervenciones y aprender sobre cómo se puede impulsar acciones más transformadoras en su diseño y ejecución. La finalidad última fue mejorar las acciones en marcha y favorecer futuras medidas con mayor impacto en el cambio estructural de género. Gráfico 2. Componentes evaluados en los PAIG Fuente: elaboración propia. En términos de la evaluación del diseño, se subrayó la relevancia de valorar en qué medida se incluían acciones específicas relacionadas con los ejes y dimensiones del cambio estructural de género. En contextos de intervención similares se puso de manifiesto que cuantos más ejes y dimensiones se incluyeran, más potencial transformador tenían los PAIG. Sin embargo, la valoración del carácter transformador del diseño también está relacionada con las necesidades existentes en materia de igualdad de género en cada universidad y los antecedentes institucionales de género. Como se evidenció en el proyecto, los diferentes puntos de partida de las universidades en materia de igualdad de género hacían que no se pudiera valorar de igual modo el potencial transformador de sus diseños de intervención en todas ellas. Mientras que la Universidad Tecnológica de Lulea (Suecia) —con una amplia trayectoria en materia de igualdad— abordaba en su PAIG la mayor parte de las dimensiones, la Universidad de Trnava (Eslovaquia) —que iniciaba su trabajo en esta área— solo incluía algunas de ellas. El carácter transformador presente en el diseño de sus planes, sin embargo, debía valorarse atendiendo a su contexto específico. La propia existencia de un plan de igualdad en la Universidad de Trnava ya supuso un punto de inflexión en esta materia dentro de la institución y, sin duda, un cambio sustantivo. Para evaluar el proceso de implementación, se invitó a analizar los procesos mediante los cuales se implementaron los PAIG, determinando al mismo tiempo en qué medida estos contribuyen al cambio estructural de género. En este sentido, se hizo hincapié en la coordinación, la gestión, la ¿CÓMO EVALUAR EL CAMBIO ESTRUCTURAL DE GÉNERO EN UNIVERSIDADES?… 429 IgualdadES, 7, julio-diciembre (2022), pp. 413-440 comunicación, la participación de las partes interesadas, la transferencia de conocimientos y el uso de los recursos humanos y los procedimientos. Se entendió que la implementación conformaba una etapa fundamental en la propia vida del plan y resultaba central entender qué factores incidían en su buen desarrollo y cuáles lo dificultaban. Atendiendo a los estudios feministas, se prestó especial atención a las dificultades y resistencias que se observaban en la ejecución de medidas a favor de la igualdad de género. Por último, la evaluación de los resultados hizo hincapié en el cambio efectivo en términos de igualdad de género que se produjo en relación con estas áreas y dimensiones, considerando cómo los diferentes contextos y procesos había influido en los mismos. Se mostró que no era pertinente esperar los mismos tipos de resultados en todas las universidades socias. Por lo contrario, resultaba clave entender las diferentes visiones existentes sobre el cambio necesario en materia de igualdad encada contexto específico. Por otra parte, se dirigió la mirada tanto a los resultados esperados como a los no esperados. Conscientes de que la promoción de la igualdad de género hace frente a desafíos importantes, se trataron de identificar resultados no esperados que fueran efecto de acciones contrarias a la igualdad. De igual modo, se valoraron aquellos resultados no esperados que contribuían a la igualdad de cara a analizar cómo se habían generado. 2. PREGUNTAS DE EVALUACIÓN E INDICADORES Tomando como marco estos ejes y dimensiones de análisis, el modelo GENOVATE de evaluación del cambio estructural de género también reveló la necesidad de formular preguntas de evaluación contextualizadas. Las preguntas de evaluación constituyen herramientas para acotar qué es necesario examinar de forma específica en la política o intervención a evaluar. Los enfoques clásicos de evaluación, con frecuencia, proponen modelos estandarizados de preguntas de evaluación ligados a los criterios predefinidos. Desde una perspectiva colaborativa, se entendió que las preguntas debían ser definidas por los stakeholders de cara a identificar aquellas cuestiones clave en cada universidad concreta. De igual forma, desde una perspectiva feminista y dado el objeto de evaluación, se consideró crucial prestar atención a las necesidades de información relativas al abordaje de las cuestiones de género, a los antecedentes institucionales de género y al contexto en esta materia. Así, se trabajó con los stakeholders en la definición de preguntas de evaluación ligadas a los ejes y dimensiones de análisis mencionados, atendiendo tanto al diseño como a la implementación y los resultados. En la tabla 2, se presentan algunos ejemplos de preguntas genéricas relativas atendiendo al foco de evaluación. 430 JULIA ESPINOSA-FAJARDO, MARÍA BUSTELO Y MARÍA VELASCO IgualdadES, 7, julio-diciembre (2022), pp. 413-440 Tabla 2. Preguntas genéricas atendiendo al foco de evaluación Foco de evaluación Preguntas de evaluación Diseño ¿En qué medida el PAIG incluye acciones específicas relacionadas con los ejes y dimensiones del cambio estructural de género? Implementación ¿En qué modo los procesos del PAIG (coordinación, gestión, comunicación, transferencia de conocimientos, etc.) facilitan el cambio estructural de género en estos ejes y dimensiones específicas? Resultados ¿En qué grado el PAIG está contribuyendo al cambio estructural de género en estos ejes y dimensiones? Fuente: elaboración propia a partir de la experiencia del proyecto GENOVATE. En cuanto a las preguntas ligadas al diseño, se consideró fundamental atender a la pertinencia o adecuación de los objetivos definidos relativos a la igualdad de género y la inclusión de los intereses de los diferentes stakeholders en cada universidad. Como hemos señalado, el proyecto evidenció que los contextos marcaban en gran modo los propios objetivos en materia de igualdad. Por ejemplo, mientras que en la Universidad de Bradford (Reino Unido) y la Universidad Tecnológica de Lulea (Suecia) la incorporación de las mujeres a las estructuras universitarias era una cuestión trabajada durante varias décadas, en la Universidad de Ankara (Turquía) constituía un tema novedoso y altamente pertinente como objetivo de trabajo. En lo que respecta a la evaluación de la implementación, las preguntas de evaluación se centraron en la forma en que los diferentes procesos (gestión, coordinación, etc.) eran implementados y contribuían a promover la igualdad de género. Por tanto, las preguntas de evaluación estaban relacionadas con el grado de ejecución de las diferentes actividades, así como con la medida en que estaban contribuyendo al cambio en materia de igualdad. Igualmente, como hemos mencionado, las preguntas indagaban sobre las posibles dificultades y resistencias a la igualdad de género que estaban presentes en la ejecución de las medidas. Respecto a la evaluación de los resultados, las preguntas de evaluación se vinculaban a los ejes y dimensiones específicas de cambio que se intentaban promover en cada PAIG específico. En la tabla 3 se incluyen ejemplos emanados de la experiencia GENOVATE. ¿CÓMO EVALUAR EL CAMBIO ESTRUCTURAL DE GÉNERO EN UNIVERSIDADES?… 431 IgualdadES, 7, julio-diciembre (2022), pp. 413-440 Tabla 3. Preguntas de evaluación sobre resultados por ejes de análisis Eje de análisis Pregunta de evaluación Ideas ¿En qué medida ha influido el PAIG en la integración de la igualdad de género en los planes y estrategias institucionales? ¿En qué grado el PAIG ha promovido cambios en relación con la inclusión de la igualdad de género en los documentos estratégicos de la universidad (políticas de contratación, retención y promoción)? Estructuras y mecanismos ¿Cómo el PAIG ha promovido cambios en relación con el equilibrio de género en los mecanismos de toma de decisiones? ¿En qué grado el PAIG ha promovido cambios en materia de equilibrio de género en los mecanismos de gestión de recursos humanos? Personas ¿En qué medida el PAIG ha promovido cambios en cuanto a la concienciación y el reconocimiento de las disparidades de género por parte de los mandos intermedios? ¿En qué grado PAIG ha promovido cambios en relación con el compromiso del personal con la igualdad de género? Fuente: elaboración propia a partir de la experiencia del proyecto GENOVATE. Grosso modo, las preguntas de evaluación se basaron en los puntos críticos que debían ser analizados a través del proceso de evaluación. Aunque se delimitaron ejes y dimensiones de análisis compartidos para evaluar el cambio en materia de igualdad de género, las preguntas de evaluación estuvieron siempre vinculadas a los intereses de los stakeholders y al contexto particular de la intervención. Por ejemplo, las cuestiones interseccionales o de diversidad solo fueron incluidas por aquellas socias con objetivos específicos y trayectoria en este tema. Igualmente, dado que se trató de una evaluación que acompañó todo el proceso de ejecución, el proyecto puso de relieve la necesidad de revisar las preguntas de evaluación en cada fase —inicial, intermedia y de cierre— y redefinirlas a lo largo del proyecto. A medida que evolucionaba la aplicación de la intervención, variaban las preguntas. Las preguntas definidas al principio tuvieron que revisarse durante la vida del proyecto y se fueron incluyendo nuevas preguntas para atender a las cuestiones críticas que surgieron en el proceso. En todos los casos, las preguntas se centraron en cuestiones estratégicas para generar conclusiones y recomendaciones útiles y orientadas a la acción en cada PAIG. Por otro lado, una vez acotadas las preguntas de evaluación, se definieron indicadores para recopilar información al respecto. Los indicadores utilizados 432 JULIA ESPINOSA-FAJARDO, MARÍA BUSTELO Y MARÍA VELASCO IgualdadES, 7, julio-diciembre (2022), pp. 413-440 en la planificación y el seguimiento pudieron usarse para responder a algunas de las preguntas de evaluación planteadas. Sin embargo, fue necesario diseñar indicadores de evaluación específicos para analizar otros aspectos identificados como centrales en la delimitación de ejes, dimensiones y preguntas de evaluación. Aunque en muchas ocasiones se intenta abordar las evaluaciones tomando como punto de partida un listado cerrado de indicadores, e incluso algunas socias tenían esta propuesta en mente en el momento de inicio, el proyecto GENOVATE mostró —como subraya la literatura genérica sobre evaluación de programas y políticas públicas— que no existen indicadores universales que puedan utilizarse para todas las evaluaciones de planes de igualdad. El desarrollo de una buena evaluación requiere que los indicadores emanen directamente de las preguntas de evaluación definidas en cada caso concreto. Los indicadores deben seleccionarse por su utilidad para responder a estas preguntas. Por otra parte, como señalan diversos estudios, la medición del cambio en términos de igualdad de género requiere utilizar tanto indicadores cuantitativos —centrados en medir la cantidad— como indicadores cualitativos —relativos a percepciones y opiniones de las personas sobre un tema en concreto— (UNEG, 2011; ONU Mujeres, 2015). Los avances en materia de igualdad no siempre son cuantificables y se hacen necesarios indicadores cualitativos que ayuden a evidenciar cambios y resistencias a la igualdad de género a través de discursos, visiones y valoraciones de los sujetos implicados en la intervención. En el caso del proyecto GENOVATE, la necesidad de captar el cambio estructural de género precisó combinar ambos tipos de indicadores. De esta manera, se utilizaron indicadores de tipo cuantitativo —como el porcentaje de personal formado en materia de igualdad de género— y otros de tipo cualitativo —como las percepciones de las personas a cargo de la ejecución del PAIG sobre las resistencias a su implementación—. La combinación de indicadores permitió, por una parte, tener una visión de conjunto sobre ejecución y resultados, así como comprender en mejor medida la calidad de la ejecución y los mecanismos que influyeron en los resultados. 3. CONSIDERACIONES METODOLÓGICAS El modelo GENOVATE de evaluación del cambio estructural de género apostó por la implicación activa de los stakeholders de los diferentes PAIG atendiendo a sus intereses específicos en relación con la evaluación y la igualdad de género. Esto requirió de flexibilidad y adaptación a los diferentes contextos en cada caso. También precisó de estrategias metodológicas para fomentar la participación de las partes interesadas y, específicamente, de las personas y grupos con menor voz. Se puso énfasis en que el equipo evaluador, ¿CÓMO EVALUAR EL CAMBIO ESTRUCTURAL DE GÉNERO EN UNIVERSIDADES?… 433 IgualdadES, 7, julio-diciembre (2022), pp. 413-440 en los espacios de debate conjunto, no reforzara los liderazgos tradicionales y evitara reproducir las dinámicas de poder existentes en las universidades. A grandes rasgos, esta apuesta por la participación de los stakeholders favoreció una mayor adecuación de la evaluación a los temas considerados centrales en cada contexto. No obstante, la participación en la evaluación del cambio estructural de género no fue una tarea sencilla. Como evidencia el proyecto GENOVATE, esta requiere de una visión compartida sobre la evaluación, conocimientos en esta materia y competencias sobre igualdad de género. Dada la desigual experiencia existente tanto en evaluación como en planes de igualdad, la formación a este respecto conformó un elemento clave desde el inicio de la evaluación y se abrieron espacios para el debate conjunto sobre estos temas. Por otro lado, como mencionamos, la dificultad de captar el cambio estructural de género requirió del diseño de indicadores cuantitativos y cualitativos. En el proceso paralelo de delimitación de métodos y técnicas, esto se tradujo en la elección de métodos mixtos y la triangulación de técnicas cuantitativas y cualitativas, frente a los enfoques clásicos que suelen optar por técnicas de tipo cuantitativo. La acotación específica de las técnicas, en todo caso, siempre atendió a qué preguntas de evaluación se pretendía dar respuesta y qué indicadores se precisaban para ello. En tanto que el cambio en materia de igualdad y los procesos que lo impulsan o frenan no son siempre visibles, el uso combinado de técnicas cuantitativas y cualitativas permitió un análisis más completo y profundo del cambio generado, los factores facilitadores del mismo y las resistencias. Por una parte, las técnicas cuantitativas permitieron la medición objetiva de algunos elementos concretos y fueron útiles para responder a preguntas como «¿qué?», «¿cuántos?» y «¿con qué frecuencia?». A este respecto, se utilizaron pequeñas encuestas9 —realizadas a pequeña escala— para responder a las preguntas de evaluación en cada una de las universidades socias. Estas pequeñas encuestas analizaron unas pocas variables y no utilizaron una muestra estadísticamente significativa. Sin embargo, proporcionaron información cuantitativa en un plazo corto que pudo triangularse mediante el empleo de otras técnicas. Por otra parte, las técnicas cualitativas se centraron en la descripción y comprensión interpretativa del cambio estructural de género y permitieron 9 Las pequeñas encuestas, que no cuentan con representación estadística, son utilizadas en ocasiones en evaluación de programas y políticas públicas. Cubren una cantidad limitada de personas y son útiles para recabar una primera información sobre un fenómeno que debe ser contrastada con otras técnicas (Roche, 2004). 434 JULIA ESPINOSA-FAJARDO, MARÍA BUSTELO Y MARÍA VELASCO IgualdadES, 7, julio-diciembre (2022), pp. 413-440 recopilar hechos y cuestiones de forma más profunda y detallada. Estas técnicas ayudaron a comprender el cómo y el porqué de los procesos de cambio. A este respecto, el análisis documental, la observación participante, los grupos de discusión, los talleres participativos y las entrevistas cualitativas fueron las principales técnicas utilizadas en la evaluación de los PAIG. En todo caso, el proyecto GENOVATE puso de manifiesto que no hay una única receta para la delimitación de las técnicas de recogida de información que utilizar en la evaluación de los planes de igualdad. Por lo contrario, su acotación siempre se liga a las preguntas de evaluación que se persigue dar respuesta y a los indicadores que, en paralelo a la definición de técnicas, se diseñan para ello. En este sentido, cada una de las universidades socias definieron aquellas técnicas que consideraron más adecuadas para la evaluación concreta de su PAIG. El objetivo común fue siempre que las técnicas proporcionaran información útil para la evaluación del cambio estructural de género en cada caso. V. CONCLUSIONES En un contexto de promoción de la igualdad de género en las universidades y ante las evidencias que reflejan la dificultad de avanzar en esta dirección (Alonso Álvarez y Diz Otero, 2022; Lombardo y Bustelo, 2022; Tildesley et al., 2021; Palmen y Schmidt, 2019; Verge et al., 2018), la evaluación se conforma como un proceso central para favorecer el aprendizaje, impulsar la mejora y acelerar las transformaciones en esta dirección. La evaluación en el proyecto GENOVATE —a escala consorcio y a escala institucional— refleja una práctica a este respecto. En su apuesta por los enfoques colaborativo y feminista, se aleja de los enfoques clásicos de evaluación que ponen el foco en la rendición de cuentas a través de criterios predefinidos y suelen adoptar aproximaciones metodológicas de tipo positivista y cuantitativo apoyadas en equipos evaluadores externos. Por el contrario, opta por la delimitación de los contenidos clave que evaluar ateniendo a las diferentes universidades socias y sus contextos, así como aquellos elementos subrayados como centrales desde de los estudios de género. A la par, propone abordajes metodológicos basados en la construcción conjunta de conocimiento, el reconocimiento de intersubjetividad como un elemento fundamental y la triangulación de técnicas de investigación. En todo el proceso, además, reconoce el papel central del equipo evaluador como facilitador de un proceso evaluativo que tiene una clara orientación transformadora orientada hacia la justicia social y la igualdad. De forma específica, la evaluación en el proyecto GENOVATE constituyó un proceso continuo que acompañó toda su ejecución. Recono- ¿CÓMO EVALUAR EL CAMBIO ESTRUCTURAL DE GÉNERO EN UNIVERSIDADES?… 435 IgualdadES, 7, julio-diciembre (2022), pp. 413-440 ciendo que la evaluación crea realidad y que es crucial la negociación entre las diferentes partes implicadas, esta impulsó la implicación activa, el diálogo y la cocreación de conocimiento entre las universidades socias. Para ello, se basó en la atención específica a su diversidad y a la de sus contextos, y el trabajo continuo entre las mismas. Por otra parte, dada la complejidad del cambio estructural de género y las resistencias al mismo, dirigió la mirada a identificar los factores clave —que facilitaban y que dificultaban— la implementación de los PAIG en las universidades. Todo ello trajo consigo la apropiación del proceso evaluativo, la comprensión de cómo se genera el cambio estructural de género en cada caso y, con ello, la mejora constante del proyecto. En paralelo a esta práctica evaluativa y alimentada por la misma, se desarrolló el modelo GENOVATE de evaluación del cambio estructural de género. La elaboración y aplicación de modelo reveló un conjunto de ejes y dimensiones de análisis, preguntas de evaluación e indicadores y consideraciones metodológicas para evaluar los PAIG en las universidades. En su conjunto, el modelo puso de relieve algunas potencialidades de los enfoques colaborativo y feminista frente a los enfoques clásicos. A este respecto, y a diferencia de los enfoques clásicos, la apuesta por la evaluación colaborativa y feminista en el modelo GENOVATE permitió poner el foco en el carácter transformador de los PAIG y en sus impactos. Mientras que los enfoques clásicos optan por criterios predefinidos (eficacia, eficiencia, impacto, pertinencia, sostenibilidad, entre otros) orientados a generar información sobre los resultados finales de un plan, los enfoques colaborativo y feminista permitieron explorar aspectos cruciales para la valoración de diseño, implementación y resultados. En este punto, la evaluación feminista —al cuestionar la linealidad de los procesos de cambio en materia de igualdad de género— abrió la puerta a poner en el centro del análisis aquellos elementos fundamentales para entender estos procesos. En el caso del cambio estructural de género en universidades y siguiendo la adaptación del marco de análisis de Tichy, esto se tradujo en atender a tres grandes ejes relativos a «ideas», «mecanismos y estructuras» y «personas» y a las nueve dimensiones de análisis presentadas. De cara a comprender la apuesta y el grado de impulso del cambio estructural de género en cada PAIG, el modelo GENOVATE atendió a cómo se incluyeron estos ejes y dimensiones en su diseño. Asimismo, evidenció la necesidad de analizar los diferentes puntos de partida en materia de género para valorar su carácter transformador. También subrayó la necesidad de examinar cómo se implementaban las medidas ligadas a esos ejes y dimensiones. Con un interés en valorar la contribución de los procesos de implementación al logro de los objetivos, y consciente del carácter complejo y controvertido de las acciones proigualdad, se puso además énfasis en identificar los factores 436 JULIA ESPINOSA-FAJARDO, MARÍA BUSTELO Y MARÍA VELASCO IgualdadES, 7, julio-diciembre (2022), pp. 413-440 que dificultaban y favorecían la ejecución. Por último, la valoración de los resultados en estos ejes y dimensiones se centró en los resultados esperados y no esperados, analizando qué aspectos habían incidido en su emergencia. Esta mirada al diseño, la implementación y los resultados favoreció la generación de aprendizajes sobre las acciones en marcha y la identificación de otras medidas con potencial transformador que desarrollar en el futuro. Por otro lado, a diferencia de los enfoques clásicos que se basan en preguntas de evaluación estandarizadas ligadas a los diferentes criterios de evaluación, el modelo GENOVATE optó por la elaboración de las preguntas de evaluación entre el equipo evaluador y las partes interesadas. Esto permitió centrar el análisis de la evaluación en los puntos críticos que emanaban de los diferentes contextos. Así, por ejemplo, la interseccionalidad solo se incluyó como contenido de análisis en aquellas universidades socias que contaban con experiencia en esta área y para las cuales constituía un contenido fundamental a valorar. En tanto que evaluación continua y paralela a todo el proceso de ejecución, las preguntas de evaluación fueron revisadas y redefinidas en los diferentes momentos —inicial, intermedio y de cierre—. A la par, se incluyeron nuevas preguntas relativas a cuestiones emergentes durante la propia implementación. Esto aseguró la utilidad de las preguntas de evaluación para generar conclusiones y recomendaciones pertinentes y orientadas a la acción. Los indicadores, por su parte, se delimitaron atendiendo a cada una de las preguntas de evaluación. El proyecto GENOVATE evidenció que no existe una lista de indicadores universales que puedan ser utilizados en cualquier plan de igualdad. Al tiempo, dado que el cambio estructural de género no siempre es cuantificable y su comprensión requiere de atender a visiones y opiniones, el diseño de los indicadores incluyó tanto indicadores cuantitativos como cualitativos. Respecto a las cuestiones metodológicas, el modelo GENOVATE reveló que la implicación activa de los stakeholders requiere flexibilidad y romper con las dinámicas de poder existentes en las universidades en el desarrollo de la evaluación. A diferencia de los enfoques clásicos que optan por procesos top-down, esta práctica colaborativa contribuyó a mejorar la adecuación de la evaluación al contexto específico. A la par, puso de manifiesto la necesidad de una comprensión común de la evaluación, así como de competencias en materia de evaluación y género. Por otra parte, el modelo GENOVATE —frente a los enfoques clásicos que tienden a aplicar técnicas cuantitativas— reflejó la pertinencia de optar por métodos mixtos y la triangulación de técnicas dada la complejidad de los procesos de cambio estructural de género. La selección de técnicas de investigación estuvo marcada por las preguntas de evaluación que responder y por ¿CÓMO EVALUAR EL CAMBIO ESTRUCTURAL DE GÉNERO EN UNIVERSIDADES?… 437 IgualdadES, 7, julio-diciembre (2022), pp. 413-440 aquellos indicadores que, en paralelo, se identificaron como cruciales en cada caso concreto. En este sentido, el proyecto puso de manifiesto que resulta pertinente combinar técnicas cuantitativas y cualitativas, pero que no existen recetas en cuanto a las técnicas específicas a aplicar y que la selección final de las mismas depende de qué se quiera conocer en la evaluación del plan en concreto. En términos generales, la práctica de evaluación en el proyecto GENOVATE y su modelo para evaluar el cambio estructural de género en universidades evidencian las contribuciones de los enfoques colaborativo y feminista para comprender cómo se genera el cambio atendiendo a cada contexto específico y, con ello, potenciar ejercicios evaluativos que fomenten el aprendizaje y la mejora de las intervenciones. En su conjunto, proporcionan ideas clave a tomar en consideración en los debates actuales sobre cómo evaluar las políticas de igualdad género y, en concreto, los planes orientados a impulsar el cambio estructural de género en universidades. Al mismo tiempo, pueden ser de utilidad para futuras evaluaciones que persigan ser un instrumento para generar políticas que tengan mayor impacto en la promoción de la igualdad de género. Bibliografía Alonso Álvarez, A. y Diz Otero, I. (2022). ¿Nadando contra corriente? Resistencias a la promoción de la conciliación en las universidades españolas. Revista Internacional de Sociología, 80 (2), 1-14. Disponible en: https://doi.org/10.3989/ ris.2022.80.2.21.01. Batliwala, S. y Pittman, A. (2010). Capturing Change in Women’s Realities. A Critical Overview of Current Monitoring & Evaluation Frameworks and Approaches. Toronto: Association for Women’s Rights in Development. Brisolara, S., Seigart, D. y Sengupta, S. (2014). Feminist Evaluation and Research: Theory and Practice. New York: Guilford Press. Bustelo, M. (2017). Evaluation from a gender perspective as a key element for (re) gendering the policymaking process. Journal of Women, Politics and Policy, 38 (1), 84-101. Disponible en: https://doi.org/10.1080/1554477X.2016.1198211. Cavaghan, R. (2017). Bridging Rhetoric and Practice: new perspectives on barriers to gendered change. Journal of Women Politics and Policy, 38 (1), 42-63. Disponible en: https://doi.org/10.1080/1554477X.2016.1198209. Chouinard, J. A. (2013). The Case for Participatory Evaluation in an Era of Accountability. American Journal of Evaluation, 34 (2), 237-253. Disponible en: https:// doi.org/10.1177/1098214013478142. Comisión Europea (2021). She figures 2021. Gender in research and innovation. Statistics and indicators. Luxembourg: Publications Office of the European Union. Disponible en: https://bit.ly/3UoLdyG.