La evaluación de evaluabilidad de las políticas públicas y su aplicación en la administración pública española

UNIVERSIDAD DE SEVILLA FACULTAD DE CIENCIAS ECONÓMICAS Y EMPRESARIALES Programa de Doctorado en Ciencias Económicas, Empresariales y Sociales TESIS DOCTORAL La evaluación de evaluabilidad de las políticas públicas y su aplicación en la administración pública española MEMORIA PARA OPTAR AL GRADO DE DOCTOR PRESENTADA POR: Juan Francisco Casero Cepeda DIRECTORES: Daniel Coq Huelva Víctor Ernesto Pérez León Sevilla 2024 A mi madre, a mi padre, a Carmen, a mi hija. A mis compañeras y compañeros del Departamento de Economía Aplicada II de la Universidad de Sevilla. ÍNDICE DE CONTENIDOS. INTRODUCCIÓN. .................................................................................... 1 I. La evaluación como marco de referencia de la evaluabilidad. ............. 2 II. Aproximación a la situación de la evaluación en España. ................. 11 III. Objeto, objetivos e hipótesis de investigación. ........................... 16 IV. Metodología y principales fuentes. ............................................ 18 V. Método expositivo. ................................................................... 21 CAPÍTULO 1. EVOLUCIÓN DE LA EVALUACIÓN DE EVALUABILIDAD: DE LA IDEA INICIAL DE LA EVALUABILIDAD A LOS NUEVOS ENFOQUES. ....................... 23 1.1. Origen e impulso inicial de la evaluación de evaluabilidad. ........... 24 1.2. Declive y abandono de la idea original de evaluabilidad. .............. 27 1.3. Nuevos enfoques de evaluación de evaluabilidad en el siglo XXI. ... 31 1.4. Evolución de la evaluación de evaluabilidad en el caso español. .... 34 1.5. Conclusiones. ....................................................................... 36 CAPÍTULO 2. LA EVALUABILIDAD COMO CONCEPTO: DE LA EVALUACIÓN DE EVALUABILIDAD COMO POSIBILIDAD DE EVALUAR A IMPULSORA DE CULTURA, CAPACIDADES Y SISTEMAS DE EVALUACIÓN. ........................................... 39 2.1. Concepto y características de la evaluabilidad. De la evaluabilidad original a la evaluación de evaluabilidad ampliada. ............................... 40 2.1.1. Definición inicial de evaluabilidad como análisis previo de carácter técnico. ....................................................................................... 40 2.1.2. La evaluabilidad: tipo de evaluación. ..................................... 42 2.2. Motivaciones para la aplicación de la evaluación de evaluabilidad. De los problemas que justifican la evaluabilidad original a los retos atribuidos a la evaluación de evaluabilidad ampliada. ............................................ 46 2.2.1. Motivaciones para la aplicación de la evaluabilidad original. ....... 46 2.2.2. Motivaciones para la aplicación de la evaluación de evaluabilidad ampliada. ...................................................................................... 49 2.3. Objetivos y fines de la evaluación de evaluabilidad...................... 51 2.3.1. Objetivos y fines de la evaluación de evaluabilidad original. ....... 52 2.3.2. Objetivos y fines de la evaluación de evaluabilidad ampliada. .... 55 2.4. Propuestas de aplicación práctica de la evaluación de evaluabilidad. De los modelos de pasos secuenciales a los nuevos enfoques. ................ 57 2.4.1. Aplicación de la evaluación de evaluabilidad original: los modelos de pasos secuenciales. .................................................................... 57 2.4.1.1. Modelo de evaluación de evaluabilidad de Wholey. ................ 60 2.4.1.2. Modelo de evaluación de evaluabilidad de Rutman. ............... 62 2.4.1.3. Modelo de evaluación de evaluabilidad de Smith. .................. 64 2.4.2. Enfoques metodológicos en el marco de la evaluación de evaluabilidad ampliada. ................................................................... 67 2.4.2.1. Modelo de evaluación de evaluabilidad participativa continua. . 69 2.4.2.2. Modelo de evaluación de evaluabilidad 2.0. .......................... 72 2.4.2.3. Modelo de evaluación de evaluabilidad por componentes. ....... 76 2.4.2.4. Propuesta de modelo integrado de evaluación de evaluabilidad bajo el paradigma de la evaluación de evaluabilidad ampliada. ............... 79 2.5. Conclusiones. ....................................................................... 83 CAPÍTULO 3. DESARROLLO DE LA EVALUACIÓN DE EVALUABILIDAD EN LA ADMINISTRACIÓN PÚBLICA ESPAÑOLA. ................................................... 87 3.1. La evaluación de evaluabilidad en la Administración General del Estado. ......................................................................................... 88 3.1.1. La evaluación de evaluabilidad en la Ley de Institucionalización de la Evaluación de las Políticas Públicas. ................................................ 90 3.1.1.1. Un nuevo marco de referencia para la evaluación (y para la evaluación de evaluabilidad) en España. ............................................. 90 3.1.1.2. Conceptualización de la evaluación de evaluabilidad en la Ley de Institucionalización de la Evaluación de las Políticas Públicas. ................. 98 3.1.2. La evaluación de evaluabilidad en el Instituto para la Evaluación de las Políticas Públicas. ...................................................................... 104 3.1.2.1. El Instituto como organismo de referencia en la Administración General del Estado. ........................................................................ 104 3.1.2.2. Propuesta de evaluación de evaluabilidad del Instituto para la Evaluación de las Políticas Públicas. .................................................. 108 3.2. La evaluación de evaluabilidad en la administración pública autonómica. .................................................................................. 116 3.2.1. Marco institucional y normativo de la evaluación en Andalucía, Cataluña y Navarra. ....................................................................... 117 3.2.2. Análisis teórico de las propuestas de aplicación de la EE en la administración pública autonómica española. ..................................... 125 3.2.3. Aplicación de la evaluación de evaluabilidad en la Junta de Andalucía. .................................................................................... 133 3.2.3.1. Validación de la teoría del cambio. .................................... 138 3.2.3.2. Validación de indicadores y sistemas de seguimiento orientados a la evaluación. ............................................................................. 141 3.2.3.3. Intereses y propósitos de evaluación de los agentes involucrados. ................................................................................ 143 3.2.3.4. Orientaciones para el desarrollo de procesos evaluativos. ...... 146 3.2.3.5. Plan de evaluación y plan de uso de las evaluaciones. .......... 148 3.3. Conclusiones. ...................................................................... 150 CONCLUSIONES. ................................................................................. 155 BIBLIOGRAFÍA. ................................................................................... 161 MEMORIAS DE ACTIVIDADES DEL IAAP CONSULTADAS. ............................ 181 PLANES ESTRATÉGICOS CONSULTADOS. ................................................ 182 SIGLAS Y ACRÓNIMOS. AAPP Administraciones Públicas. AEVAL Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios. AGE Administración General del Estado. AIReF Autoridad Independiente de Responsabilidad Fiscal. BID Banco Interamericano de Desarrollo. BM Banco Mundial. CCAA Comunidades Autónomas. EE Evaluación de evaluabilidad. EE. UU. Estados Unidos. FMI Fondo Monetario Internacional. IAAP Instituto Andaluz de Administración Pública. IEPP Instituto para la Evaluación de las Políticas Públicas. IVÀLUA Instituto Catalán para la Evaluación de las Políticas Públicas. LIEPP Ley de Institucionalización de la Evaluación de las Políticas Públicas. OCDE Organización para la Cooperación y el Desarrollo Económico. OI Organismos Internacionales. ONU Organización de las Naciones Unidas. Introducción 4 experimental y positivista, a otra más constructivista basada en sus características normativas, proactivas y socialmente útiles, pasando por una evaluación orientada esencialmente al aprendizaje del evaluado. Esto es así, por un lado, porque no es un concepto inmutable, dado que sus objetivos, funciones, aplicación y alcance se encuentran en constante evolución, desde su nacimiento como disciplina, en las primeras décadas del siglo XX, hasta la actualidad (Pichardo, 1998; Cardozo, 2009; Labeaga & Muñoz, 2013; Mideplan, 2018). Incluso se identifica la evaluación como un concepto difuso (Vedung, 2010). Pese a la existencia de ciertos estándares de evaluación, como las normas y estándares de evaluación del Grupo de Evaluación de Naciones Unidas (UNEG, 2016) o los criterios de evaluación de la OCDE (OECD, 2019), no hay consenso internacional sobre ninguna de estas u otras propuestas. En todo caso, aun reconociendo su importancia, estos estándares se consideran, de acuerdo con Neirotti (2019), insuficientes y hasta inadecuados dadas las diversas realidades existentes. Con todo ello, cada administración pública y OI tiene su propia guía de evaluación, siguiendo sus propios conceptos y criterios de aplicación, lo que también provoca la multiplicidad de definiciones en la materia. Esta situación, común a otros muchos conceptos de las ciencias sociales (Coq, 2005), no provoca en todo caso la disposición de concepciones opuestas sobre evaluación, sino complementarias (Cardozo, 2012). Con todo ello la evaluación, como la ciencia económica y otras ciencias sociales, es diversa y tiene distintas escuelas y corrientes (Coq, 2005). Entre las definiciones existentes, es ampliamente reconocida la ofrecida por Rossi et al. (2003), con un marcado carácter positivista, según la cual la evaluación es considerada como la aplicación sistemática de los procedimientos de la investigación social para valorar la conceptualización, el diseño, la ejecución y la utilidad de los programas de intervención social. A esta definición, entendida como clásica en el campo de la evaluación, se incorpora la consideración de valoración periódica y objetiva (Gertler et al., 2017), sistemática (Cardozo, 2009), rigurosa e independiente (PNUD, 2009; Lemire et al., 2020; Bundi & Trein, 2022), orientada en gran medida a la valoración de la eficacia, eficiencia, equidad, coherencia, relevancia e impacto de las intervenciones públicas (Osuna, 2010; European Commission, 2015). Introducción 5 En cuanto a su evolución se ha pasado de una visión monolítica, o única, a otra más plural y de carácter abierto en el que coexisten enfoques y visiones diferentes (Izquierdo, 2008). De este modo, del modelo considerado clásico de evaluación y la evaluación por objetivos, junto con los estudios basados en la experimentación y cuasi-experimentación, se ha girado hacia modelos alternativos, entre los que sobresalen la evaluación centrada en la utilización, la evaluación participante y la perspectiva crítica, entre otras (Izquierdo, 2008). En el campo de la evaluación se definen tres etapas en el paradigma positivista: de medición, con el propósito de conocer el desempeño de los programas; de descripción, cuya finalidad central era analizar los resultados de los programas; y de enjuiciamiento, centrada en la rendición de cuentas. Por su parte, bajo el paradigma constructivista, la evaluación presenta una primera etapa de interpretación, cuyo fin principal es el aprendizaje y la retroalimentación; a la que sigue una segunda de pluralidad metodológica, cuyo propósito fundamental es impulsar el buen gobierno, la construcción de conocimiento y el cambio institucional (Espinosa, 2011). De acuerdo con Izquierdo (2008), atendiendo a una visión más constructivista de la evaluación, el modelo inicial, apoyado en el valor incuestionable de la racionalidad científica y metodológica, se amplía y va dejando paso a la introducción de nuevos enfoques de evaluación, más plurales, que acogen diferentes propuestas para evaluar. Se trata de una perspectiva en la que se adoptan los valores y percepciones de los participantes con el objetivo final de que los resultados de las evaluaciones sean utilizados. Como señala Coq (2005), el punto de partida del constructivismo es la problematización de la relación sujeto – objeto. La "realidad", caso de existir, no puede ser percibida objetivamente. La realidad se inventa, depende de los esquemas de cognición de los observadores. No existe, por tanto, una estructura latente generadora de la realidad que pueda llegar a ser captada objetivamente. Por el contrario, pueden ser identificadas múltiples cadenas de relaciones que expliquen los fenómenos. De este modo, el constructivismo lleva al terreno ontológico, epistemológico y metodológico el conjunto de implicaciones teóricas derivadas de la asunción del carácter subjetivo de cualquier investigación científica. Introducción 6 Igual que Izquierdo (2008), Cardozo (2012) identifica también esos mismos dos enfoques en el campo de la evaluación. El primero, positivista, o no participativo, orientado a evaluaciones esencialmente de tipo sumatorio, que priorizan la experimentación y los métodos cuantitativos. El segundo, fundamentado en el constructivismo, prioriza la participación (Cardozo, 2008), así como el interés en el aprendizaje social, haciendo uso, sobre todo, de técnicas cualitativas. Vedung (2010), por su parte, más que dos paradigmas en evaluación, hace alusión a cuatro oleadas que conforman la práctica evaluadora: una impulsada por la ciencia, otra orientada al diálogo, una tercera neoliberal y una cuarta de la evidencia. Siguiendo esta teoría la evaluación es resultado de los principales aportes realizados por cada una de estas oleadas. Anteriormente, Guba y Lincoln (1989) utilizaron la metáfora de la generación 2 para examinar el desarrollo de la evaluación; mientras que Alkin (2004) hizo uso de la metáfora del árbol 3 . Más allá de las distintas posiciones y planteamientos, la evaluación utiliza en la actualidad una combinación de técnicas, fuentes y datos, tanto cuantitativos como cualitativos, que cohabitan con el fin común de dar respuesta a las preguntas y propósitos de cada evaluación, sin renunciar ni excluir ningún enfoque. De acuerdo con el Programa de las Naciones Unidas para el Desarrollo, PNUD (PNUD, 2009), incorporar diferentes estrategias para verificar los datos aumenta la fiabilidad y asegura que los resultados sean válidos. Con todo ello, se rechaza el fundamentalismo metodológico (Feinstein, 2007) buscando, en cambio, el método adecuado a las circunstancias, alineándose con el principio del rigor científico. 2 Según ésta la evaluación se construye a partir de cuatro generaciones: una primera de priorización del paradigma cuantitativo; una segunda de evaluación como descripción de los resultados; una tercera basada en la emisión de juicios valorativos; y, una cuarta, referida a la etapa constructivista de la evaluación. 3 Este autor sitúa de manera gráfica, mediante la representación de un árbol, las distintas corrientes de pensamiento en materia de evaluación: en una de sus raíces establece el control y la rendición de cuentas a la sociedad; en otra, la investigación social. A su vez, el árbol cuenta con tres ramas: la primera sostiene el uso de la evaluación; la segunda los métodos; y, la tercera, instrumentos de valoración. Introducción 7 Junto con esta combinación de técnicas y datos, la mayoría de los enfoques de evaluación confluyen en compartir varias características comunes, como son su objeto, esto es, las intervenciones públicas; su carácter sistemático, mediante la aplicación de las mismas técnicas que la investigación social (Bustelo, 2001); su función de valoración y emisión de juicios críticos (UNEG, 2016; OECD, 2019); y su vertiente aplicada (Weiss et al., 2005). En este sentido se evidencia que la evaluación se enmarca en la investigación social. Si bien es importante subrayar que la evaluación se diferencia claramente de un simple análisis de las intervenciones públicas, en tanto se dirige a valorarlas, no sólo a medir su ejecución (Bustelo, 2001; Cardozo, 2009). Es decir, la evaluación emite juicios de valor para la toma de decisiones, siendo éste el elemento diferencial de la evaluación (Patton, 1997; Bustelo, 2001; Pinazo, 2016; Neirotti, 2019). La EE, objeto central de esta tesis, representa una de las metodologías de la evaluación y, por tanto, goza de esta dimensión valorativa. A estas características se suma su dimensión política (Pichardo, 1998; García, 2003; Chelimsky, 2006; Cardozo, 2012; Neirotti, 2019; Canto, 2021; Casero-Cepeda, 2022). Autores como Monnier (1995) señalan que la evaluación es un acto político en sí mismo, indicando que ésta se eleva por encima de la categoría de mero instrumento técnico. Se alude a la evaluación como proceso intrínsecamente politizado (Thurston & Potvin, 2003), más que una actividad técnica benigna (Chelimsky, 1995). Esto es así por varias razones, según se sintetiza en la figura 1. Introducción 8 Figura 1. Dimensión política de la evaluación de las políticas públicas. Fuente: elaboración propia, a partir de García (2003) y Cardozo (2012). En primer lugar, porque el objeto de las evaluaciones son las intervenciones públicas, que se enmarcan en un proceso de marcado carácter político. De hecho, las políticas públicas, en segundo término, están sometidas a los intereses de los poderes públicos que las financian y, en consecuencia, ejercen una influencia sobre éstas. Como tercera razón, los gobiernos utilizan la evaluación, en gran medida, para legitimar sus acciones y resultados, con un fin claramente político. En este sentido, como cuarta razón, se subraya el uso de los resultados de la evaluación que los gobiernos, en sus procesos de toma de decisiones, optan por aplicar, o no, en su totalidad o de manera parcial. Además, siguiendo criterios igualmente políticos. Introducción 9 Por último, el propio proceso evaluativo está impregnado de decisiones políticas en todas sus etapas, desde las iniciales de diseño de la evaluación (momento en el que se identifican desde sus propósitos hasta sus motivaciones, fines e intereses), hasta las etapas finales de difusión y comunicación de los resultados (cuando se decide si comunicar éstos, o no; si hacerlo parcial, o totalmente; y, en caso positivo, se decide qué comunicar, cómo, para qué y para quién). También el proceso de profesionalización de la evaluación se ve condicionado por la política (Picciotto, 2011). Dada la dimensión política de la evaluación, su utilización resulta inseparable de su vinculación con la esfera política, por lo que cualquier intento de huir de esta realidad equivaldría, en la mayoría de los casos, a renunciar a toda utilidad social de la evaluación (Monnier, 1995). Las políticas públicas se enmarcan en un espacio complejo de elección de alternativas. Como señala Neirotti (2019), la política es armonía y conflicto, acuerdo y oposición, cooperación y enfrentamiento, consenso y disenso. En este contexto, a la evaluación se le otorga la función de ofrecer alternativas, en forma de recomendaciones. Los gobiernos, de acuerdo con la concepción de política pública de Dye (2013), deciden si aplicar estas recomendaciones de la evaluación, o no hacerlo. Incluso si hacerlo parcialmente, o adaptando dichas recomendaciones. En todo caso, al respecto de la dimensión política de la evaluación y su utilidad para los procesos de toma de decisiones, se debe señalar que la evaluación no debe sustituir a la decisión política, más aún en un sistema democrático como el que impera en la mayor parte de los países del mundo. La evaluación ejerce un rol asesor, no decisor. Como se indica desde Naciones Unidas (UNEG, 2005), la evaluación no es un proceso de toma de decisiones en sí, sino que sirve como insumo para proveer conocimiento y evidencia. Por otro lado, como característica de igual manera destacable de la evaluación está su presencia en todas las fases de las intervenciones públicas, desde el diseño hasta los impactos, dada la circularidad de éstas. En consecuencia, no se entiende la evaluación como última etapa del ciclo de la Introducción 10 intervención 4 , sino presente a lo largo de todo éste. En definitiva, la evaluación y la intervención pública son inseparables (Osuna & Márquez, 2000; Thurston & Potvin, 2003). Es así como además se considera la existencia de diversas tipologías de evaluación, en función de su lugar en una u otra fase de la política. De tal modo que, siguiendo las principales guías de evaluación (Osuna & Márquez, 2000; Mideplan, 2018; United Kingdom Government, 2020; Rangarajan, 2023), atendiendo a cuándo se evalúa, o en qué momento del ciclo de la política se evalúa, se hace referencia a tres tipos de evaluación: la evaluación exante, o previa al desarrollo de la intervención pública; la evaluación intermedia, aquella que se realiza mientras se implementa la propia intervención; y la evaluación expost, orientada esencialmente a la valoración de los resultados e impactos de la intervención una vez ha finalizado ésta (Osuna & Márquez, 2000; Mideplan, 2018). Junto a dicha tipología, es habitual encontrar también otra clasificación centrada en el objeto a evaluar. En este caso se suele aludir a cuatro tipos: evaluación de diseño, dirigida a examinar la calidad de la planificación de la intervención pública; la evaluación de implementación, orientada a evaluar la ejecución y la gestión; la evaluación de resultados, que tiene por objeto valorar los efectos de la intervención pública atribuibles más directamente a la intervención pública; y la evaluación de impactos, a través de la que se persigue evaluar los efectos a los que contribuye la intervención (Osuna & Márquez, 2000). Atendiendo a quién hace la evaluación se distingue entre evaluación interna, realizada por la propia organización que diseña, desarrolla y/o gestiona la intervención pública evaluada; externa, realizada por una persona o un equipo profesional ajeno al diseño, desarrollo y/o gestión de la intervención; o mixta, realizada de manera conjunta por evaluadores internos y externos (Osuna, 2000 & Márquez; Mideplan, 2018). 4 Atendiendo a Espinosa (2011) el enfoque por etapas, aunque es limitado, goza de un amplio reconocimiento y resulta de utilidad para simplificar la realidad. Introducción 11 Por último, según el papel de la evaluación, se diferencia entre evaluación formativa, con la finalidad de mejorar el diseño y la ejecución de la intervención sobre la marcha, a la vez que se evalúa; o sumativa, con el fin de ofrecer una valoración global a partir de una recapitulación de la intervención durante un periodo de tiempo (Osuna & Márquez, 2000; Mideplan, 2018). II. Aproximación a la situación de la evaluación en España. En el caso español la evaluación en general y la EE en particular, son herramientas que se comienzan a desarrollar de manera reciente, con un carácter reactivo (Rico, 2023), concretamente a partir del año 1986 con la adhesión del país a la actual UE, como respuesta a los requerimientos de ésta vinculados con la recepción de fondos comunitarios (Casero-Cepeda, 2022; Cebrián et al., 2022). La aplicación de la evaluación en España resulta todavía escasa (IEPP, 2021; Las Naves, 2021; Casero-Cepeda, 2022) y está marcada por continuos avances y retrocesos (Casado & Del Pino, 2021). De este modo, de acuerdo con Labeaga y Muñoz (2013), la evaluación de las políticas públicas en España se puede considerar como una experiencia atípica, que se hace presente a través de experiencias evaluativas esporádicas (Diaz et al., 2021; Las Naves, 2021; De la Fuente & Novales, 2023). Entre las causas o factores explicativos de esta reducida aplicación de la evaluación en España es posible reseñar, siguiendo a Andrés (2023), condicionantes políticos, económicos y sociales, falta de recursos, debilidades en el diseño de las políticas públicas, o fallos de comunicación y coordinación entre unidades administrativas y agentes implicados. A estas cuestiones se suma, de acuerdo con Casillas y Macía (2023), la falta de utilización de los resultados de las evaluaciones, la carencia de planes de evaluación, la necesidad de mayor formación y capacitación en la materia y una escasa estructura institucional. También dificultades de acceso a la información necesaria para la evaluación (Casado & Del Pino, 2021; Cebrián et al., 2022), cuestión esencial dada la importancia de los sistemas de información para la evaluación (Pérez, 2009; Póo & Salcedo, 2021). Introducción 12 A todo ello se incorpora, considerando las organizaciones que evalúan en el país, una diversidad de enfoques conceptuales, valores, prácticas, mandatos y alcances (Feinstein & Zapico-Goñi, 2010; Valiño, 2023). En general, como se indica en la Ley 27/2022, de 20 de diciembre, de institucionalización de la evaluación de políticas públicas en la Administración General del Estado (en adelante, LIEPP), se evidencia la dispersión y falta de uniformidad de la práctica evaluativa, así como la disparidad de criterios a la hora de definir la evaluación de políticas públicas, ya que se incluye en dicho concepto una gran variedad de actividades de seguimiento, auditoría, supervisión y análisis. Se pone de manifiesto así la fragmentación de las actividades evaluativas en las diferentes AAPP, lo que dificulta además tanto la visibilidad como el intercambio de información y de buenas prácticas (IEPP, 2021). Asimismo, en España la evaluación presenta un marcado carácter economicista y positivista, tal como sucede en el conjunto de la UE (Del Amo et al., 2023), dado que ésta se dirige principalmente al control y fiscalización del gasto público (Andrés, 2023) como función esencial. De hecho, bajo este enfoque, se defiende la evaluación económica de las políticas públicas por encima de otras dimensiones y se subrayan métodos como el análisis costebeneficio como prioritario para evaluar (De Rus, 2023). De acuerdo con Labeaga y Muñoz (2013), De la Fuente y Novales (2023) y Valiño (2023), más que evaluación de las políticas públicas en sentido estricto hasta ahora se ha centrado la práctica evaluadora en España en el control presupuestario, con carácter fiscalizador. Además, la evaluación, en buena parte de los casos en los que se aplica, se ha convertido en un trámite administrativo y burocrático más (Labeaga & Muñoz, 2013). Es cierto que España goza de un creciente grado de cultura e institucionalización de la evaluación (García, 2015; Casero-Cepeda, 2022; Cardenal et al., 2024). Andrés (2023) reafirma esta idea, al señalar que en las AAPP ha tenido lugar una creciente internalización de la cultura evaluativa. A este respecto se comparte con Osuna (2008) y Valiño (2023) la necesidad de una cultura de evaluación como paso previo para su adecuada institucionalización. Desde el punto de vista del grado de cultura de evaluación, son diversos los indicadores que se pueden considerar para justificar su avance. En primer Introducción 13 lugar, la formación universitaria supone un elemento clave (Bustelo, 2004; Alarcón-González & Flores-Candorcio, 2024), dado que las características de la evaluación y de la EE en particular exigen una cualificación profesional específica. Actualmente en España hay tres titulaciones universitarias específicas de evaluación de políticas públicas, como son los Máster de la Universidad de Sevilla, de la Universidad Complutense de Madrid y de la Universidad de Barcelona. De igual forma es reseñable la formación no universitaria que se ofrece a personal de las AAPP a través de los Institutos de Administración Pública de las Comunidades Autónomas (en adelante, CCAA) o desde la Federación Española de Municipios y Provincias (FEMP). En segundo lugar, las redes de evaluación y/o asociaciones profesionales también ejercen una importante labor en el fomento de la cultura de la evaluación (Bustelo, 1998, 2004), destacando la Sociedad Española de Evaluación de las Políticas Públicas (SEE). Es igualmente destacable la difusión de la evaluación mediante congresos y encuentros profesionales, junto con el apoyo a la investigación en evaluación mediante la convocatoria de premios. En esta cuestión precisamente la SEE organiza la Conferencia Bienal Internacional de Evaluación de Políticas Públicas y convoca el Premio Internacional Carlos Román de evaluación. Por su parte, en materia de publicaciones, destaca el número de guías y manuales específicos publicados en España por parte de instituciones públicas como la Agencia Estatal de Evaluación de las Políticas Públicas y Calidad de los Servicios (AEVAL), el Instituto para la Evaluación de las Políticas Públicas (IEPP), el Instituto Catalán para la Evaluación de las Políticas Públicas (Ivàlua) o el Instituto Andaluz de Administración Pública (IAAP), entre otras. Así como publicaciones científicas, tanto indexadas, como no indexadas, tanto específicas de evaluación, como otras con números monográficos sobre evaluación o artículos independientes sobre la materia. En cuanto a su institucionalización, cabe subrayar que pese a ser creciente está todavía poco desarrollada en España (Osuna, 2010; CaseroCepeda, 2022; Cebrián et al., 2022; Andrés, 2023; Gambau & López, 2023; Cardenal et al., 2024). Se concibe ésta como el proceso político a través del cual se crea un marco normativo y organizaciones concretas en las AAPP para el desarrollo de la evaluación (Bustelo, 2004; Garde, 2004; Ruiz, 2012; Catalá & Introducción 20 • Guía de evaluabilidad de las intervenciones públicas, del IEPP, publicada en el año 2020. En el caso de la Junta de Andalucía, se han estudiado los resultados alcanzados en 26 EE, realizadas entre los años 2021 y 2023. Para ello ha sido determinante acudir a los documentos completos de los planes estratégicos objeto de EE. El análisis documental se ha completado con la revisión de la normativa existente, en particular la LIEPP, única ley específica de evaluación en la AGE; y la Ley Foral Navarra 21/2005, de evaluación de las políticas públicas y la calidad de los servicios públicos, única norma sobre evaluación en el ámbito de las CCAA. La entrevista semi-estructurada ha servido para conocer, con mayor grado de profundidad, tanto los conceptos y criterios de aplicación en torno a la EE por parte de las entidades públicas que componen el estudio como las metodologías prácticas empleadas por éstas para hacer EE. Es cierto que, como ya se ha expuesto, en todos los casos se cuenta con una guía específica de EE, o un protocolo al respecto, pero estas entrevistas han permitido conocer mejor la realidad de su práctica evaluativa diaria. Con todo ello se han realizado entrevistas a personal técnico de las entidades consideradas. Para la selección de los informantes se optó por dirigirse a la totalidad de entidades objeto de investigación, no siendo preciso en consecuencia un muestreo, sino un censo, por ser esta población tan reducida. Se han realizado dos rondas de entrevistas, con informantes clave de las cinco AAPP consideradas, en total 12. En una primera se preguntó, de manera abierta: • Desde un punto de vista conceptual, ¿qué se entiende por EE y qué caracteriza a la EE en su administración pública? • ¿Qué motivos, o factores, desencadenan, o pueden desencadenar, la realización de una EE en su organización? • En definitiva, ¿qué es y por qué se pone en marcha una EE? Introducción 21 Por su parte, en la segunda, se preguntó: • ¿Cuáles son las principales claves metodológicas que caracterizan el desarrollo de una EE en su administración pública? • ¿Cuáles son los principales objetivos y fines que se persiguen con una EE? • Es síntesis: ¿cómo y para qué se hace una EE? V. Método expositivo. La tesis sigue un esquema clásico de presentación de investigaciones. La introducción está conformada por el marco metodológico y las principales referencias teóricas que lo sustentan. Se explicitan tanto el objeto, como los objetivos e hipótesis. Se profundiza en el concepto de evaluación de políticas públicas como herramienta valorativa dentro de la cual se inserta la EE. Se exponen los aspectos centrales que caracterizan la evaluación en España, por ser el ámbito territorial de análisis. Por su parte, en el marco metodológico, se justifican los casos estudiados y la puesta en marcha del análisis documental y de las entrevistas desarrolladas para la consecución de los objetivos establecidos. El primer capítulo se centra en la evolución de la EE, desde sus inicios hasta la actualidad. Se hace un repaso, a modo de recorrido histórico, de la EE a nivel internacional, describiendo su origen y primeras etapas, las épocas de declive y resurgimiento posterior, hasta el presente. El capítulo se cierra con el análisis de la evolución de la EE en España. En el segundo capítulo se adentra la investigación en la clarificación del concepto de EE y sus principales características. Se ponen de manifiesto los motivos que justifican la puesta en marcha de la EE, los objetivos que se persigue con su desarrollo y las funciones que se otorgan a este tipo de evaluación. También se centra la investigación en este capítulo en la dimensión aplicada de la EE, haciendo una valoración de las principales propuestas y modelos de EE existentes a nivel internacional. Introducción 22 Por su parte en el tercer capítulo se aborda el estudio de los casos que conforman el núcleo de esta investigación. Se estudia cómo se concibe y aplica la EE, o se propone su aplicación, en la LIEPP, el IEPP, la Junta de Andalucía, la Generalitat de Cataluña y la Comunidad Foral de Navarra. Dado que la EE únicamente se aplica por parte de la Junta de Andalucía, el análisis empírico se ha centrado en ésta. Para el resto de los casos se hace un análisis del modelo implícito de evaluación que se deduce del análisis de los documentos. La tesis se cierra con las conclusiones, apartado en el que se presentan de forma sintética e interrelacionada los resultados centrales de la investigación realizada, tanto desde la perspectiva más conceptual como desde una óptica metodológica y aplicada. Finalmente se presenta la bibliografía, así como los planes estratégicos consultados. Capítulo 1. Evolución de la evaluación de evaluabilidad: de la idea inicial de la evaluabilidad a los nuevos enfoques 23 CAPÍTULO 1. EVOLUCIÓN DE LA EVALUACIÓN DE EVALUABILIDAD: DE LA IDEA INICIAL DE LA EVALUABILIDAD A LOS NUEVOS ENFOQUES. Se aborda en este primer capítulo un repaso histórico de la EE, con el fin de describir su evolución desde su origen hasta la actualidad. Entender los motivos por los que surge la EE y las distintas fases que atraviesa desde su inicio, se concibe como un elemento previo determinante para profundizar en la conceptualización, objetivos, funciones y aplicación de la EE. Como se detalla en este primer capítulo se considera la existencia de dos periodos fundamentales en la evolución de la EE. Un primer periodo, que abarca el tiempo comprendido entre los años 1979 y 2003, caracterizado por el predomino de la EE entendida como una actividad de pre-evaluación, orientada a analizar si un programa es, o no, evaluable. Esta primera etapa de la EE se denomina en esta tesis etapa de la EE original. Se expone tanto el surgimiento de la idea de EE e impulso inicial de la EE, como el declive y abandono de este planteamiento original de EE. Tras dicho periodo, uno segundo, que abarca desde el año 2003 hasta la actualidad, marcado por la aparición de nuevos modelos y enfoques de EE. En estos años a la EE se le atribuyen características y funciones adicionales, lo que amplía su concepto y utilidad. En consecuencia, en esta investigación se denomina a este periodo como el de la EE ampliada. Este capítulo se cierra con un apartado dedicado a la revisión de la evolución de la EE en España, donde se evidencia el escaso número de aportaciones en la administración pública española. Capítulo 1. Evolución de la evaluación de evaluabilidad: de la idea inicial de la evaluabilidad a los nuevos enfoques 24 1.1. Origen e impulso inicial de la evaluación de evaluabilidad. La EE tiene su origen en EE. UU. entre finales de los años 60 y principios de los años 70 del siglo XX, tiempo marcado por una profunda y compleja reestructuración, principalmente económica, a nivel internacional (Coq, 2002). En esa época los graves problemas de pobreza, desigualdad social y segregación racial que sufría la sociedad estadounidense provocaron la puesta en marcha del programa Gran Sociedad, término empleado para referirse al conjunto de iniciativas, leyes y programas públicos sociales desarrollados entonces por la administración Johnson (1963-1969), en ese momento presidente de EE. UU., en materia de política educativa, atención sanitaria, transporte o vivienda, entre otras. En este contexto la evaluación de dichos programas gozó de un importante protagonismo, dado que se consideró una herramienta valiosa para ofrecer información tanto a los gestores como a los políticos sobre la eficacia y los resultados de dichas intervenciones públicas (Trevisan & Huang, 2003; Joanisse et al., 2011; Lemire et al., 2020). Esta relevancia de la evaluación se pone de manifiesto, junto a otros indicadores, por la asignación de importantes recursos financieros para su ejecución (Monnier, 1995; Craig & Campbell, 2015). En ese momento primaba en el campo de la evaluación la aplicación de técnicas experimentales y cuasiexperimentales, conformando la denominada evaluación clásica, o positivista (Izquierdo, 2008; Cardozo, 2012). Sin embargo, pese a la confianza y expectativas depositadas en la práctica evaluadora, los resultados de las evaluaciones resultaron frustrantes (Trevisan & Huang, 2003; Trevisan & Walser, 2015). En general, como señala Trevisan (2007), estas evaluaciones tuvieron poca utilidad tanto para el personal gestor de los programas como para la clase política. Incluso se generó un cierto escepticismo y desilusión dentro del campo de la evaluación (Alonso-Morillejo, 2003). Capítulo 1. Evolución de la evaluación de evaluabilidad: de la idea inicial de la evaluabilidad a los nuevos enfoques 25 Esta circunstancia fue así por varios motivos. Los evaluadores constataron debilidades en la definición de los programas evaluados y dificultades inherentes a los procesos evaluativos, que achacaron al entorno político y de gestión en el que se desarrollaban los programas (Trevisan & Huang, 2003; Wholey, 2010). En este sentido se identificaron programas que, o bien carecían de objetivos, o bien los objetivos que tenían eran poco claros, irrelevantes, poco realistas, no medibles y/o sin seguir una lógica que conectara recursos y actividades con resultados previstos (Trevisan, 2007; Leviton et al., 2010; Wholey, 2010). En otras ocasiones los programas carecían de flexibilidad ante modificaciones, debido a razones políticas o ideológicas no declaradas (Jung & Schubert, 1983). Asimismo, se observaron opiniones divergentes en torno a las finalidades y metas de los programas por parte del personal gestor, los responsables políticos y otros grupos de interés (Wholey, 2010). En torno al proceso evaluativo, los evaluadores constataron incertidumbre sobre la asignación de recursos para la evaluación. De igual forma la dificultad, en ocasiones incluso imposibilidad, de identificar a los funcionarios responsables de los programas, lo que suponía una importante barrera para las evaluaciones, dada su condición de informantes clave (Trevisan, 2007; Leviton et al., 2010). Ante todas estas circunstancias los evaluadores sólo pudieron ofrecer evaluaciones vagas, o informar sobre las deficiencias del programa (Leviton et al., 2010). Esta situación evidenció un claro dilema en torno a la evaluación, como manifestó Smith (1989), puesto que se apostó por ella para disponer de información útil sobre los efectos de los programas y, sin embargo, fueron escasos los informes de evaluación que recogieron resultados de dichas intervenciones públicas. Como consecuencia de todo ello el Congreso de los EE. UU. tuvo dificultades para justificar la continuidad de los programas y del gasto asociado a éstos, como el propio gasto en evaluación. De hecho, entre la clase política se generalizó la percepción de que las evaluaciones suponían un despilfarro de recursos (Gilchrist, 2014), al no ofrecer la información deseada. Capítulo 1. Evolución de la evaluación de evaluabilidad: de la idea inicial de la evaluabilidad a los nuevos enfoques 26 Esta realidad, caracterizada por el conjunto de dificultades expuestas, gestó la idea de la EE como medio que permitiera resolver éstos y otros problemas derivados de esas primeras evaluaciones, mejorando así la práctica de la evaluación (Gilchrist, 2014) y logrando evaluaciones más exitosas a partir de la identificación de las deficiencias de los programas (Trevisan, 2007). A dicha idea inicial de la evaluabilidad se la denomina en este trabajo como EE original. Entre los centros de investigación en los que se realizaban en ese momento evaluaciones se encontraba el Urban Institute, think thank con sede en Washington DC. Fue precisamente aquí donde un equipo de investigación, liderado por Joseph Wholey, comenzó a desarrollar, en ese contexto, la idea de la evaluabilidad en el campo de la evaluación. Resulta así claro el componente innovador de la EE, por ser una herramienta nueva y creada exprofeso, en este caso, para atender los problemas detectados en las evaluaciones experimentales de impacto realizadas hasta entonces. Se trataba, además, de una idea reactiva, surgida para dar respuesta a dichas dificultades. La primera propuesta de EE fue realizada por Wholey en el año 1979. A ésta le suceden varias, siendo en todo caso modelos que interpretan el original, pues no lo sustituyen ni contradicen. Es decir, son propuestas que, de acuerdo con Gilchrist (2014), resultan coherentes entre sí, presentando diferencias únicamente en cómo se ordenan los pasos en cada método, o qué se incluye de manera específica en cada paso. La actualización, que no disrupción, de nuevos modelos de EE respecto a otros anteriores supone una constante en la historia de la EE. Entre las propuestas posteriores más relevantes y referenciadas en estos primeros años se encuentran el modelo de Rutman, de 1980 y el modelo de Smith, de 1989 (Hortigüela & Ubillos, 2019). Éstos, junto con el de Wholey, Capítulo 1. Evolución de la evaluación de evaluabilidad: de la idea inicial de la evaluabilidad a los nuevos enfoques 27 conforman las tres propuestas más representativas de esta etapa inicial de la EE 9 . Durante dicha etapa la EE se aplicó de manera amplia en EE. UU., fundamentalmente en los Departamentos de Salud y Servicios Humanos y de Educación (Trevisan & Huang, 2003). También por parte del Instituto Nacional de Justicia, la Oficina Nacional de Normalización, el Servicio de Alimentación y Nutrición del Departamento de Agricultura de EE. UU., así como en el Ministerio de Agricultura de Canadá (Leviton et al., 2010). 1.2. Declive y abandono de la idea original de evaluabilidad. Tras el impulso inicial, la utilización e interés por la EE se redujo en la segunda mitad de la década de los años 80 (Rog, 1985; Trevisan & Walser, 2015). Se produjo así un fenómeno importante en la historia de la evaluación, como fue el nacimiento y rápido declive de la EE (Smith, 2005; Dahler-Larsen, 2007). Son diversos los factores que explican esta situación (Casero-Cepeda, 2023), según se recoge en la figura 2. Como primer factor se considera la denominada paradoja de la EE (Dahler-Larsen, 2007; Trevisan & Walser, 2015). En esta primera etapa la EE era empleada como una técnica de carácter dicotómico, lo que suponía en la práctica que los programas que se determinaban como no aptos para una evaluación de impactos no eran evaluados, frente a los que sí se consideraban evaluables. O, en el mejor de los casos, se recomendaba no evaluar los impactos hasta que dichos programas no cumplieran ciertas exigencias en torno fundamentalmente a su diseño. De tal manera que se producía la paradójica situación por la cual la propia evaluación, en este caso la EE, proponía no evaluar, o posponer la evaluación (Davis & Payne, 2013; Trevisan & Walser, 2015). 9 Modelos que se detallan en el capítulo 2. Capítulo 1. Evolución de la evaluación de evaluabilidad: de la idea inicial de la evaluabilidad a los nuevos enfoques 28 Como segundo factor se situó la ambigüedad de la EE como concepto (Trevisan, 2007), junto con la falta de una metodología concreta en la materia (Craig & Campbell, 2015). Wholey y las personas que colaboraban con él, apostaban por una EE entendida como un esfuerzo y un análisis previo, concepto que resultaba confuso, especialmente en cuanto a su desarrollo y alcance. Un tercer factor, derivado en gran medida de los dos anteriores, fue la dificultad por disponer de resultados claros y útiles a través de la EE. En consecuencia, era escasa la incorporación e influencia de los informes de EE en los programas evaluados (Leviton et al., 2010; Trevisan & Walser, 2015). A ello se sumaron las dificultades en la comunicación y difusión de dichos informes (Smith, 1989). A estos tres factores, se añade un cuarto motivo, que resultó ser la escasa institucionalización de la EE y su dependencia del impulso personal de su creador. La salida en estos años de Wholey del Departamento de Salud y Servicios Humanos, provocó un inmediato desinterés por la EE dentro del gobierno. Un quintó factor que incidió en el declive de la EE fue la reducción del papel del gobierno federal (Trevisan & Walser, 2015) por la transferencia de responsabilidades a los niveles estatal y local (Jung & Schubert, 1983). En ese momento, las políticas que se evaluaban en mayor medida lo eran por iniciativa federal, de modo que, ante este cambio competencial, la evaluación encontró una menor demanda evaluadora. Finalmente, dado el anterior, el sexto factor resultó ser el descenso del gasto federal y la menor financiación de los grandes programas sociales, lo que supuso un evidente freno para la evaluación, al menos de este tipo de grandes programas sociales que eran sobre los que focalizaban las principales evaluaciones y la propia EE (Monnier, 1995; Trevisan & Walser, 2015). Además, la financiación de la EE competía con la financiación de la evaluación en su conjunto, de manera que muchos equipos de evaluación y profesionales independientes optaron en ese momento por evitar la EE (Trevisan & Walser, 2015). Capítulo 1. Evolución de la evaluación de evaluabilidad: de la idea inicial de la evaluabilidad a los nuevos enfoques 29 Figura 2. Motivos del declive de la EE original durante los años 80 del siglo XX. Fuente: elaboración propia. Con todo ello la EE decayó debido a su enfoque ambiguo, estricta racionalidad en su uso (Dahler-Larsen, 2007) y suposiciones demasiado simplistas sobre cómo se utiliza el conocimiento evaluativo (Dahler-Larsen, 2013). De hecho, pasó a ser una herramienta poco utilizada y prácticamente abandonada (Dahler-Larsen, 2013). Por un lado, no era útil para una administración pública que quisiera evaluar un determinado programa, puesto que la EE concluía habitualmente con la recomendación de posponer, o incluso Declive de la EE original EE proponía no evaluar, o posponer la evaluación Concepto inicial: paradoja de la EE Reducción competencial del gobierno federal Ambigüedad conceptual de la EE Descenso del gasto público federal para evaluar Desinterés por los resultados de la EE Escasa institucionalización de la EE Carencia de metodología concreta de EE Escaso interés de los informes de EE Transferencia de políticas al nivel estatal y local Menor financiación de programas y evaluaciones Salida de Wholey de la gestión gubernamental Capítulo 1. Evolución de la evaluación de evaluabilidad: de la idea inicial de la evaluabilidad a los nuevos enfoques 36 para el análisis de la evaluabilidad previa” de los planes de carácter estratégico. Del año 2020 es la “Guía de evaluabilidad de las intervenciones públicas”, elaborada por el IEPP. Suponen estas guías documentos de referencia para la comunidad evaluadora en España. Sólo en el caso del IAAP hay una aplicación práctica de la EE, situándose el resto de los casos en el plano teórico. En cuanto al reconocimiento de la EE en la LIEPP, Ley aprobada en el año 2022, en el artículo 11, sobre “Análisis previo de evaluabilidad. Informe de Evaluabilidad”, se establece la exigencia de un informe de evaluabilidad para la aprobación de anteproyectos de ley, los programas o planes estratégicos, y todo tipo de documento de planificación estratégica e iniciativas que desarrollen políticas públicas. Este es un importante hito en la historia de la EE en España, dado que por primera vez una Ley obliga, en los casos señalados, a la realización de EE. Esta presencia de la EE en la LIEPP se analiza en el tercer capítulo. 1.5. Conclusiones. En este primer capítulo se han distinguido tres etapas en la historia de la EE a nivel internacional, identificadas en función de la conceptualización, grado de aplicación y uso de la EE. Una primera, de aplicación e impulso inicial. Una segunda, de abandono y desuso. Y una tercera, de reconceptualización y resurgimiento. Se pone así de manifiesto como el grado de uso de la EE está ligado al concepto de EE considerado en cada momento, lo que justifica el interés de este análisis histórico de la EE. La primera etapa, comprendida entre 1979 (año en el que surge la evaluabilidad) y mediados de los años 80, viene determinada por la idea inicial de evaluabilidad como análisis que trata de comprobar si un programa público está en condiciones, o no, de ser evaluado y si esta evaluación es útil. A esta forma de entender la EE se la denomina en esta investigación EE original. Dados los problemas habidos en ese momento en torno a las evaluaciones experimentales de impacto en EE. UU. (país en el que surge y se desarrolla inicialmente la EE), esencialmente vinculados con el diseño del programa, la EE tuvo interés como respuesta a dichas debilidades y fue objeto de una incipiente aplicación. Capítulo 1. Evolución de la evaluación de evaluabilidad: de la idea inicial de la evaluabilidad a los nuevos enfoques 37 Sin embargo, esta forma de entender y aplicar la EE no tuvo un éxito duradero en el tiempo. De hecho, hasta finales del siglo XX, se constató una segunda etapa marcada por un abandono y desuso de la EE. Así se evidencia, además, desde un punto de vista cuantitativo a través de diversos estudios (Leviton et al., 2010; Davies & Payne, 2015). Como principales causas de este declive de la EE original se encontraron el planteamiento conceptual y de aplicación de esta EE, que provocó la denominada paradoja de la EE, es decir, una evaluación, la de evaluabilidad, que recomienda no evaluar los impactos del programa, o detener el proceso evaluativo hasta que no se cumplan las condiciones óptimas para ello. Inciden también la baja influencia de los resultados de la EE y su ambigüedad, tanto conceptual como metodológica. A ello se sumó la escasa institucionalización de la EE, el descenso del gasto público para evaluar y la reducción competencial que, en ese momento histórico, se produjo por parte del gobierno federal de EE. UU. Tras este periodo, se identifica una tercera etapa, que se extiende hasta la actualidad, y que viene marcada por el surgimiento de nuevos enfoques teóricos a través de los que se dota a la EE de nuevas características, atribuyéndole nuevos objetivos y funciones. A esta nueva forma de entender la EE se la denomina en esta tesis EE ampliada. Como principal factor justificativo de dicha etapa se identifica el cambio de paradigma de la evaluación en su conjunto, del positivismo al constructivismo, que trajo consigo la reconceptualización de la EE. En este sentido se produjo un creciente interés desde el ámbito académico y científico por la EE que, en línea con su nueva construcción conceptual, derivó en la atribución de características y valores adicionales a los que inicialmente se había dotado a la EE. De manera adicional surgió un nuevo marco normativo en EE. UU., que exigía la obligatoriedad de la evaluación en general y de la EE en particular; y un creciente interés por la EE desde el sector de la cooperación internacional para el desarrollo, así como por parte de otros países del mundo, más allá de EE. UU. Varios análisis cuantitativos evidencian este mayor uso de la EE en este años y justifican, por tanto, la consideración de esta tercera etapa (Trevisan, 2007; Leviton et al., 2010; Davies, 2013). En el caso de la administración pública española se concluye que el desarrollo y aplicación de la EE es escasa. Por un lado, es muy bajo tanto el Capítulo 1. Evolución de la evaluación de evaluabilidad: de la idea inicial de la evaluabilidad a los nuevos enfoques 38 número como el impacto de las publicaciones científicas publicadas por autores españoles sobre EE. Por otro lado, es también reducido el conjunto de AAPP que en España consideran la EE entre sus metodologías de evaluación. En la AGE es el caso del IEPP. Mientras que en las CCAA sólo se identifican los casos de Andalucía, Cataluña y Navarra. Además, entre éstas, sólo la Junta de Andalucía aplica en la práctica la EE, quedando en el resto de los casos la EE en un plano teórico y propositivo. Recientemente la LIEPP reconoce la EE como metodología de referencia para evaluar programas y planes estratégicos en el nivel de la AGE, si bien, para ello, se requiere de la acción de la Agencia Estatal de Evaluación de las Políticas Públicas, recogida en la LIEPP, estando todavía ésta pendiente de creación. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 39 CAPÍTULO 2. LA EVALUABILIDAD COMO CONCEPTO: DE LA EVALUACIÓN DE EVALUABILIDAD COMO POSIBILIDAD DE EVALUAR A IMPULSORA DE CULTURA, CAPACIDADES Y SISTEMAS DE EVALUACIÓN. En este capítulo se clarifica el concepto de la evaluabilidad, las características y motivaciones que justifican su aplicación, objetivos esenciales perseguidos y fines principales que se le atribuyen. Para lograr una visión amplia, completa y actual del término de evaluabilidad, se integran en su concepción los distintos enfoques habidos en la materia. Se avanza así desde la definición inicial de evaluabilidad hasta su consideración como tipo específico de evaluación y ampliación de su significado. Se identifican las motivaciones que explican el por qué se llevan a cabo EE, distinguiendo entre los principales motivos o detonantes de la EE bajo el paradigma de la EE original y los propios del paradigma de la EE ampliada. A continuación, se da también respuesta a varias cuestiones adicionales de igual relevancia: ¿qué se pretende con la EE y cuáles son los principales objetivos que se tratan de alcanzar mediante una EE? Y ¿para qué se lleva a cabo una EE y cuáles son sus funciones más destacadas? Como en el caso anterior se diferencia entre los objetivos y fines de la EE original y los objetivos y fines de la EE ampliada. Finalmente se reflexiona sobre la aplicación de la EE, dando respuesta a cómo se aplica la EE en la práctica. Se hace un recorrido desde los modelos de EE iniciales (Wholey, 1979; Rutman, 1980; Smith, 1989), considerados en este estudio dentro del paradigma de EE original; a los modelos de EE más recientes, bajo el paradigma de la EE ampliada, siendo éstos el modelo de EE participativa continua (Thurston & Potvin, 2003), el modelo de EE 2.0 (DahlerLarsen, 2013) y el modelo de EE por componentes (Trevisan & Walser, 2015). Se cierra el capítulo con una propuesta integrada de modelo de EE, a partir de los tres modelos de EE ampliada. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 40 2.1. Concepto y características de la evaluabilidad. De la evaluabilidad original a la evaluación de evaluabilidad ampliada. 2.1.1. Definición inicial de evaluabilidad como análisis previo de carácter técnico. Clarificar el concepto de evaluabilidad es una cuestión clave, dado que no hay una definición que se pueda considerar mayoritariamente aceptada al respecto (Davies, 2013; Payne, 2015; MacPherson et al., 2022; Casero-Cepeda, 2023). De hecho, el concepto sigue siendo impreciso hoy en día (Boodhoo & Louw-Potgieter, 2020). En cada publicación se ha definido el término de una determinada manera, lo que provoca la existencia de diversas definiciones de evaluabilidad, algo común, en todo caso, en los conceptos propios de las ciencias sociales (Cardozo, 2012). Esta cuestión, a priori, no tendría por qué suponer una debilidad; sin embargo, en este caso, la diversidad ha generado malentendidos sobre lo que es y lo que no es evaluabilidad (Jung & Schubert, 1983; Trevisan & Walser, 2015), con la consiguiente incidencia en su aplicación y usos, no siempre adecuados por dicho motivo. En consecuencia, aclarar el concepto de evaluabilidad se considera imprescindible para favorecer su mejor aplicación y utilización. Desde un punto de vista lingüístico cabe señalar que el concepto de evaluabilidad no está recogido como tal en el Diccionario de la Real Academia Española de la Lengua 11 . Se carece, por tanto, de una definición en un soporte de esta naturaleza. 11 Se hace referencia a este diccionario dado que la investigación tiene por objeto el caso español, si bien evaluability, traducción de evaluabilidad, tampoco figura en los diccionarios anglosajones más aceptados, como los de Oxford, Cambridge o Webster’s Dictionary. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 41 En la literatura científica las principales definiciones de evaluabilidad confluyen en considerarla como la comprobación de si un programa es evaluable, o no, en el sentido de si cumple un conjunto de condiciones o características de calidad, esencialmente en cuanto al diseño del programa que se pretende evaluar (Wholey, 1979; OECD, 2010; UNEG, 2016; Mideplan, 2018; UNEG, 2020; United Kingdom Government, 2020); y si esta evaluación es, o no, útil para la mejora del programa (Wholey, 2010). Entender así la evaluabilidad lleva a una dimensión dicotómica por la cual hay programas evaluables y no evaluables. En este segundo caso el informe de evaluabilidad debe recoger aquellos aspectos a mejorar en el programa antes de proceder con una evaluación posterior de más largo alcance (Merino, 2007). Esta concepción de la evaluabilidad es la más extendida y, dado que se viene utilizando desde su origen, en esta investigación se considera a dicha definición como la propia de la EE original. La evaluabilidad presenta, bajo este paradigma, la condición de paso previo (Wholey, 1983; Hortigüela & Ubillos, 2019; IAES, 2022), pre-evaluación (Leviton et al., 2010; Belford et al., 2017), evaluación exploratoria (Leviton et al., 2010; Wholey at al., 2010) o examen anticipado (OECD, 2002). Además, con una orientación a programas (Wholey, 1979, 2010) y proyectos (Payne, 2015), obviando otro tipo de intervenciones públicas. Asimismo, se considera un análisis, no una evaluación como tal (Wholey, 2010; Gilchrist, 2014; Payne, 2015; UNEG, 2016; Mideplan, 2018; IAES, 2022). Esto se debe, de acuerdo con Smith (1989), a que las propuestas originales en la materia promovieron la EE como una actividad previa a la evaluación por lo que muchos dedujeron que la EE no era una evaluación, con su correspondiente componente valorativo y emisión de juicios de valor, sino que era un análisis, con un carácter meramente descriptivo. Bajo este enfoque de análisis se concibe la evaluabilidad en muchos casos como una herramienta (Wholey, 1983; Smith, 1989; Belford et al., 2017; UNICEF, 2019), un procedimiento (Rutman, 1980), una tarea (Smith, 1989), una actividad (Leviton et al., 2010), una medida (OECD, 2002) o una apreciación (ReLAC, 2021). Y se reduce así la evaluabilidad a una dimensión puramente técnica (Gobierno de Navarra, 2013; IAES, 2022), obviando su dimensión política, al no entenderse como una evaluación en sí. Esta Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 42 consideración de la evaluabilidad como un análisis técnico provoca, en consecuencia, una limitación en su uso y capacidad de incidencia en los procesos de toma de decisiones (Trevisan & Walser, 2015). En síntesis, bajo este paradigma de la evaluabilidad original, o inicial, se define evaluabilidad como análisis previo de carácter técnico dirigido a la comprobación de si un programa es evaluable y si la evaluación posterior es útil. 2.1.2. La evaluabilidad: tipo de evaluación. Entender la evaluabilidad bajo el paradigma de la EE original supuso su desinterés y abandono (Dahler-Larsen, 2007; Leviton et al., 2010; Davies & Payne, 2015), situación que provocó su reconceptualización (Thurston & Potvin, 2003), a través de distintas aportaciones y ampliaciones del concepto inicial, lo que impulsó su resurgimiento. Los aportes realizados, dirigidos a una nueva forma de entender la EE, son varios. En primer lugar, la consideración de la evaluabilidad como tipo de evaluación (Vedung, 1997; Bustelo, 2001; Dahler-Larsen, 2013; Davies, 2013), al mismo nivel que cualquier otra evaluación. De este modo a la EE se le atribuyen las principales características de una evaluación, fundamentalmente su valoración crítica y emisión de juicios de valor, junto con una marcada dimensión política (Vedung, 1997; Bustelo, 2001; García, 2003; Cardozo, 2012; Dahler-Larsen, 2013), como se demostró en el capítulo anterior (Figura 1). Entender la EE como tipo de evaluación permite situarla al mismo nivel que el resto de las metodologías evaluativas. En segundo lugar, se le atribuye un carácter continuo (Thurston & Potvin, 2003; Dahler-Larsen, 2013), frente a su consideración clásica de análisis previo. Esta cuestión encuentra su justificación en la necesidad de adaptar los procesos evaluativos ante situaciones cambiantes, que exigen que la EE esté presente y se desarrolle en cualquier momento (Thurston & Potvin, 2003; Davies, 2013). Así, la EE ampliada, a diferencia de la original, aporta mejoras durante todo el ciclo de vida de las intervenciones públicas, no sólo en el momento inicial. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 43 En tercer lugar, se amplía el objeto de la EE, generalizándose su aplicación a todo tipo de intervención pública (Dahler-Larsen, 2007; Davies, 2013), frente a su orientación inicial a programas o proyectos públicos (Strosberg & Wholey, 1983; Trevisan, 2007; Leviton et al., 2010; Craig & Campbell, 2015; Davies & Payne, 2015; UNEG, 2016). De esta forma, la EE ampliada goza de un mayor alcance que la EE original. Y se pasa de la evaluabilidad como análisis previo de carácter técnico de programas públicos, bajo el paradigma de la evaluabilidad original, a la evaluabilidad como tipo de evaluación continua, de dimensión esencialmente política y aplicable a intervenciones públicas de cualquier naturaleza, bajo el paradigma de la EE ampliada. En este proceso de reconceptualización se atribuye a la EE una finalidad de mayor nivel. Si en un principio la evaluabilidad surgió para atender los problemas habidos en las evaluaciones experimentales con el diseño de los programas públicos, bajo el paradigma de la EE ampliada se le atribuye como fin principal la capacidad de impulsar la cultura de la evaluación, el fortalecimiento de las capacidades evaluativas y la definición de sistemas de evaluación (Dahler-Larsen, 2013; Trevisan & Walser, 2015), cuestiones dominantes hoy en día en el campo de la evaluación (IEPP, 2021; Las Naves, 2021; Dahler-Larsen, 2023). Es así como la EE deja de estar basada en un procedimiento de chequeo, o cribado, para identificar si un programa es, o no, evaluable, a estar representada por un conjunto de ideas, normas y prescripciones basadas en el valor de la evaluación en general (Thurston et al., 2003; Dahler-Larsen, 2007), dirigidas a los fines señalados (Trevisan & Walser, 2015). Se evidencia así, en definitiva, un cambio de paradigma en la EE. De la antigua idea de EE (Dahler-Larsen, 2007), o EE original, como análisis previo de programas independientes, bajo determinadas circunstancias, como bien situacional (Dahler-Larsen, 2013) y herramienta de gestión; al paradigma de la EE ampliada, conformado a raíz de nuevos enfoques en la materia, a modo de bien universal (Dahler-Larsen, 2013), otorgándole a la EE un uso transformador de toda la organización (Thurston et al., 2003; Trevisan, 2007; Dahler-Larsen, 2013). Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 44 Con todo ello la EE se define, bajo el paradigma de la EE ampliada, como tipo de evaluación de carácter continuo, de marcada dimensión política y aplicable a cualquier tipo de intervención pública, conformada por un conjunto de normas y recomendaciones orientadas al impulso de la cultura de la evaluación, fortalecimiento de las capacidades evaluativas y desarrollo de sistemas de evaluación en las AAPP. En la tabla 1 se hace una comparación de los fundamentos conceptuales de ambos enfoques. Tabla 1. Fundamentos conceptuales y características de la EE bajo el enfoque original y ampliado. EE ORIGINAL EE AMPLIADA CONSIDERACIÓN CONCEPTUAL Análisis. Evaluación, o tipo de evaluación. DIMENSIÓN PRIORITARIA Técnica. Política. MOMENTO DE SU IMPLEMENTACIÓN Pre-evaluación o aplicación previa a una evaluación posterior de impactos. Aplicación continua, en el marco de un sistema de evaluación. OBJETO DE EVALUACIÓN Programas públicos. Todo tipo de intervenciones públicas. OBJETIVOS Comprobar si un programa es evaluable y si la evaluación es útil. Impulsar la cultura de evaluación, capacidades evaluativas y sistemas de evaluación. ORIENTACIÓN Análisis aislado de un programa público. Evaluación de todas las intervenciones públicas de una organización pública. RECURSOS PARA LA EE Se tratan de minimizar, para hacer más atractiva la evaluación posterior. Se tratan de maximizar, orientados a conformar sistemas de evaluación generadores de un gran número de empleos. TIEMPO PARA LA EE Entre 1 y 6 meses. Actividad continua, sin plazo concreto. Fuente: elaboración propia. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 45 De manera adicional, a fin de completar las cuestiones principales que caracterizan la EE, resulta útil hacer referencia a los recursos, fundamentalmente económicos, que es necesario emplear para aplicar una EE. Bajo el paradigma de la EE original se concibe la evaluabilidad como una herramienta poco costosa (Wholey, 1979; IAES, 2022) o técnica de evaluación low-cost (Leviton et al., 2010). Como señala Davies (2013), la evaluabilidad puede realizarse por un costo inferior al de la mayoría de las evaluaciones y, en consecuencia, ésta puede ofrecer una buena relación calidad-precio si, de manera adicional, logra influir en el momento y el diseño de las evaluaciones posteriores. En contraposición con este planteamiento, bajo el paradigma de la EE ampliada, según Dahler-Larsen (2013), se considera que los recursos para la evaluación se deben maximizar, dado que la conformación de sistemas de evaluación institucionalizados, que es el fin último de la EE ampliada, exige un gran número de medios y empleos. En definitiva, mientras que desde la EE original se considera que la EE se puede realizar con los mínimos recursos posibles, desde la EE ampliada se entiende que se debe abordar maximizando éstos. Disponer de más recursos para la evaluación es condición necesaria para evaluar en mayor escala y hacerlo de manera regular y sistemática. Si la finalidad de la EE es contar con sistemas de evaluación es necesario disponer de los medios, especialmente económicos, que son precisos para ello. Por otro lado, desde el punto de vista del recurso tiempo, bajo el paradigma de la EE original se considera que la EE se debe aplicar, dadas sus características, en un breve espacio de tiempo (Merino, 2007; Wholey, 2010; Belford et al., 2017). Como referencia se propone entre uno y seis meses (Wholey, 2010; Davies, 2013; Craig & Campbell, 2015). Frente a este planteamiento, bajo el paradigma de la EE ampliada, dado su carácter continuo y finalidad principal, no se establece un plazo concreto. De hecho, como argumentan Baizerman, Compton y Stockdill (2005) y Dahler-Larsen (2013), la acción de fortalecer la cultura, las capacidades y los sistemas de evaluación, a lo que se dirige la EE ampliada, tiene una duración infinita, dado que nunca se acaba de producir reglas, procedimientos, prácticas y políticas. Esto la hace distinta a una evaluación independiente, que sí representa una actividad finita, por lo que la EE bajo su consideración ampliada es una evaluación continua en Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 52 2.3.1. Objetivos y fines de la evaluación de evaluabilidad original. Bajo el enfoque de la EE original los objetivos vienen representados por el interés en clarificar aspectos clave del programa objeto de evaluación 12 . Un primer objetivo de la EE bajo el paradigma de la EE original es determinar si el programa público, en cuanto a su diseño y estructura, está preparado para ser evaluado (European Commission, 2013; Trevisan & Walser, 2015; UNICEF, 2019). Atendiendo a Trevisan (2007), se trata, fundamentalmente, de evaluar la existencia de objetivos medibles, si las partes interesadas en la intervención pública comparten estos objetivos y metas del programa, si hay una lógica de intervención razonable y si existen recursos suficientes, fundamentalmente actividades, para lograr dichos objetivos. En esta línea, Dahler-Larsen (2007, 2013) señala las preguntas que, a través de la EE original, se propone responder en el marco de este primer objetivo. Estas preguntas se recogen en la siguiente tabla (Tabla 2). En particular, son cuestiones relativas a la claridad de la descripción del programa, su implementación, la teoría del programa, la calidad de las metas planteadas en el programa, la disponibilidad de datos para su medición y la identificación de mejoras (Dahler-Larsen, 2007, 2013). Cabe mencionar, siguiendo a Longhurst et al. (2016), que es posible que determinados aspectos de un programa se consideren evaluables, mientras que otros no. 12 Se utiliza el concepto de programa, dado que la EE, bajo el enfoque de la EE original, se dirige específicamente al análisis de programas. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 53 Tabla 2. Preguntas de la EE original. PREGUNTAS CONSIDERACIONES GENERALES ¿Existe una descripción clara del programa? Si no es así, se hará un mejor uso de los recursos clarificando el programa que evaluando un programa confuso. ¿Está bien implementado el programa? Si no es el caso, puede ser más inteligente mejorar su implementación antes de evaluarlo. ¿Existe una buena teoría del programa? Si hay, es mejor clarificar la lógica del programa e, incluso, mejorarla antes de evaluar. ¿Existen metas plausibles y bien descritas? Si no existen, el resultado de la evaluación es predecible antes de que se realice. Hay mejores formas de gastar los recursos. ¿Hay datos relevantes accesibles? Si no hay, los recursos de la evaluación podrían gastarse mejor en alternativas a la evaluación. ¿Se han identificado oportunidades para mejorar el programa? Si los usuarios para los que se realiza la evaluación no son capaces o no quieren usar los resultados de la evaluación, la evaluación no va a marcar ninguna diferencia en la práctica. Fuente: elaboración propia, a partir de Dahler-Larsen (2007, 2013). Un segundo objetivo de la EE original pasa por clarificar si la evaluación constituye la mejor respuesta para satisfacer las necesidades e intereses de los agentes con implicación en el programa. Este segundo objetivo se desgrana, a su vez, en dos de carácter específico. De una parte, determinar si la evaluación a desarrollar con posterioridad a la EE es útil (Wholey, 2010; Davies, 2013; Gilchrist, 2014), tanto para suministrar información que dé respuesta a las necesidades e intereses señalados (Leviton et al., 2010) y a las preguntas de evaluación existentes (Dahler-Larsen, 2007, 2013; European Commission, 2013) como para identificar los usos previstos de los resultados y conclusiones de las evaluaciones posteriores a la EE (Trevisan, 2007). También el acuerdo, o desacuerdo, así como voluntad entre agentes involucrados en torno a dichos usos (Wholey, 2010). De otra parte, valorar la viabilidad de dicha evaluación, Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 54 en términos de su plausibilidad o factibilidad, por contar con los recursos económicos y de tiempo suficientes (OECD, 2019). Además, en el momento y bajo el contexto organizacional existente (Dahler-Larsen, 2013). En definitiva, este segundo objetivo de la EE original trata, en palabras de Gilchrist (2014), de valorar si se dan todos los elementos necesarios para una evaluación de impactos, posterior a la EE, que merezca la pena. Con todo ello, siguiendo el paradigma de la EE original, la idea de examinar la evaluabilidad de un programa se evidencia como altamente racional (DahlerLarsen, 2007). En el nivel de fines, considerados como utilidades que se pretende alcanzar como consecuencia de los objetivos buscados, la EE original presenta un total de cinco (Casero-Cepeda, 2023). Un primer fin es actuar como anzuelo o precursora útil para la evaluación posterior de impactos (Trevisan & Huang, 2003; Leviton et al., 2010). Uno segundo, dado el objetivo de mejorar la teoría del programa, pasa por garantizar que los problemas en torno al diseño del programa sean resueltos antes de emprender la evaluación posterior (OECD, 2010). En tercer lugar, orientar la planificación de las actividades de evaluación posterior a la EE (Longhurst, 2016; Belford et al., 2017; Brunner et al., 2019). En este sentido, como resultado de la EE, se identifican los enfoques y métodos de evaluación adecuados que deben utilizarse (Wholey, 2010; Longhurst et al., 2016), el momento más idóneo para la evaluación posterior a la EE (Longhurst et al., 2016) y los términos de referencia de los procesos evaluativos posteriores a la EE (Davies, 2013). En definitiva, la EE original proporciona un plan preliminar para evaluar (Gilchrist, 2014), que no un plan de evaluación. En cuarto término, optimizar el uso de recursos destinados a las evaluaciones de programas, especialmente aquellos de mayor dimensión. Y, finalmente, en quinto lugar, derivado de todo lo anterior, reforzar los procesos de toma de decisiones vinculados con el diseño y encargo de la evaluación posterior del programa en cuestión (Craig & Campbell, 2015; Brunner et al., 2019). Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 55 2.3.2. Objetivos y fines de la evaluación de evaluabilidad ampliada. Por su parte, en la etapa de EE ampliada, a la EE se le atribuyen, además de los objetivos de la EE original, los objetivos de fortalecer capacidades evaluativas, impulsar la cultura de la evaluación y definir sistemas de evaluación institucionalizados (Dahler-Larsen, 2013, 2017). De este modo la EE pasa de tener un carácter instrumental, centrado en la valoración del diseño del programa y del proceso evaluativo posterior, a un carácter transformador, con el fin de incorporar la evaluación de las políticas públicas al quehacer diario de las AAPP. Como consecuencia de esta ampliación de objetivos, la EE, bajo el paradigma de la EE ampliada, presenta dos fines principales. De una parte, actuar como herramienta para el cambio social y organizacional (Thurston & Potvin, 2003), fortalecimiento los procesos de toma de decisiones en torno a la evaluación en su conjunto, mediante el desarrollo de sistemas de evaluación. Es decir, se trata de lograr la institucionalización de la evaluación en una organización. Este fin va, como es obvio, más allá de analizar un solo programa en particular, cuestión hacia la que se dirigía la EE original. Y, por tanto, se persigue que la evaluación sea una práctica cotidiana y útil, vinculada con todas las intervenciones de la organización (Dahler-Larsen, 2007, 2013). Y, de otra, impulsar el rol de la EE como vía para fortalecer la democracia (García, 2003, 2004), incluso como fórmula de exigencia democrática (Bañón, 2002). Siguiendo a Aguilar (2016), la nueva gobernanza pública, en la que se encuadra la evaluación, adquiere la responsabilidad de resolver los problemas, necesidades y retos que tiene la sociedad de manera compartida entre gobiernos y ciudadanía. Las diferentes AAPP toman el rol de agente colaborativo dentro de una sociedad en red, siendo las políticas públicas el resultado de la co-creación entre gobiernos y ciudadanía (Denhardt & Denhardt, 2000), jugando la EE un papel decisivo. Los objetivos y fines de la EE bajo el enfoque original y ampliado se sintetizan en la siguiente tabla (Tabla 3). Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 56 Tabla 3. Objetivo y fines de la EE bajo el enfoque original y ampliado. EE ORIGINAL EE AMPLIADA OBJETIVOS Determinar si el programa público, en cuanto a su diseño y estructura, está preparado para ser evaluado. Clarificar si la evaluación constituye la mejor respuesta para satisfacer las necesidades e intereses de los agentes con implicación en el programa. Valorar si se dan todos los elementos necesarios para una evaluación de impactos, posterior a la EE, que merezca la pena. Fortalecer capacidades evaluativas. Impulsar la cultura de la evaluación. Definir sistemas de evaluación institucionalizados. FINES Actuar como anzuelo o precursora útil para la evaluación posterior de impactos. Garantizar que los problemas en torno al diseño del programa sean resueltos antes de emprender la evaluación posterior. Orientar la planificación de las actividades de evaluación posterior a la EE. Optimizar el uso de recursos destinados a las evaluaciones de programas, especialmente aquellos de mayor dimensión. Reforzar los procesos de toma de decisiones vinculados con el diseño y encargo de la evaluación posterior del programa en cuestión. Actuar como herramienta para el cambio social y organizacional, fortalecimiento los procesos de toma de decisiones en torno a la evaluación en su conjunto, mediante el desarrollo de sistemas de evaluación. Impulsar el rol de la EE como vía para fortalecer la democracia, incluso como fórmula de exigencia democrática. Fuente: elaboración propia. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 57 2.4. Propuestas de aplicación práctica de la evaluación de evaluabilidad. De los modelos de pasos secuenciales a los nuevos enfoques. Una vez clarificado el concepto y características de la EE, bajos los paradigmas de la EE original y ampliada, e identificadas las razones que justifican su uso, objetivos y funciones, se analizan las propuestas más referenciadas sobre cómo hacer una EE. Como es obvio, la aplicación de la EE viene condicionada por la forma de entenderla, así como por los objetivos y fines que se le atribuyen. En consecuencia, se analizan las propuestas de EE que son consideradas bajo el paradigma de la EE original y propuestas de EE consideradas bajo el paradigma de la EE ampliada. En todo caso, de acuerdo con Boodhoo & Potgieter (2020), no hay ningún método considerado válido empíricamente, constatándose una diversidad de modelos en la materia. 2.4.1. Aplicación de la evaluación de evaluabilidad original: los modelos de pasos secuenciales. Bajo el paradigma de la EE original los modelos existentes parten de los planteamientos de Joseph Wholey (1979, 1983, 1987), responsable de la primera propuesta de evaluabilidad. Los modelos siguientes a éste, tanto el de Rutman (1980) como el de Smith (1989), se construyen de manera coherente sobre la base del primero, por lo que se evidencia la ausencia de contradicciones o contraposiciones entre ellos. Únicamente hay diferentes matices entre unos modelos u otros; y elementos que suman los modelos más recientes para completar los anteriores. Estas propuestas metodológicas presentan como motivaciones, objetivos y fines los propios de la EE original. Los tres modelos principales en el marco de la EE original se articulan en pasos secuenciales. Es decir, son procedimientos que se dividen en pasos, o tareas, cada uno de los cuales se inicia una vez finalizado el anterior. Por ello en este trabajo se denomina a dichas propuestas metodológicas como modelos de pasos secuenciales. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 58 A la coherencia entre modelos y a su articulación en pasos secuenciales, se suma como tercera característica identitaria su orientación a la valoración de tres dimensiones, o focos principales de análisis, de acuerdo con Davies (2013): la valoración del diseño y realidad del programa, su contexto, diagnóstico, estrategia programática, credibilidad y factibilidad, esto es, el análisis de la calidad de la planificación de la intervención pública; la valoración de los mecanismos disponibles para el seguimiento y disponibilidad de información, datos e indicadores para la evaluación; la valoración de la gobernanza de la evaluación, fundamentalmente recursos, propósitos, necesidades, intereses y usos previstos en torno a ésta. Es decir, el análisis de la capacidad de diseño, gestión y realización de evaluaciones con orientación al uso de los resultados. Estas tres dimensiones conforman así el esquema general para la realización de EE bajo el paradigma de la EE original (Figura 6). Figura 6. Dimensiones de análisis de la EE original. Fuente: elaboración propia, a partir de Davies (2013). El primer modelo de EE, propuesto por Wholey (1979), focaliza en las necesidades de información del personal responsable de la gerencia. Este modelo, actualizado por el propio Wholey (2010), se orienta fundamentalmente al análisis del diseño de la intervención, la disponibilidad de información para la evaluación y los usos de los resultados de la evaluación. En coherencia con este primer modelo, Rutman (1980) prioriza en el suyo la determinación del grado en el que el programa está estructurado para ser susceptible de una evaluación de efectividad, preguntando si los objetivos son claros y si están especificados los efectos. Asimismo, Rutman (1980) subraya en su modelo la necesidad de determinar la factibilidad de llevar a cabo una evaluación para cumplir con los 1. Evaluación de la calidad de la planificación de la intervención pública. 2. Valoración de indicadores y sistema de seguimiento. 3. Valoración de la gobernanza de la evaluación. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 59 propósitos del estudio, de manera que se pregunta: ¿Cuáles son los propósitos de la evaluación? ¿Cuáles son los requerimientos metodológicos? ¿Qué restricciones es posible encontrar? Hace alusión, en este sentido, a las limitaciones financieras, políticas, legales, éticas y administrativas. Rutman (1980), de acuerdo con Trevisan y Walser (2015), hace dos aportes de relevancia respecto al modelo de Wholey (1979). Por un lado, argumenta que uno o más componentes del programa pueden considerarse evaluables, mientras que otros pueden necesitar revisión antes de estar listos para la evaluación posterior de impactos del programa. Por otro lado, señala que la EE es un medio en sí mismo para aumentar la evaluabilidad de un programa. Smith (1989) amplia los modelos anteriores a diez pasos. En su propuesta enfatiza en el rol otorgado a las partes interesadas como participantes clave de la evaluación (Trevisan & Walser, 2015). Smith (1989) señala dos resultados primarios de una EE: identificar la teoría del programa e identificar los intereses de las partes involucradas. Señala, además, que el potencial de EE va más allá de una actividad de pre-evaluación para programas ya implementados, algo que era común en los modelos anteriores, por lo que sugiere que la EE es una herramienta de desarrollo y mejora de programas. Las características de estos tres modelos (sintetizadas en la tabla 4) han inspirado modelos posteriores de AAPP y OI, pese a su desinterés, tal y como se vio en el capítulo anterior. Tabla 4. Características de los modelos de EE de pasos secuenciales. CARACTERÍSTICAS IDENTITARIAS COMUNES DE LOS MODELOS DE EE DE PASOS SECUENCIALES • Motivaciones, objetivos y fines de la EE original. • Articulación en pasos secuenciales, o correlativos. • Coherencia entre modelos. • Focos centrales de análisis: calidad de la planificación de los programas; seguimiento y disponibilidad de información; gobernanza de la evaluación. Fuente: elaboración propia. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 60 2.4.1.1. Modelo de evaluación de evaluabilidad de Wholey. Este modelo inicial de EE es una propuesta de información y acción, dado que su aplicación en la práctica ofrece hallazgos y conclusiones sobre el programa público evaluado, pero también se dirige a identificar propuestas y recomendaciones para su mejora. Wholey (2010) considera que la EE es, a su vez, parte de un proceso evaluativo que se desgrana en cuatro fases, siendo la primera la EE. Como se recoge en la figura 7, a la EE le sigue la evaluación de retroalimentación rápida, orientada a la valoración de la información disponible, tanto su existencia como sus posibilidades de obtención; la supervisión del rendimiento, dirigida a evaluar el desempeño real del programa en comparación con su desempeño previsto; y la evaluación final, centrada en determinar la efectividad del programa y sus resultados e impactos mediante metodologías cuantitativas. Supone así la EE una fase inicial en el desarrollo del ciclo completo de la evaluación. Figura 7. Propuesta proceso evaluativo de Wholey. F a s e 1 Evaluación de evaluabilidad F a s e 2 Evaluación de retroalimentación rápida F a s e 3 Supervisión del rendimiento F a s e 4 Evaluación final Fuente: elaboración propia, a partir de Wholey (2010). En cuanto al modelo de EE de Wholey en sí, se pone de manifiesto su articulación en un total de ocho pasos, a realizar de manera secuencial, siendo preciso abordar cada uno de ellos para pasar al siguiente. Se centra esencialmente en la evaluación de la estructura programática del programa. Para su desarrollo propone el uso de análisis de los documentos del programa y de metodologías cualitativas de investigación social, tales como entrevistas con la gestión y la clase política involucrada, así como visitas en terreno para comprender los contextos del programa y observarlo en funcionamiento. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 61 De acuerdo con Trevisan (2007) y MacPherson et al., (2022), Wholey recomendó realizar una EE antes de pasar directamente a la evaluación de los resultados e impactos del programa. Considera que la EE tiene como fin principal valorar si un programa es evaluable. Se evidencia así el encuadre del modelo de Wholey dentro del paradigma de la EE original. En su propuesta de aplicación, tal y como se recoge en la figura 8, Wholey (1979) establece dos pasos iniciales, a través de los cuales se pretende explorar el programa objeto de evaluación, definiendo éste (paso 1) y recopilando información a través del análisis de los documentos existentes sobre el programa y su estrategia. Esto permite un mayor conocimiento del programa por parte del equipo evaluativo. Asimismo, establece el desarrollo de entrevistas con las partes interesadas, esencialmente con la clase política y con el personal técnico vinculado con el programa (paso 2), a fin de identificar las claves de la intervención pública a través de fuentes de información primaria. Fruto de estos dos primeros pasos y de la información cualitativa recopilada, Wholey (1979) propone el desarrollo de un modelo de programa (paso 3) para, seguidamente, clarificar si el programa cuenta con metas, objetivos, actividades y/o cualquier otro elemento de la estrategia (paso 4). Es decir, se lleva a cabo un proceso de planificación como parte de la EE. Una vez recopilada y analizada la información sobre la realidad del programa (pasos 5 y 6), se identifican distintas posibilidades de evaluación (paso 7), recogiéndose éstas en un informe final de evaluación, que se presenta a los responsables de los procesos de toma de decisiones (paso 8). En este sentido se define en dicho informe el tipo, o tipos de evaluación, que es más recomendable emplear; y las metodologías más convenientes para evaluar los resultados e impactos del programa. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 68 (Dahler-Larsen, 2103) y EE por componentes (Trevisan & Walser, 2015), tal y como se recogen en la tabla 5. Estas propuestas metodológicas presentan como motivaciones, objetivos y fines, los propios de la EE ampliada. A diferencia de los anteriores, estos modelos de EE no se estructuran en pasos secuenciales y/o tareas a realizar de manera encadenada. Por tanto, se trata de propuestas que no siguen un proceso lineal. Se basan en la idea de que una EE no debe ser un proceso concatenado rígido (Thurston & Potvin, 2003; Dahler-Larsen, 2013; Trevisan & Walser, 2015), como lo es bajo el paradigma de la EE original, sino flexible y adaptado en cada caso al contexto institucional y a los objetivos perseguidos a través de la evaluación (Trevisan & Huang, 2003; Davies, 2013). Cada uno de estos modelos supone la incorporación de nuevas aportaciones y enfoques, si bien ninguno de ellos es considerado principal, o prioritario, en el campo de la evaluación. A fin de cubrir esta carencia de un modelo que, bajo el paradigma de la EE ampliada, pueda representar una metodología de uso general, se propone un modelo integrado (ver punto 2.4.2.4), a partir de las claves más relevantes de cada uno de ellos, con la intención de facilitar un esquema metodológico general. Tabla 5. Modelos de EE bajo el paradigma de la EE ampliada. MODELOS DE EE BAJO EL PARADIGMA DE LA EE AMPLIADA • Modelo de EE participativa continua (Thurston & Potvin, 2003). • Modelo de EE 2.0 (Dahler-Larsen, 2013). • Modelo de EE por componentes (Trevisan & Walser, 2015). CARACTERÍSTICAS IDENTITARIAS COMUNES DE LOS MODELOS DE EE BAJO EL PARADIGMA DE LA EE AMPLIADA • Se fundamentan en las motivaciones, objetivos y fines de la EE ampliada. • Articulación en fases flexibles en función del contexto institucional. • Importancia de la participación en el proceso evaluativo. Fuente: elaboración propia. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 69 2.4.2.1. Modelo de evaluación de evaluabilidad participativa continua. La primera propuesta de aplicación de la EE que supone una ruptura con respecto a las propuestas anteriores es el modelo de EE participativa continua (Thurston & Potvin, 2003). A través de esta propuesta se enfatiza en el valor de la participación de las partes interesadas tanto en la planificación de la evaluación como en la planificación del programa. De este modo se profundiza en el concepto de la evaluación participativa de la EE (Thurston & Potvin, 2003), con la pretensión de empoderar en mayor medida que los modelos anteriores a las partes interesadas (Trevisan & Walser, 2015). Thurston y Potvin (2003) consideran como partes interesadas al personal y responsables de la administración del programa, consejos de administración, comités consultivos, organismos de financiación y grupos o colectivos destinatarios del programa. Además, señalan que la identificación de las partes interesadas debe ser una tarea regular, dado que la importancia relativa de éstas puede cambiar a lo largo de la vida de un programa (Thurston & Potvin, 2003). Se introduce la idea de la EE continua, lo que significa utilizar la EE en cualquier momento del ciclo de vida del programa, con el fin de revisar y planificar las evaluaciones, no sólo al comienzo, según se proponía en la EE original. Como las propias autoras señalan, a diferencia de los modelos anteriores, su concepción de la EE no es la de un procedimiento técnico que se aplica de una vez por todas antes de una evaluación de impactos. Sino un tipo de evaluación presente en todo momento para mejorar y orientar los procesos de planificación y evaluación en general (Potvin et al., 2001; Thurston & Potvin, 2003). Peersman et al. (2015), profundizan esta característica de la EE, al indicar que se puede aplicar en las distintas fases del ciclo de la intervención, tanto al principio, como al final y/o durante el desarrollo de ésta. Sintetizando estas aportaciones, de acuerdo con Trevisan y Walser (2015), se denomina a este nuevo planteamiento como el de la EE participativa continua. Se comienzan a ampliar así los objetivos y funciones de la EE original, Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 70 enfatizando en el valor de la EE como facilitadora del cambio social y empoderamiento de los grupos de interés, a fin de abordar mejor la complejidad y la evolución del programa. En este contexto el resultado de la EE, además de una exhaustiva valoración de las intervenciones públicas, es un plan de evaluación y un espacio de acuerdo entre las partes interesadas sobre los procesos evaluativos (Thurston & Potvin, 2003). El modelo de EE participativa continua se articula a través de tres principales dimensiones de análisis, flexibles y adaptables a cada situación, siendo factible tanto omitir alguna de ellas, como aplicarlas de manera simultánea. Esta flexibilidad es importante puesto que, frente a los modelos rígidos de pasos secuenciales, posibilita un mejor ajuste a las realidades sobre las que inciden las intervenciones públicas, dado el carácter cambiante de éstas. Una primera dimensión es la identificación del enfoque de los procesos evaluativos. La decisión central pasa por decidir qué criterio aplicar en la selección de equipos de evaluación, si optar por evaluadores internos a la organización, o externos a ésta. Una segunda dimensión, es el desarrollo del modelo lógico del programa o teoría del programa. Esta dimensión está alineada con la EE original, cuyos modelos igualmente abordan esta cuestión. Si bien, en este caso, Thurston y Potvin (2003), prestan especial atención a la sostenibilidad del programa (Thurston & Potvin, 2003). Este modelo es el primero en materia de EE que enfatiza en este valor, señalándose que un enfoque continuo de EE capta los cambios en la teoría del programa y promueve la capacidad de respuesta a las demandas cambiantes del programa y a las necesidades cambiantes de evaluación. Como preguntas que pueden ayudar al desarrollo lógico del programa, atendiendo a Potvin et al. (2001), se establecen las siguientes: • ¿Hasta qué punto la teoría del cambio social está coherentemente vinculada a los objetivos, recursos, actividades y servicios del programa? • ¿Cuáles son los logros de las actividades y servicios del programa? Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 71 • ¿Hasta qué punto son pertinentes los objetivos del programa para el entorno que rodea al objetivo de cambio? • ¿En qué medida responden los componentes del programa a las condiciones del contexto? • ¿Cuáles son los indicios de los resultados del programa en el medio ambiente? • Dentro de cinco o diez años, ¿por qué le gustaría que se conociera este programa? • ¿Qué diferencia habrá hecho en el mundo? • ¿Cómo cambiarán de aspecto, actuación o pensamiento los destinatarios después de haber sido expuestos al programa? • ¿Cómo reconocerlo cuando se produce? A diferencia de las preguntas de la EE original, se incide en este modelo en la evaluación del cambio social y a largo plazo que provoca la intervención pública sobre la realidad en la que actúa. Una tercera dimensión de análisis en el modelo de EE participativa continua es la definición del plan de evaluación. En este sentido, como tareas destacadas, se revela la identificación de las preguntas y matriz de evaluación; identificación de los recursos para la evaluación; identificación de los actores clave de los procesos evaluativos; y de las prioridades y acuerdos entre actores para realizar evaluaciones. Los modelos de EE original tienen como resultado la orientación de cómo proceder con la evaluación posterior, pero no un plan de evaluación en sí, como es el caso de este modelo y del resto de modelos de la EE ampliada. En resumen, el modelo de EE participativa continua ofrece como aportaciones más relevantes un énfasis en la participación social en los procesos evaluativos; la aplicación continua de la EE, durante todo el ciclo de vida de las intervenciones públicas, frente a la aplicación previa a una evaluación de impactos de la EE original; y una metodología flexible, frente a Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 72 los pasos secuenciales, sobre tres claves de análisis principales, como son la construcción de la teoría del cambio, la identificación del enfoque de los procesos evaluativos y la definición de un plan de evaluación. Todo ello sobre la base de los principios de sostenibilidad y adaptación al cambio, partiendo de preguntas estratégicas orientadas a considerar y priorizar la capacidad de las intervenciones para lograr cambios sociales a largo plazo, más allá del análisis de programas aislados e independientes. Con todo ello, fruto de una EE participativa continua se alcanzaría como resultado un desarrollo de la teoría del programa, igual que en el caso de los modelos de EE original. Pero adicionalmente a éstos se dispondría también de: • Una orientación, o asesoramiento, continuo y participativo de los procesos evaluativos. • Una identificación de los enfoques de evaluación que sea más adecuado utilizar en cada caso. • Y un plan de evaluación que contenga, al menos, la matriz de evaluación y la identificación de los recursos para la evaluación, agentes clave de los procesos evaluativos y establecimiento de prioridades y acuerdos entre dichos agentes en estos procesos. 2.4.2.2. Modelo de evaluación de evaluabilidad 2.0. Una siguiente propuesta de EE en el marco de la EE ampliada es el modelo de EE 2.0 (Dahler-Larsen, 2013). El autor de esta propuesta hace uso de este término por analogía con el concepto 2.0 aplicado a las nuevas tecnologías de la información y la comunicación. La idea fundamental del modelo de EE 2.0 pasa por atribuir a la EE como funciones principales que justifican su aplicación el impulso de la cultura de la evaluación, el fomento de las capacidades evaluativas y el diseño de sistemas de evaluación institucionalizados. Así, frente a los objetivos y fines fundamentales de modelos anteriores, éste representa un claro cambio en torno al uso y alcance de la EE. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 73 A través de esta propuesta se enfatiza en el paso de la EE como meramente instrumental, caso de la EE original, a tipo de evaluación transformadora, dirigida al cambio institucional y organizacional. El modelo de EE 2.0 viene a proponer como resultado un informe de EE conformado por ideas, normas y prescripciones dirigidas al diseño de sistemas de evaluación y orientaciones para el fortalecimiento de capacidades evaluativas e impulso de la cultura de evaluación (Dahler-Larsen, 2007, 2013), se cuente con más o menos elementos evaluables (Dahler-Larsen, 2013). Lo relevante de la EE no es determinar el grado de evaluabilidad de las intervenciones públicas, sino impulsar el uso de la evaluación de las políticas públicas en su conjunto, a través de sistemas de evaluación. Este modelo se articula en cinco dimensiones y representa una evaluación reflexiva, a través de un conjunto de preguntas, alejado de los modelos de pasos secuenciales característicos de la EE original. Como primera dimensión se identifica las características del objeto evaluado. En ésta, de acuerdo con Dahler-Larsen (2013), las preguntas que se deben responder a través de la EE son: • ¿Tiene el objeto de evaluación repercusión suficiente o importancia social para justificar un sistema de evaluación formal? • ¿Son las características de las actividades evaluadas tan importantes que están adecuadamente representadas por los indicadores, normas y criterios del sistema de evaluación? • ¿Hasta qué punto son claros los objetivos de las actividades evaluadas? Entendida esta claridad también desde el punto de vista del panorama político en torno a la elaboración de políticas. • ¿La estructura de los problemas de las actividades evaluadas justifica un sistema de evaluación integrado? Si el ámbito de actividad evaluado responde a un conjunto diverso de problemas complejos, ¿el mejor enfoque es un sistema de evaluación integrado, o sería más adecuado abordar algunos de estos problemas desiguales con distintos enfoques de evaluación, cada uno diseñado en función de la naturaleza del problema? Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 74 • ¿La estructura de rendición de cuentas de un ámbito práctico en el que se desarrollan actividades justifica un sistema de evaluación integrado? • ¿Cuál es la estructura teórica y de conocimientos relacionada con las actividades evaluadas? Como segunda dimensión se considera corrientes de conocimiento alternativas. A este respecto se plantea la siguiente interrogante: • ¿En qué medida tiene en cuenta el sistema de evaluación las corrientes de conocimiento alternativas, competidoras y complementarias tan características de la sociedad del conocimiento? Una tercera dimensión viene representada por las características del sistema de evaluación. Para este aspecto se establecen las siguientes cuestiones (Dahler-Larsen, 2013): • Si es necesaria una tecnoestructura para implantar el sistema de evaluación, ¿hasta qué punto está bien implantada y es fiable? • ¿Es capaz el sistema de evaluación de proporcionar información fiable y fidedigna? • ¿Están bien descritos los costes del sistema de evaluación? ¿Puede construirse un sistema de evaluación que funcione bien por ese importe? • ¿Está el sistema de evaluación impregnado de una ideología general o depende de la propia del contexto en el que opera? Como cuarta dimensión del modelo se establece uso probable y resultados esperados del sistema de evaluación. Las preguntas que se proponen son (Dahler-Larsen, 2013): • ¿Existen oportunidades reales para que las partes interesadas actúen de forma que se pueda cumplir el uso previsto del sistema de evaluación? • ¿Se ha puesto a prueba el sistema de evaluación para que haya demostrado algunos efectos positivos en la práctica y para que el Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 75 sistema de evaluación pueda mejorarse basándose en experiencias reales? • ¿Se han considerado alternativas a la evaluación? ¿El análisis de un amplio conjunto de factores que influyen en las decisiones sobre la calidad de determinados servicios (como la educación, las culturas organizativas, las estructuras de gestión, los incentivos, los recursos humanos y la ética profesional) sugiere que la evaluación es la vía más productiva para mejorar la calidad? Por último, como quinta dimensión se consideran aspectos vinculados con la orientación y contribución de la evaluación al impulso de la democracia, para cuya valoración se establecen los siguientes interrogantes (Dahler-Larsen, 2013): • ¿Hasta qué punto tiene que ser obligatorio el sistema? • ¿Se tienen en cuenta los aspectos democráticos del sistema de evaluación en cuestión? • ¿Incorpora el sistema de evaluación mecanismos de aprendizaje y formas de garantizar una capacidad de respuesta a la crítica que sean significativas y adecuadas en comparación con el poder institucional invertido en los sistemas de evaluación? El modelo de EE 2.0 representa, tras las aportaciones del modelo de EE participativa continua, el más claro exponente de la EE ampliada, en tanto propone un cambio radical tanto en el sentido de la EE, como en sus objetivos y fines, pasando por su aplicación metodológica, en la que se prioriza el uso de la EE para la conformación de sistemas de evaluación institucionalizados. Como se ha detallado, este modelo tiene como resultado final recoger en el informe entregable de EE la identificación y propuesta de ideas, normas y prescripciones orientadas al diseño de sistemas de evaluación. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 76 2.4.2.3. Modelo de evaluación de evaluabilidad por componentes. Como tercer modelo bajo el denominado paradigma de la EE ampliada se sitúa el modelo de EE por componentes (Trevisan & Walser, 2015). Éste presenta diferencias importantes respecto al paradigma original, especialmente por el énfasis en la utilización de los resultados de la EE. Al igual que ocurre en los casos del modelo de EE participativa continua y del modelo de EE 2.0, esta propuesta se articula en varias claves de análisis de aplicación flexible. En este caso dichas claves son denominadas componentes (Trevisan & Walser, 2015). En particular se propone una EE estructurada en cuatro componentes, apoyado cada uno de ellos, a su vez, en una lista de comprobación, según se recoge en la tabla 6. Los cuatro componentes del modelo son: el enfoque de la EE; el desarrollo de una teoría inicial del programa; la recogida de opiniones sobre la teoría del programa; y la utilización de la EE. En torno al primer componente, se establece la necesidad de identificar el propósito, alcance y límites de la EE. Asimismo, dentro de éste, se reconoce la importancia de determinar el tipo y el nivel de participación de las partes interesadas. Junto a todo ello, se incorpora la tarea de seleccionar al responsable independiente, o equipo de evaluación, que se encargará de realizar la EE. Este componente está, por tanto, muy alineado con la importancia dada a la participación en el modelo de EE participativa continua. En cuanto al segundo componente, referido al desarrollo de una teoría inicial del programa, se propone la revisión de dicha teoría en caso de existir o su propuesta, como producto resultante de la EE, en caso negativo. En ambos casos se reconoce la necesidad de contar con la participación de las partes interesadas, especialmente el personal responsable de la administración y gestión de la intervención pública. En el marco de este segundo componente también se sitúa como tarea la identificación y recopilación de documentos del programa. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 77 La recogida de opiniones sobre la teoría del programa supone el tercer componente del modelo. Se trata de valorar la calidad de un programa. Asimismo, se establecen las preguntas de evaluación que la EE debe responder en este momento. Éstas se definen, en cada caso, atendiendo a las siguientes categorías: perspectivas del programa, contexto del programa, ejecución del programa, lógica de la investigación; y alcance metodológico. Estos componentes, segundo y tercero, están muy relacionados con el modelo de EE participativa continua, dado que en gran medida replican la segunda dimensión de análisis de aquel. Finalmente, como cuarto componente, se sitúa la utilización de la EE. A este respecto Trevisan y Walser (2013) manifiestan que ninguna EE está completa hasta que se ha utilizado. Como principales usos de la EE se reconocen a través de este modelo: una mejor compresión de la cultura de la evaluación de la organización; una mejor identificación del contexto, complejidad y evolución de los programas de una organización; facilitar la participación y el empoderamiento de las partes interesadas; facilitar el aprendizaje organizativo y el desarrollo de la capacidad de evaluación; identificar prácticas prometedoras; facilitar el cambio social; y, en definitiva, facilitar el uso de la evaluación. De este modo, este modelo dirige gran parte de sus esfuerzos al uso efectivo de la EE, siendo éste su principal aporte. Y prioriza, como se ha señalado en este cuarto componente, en coherencia con el modelo de EE 2.0, la utilización de la EE para el impulso de la cultura de la evaluación, capacidades evaluativas y definición, en definitiva, de sistemas de evaluación. A modo de cierre, este modelo propone como principales resultados finales, en línea con modelos anteriores, tanto una valoración y propuesta de la teoría del programa; como una identificación de los intereses de los distintos agentes involucrados en el programa. De manera adicional, como aporte central y distintivo, establece la necesidad de definir un plan de uso de los resultados de los procesos evaluativos. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 84 aplicable a cualquier tipo de intervención pública, conformada por un conjunto de normas y recomendaciones orientadas al impulso de la cultura de la evaluación, fortalecimiento de las capacidades evaluativas y diseño de sistemas de evaluación institucionalizados. Dado el carácter voluntario de la evaluación en general, y de la EE en particular, es de interés analizar los motivos que llevan a hacer este tipo de evaluación. Se distingue así entre los detonantes de la EE original y los de la EE ampliada. Como detonantes de la primera se ponen de manifiesto la indefinición de los problemas del programa, la carencia de objetivos y/u objetivos poco claros en el programa a evaluar, metas y estrategias mal definidas en el programa, falta de información relevante sobre el desempeño del programa, inexistencia de acuerdo sobre las prioridades y usos previstos de la evaluación y dificultades de gestión de las evaluaciones. Por su parte, como detonantes de la EE ampliada, se reconoce la necesidad de impulsar la cultura de evaluación, la necesidad de fomentar las capacidades evaluativas y la necesidad de desarrollar e implantar sistemas de evaluación. Asimismo, en este capítulo, se han analizado los objetivos y fines de la EE. De igual manera se concluye que hay objetivos y fines propios de la EE original, y objetivos y fines propios de la EE ampliada. En el primer caso, los objetivos son determinar si un programa público reúne las condiciones para ser evaluado y, además, si esta evaluación sería útil. Mientras que en el nivel de fines se concluye: ser precursora de la evaluación posterior; garantizar la resolución de los problemas del diseño del programa antes de emprender una evaluación posterior de impactos; orientar la planificación de las actividades de evaluación posteriores a la EE; y optimizar el uso de recursos destinados a las evaluaciones posteriores. En el caso de la EE ampliada, la EE pasa de tener un carácter instrumental, centrado en la valoración del diseño de un programa aislado e independiente, y de su proceso evaluativo posterior de impactos, a un carácter transformador, con el fin de incorporar la evaluación de las políticas públicas al quehacer diario de las AAPP, con la idea de contribuir a la evaluación regular y sistemática de todas las intervenciones públicas de una organización. Los fines de la EE en este segundo caso se concluye que son: actuar como herramienta para el cambio social y organizacional, fortaleciendo los procesos de toma de decisiones en torno a la evaluación en su conjunto (no sólo en torno a la Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 85 decisión de evaluación de un programa), mediante la implantación de sistemas de evaluación institucionalizados; e impulsar, en última instancia, el rol de la EE como vía para fortalecer la democracia. En relación con la metodología de aplicación de la EE, se han constatado nuevamente dos tipologías. La primera, bajo el paradigma de la EE original, definida por los modelos que en esta investigación se han venido a denominar de pasos secuenciales. Son los modelos de Wholey (1979), Rutman (1980) y Smith (1989), modelos que se articulan en torno a tres focos principales de análisis, como son la evaluación de la calidad de la planificación de la intervención pública, el análisis del seguimiento y disponibilidad de información y el análisis de la gobernanza de la evaluación. Son modelos orientados a identificar hasta qué punto un programa puede ser objeto de una evaluación útil. La segunda tipología, bajo el paradigma de la EE ampliada, son propuestas alineadas con las motivaciones, objetivos y fines de la EE ampliada; y se articulan en fases flexibles, no siguiendo un proceso lineal rígido de pasos secuenciales. De una parte, el modelo de EE participativa continua (Thurston & Potvin, 2003), cuyas aportaciones más relevantes son el énfasis en la participación social en los procesos evaluativos, la aplicación continua de la EE, la sostenibilidad de la evaluación y una metodología flexible. Ésta se fundamenta sobre tres claves de análisis como son la construcción de la teoría del cambio, la identificación del enfoque de los procesos evaluativos y la definición de un plan de evaluación. Todo ello sobre la base de preguntas estratégicas orientadas a priorizar la capacidad de las intervenciones para lograr cambios sociales y organizacionales a largo plazo. De otra parte, el modelo de EE 2.0 (Dahler-Larsen, 2013), articulado en las siguientes dimensiones: características del objeto evaluado; corrientes de conocimiento alternativo; características del sistema de evaluación; uso probable y resultados esperados del sistema de evaluación; y orientación y contribución de la evaluación al impulso de la democracia. Supone este modelo, dadas sus dimensiones y preguntas, el más claro exponente de modelo de EE para el diseño de sistemas de evaluación y fortalecimiento de capacidades evaluativas. Capítulo 2. La evaluabilidad como concepto: de la evaluación de evaluabilidad como posibilidad de evaluar a impulsora de cultura, capacidades y sistemas de evaluación 86 Finalmente, el modelo de EE por componentes (Trevisan & Walser, 2015), estructurado en los siguientes: enfoque de la EE, desarrollo de una teoría inicial del programa, recogida de opiniones sobre la teoría del programa y utilización de la EE, que enfatiza en la definición de un plan de uso de la evaluación a través de la EE. Como aporte final se hace una propuesta, que integra los elementos de cada uno de los tres modelos de EE ampliada, así como los elementos con los que debe contar un sistema de evaluación, dado que la EE ampliada tiene como función central su diseño y desarrollo. Dicho modelo se articula en cinco dimensiones: definición de valores, principios y contribución a la democracia; definición de la estructura organizacional (en cuanto a arquitectura del sistema de evaluación, procedimientos, competencias y metodologías, estructura legal y competencial, claves para la sostenibilidad del sistema de evaluación, presupuesto y recursos, enfoque evaluativo, propósito, alcance y límites del sistema de evaluación); definición de la lógica de la intervención y evaluación de los sistemas de información, evaluación de la teoría del programa de todo el conjunto de intervenciones públicas de la organización, no una sola de manera aislada; impulso de las capacidades evaluativas, en el marco del sistema de evaluación, mediante un plan de formación y capacitación; y orientación al uso, mediante la definición de un plan de evaluación y mejora. Esta propuesta, como marco que aglutina los elementos que conforman los tres modelos de EE ampliada, resulta útil para el campo de la EE, al conformar un modelo integrado de uso. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 87 CAPÍTULO 3. DESARROLLO DE LA EVALUACIÓN DE EVALUABILIDAD EN LA ADMINISTRACIÓN PÚBLICA ESPAÑOLA. Se contrasta en este capítulo cómo se entiende y aplica la EE por parte de las AAPP que, en España, consideran a ésta entre sus metodologías de evaluación, respecto a los modelos y paradigmas internacionales, recogidos con el marco teórico de este estudio. De una parte, se analiza la consideración de la EE en la AGE (apartado 3.1). En este caso se revisa la presencia y propuesta de aplicación de la EE tanto en la LIEPP, norma de referencia en el campo de la evaluación en España, como en el IEPP. Por otra parte, se estudia su desarrollo en la administración pública autonómica (apartado 3.2), atendiendo a las AAPP que la reconocen como tal, como son la Junta de Andalucía, la Generalitat de Cataluña y el Gobierno Foral de Navarra. Sólo la Junta de Andalucía hace EE, de modo que únicamente en esta AAPP hay experiencias prácticas que permiten contrastar la aplicación de la EE respecto a los modelos internacionales. En el resto (Cataluña y Navarra), dado que no hacen EE, sino únicamente cuentan con guías de EE y directrices sobre cómo hacer EE, se hace una valoración teórica, comparando cada planteamiento, desde un punto de vista conceptual, con los modelos existentes a nivel internacional. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 88 3.1. La evaluación de evaluabilidad en la Administración General del Estado. La evaluación en España, tal y como se recogió de manera detallada en el apartado segundo de la introducción, se inicia como actividad en el año 1986 con la adhesión del país a la actual UE, con una clara orientación a la evaluación de los fondos comunitarios, dado que la recepción de éstos está sujeta a su evaluación. Desde entonces, a pesar de un cierto uso por parte de las AAPP, sigue siendo una herramienta de escasa implantación en la administración pública española, constatándose experiencias evaluativas esporádicas más que regulares y sistemáticas (Muñoz et al., 2013). También son pocos los hitos en el desarrollo histórico de la evaluación en España. Éstos son, en el ámbito de la AGE, la creación de la AEVAL, en 2006 y la aprobación de la LIEPP, en 2022. Por su parte, a nivel autonómico, estos hitos son: la aprobación de la Ley Foral Navarra de evaluación, en 2005; la creación de Ivalua, en 2006; y la atribución al IAAP de competencias en materia de evaluación en Andalucía, en 2016. En el caso de la AEVAL, en vigor hasta su desaparición en 2017, fue destacable su rol como agencia pública. Como se recoge en la Ley 28/2006 de 18 de julio, de Agencias Estatales para la mejora de los servicios públicos, las agencias estatales suponen “entidades de derecho público, dotadas de personalidad jurídica pública, patrimonio propio y autonomía en su gestión, facultadas para ejercer potestades administrativas, que son creadas por el Gobierno para el cumplimiento de los programas correspondientes a las políticas públicas que desarrolle la Administración General del Estado en el ámbito de sus competencias”. Se introdujeron en España las agencias estatales como una nueva tipología de organismo público, con vocación de modernizar la administración pública española y dirigirla hacia un modelo de gestión de los servicios públicos más flexible y eficaz, siguiendo así un modelo gerencial asentado en varios países de tradición anglosajona (Boto, 2015; Gómez, 2022). En particular la AEVAL se ideó en este marco como organismo autónomo e independiente que Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 89 pudiera evaluar tanto políticas públicas como la calidad de los servicios públicos. Sin embargo, este modelo no tuvo en todos los casos el desarrollo esperado, debido a la crisis financiera de 2008 y las políticas de austeridad puestas en marcha a raíz de ésta, la falta de voluntad política e, incluso, la incapacidad para lograr su adecuado funcionamiento (Gómez, 2022). De manera reciente ha vuelto el interés por recuperar este modelo, si bien son numerosas las agencias que siguen en vigor desde 2006 13 . En el caso de la evaluación, la LIEPP plantea la futura creación de la Agencia Estatal de Evaluación de las Políticas Públicas. Más allá de la AEVAL, del actual IEPP o de la futura Agencia, la evaluación es una herramienta reconocida e integrada en numerosas normas y planes estratégicos en la AGE. Un centenar de unidades de la AGE tienen atribuidas competencias o funciones en materia de evaluación, fundamentalmente direcciones generales y organismos autónomos, si bien menos de una cuarta parte de dichas unidades hacen realmente evaluaciones de políticas públicas (IEPP, 2021). Estas unidades hacen evaluaciones tanto internas como externas (Las Naves, 2021), sin priorizar una tipología. En el caso de las evaluaciones externas, destaca la existencia en España tanto de empresas en el ámbito de la consultoría privada como equipos de investigación de universidades, con capacidad e interés en la realización de éstas. Dichas empresas y universidades han impulsado históricamente en España la demanda de evaluaciones. Yendo al caso concreto de la EE, como ocurre con la evaluación en general, es igualmente reducido el número de normas y unidades en las que está presente. Su desarrollo se limita a su consideración teórica en la LIEPP y en el IEPP. 13 Es el caso de la Agencia Estatal Boletín Oficial del Estado, Agencia Estatal Consejo Superior de Investigaciones Científicas, Agencia Estatal de Seguridad Aérea, Agencia Estatal de Seguridad Ferroviaria, Agencia Estatal de Meteorología, Agencia Estatal de Cooperación Internacional para el Desarrollo. Desde 2011 están en vigor la Agencia Española de Medicamentos y Productos Sanitarios; y la Agencia Estatal de Investigación. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 90 En el caso de la LIEPP, que supone la disposición del primer marco normativo específico en materia de evaluación en España en el nivel de la AGE (Casillas & Macía, 2023; Alarcón-González & Flores-Candorcio, 2024), hay un reconocimiento expreso a la EE, en su artículo 11. Por su parte, el IEPP, entidad a la que se atribuye en la actualidad el liderazgo de la evaluación en la AGE, define la EE como una de sus principales metodologías, pese a no haber hecho hasta ahora ninguna. El IEPP tomó el testigo de la AEVAL, agencia que supuso el primer intento ambicioso de sistematización de la evaluación en España (Labeaga & Muñoz, 2013). A diferencia de la AEVAL, el IEPP tiene rango de subdirección general. Esto supone, de acuerdo con Valiño (2023), una disminución de rango, autonomía y campo de acción del IEPP en relación con la AEVAL. En todo caso, según se recoge en la propia LIEPP, el IEPP se integrará en la Agencia Estatal de Evaluación de las Políticas Públicas. Por consiguiente, se puede considerar al IEPP como organismo puente entre la antigua AEVAL y esta futura Agencia. De hecho, la disposición transitoria única de la LIEPP expresa que el IEPP asume las funciones de la futura Agencia hasta la creación de ésta. Otras instituciones y unidades de la AGE tienen competencias en evaluación, aunque no son consideradas en esta investigación al no abordar ninguna de ellas la EE. Este es el caso de la AIRef, la Secretaría General de Fondos Europeos, la Dirección General de Fondos Europeos integrada en ella, o el Instituto de Estudios Fiscales. 3.1.1. La evaluación de evaluabilidad en la Ley de Institucionalización de la Evaluación de las Políticas Públicas. 3.1.1.1. Un nuevo marco de referencia para la evaluación (y para la evaluación de evaluabilidad) en España. Fruto del compromiso del Gobierno de España en el marco del Plan de Recuperación, Transformación y Resiliencia, en su Componente 11 de Modernización de las Administraciones Públicas, se aprobó en el año 2022 la Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 91 Ley 27/2022, de 20 de diciembre, de institucionalización de la evaluación de políticas públicas en la Administración General del Estado. Este componente 11, venía en buena medida a dar respuesta a las recomendaciones realizadas por la OCDE a sus estados miembro para un mayor uso de las evaluaciones de políticas públicas (Casillas & Macía, 2023; Cardenal et al., 2024). Dichas propuestas pasaban por institucionalizar la evaluación desde una perspectiva de gobierno integral, promover la calidad de las políticas públicas y realizar evaluaciones que impacten en la toma de decisiones (OECD, 2022). Además, suponía la aprobación de la LIEPP un requisito más, entre otros, para la recepción de fondos Next Generation EU asignados a España (Andrés, 2023). Esta cuestión de índole económica se revela como determinante para la elaboración y aprobación de la LIEPP. En todo caso, esta circunstancia no es más que la continuidad del proceso de aplicación de la evaluación en España, donde las exigencias comunitarias han sido históricamente un motor para el desarrollo de la ésta. Más allá de los motivos que provocan su desarrollo, una norma como ésta se considera importante para impulsar una mayor y mejor práctica evaluadora en España. Con ello, se da respuesta a una demanda histórica del sector en torno a la necesidad de contar con una ley de evaluación (Las Naves, 2021) y a la lógica señalada por Catalá (2015) de establecimiento de un marco jurídico como primer paso en el proceso de institucionalización de un sistema público de evaluación. La LIEPP supone para la administración pública española una nueva oportunidad para desplegar la dinámica de evaluación (Garde, 2023; Cardenal et al., 2024; Trias & Zúñiga-Guevara, 2024). Más aún en un contexto en el que la evaluación, en general, sigue siendo una práctica poco extendida y, en gran medida, de aplicación voluntaria (IEPP, 2021; Las Naves, 2021). Representa un buen marco de referencia al establecer la obligatoriedad de evaluar. Es cierto que la nueva Ley no está exenta de críticas. Según Silvestre (2024), tanto el Tribunal de Cuentas como la AIReF ya evalúan la eficacia y eficiencia de las políticas públicas. Sin embargo, es preciso señalar que ambos organismos evalúan el control del gasto público y la eficiencia de la gestión presupuestaria, no evaluando el diseño, ni los resultados e impactos de las intervenciones públicas, dimensiones que sí reconoce la LIEPP y que atribuye a Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 92 la futura Agencia de Evaluación. Además, en la Ley se recoge la importancia de la participación en los procesos evaluativos, en línea con la evaluación constructivista, aspecto que tampoco está incorporado en las metodologías de evaluación de los organismos señalados (Silvestre, 2024). La evaluación comparte objetivos con los múltiples mecanismos de fiscalización existentes, como el Tribunal de Cuentas o la Intervención General de la Administración del Estado, puesto que entre sus funciones está implícitamente el control del gasto público, pero presenta otros fines adicionales, diferentes a los propios de estos mecanismos, como son la mejora continua de las políticas públicas a partir del análisis valorativo, desde una óptica integral, no sólo económica, del diseño, ejecución, resultados e impactos logrados por éstas. Con la evaluación la AGE persigue así contar con mecanismos adicionales de calidad de la gestión pública. A la LIEPP se le presupone un papel inspirador para otras normas que, en el campo de la evaluación de las políticas públicas, se desarrollen y aprueben a nivel autonómico en los próximos años. Como señalan Casillas y Macía (2023), la institucionalización de la evaluación exige un desarrollo normativo en todos los niveles de gobierno, siendo evidente la complejidad que tiene considerar un modelo único ante la amplia diversidad de formas de entender la evaluación en las distintas AAPP autonómicas y locales. Por tanto, la aprobación de la LIEPP debe ponerse en el contexto de un proceso multi-escalar que va desde la AGE a la CCAA. Este proceso es probable que genere una serie de marcos normativos autonómicos en esta materia. Esta dirección del cambio, de arriba abajo, siempre ha sido la más habitual. Prueba de ello es la ya referida influencia de la UE en el desarrollo de la evaluación en España. Pese a la relevancia de la LIEPP para la institucionalización de la evaluación en España (Catalá, 2015; Casero-Cepeda, 2022; Garde, 2023; Cardenal et al., 2024), es preciso señalar la pluralidad de modelos existentes al respecto, tal y como recogen Stockmann et al. (2020) y Casado y Del Pino (2022). En este sentido, la propia LIEPP, en el segundo punto del preámbulo, recoge que “no existe un único modelo de institucionalización de la evaluación”. Es más, para el objetivo de contar con un sistema público de evaluación, la institucionalización es una condición necesaria, pero no suficiente, siendo Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 93 decisiva la generación de una cultura de evaluación (Ruiz, 2012; Catalá, 2015). En cualquier caso, tanto las recomendaciones de regulación normativa de la OCDE, como la exigencia de la UE para recibir fondos Next Generation EU, actúan como factores determinantes para optar por un modelo de evaluación fundamentado en una ley, reconociendo la necesidad de una mayor cultura evaluadora. A nivel internacional son pocos los países que cuentan con una normativa específica de evaluación. Al igual que España, EE. UU. y Canadá disponen de leyes que destacan tanto por establecer un conjunto de obligaciones mínimas en materia de evaluación como por la constitución de organismos orientados al impulso de la práctica evaluadora. Países europeos como Noruega, Irlanda y Reino Unido tienen normas generales que igualmente garantizan la realización de evaluaciones (Lázaro, 2015). Suiza, por su parte, establece en su Constitución que el Parlamento velará porque las medidas del Gobierno federal sean evaluadas para estimar su eficacia (Casado y Del Pino, 2022; Stockmann, 2022). En el caso español, la LIEPP se estructura en 32 artículos, distribuidos en cuatro títulos, incluido el preliminar, seis disposiciones adicionales, una transitoria y tres disposiciones finales. Para su elaboración, cumpliendo el principio de transparencia, se abrió un “proceso formal de consulta pública abierta”, participando “actores relevantes vinculados a la evaluación”, favoreciendo así “la pluralidad de las aportaciones”. Este aspecto se valora positivamente, dada la evidencia existente entre los procesos participativos y el grado de apropiación del resultado alcanzado por parte de los agentes intervinientes (Casero-Cepeda et al., 2022). Además, de conformidad con lo dispuesto en la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas, la elaboración de la LIEPP sigue los principios de buena regulación. La LIEPP cumple los principios de necesidad y eficacia, “por cuanto la norma tiene por objeto dotar a la actuación administrativa de un marco común para la evaluación de políticas públicas, impulsando la eficacia del conjunto de acciones llevadas a cabo por la Administración General del Estado”. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 100 de carácter estratégico. Todo ello confiere a la EE un papel destacado, al menos desde este punto de vista teórico, en los futuros procesos de evaluación a desarrollar bajo el paraguas de la LIEPP y, por tanto, en los procesos de toma de decisiones en el nivel estratégico dentro de la AGE. Atendiendo a una perspectiva conceptual se define EE en la Ley como “análisis previo de evaluabilidad”, alineándose así con el concepto propio del paradigma de la EE original. De este modo, se obvia en la LIEPP la condición de la EE como tipo de evaluación tan reconocido ya en la comunidad evaluadora (Vedung, 1997; Dahler-Larsen, 2007; Davies, 2013), siendo definida como simple “análisis”. De igual manera se recoge en la LIEPP la consideración de la evaluabilidad como algo “previo”, contrario así al carácter continuo de la EE a lo largo de todo el ciclo de vida de la política (Thurston & Potvin, 2003; DahlerLarsen, 2013; Davies, 2013). Con todo ello, en definitiva, según se sintetiza en la tabla 9, la evaluabilidad en la AGE se concibe como análisis previo y se sitúa, en consecuencia, desde un punto de vista conceptual, en el paradigma de la EE original. Tabla 9. Características de la evaluación de evaluabilidad en la LIEPP. • Obligatoriedad. • Sistematicidad. • Relevancia del objeto al que se dirige: planes estratégicos. • Única tipología de evaluación, atendiendo al objeto evaluado, regulada en la Ley. • Alineación con el paradigma de la EE original, definiéndose como “análisis previo”. Fuente: elaboración propia. Esta consideración de la EE bajo el paradigma original, lejos de representar un aspecto meramente lingüístico, tiene incidencia en el uso previsto de la evaluabilidad en el marco de la LIEPP. Dado que entender la evaluabilidad como análisis previo, hace que se desarrolle bajo una dimensión Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 101 técnica, obviando su dimensión política, propia de una evaluación en general y de una EE en particular. De este modo, tal y como está definida en la Ley, presenta un sentido meramente instrumental, a modo de herramienta certificadora de un determinado grado de bondad de la lógica de la intervención, de su sistema de indicadores y de los recursos disponibles para su evaluación. Pero la EE así entendida dista mucho de su potencial para el fortalecimiento de capacidades evaluativas y desarrollo de sistemas de evaluación, mediante la emisión de juicios de valor, recomendaciones y propuestas propias de la evaluabilidad según el paradigma de la EE ampliada. En definitiva, en la LIEPP se limita la evaluabilidad a un análisis previo de carácter técnico, dirigido a identificar si un determinado programa está preparado, o no, para una evaluación útil. Por tanto, se alinea con el paradigma de la EE original y queda lejos del alcance reconocido bajo el paradigma de la EE ampliada. En coherencia con lo expuesto hasta aquí, los objetivos atribuidos a la EE se alinean también con los de la EE original. Por un lado, la LIEPP otorga a la evaluabilidad, tal y como se recoge en su artículo 11, la labor de “verificar la calidad y precisión del diagnóstico realizado, la viabilidad, coherencia y consistencia del diseño elaborado, la claridad, suficiencia y accesibilidad del sistema de información y evaluación previsto, así como si existen suficientes capacidades, recursos y compromisos para que la evaluación pueda implementarse”. En definitiva, se reconoce a la EE en la LIEPP la función de identificar mejoras de aquellos elementos que, de una determinada intervención pública, presenten deficiencias. En la LIEPP no se recoge, por tanto, ninguno de los objetivos de la EE ampliada. Esto se entiende como un importante riesgo para el desarrollo y uso de la EE en la AGE. Puesto que, pese a su reconocimiento en una Ley como ésta, la alineación funcional con la EE original hace presuponer un uso escaso de la EE, dada la evidencia existente sobre la reducida utilidad y desinterés de la EE original tanto a nivel nacional (IEPP, 2021; Las Naves, 2021) como internacional (Leviton et al., 2010; Dahler-Larsen, 2013; Davies y Payne, 2015). Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 102 De manera adicional, dado que la LIEPP indica que todo plan estratégico debe contar con un informe de evaluabilidad, cabría preguntarse si, en caso de considerarse dichos planes no evaluables, éstos serían, o no, aprobados. A este respecto se podrían atisbar varios escenarios. Si los planes estratégicos a nivel estatal son considerados evaluables, la evaluabilidad sería la certificación, o aval, de esta cualidad para dichos planes. Si fueran considerados no evaluables, podrían ser, pese a ello, aprobados, por lo que la evaluabilidad, o no estaría provocando los efectos que se le presuponen, o simplemente tendría una función informativa; o podrían no ser aprobados, con la consiguiente incidencia en el poder ejecutivo y legislativo, por la paralización de estos planes. Dado el rol concedido a la evaluación en España, parece lógico pensar que la evaluabilidad no tendría este peso en los procesos de toma de decisiones, por lo que ante informes negativos de evaluabilidad, se puede intuir que éstos dejarían de realizarse, o bien carecer de incidencia, siendo así irrelevantes. En este sentido, el personal técnico del IEPP avala esta misma idea al señalar que “a priori, los informes de evaluabilidad que se hagan en el marco de la Ley, seguramente no tengan gran incidencia entre los responsables de los planes estratégicos, al menos en un principio”; y, añaden, que, “en todo caso, todo lo que sea evaluar y que suene evaluación en la AGE será positivo, dado que todavía la evaluación es una práctica poco extendida”. En definitiva, se evidencia la escasa incidencia que la evaluabilidad tendría, tal y como está concebida en la LIEPP, una vez que ésta sea aplicada. Se pone de manifiesto, siguiendo a Foucault (Ávila-Fuenmayor, 2006) y su concepción del poder, cómo la LIEPP no supone ni un elemento de poder legal ni disciplinario respecto a la realización de la EE. En tanto que ni establece como obligatorio su ejercicio, ni establece medidas sancionadoras de ningún tipo en caso de no realizarse. En la Ley se establece para llevar a cabo una EE (en línea con Davies, 2013), un análisis de los tres principales focos que son considerados en el paradigma de la EE original, como son la valoración del diseño, del sistema de seguimiento y de la gobernanza. En particular, tal y como se expresa en el punto 2 del artículo 11 de la Ley, se hace alusión a la necesidad de analizar: Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 103 a) La calidad de la planificación, que incluirá un análisis del contexto socioeconómico de la política pública y del impacto sobre el bienestar ecológico, económico y social de las generaciones presentes y futuras; la relación existente entre los problemas y los objetivos planteados y su lógica causal; y un examen de la coherencia interna de la estrategia propuesta en la política pública objeto de evaluación. b) La comprobación de la existencia de un sistema de información, seguimiento y evaluación que posibilite la monitorización periódica y sistemática de la ejecución de la política pública, y la disponibilidad de los datos, en su caso desagregados por sexo, necesarios para su evaluación y los recursos presupuestarios disponibles. Este sistema debe posibilitar la monitorización periódica y sistemática de la ejecución de la política pública, e identificar de manera preliminar los datos necesarios para su evaluación. c) La gobernanza de la política pública objeto de evaluación, en la que se analizarán los recursos humanos y materiales y se comprobará la existencia de mecanismos de coordinación y cooperación entre partes implicadas. Se incluirán las responsabilidades de cada nivel y las diferentes estructuras de dichos mecanismos, así como el formato de comunicación. En cualquier caso, en la LIEPP, no se recoge una metodología como tal de EE, más allá de este reconocimiento de los tres focos de análisis que caracterizan a la EE original. De hecho, se señala en el punto 9 del artículo 11, que la Agencia Estatal de Evaluación de Políticas Públicas, una vez creada, “elaborará la metodología y modelo de informe de evaluabilidad”. A tal respecto se valora positivamente la defensa que se hace en la Ley de la “independencia” a la hora de hacer una EE, ya sea por parte de un equipo evaluador interno o externo, estando ambas modalidades previstas en la LIEPP. Pero se percibe un riesgo con el reconocimiento que la norma hace de la “estandarización del análisis de evaluabilidad”, puesto que un procedimiento estándar puede derivar en una burocratización de la EE, tal y como ocurre con la evaluación en general (Lázaro, 2015; Pérez-Domínguez, 2019). En relación con esta mención que se hace en la LIEPP sobre la futura Agencia surgen dos consideraciones. Una primera, pasa por presuponer que Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 104 dicha Agencia dé por válida la metodología de evaluabilidad del IEPP, dada su reciente publicación y teniendo en cuenta que el equipo profesional del IEPP será el que conforme, al menos inicialmente, la citada Agencia. Junto con esta consideración, una segunda pasa por suponer que, si en la LIEPP se concibe la EE bajo el paradigma de la EE original, en caso de proponer la futura Agencia una nueva metodología de evaluabilidad, estaría alineada con este paradigma y no con el de la EE ampliada. En todo caso estas cuestiones deben ser consideradas en un plano deductivo e interpretativo. Más allá de la valoración teórica realizada en este punto sobre la LIEPP, resulta obvio esperar la puesta en marcha de la Ley y contar con las primeras experiencias evaluativas que se deriven de ella, para poder tener evidencia del alcance y logros de la EE tal y como se concibe en esta nueva Ley. 3.1.2. La evaluación de evaluabilidad en el Instituto para la Evaluación de las Políticas Públicas. 3.1.2.1. El Instituto como organismo de referencia en la Administración General del Estado. Junto al marco normativo es importante contar con organismos y unidades administrativas competentes en la materia para la institucionalización de la evaluación. Entre otros motivos, un cierto grado de institucionalización formal permite, de acuerdo con Lázaro (2015), impulsar una actividad evaluadora sistemática y planificada, visible y transparente, basada en estándares de calidad y capaz de promover la utilización efectiva de los resultados de la evaluación. En todo caso se debe subrayar que no existe un modelo único ni un solo camino para la institucionalización de la evaluación (AIReF, 2021). Además, ésta se concibe como un proceso y no un punto de llegada, puesto que los sistemas de evaluación son dinámicos y deben adaptarse a situaciones cambiantes. A nivel internacional hay distintas referencias. Como se recoge en la LIEPP, EE. UU. y Canadá cuentan con organismos, dependientes del gobierno estatal, cuya función principal es fomentar y apoyar la evaluación a través de directrices y guías de evaluación, así como realizar evaluaciones internas. Por Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 105 su parte, en otros países, como Noruega, Irlanda y Reino Unido, es el Ministerio de Finanzas el que ejerce directamente esta actividad impulsora de la evaluación. En España, en el nivel de la AGE la AEVAL representó entre 2007 y 2017 el organismo de referencia en este sentido. El IEEP tomó el testigo de aquella, tras su disolución, estando vigente en la actualidad. El Real Decreto 507/2021, de 10 de julio, por el que se reestructuran los departamentos ministeriales y el Real Decreto 682/2021, de 3 de agosto, por el que se desarrolla la estructura orgánica básica del Ministerio de Hacienda y Función Pública y se modifica el Real Decreto 139/2020, de 28 de enero, por el que se establece la estructura orgánica básica de los departamentos ministeriales, define en su artículo 14.6 que el IEPP se adscribe al Ministerio de Hacienda y Función Pública a través de la Secretaría de Estado de Función Pública, con nivel orgánico de Subdirección General. Dado este encaje orgánico, se evidencia una menor autonomía e independencia del IEPP respecto a la tuvo en su momento la AEVAL. En dicho artículo se establecen las funciones que al IEPP le corresponde desarrollar en el ámbito de la AGE. De una parte, en términos generales, se le atribuye el fomento de la cultura de evaluación de las políticas públicas, función clave para el desarrollo de la evaluación en cualquier territorio (Osuna, 2008; Valiño, 2023). En segundo término, se establece la función de apoyo instrumental necesario para realizar los análisis que requieran los procesos de modernización o planificación que se impulsen desde la Secretaría de Estado de Política Territorial y Función Pública. En tercera instancia, se le atribuyen funciones de formulación, difusión de metodologías de evaluación y fomento de la formación de los empleados públicos, en coordinación con el Instituto Nacional de Administración Pública. Junto a todo ello, se reconoce su labor en la realización de evaluaciones, en particular de las políticas públicas y de los planes y programas cuya evaluación se le encomiende, en coordinación con los departamentos ministeriales. Esta amplia atribución de funciones al IEPP justifica la afirmación de considerar a este organismo como el encargado de liderar la evaluación de las políticas públicas en la AGE, en cualquier caso, bajo la supervisión y/o encargo del Ministerio en el que se encuentra. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 106 De hecho, en comparación con la AEVAL, Agencia que no sólo era competente en materia de evaluación, sino que dirigía buena parte de sus esfuerzos a fomentar la calidad de los servicios públicos, el IEPP sí centra por completo su acción en tareas y acciones de evaluación. En todo caso el IEPP ha tenido, hasta la fecha, una actividad limitada (De la Fuente & Novales, 2023). Comparte con la AEVAL buena parte de los problemas que provocaron su cierre, fundamentalmente carencia de suficiente personal cualificado y de recursos en general, así como escasa independencia y apoyo político-institucional para ello (Albi & Onrubia, 2018; De Rus, 2023; Garde, 2023; Rico, 2023). También son comunes los retos, para el IEPP y la AEVAL, destacando mejorar los procesos de planificación de las intervenciones públicas, hacer más visible la evaluación, profundizar en la institucionalización de la evaluación, fortalecer las capacidades evaluativas y la calidad de las evaluaciones y construir un sistema público de evaluación (Ruiz, 2012; IEPP, 2021; Rico, 2023). Precisamente estos retos coinciden con los objetivos y fines de la EE ampliada. Entre las acciones realizadas por el IEPP hasta la fecha, destaca la elaboración de un conjunto de cuatro guías (Tabla 10), que suponen un marco de referencia y orientación para el desarrollo de la evaluación en la AGE, si bien no son en ningún caso de obligado cumplimiento. Previamente la AEVAL publicó cinco guías en materia de evaluación, tal y como queda recogido en la tabla 8. De hecho, uno de los mayores logros de AEVAL fue el haber sido capaz de diseñar, en un plazo de tiempo relativamente corto, una metodología de evaluación consistente, compleja, plural, adaptable a los distintos objetos, integral y, sin duda, pragmática (Rico, 2023). Ésta fue plasmada en las guías mencionadas. Entre las guías elaboradas por el IEPP se encuentra la de evaluabilidad de intervenciones públicas, en la que se expresan los fundamentos conceptuales y la propuesta metodológica del IEPP en materia de EE. Es por ello que esta guía se reconoce como un documento esencial para la investigación. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 107 Tabla 10. Guías de evaluación de políticas públicas publicadas por el IEPP y por la AEVAL. Guías publicadas por el IEPP • Guía de evaluabilidad de intervenciones públicas. 2020. • Guía de evaluación de resultados de políticas públicas. 2020. • Guía de evaluación de diseño de políticas públicas. 2020. • Guía de evaluación de implementación de políticas públicas. 2020. Guías publicadas por la AEVAL • La función evaluadora. Principios orientadores y directrices de actuación en la evaluación de políticas y programas. 2009. • Fundamentos de evaluación de políticas públicas. 2010. • Guía práctica para el diseño y la realización de evaluaciones. 2015. • Guía metodológica para el desarrollo de procesos de planificación de políticas públicas en el ámbito sectorial. 2016. • Metodología de evaluación y seguimiento de la transparencia de la actividad pública. 2016. Fuente: elaboración propia. En cuanto a la actividad evaluadora del IEPP es preciso subrayar el reducido número de evaluaciones hechas en sus cuatro años de vida. Además, las evaluaciones realizadas no lo han sido de planes estratégicos ni intervenciones públicas relevantes por alcance y/o dotación presupuestaria, de modo que los resultados e impactos de las principales políticas y estrategias no se hacen visibles a través de la acción evaluadora del IEPP. En el año 2020 el IEPP hizo la Evaluación Intermedia de la Estrategia Nacional Integral para personas sin hogar 2015-2020, por encargo de la Secretaría de Estado de Derechos Sociales. El objetivo de esta evaluación fue determinar el desarrollo y ejecución de las actuaciones de dicha estrategia, así como evaluar su diseño, implementación y resultados, con el fin de orientar la toma de decisiones sobre su rediseño. En el año 2021, realizó el Estudio diagnóstico de la evaluación en la AGE, que analiza la situación de la práctica de la evaluación en la AGE, siendo elaborado como trabajo de partida para la elaboración de la LIEPP. Finalmente, en el año 2022, llevó a cabo la Evaluación Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 108 intermedia del III Plan África, por encargo de la Secretaría de Estado de Asuntos Exteriores y Globales del Ministerio de Asuntos Exteriores, Unión Europea y Cooperación, con el objetivo de evaluar su eficacia. Como se observa, ninguna de las evaluaciones realizadas por el IEPP es una EE. Con anterioridad la AEVAL tampoco realizó EE. Entre los años 2007 y 2016, llevó a cabo un total de 48 evaluaciones, por encargo anual del Consejo de Ministros, pero ninguna de evaluabilidad. Dada la ausencia de experiencias de aplicación, en el siguiente apartado se contrasta la propuesta de EE del IEPP respecto a los principales modelos internacionales de EE desde un punto de vista conceptual y teórico. 3.1.2.2. Propuesta de evaluación de evaluabilidad del Instituto para la Evaluación de las Políticas Públicas. En el análisis comparativo de la concepción de la EE en los distintos organismos de la AGE y CCAA respecto a los modelos internacionales en la materia, se contrasta qué se entiende por EE, qué características se consideran en torno al concepto de EE, qué objetivos y fines se persiguen a través de la EE y qué metodología se propone aplicar. Se trata de concluir, en definitiva, si la EE se alinea, en cada caso, con el paradigma de la EE original o con el paradigma de la EE ampliada. El IEPP define evaluabilidad como un tipo de evaluación (Merino, 2007; IEPP, 2020b). Esta forma de conceptualizar la evaluabilidad se valora como positiva, dado que es coherente con los principales autores en la materia (Vedung, 1997; Dahler-Larsen, 2007; Trevisan & Walser, 2015). Sin embargo, se debe subrayar que esta consideración de la evaluabilidad como tipo de evaluación por parte del IEPP se limita a la expresión lingüística puesto que, en su desarrollo, se concibe como un instrumento o proceso de análisis (IEPP, 2020b), no un tipo de evaluación en sí. Así se evidencia en la Guía de EE publicada por el IEPP en 2020, señalándose que la EE es un “instrumento del campo de la evaluación”, un “proceso de análisis de distintas dimensiones de una intervención pública” o “un Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 109 análisis sistemático de las cuestiones relevantes de evaluabilidad” (IEPP, 2020b). En varios puntos, incluso, se hace referencia expresa a la EE como “análisis de evaluabilidad”. Además, se define como análisis “anterior a una evaluación posterior en profundidad” (IEPP, 2020b), evidenciando que la EE se concibe, en consecuencia, como tarea de carácter superficial. De hecho, se señala que la EE supone un conjunto de “pautas sencillas y rápidas”, así como de aplicación “en un plazo breve y a un coste bajo” (IEPP, 2020b). A este respecto también se señala que la EE es una herramienta que aporta valor añadido a la transparencia y rendición de cuentas, de lo que se deduce que no se concibe como parte de ésta, sino, en todo caso, como complemento o elemento adicional. Estas cuestiones son contrarias con los postulados de la EE ampliada, según la cual, en la actualidad, la EE, al orientarse a la conformación de sistemas de evaluación, debe contar con plazos y, sobre todo, recursos económicos amplios, dado su alcance (Dahler-Larsen, 2007, 2013). En esta misma línea, el cuestionario propuesto por el IEPP como herramienta para hacer una EE se denomina cuestionario de evaluabilidad, obviando la palabra evaluación. De esta consideración de la EE como análisis se deriva la interpretación de la EE desde el IEPP como una herramienta técnica (IEPP, 2020b), ajena a la dimensión política propia de toda evaluación. Esta idea se constata además en el texto de la Guía de EE del IEPP, donde se indica que el resultado de una EE debe ser un “documento técnico de evaluabilidad” (IEPP, 2020b). Como se incidió en la introducción de esta tesis la evaluación en general y, la EE en particular, tienen una marcada dimensión política. Asimismo, por parte del IEPP se asume la idea de la evaluabilidad como paso previo, o “análisis de carácter previo” (IEPP, 2020b). Se señala que la EE se realiza “antes de una evaluación posterior, ya sea ésta intermedia o expost”. Esta característica es contraria a los postulados de la EE ampliada que, de acuerdo con Thurston y Potvin (2003), representa una evaluación continua. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 116 procedimiento para ello, más allá de recomendar la realización de un cuestionario de satisfacción de los actores participantes en la EE. 3.2. La evaluación de evaluabilidad en la administración pública autonómica. Analizada la presencia de la EE en la AGE, se hace lo propio en este punto con respecto a la administración pública autonómica. En este nivel administrativo se puede indicar que, tal y como señala Zúñiga-Guevara (2022), todas las CCAA contemplan la evaluación en su marco jurídico, si bien con un grado de avance bastante desigual. De este modo, se evidencia que hay CCAA que tienen un desarrollo destacable, frente a otras que apenas hacen una mención a la herramienta (Trias & Zúñiga-Guevara, 2024). Con todo ello, en general se evalúa poco a nivel autonómico. Atendiendo a los datos del Barómetro de la Evaluación de las Políticas Públicas (Las Naves, 2021) así lo considera el 86,8% de los profesionales del sector de la evaluación. En esta tesis son tres las CCAA objeto de este estudio, Andalucía, Cataluña y Navarra, puesto que son las únicas que reconocen y consideran la EE entre sus tipologías de evaluación. En los casos de Cataluña y Navarra, como ocurre en la AGE, se analiza la presencia de la EE desde un punto de vista teórico, en sus manuales y guías de referencia, dado que no han realizado ninguna evaluación de este tipo. En el caso de Andalucía, además de esta revisión teórica, se analiza también la experiencia empírica en la materia, gracias a la existencia de numerosas evaluaciones de evaluabilidad por parte de esta comunidad, realizadas todas ellas de manera interna por el IAAP. En concreto se contrastan los resultados esperados de una EE según los modelos internacionales en la materia con los resultados alcanzados mediante las EE realizadas por parte del gobierno andaluz. El número total de casos estudiados asciende a 26 EE. Andalucía, Cataluña y Navarra no sólo son consideradas en este estudio por el motivo señalado, sino que también se entienden en investigaciones recientes (Trias & Zúñiga-Guevara, 2024), como las CCAA más reconocidas y Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 117 reconocibles en el campo de la evaluación. Esto se explica, entre otros factores, por su elevado grado de autonomía política y administrativa, por sus diferentes y singulares trayectorias políticas, por sus avances en materia de institucionalización de la evaluación, pese a no contar aún con un sistema como tal, y por su peso político en el conjunto del país (Trias & Zúñiga-Guevara, 2024). Otras CCAA están empezando a impulsar un sistema de evaluación propio, si bien todavía resultan experiencias muy incipientes. A este respecto cabe destacar, por un lado, Castilla y León, que aprobó a finales de 2023 el Decreto 18/2023, de 28 de septiembre, por el que se regula la aplicación de la evaluación de políticas públicas en la Administración de la Comunidad de Castilla y León, con el objetivo de implantar un sistema de evaluación. Por otro lado, Canarias, que puso en marcha en octubre de 2024 un grupo de trabajo para elaborar el Plan de Evaluación de Políticas Públicas de Canarias, con el fin de impulsar la cultura de la evaluación en las distintas áreas del gobierno canario. Este análisis autonómico se estructura en tres apartados. Uno primero a través del que se expone el marco institucional y normativo de la evaluación de las tres CCAA referidas. A continuación, un segundo apartado, en el que se contrasta la consideración conceptual de la EE de las tres regiones. En ambos apartados se hace un análisis conjunto, de una parte, a fin de evidenciar los puntos divergentes y convergentes en el desarrollo y aplicación de la evaluación en general por parte de las tres AAPP; y, de otra, por su confluencia en la forma de entender la EE. Finalmente, se estudia la aplicación efectiva de la EE en Andalucía. 3.2.1. Marco institucional y normativo de la evaluación en Andalucía, Cataluña y Navarra. La evaluación de las políticas públicas tiene distinto origen a nivel autonómico: la aprobación de una ley de evaluación, en el caso de Navarra; la creación de un organismo público autónomo al que se otorgan las competencias en evaluación, en el caso de Cataluña; y la atribución de funciones evaluadoras a un organismo público, concretamente el IAAP, en el caso de Andalucía. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 118 Navarra fue la primera CCAA, y hasta ahora única, en contar con un marco normativo específico en materia de evaluación, con la aprobación en el año 2005 de la Ley Foral 21/2005, de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos. Esta Ley establece los criterios y líneas de actuación esenciales para el desarrollo de la práctica evaluativa en Navarra. Supone un importante hito para el avance de la evaluación en la región y fuente de inspiración para otras CCAA. Al amparo de la citada Ley, se constituyó un marco común que orienta la actividad de evaluación en cualquier organización del sector público de la Comunidad Foral. Las características clave del modelo navarro son la voluntariedad, de forma que cada organización pública decide cuándo y qué evaluar. Asimismo, es elemento identitario la flexibilidad y posibilidad de ser ampliable, entendida como capacidad de crecer y adaptarse a nuevas realidades, incorporando líneas de actuación. Navarra se dota además de una estrategia articulada en seis ejes (Gobierno de Navarra, 2011). Como primer eje se establece el marco normativo, que agrupa el conjunto de desarrollos normativos posteriores a la entrada en vigor de la Ley Foral 21/2005 y los acuerdos adoptados por la Comisión Foral. Se constituyen como el soporte jurídico sobre el que se asienta la evaluación en Navarra. Un segundo eje viene representado por el marco organizativo e infraestructural, que integra el conjunto de organismos responsables de coordinar y liderar el proceso de evaluación, así como las infraestructuras técnicas y de soporte para la realización de las funciones de seguimiento y control de la aplicación de la citada Ley Foral 21/2005. Como tercer eje se define un marco de capacitación y sensibilización, orientado a la puesta en marcha de acciones de sensibilización y formación del personal de las AAPP navarras encargado de aplicar los programas de actuación y medidas establecidas en la Ley. Adicionalmente, un cuarto eje, viene representado por un marco de difusión, que contempla las acciones de comunicación, tanto de ámbito interno como externo, de las actuaciones y resultados en materia de evaluación. Un quinto eje supone un marco metodológico, dirigido a la elaboración de directrices y pautas. Finalmente, un sexto eje, marco de cooperación, que centra su atención en la creación de vínculos y redes de colaboración con el fin de canalizar la presencia e intervención de las principales instituciones en materia de evaluación. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 119 Cataluña, por su parte, cuenta con uno de los más elevados grados de institucionalización de la evaluación (Lázaro, 2012; Paja, 2017; Trias, 2021; Cerrillo, 2023), situación que se explica esencialmente por la presencia del Consorcio Instituto Catalán de Evaluación de Políticas Públicas (Ivàlua), constituido en el año 2006. Ivàlua es una entidad de derecho público de carácter asociativo y voluntario, de duración indefinida, con capacidad para crear servicios, gestionarlos y realizar actividades, según ACUERDO GOV/32/2021, de 23 de marzo, de 2021. Atendiendo a sus estatutos, el Consorcio está formado por tres miembros, como son la Administración de la Generalitat de Cataluña, la Diputación de Barcelona y la Universidad Pompeu Fabra. La presencia universitaria otorga a Ivàlua, a priori, un importante aporte académico y de independencia. Su misión es la promoción de la evaluación de políticas públicas entre las AAPP catalanas, las entidades sin ánimo de lucro que persigan fines de interés público y entre la ciudadanía en general. Ivàlua es el único organismo público autonómico en España dedicado al impulso y desarrollo de la evaluación (Paja, 2017), siendo central en Cataluña. Las funciones de Ivàlua son diversas, según se expone en el artículo 4 de sus estatutos. Por un lado, evalúa cualquier tipo de intervención pública por iniciativa propia, de acuerdo con su presupuesto anual, por encargo de AAPP y de entidades sin ánimo de lucro. Asimismo, realiza actividades de formación sobre evaluación de políticas públicas. Por otro lado, es destacable el asesoramiento de Ivàlua a AAPP, a través del diseño de instrumentos de evaluación, la detección de temáticas de interés y la producción de información general para el desempeño de la práctica evaluativa por terceros. Entre dicho asesoramiento se encuentra la tarea de la EE de programas y políticas de terceros, lo que justifica la consideración de Ivàlua en esta tesis. A estas funciones Ivàlua suma la difusión de resultados de evaluaciones, para lo cual cuenta con un repositorio web. Este repositorio es un proyecto conjunto de Ivàlua y la Universidad Pompeu Fabra, que tiene el objetivo de contribuir al impulso de la cultura de la evaluación, difundiendo el conocimiento generado a través de las evaluaciones realizadas. El repositorio recoge de forma sistemática evaluaciones de políticas públicas llevadas a cabo en Cataluña, ya sea por parte de las AAPP o por parte del tercer sector social. Actualmente hay un total de 232 evaluaciones, de 82 instituciones evaluadoras, tanto públicas Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 120 como privadas. Ofrece un resumen de las principales características y resultados de cada evaluación, así como de las conclusiones y recomendaciones formuladas por sus autores. En este repositorio no hay ninguna EE, debido a que Ivàlua no ha realizado evaluaciones de este tipo hasta la fecha. Es por este motivo por el que, en este apartado, se analiza la consideración de la EE por parte de la Generalitat de Cataluña respecto a los modelos internacionales desde un punto de vista exclusivamente conceptual y teórico. Junto a Ivàlua también juega un papel destacado en la expansión de la evaluación en Cataluña el Área de Evaluación Económica de Políticas Públicas del Departamento de Economía y Hacienda de la Generalitat (Trias & ZúñigaGuevara, 2024), área que se crea mediante el Decreto 38/2014 de 25 de marzo, de reestructuración del Departamento de Economía y Conocimiento. Desde esta área se realizan esencialmente evaluaciones económicas de políticas públicas, en términos de coste-beneficio; e informes de impacto económico y social de políticas públicas. En tercer término, Andalucía tiene igualmente un avance relevante en materia de evaluación. Presenta un impulso inicial desde el ámbito universitario, en los primeros años de este siglo, de la mano de los Profesores Carlos Román y José Luis Osuna (Trias & Zúñiga-Guevara, 2024), que trabajaron por incorporar la evaluación en la Ley Orgánica 2/2007, de 19 de marzo, de reforma del Estatuto de Autonomía para Andalucía. En particular en su artículo 138, referido precisamente a la evaluación de políticas públicas, que indica que la ley regulará la organización y funcionamiento de un sistema de evaluación de las políticas públicas. También hay un antecedente en la Ley 9/2007, de 22 de octubre, de Administración de la Junta de Andalucía, se indica en su artículo 6, el compromiso con la mejora continua de los servicios de la administración a través de los sistemas de calidad y evaluación aprobados por el Consejo de Gobierno, orientados al logro de la excelencia en la gestión. A estas referencias se suma la Ley 1/2014, de 24 de junio, de Transparencia Pública de Andalucía, en cuya exposición de motivos se indica que la evaluación de programas y políticas públicas se reconoce como un instrumento operativo para cumplir objetivos de transparencia (PérezDomínguez, 2019). En concreto, en su artículo 12 se dice que “se considera evaluación de políticas públicas el proceso sistemático de generación de Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 121 conocimiento encaminado a la comprensión integral de una intervención pública para alcanzar un juicio valorativo basado en evidencias respecto de su diseño, puesta en práctica, resultados e impactos” y se añade que “su finalidad es contribuir a la mejora de las intervenciones públicas e impulsar la transparencia y la rendición de cuentas”. La Ley 7/2017, de 27 de diciembre, de Participación Ciudadana de Andalucía, también reconoce la importancia de la evaluación. Actualmente Andalucía está desarrollando una ley autonómica de evaluación. Ésta se encuentra en fase de borrador. Junto al distinto origen y/o detonantes del ejercicio evaluativo visto previamente, se constata también un desarrollo dispar. Así, en el caso de Navarra la evaluación ha atravesado tres etapas: una primera de impulso inicial, gracias a la referida ley autonómica, entre 2005 y 2011; una siguiente de escaso desarrollo de la acción evaluadora, fruto de los recortes presupuestarios entre 2011 y 2015; y una tercera, hasta el momento actual, de nuevo avance de la evaluación. Por su parte, Cataluña presenta una evolución más sostenida y regular en el tiempo del desarrollo de la evaluación, desde la creación de Ivalua en 2006 hasta el momento presente. Finalmente, Andalucía también presenta un desarrollo constante, si bien más reciente, desde el año 2015, cuando se atribuyen al IAAP funciones de evaluación. En ningún caso se dispone de datos oficiales que permitan evidenciar adecuadamente las fases más activas en materia de evaluación respecto a las más regresivas. El caso navarro es un claro ejemplo de falta de linealidad. En este sentido, atendiendo a Trias y Zúñiga-Guevara (2024), se pueden distinguir tres etapas en el desarrollo de la actividad evaluadora en la Comunidad Foral. La primera, con origen en la mencionada Ley, hasta el periodo marcado por la crisis económico-financiera internacional. En este primer momento la evaluación gozó de un importante avance, que se concreta en publicaciones y guías de referencia, conformación de un registro de evaluaciones y establecimiento una red de profesionales de la evaluación. La segunda etapa, entre los años 2011 y 2015, que vino marcada, sin embargo, por una escasa acción evaluadora, fruto del recorte de presupuesto dirigido a la evaluación. Por último, se observa una fase de relanzamiento, que constituye la tercera etapa. Ésta se explica por la creación, en el año 2015, del Observatorio de la Realidad Social de Navarra, entidad que fomenta la evaluación, aunque limitándose a políticas de carácter Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 122 estrictamente social. Desde el año 2023 las competencias en evaluación recaen de manera más destacada en la Dirección General de Planificación, Coordinación, Innovación y Evaluación de Políticas Públicas, dentro del Departamento de Presidencia e Igualdad. Cataluña parece contar con un desarrollo más sostenido en el tiempo. Es cierto que también se vio condicionada la evaluación por los recortes presupuestarios derivados de la crisis financiera internacional de 2008. Pero la existencia de Ivàlua y, posteriormente, del Área de Evaluación Económica de Políticas Públicas del Departamento de Economía y Hacienda de la Generalitat, ha permitido disponer de una estructura orgánica estable. A este respecto, es relevante destacar ciertos logros que ambos organismos han logrado en el proceso de institucionalización de la evaluación, y que evidencian la buena salud de la evaluación en Cataluña (Lázaro, 2012; Cerrillo, 2023), tales como el programa PROAVA 14 , iniciativas como la comunidad COAVA 15 , la comisión interdepartamental CIAVA 16 o la inclusión de la evaluación de políticas en la Ley 3/2002, de Finanzas Públicas de Cataluña, a través del desarrollo de planes plurianuales de evaluación. En Andalucía, por su parte, se encomienda al IAPP el impulso de la planificación y evaluación de políticas públicas, mediante el Decreto 206/2015, de 14 de julio, por el que se regula la estructura orgánica de la Consejería de Hacienda y Administración Pública. En la disposición final segunda del citado 14 El PROAVA, Fondo de Promoción para la Evaluación de las Políticas Públicas, es un fondo interno competitivo creado y financiado por el Departamento de Economía, que tiene como finalidad el fomento de la evaluación en Cataluña. 15 La COAVA, Comunidad de Práctica de Evaluación de Políticas Públicas de la Generalitat de Cataluña, es una red de profesionales del sector público, que tiene como objetivo compartir conocimiento y experiencias sobre evaluación para impulsar su uso y desarrollo. 16 La CIAVA, Comisión Interdepartamental de Evaluación de Políticas Públicas, es un órgano colegiado tiene entre sus funciones coordinar los planes plurianuales de evaluación reconocidos en la Ley de Finanzas Públicas de Cataluña del año 2020. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 123 Decreto, se atribuye al IAAP, dentro de sus competencias y funciones, la evaluación de la calidad, eficiencia y desempeño de los Servicios Públicos, de conformidad con lo dispuesto en el artículo 4.2.ñ) del Estatuto del Instituto Andaluz de Administración Pública, aprobado por Decreto 277/2009, de 16 de junio, en la redacción dada por el Decreto 98/2014, de 10 de junio. Con anterioridad al 2015 la actividad evaluadora fue muy destacada, gracias a la labor de instituciones como el Instituto de Desarrollo Regional y la Universidad de Sevilla (Trias & Zúñiga-Guevara, 2024). Pero es a partir de esta fecha cuando desde el gobierno autonómico andaluz se decide impulsar la evaluación interna y trabajar por el desarrollo de un sistema autonómico propio en materia de evaluación de políticas públicas. En el año 2016 el IAAP creó el Área de Evaluación de Políticas Públicas, de forma funcional, no estructural, en el seno de la entonces Consejería de Hacienda y Administración Pública de la Junta de Andalucía. A dicha área se le encomendó la labor de formación e impulso de la acción en materia de planificación y evaluación de políticas públicas en Andalucía. En concreto, en el año 2019, el Decreto 99/2019, de 12 de febrero, por el que se establece la estructura orgánica de la Consejería de la Presidencia, Administración Pública e Interior, dispone que el IAAP ostenta la gestión de la evaluación de políticas públicas en Andalucía. Competencia que se renovó en el año 2022, a través del Decreto 164/2022, de 9 de agosto, por el que se establece la estructura orgánica de la Consejería de Justicia, Administración Local y Función Pública. Para dar respuesta a dicha encomienda el IAAP se dotó de tres objetivos estratégicos: promover una cultura de evaluación en la organización; articular los medios para implantar el sistema de evaluación; y evaluar políticas públicas (Zúñiga-Guevara, 2022). Como se ha evidenciado, cada una de las tres AAPP, sobre la base de la estructura y/o ámbito regulador del que se dotan, conciben la evaluación desde diferentes puntos de vista. Navarra establece un conjunto de principios de evaluación, tal y como se detallan en el artículo 4 de la Ley Foral 21/2005. Éstos son los principios de legitimidad democrática, legalidad, eficacia, eficiencia, economía, transparencia, prevención, celeridad, universalidad, responsabilidad, participación ciudadana, coordinación con otras AAPP, coherencia, simplicidad, comprensión, modernización y mejora continua. Todos Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 124 ellos, coherentes y compartidos con los principios más habituales en el campo de la evaluación a nivel internacional (Osuna & Márquez, 2000; Mideplan, 2018; United Kingdom Government, 2020; Rangarajan, 2023), así como con los señalados en la AGE. Como finalidad de la evaluación, en el artículo 8 de la Ley, se establece precisamente comprobar el grado de aplicación de los criterios y principios de evaluación referidos, junto con aquellos que se considere conveniente analizar. Por su parte, en el artículo 10 de la Ley, se completa el conjunto de fundamentos de evaluación, mediante la definición de los contenidos sobre los que puede versar una evaluación de políticas públicas. Estos son los problemas detectados y problemas que se pretenden resolver; objetivos que se pretende conseguir; resultados alcanzados; relación entre los tres elementos anteriores; distribución de los efectos; impactos que se han constatado, así como sectores sobre los que se han producido; medios jurídicos, técnicos y administrativos; y recursos económicos y humanos empleados. En el caso catalán, Ivàlua concibe la evaluación como la acción de analizar una determinada política, programa o intervención pública para responder a una pregunta relacionada con la problemática a la que el programa pretende resolver. De este modo se vincula la evaluación, en buena medida, con la función de proporcionar información y conocimiento, a fin de mejorar la política en cuestión. Por su parte, el Área de Evaluación Económica de Políticas Públicas del Departamento de Economía y Hacienda de la Generalitat orienta su acción hacia una evaluación de índole esencialmente económico. Esta evaluación económica pasa, en esencia, por estudiar los impactos de una determinada acción pública en comparación con los costes en los que se incurre. Esto es, si los beneficios se sitúan por encima de los costes y, en caso positivo, en qué medida lo hacen. En el caso andaluz, se atribuye a la evaluación, en su conjunto, una función técnica, o instrumental, bajo una concepción burocrática, administrativista y procesalista de la evaluación, alejada de su dimensión política y social (Pérez-Domínguez, 2019). De igual forma, la acción evaluativa del IAAP se orienta a la priorización del criterio de eficiencia de los recursos públicos y a la generación de datos, quedando desdibujada la valoración crítica de éstos (Pérez-Domínguez, 2019). Se pone de manifiesto así la relevancia Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 125 otorgada por la Junta de Andalucía a la función de control del gasto público y eficiencia de la ejecución presupuestaria de la evaluación, frente a otras funciones. El IAAP define un conjunto de principios de los que se dotan sus acciones evaluativas. Estos principios son la participación, la transparencia, la eficiencia, la innovación, el aprendizaje y la rendición de cuentas (IAAP, 2016). Asimismo, se definen como valores para la práctica evaluativa la integralidad de la acción del gobierno, una visión estratégica, la orientación hacia el valor público, coherencia de las acciones para que el efecto sea mayor y transparencia (IAAP, 2016). Estos principios y valores son coherentes y están alineados con los establecidos por los principales OI y manuales de evaluación a nivel internacional. Como objetivos de la evaluación, se reconocen promover una cultura de evaluación en la organización, articular los medios para implantar el sistema de evaluación y evaluar políticas públicas (IAAP, 2016). Como tipos de evaluación, se señala la evaluación de necesidades, evaluación exante, dentro de la cual se ubica la EE, la evaluación de diseño, el monitoreo y la evaluación expost, desglosada ésta en evaluación de resultados y evaluación de impactos. La Junta de Andalucía presenta, en definitiva, una política de evaluación coherente tanto con el resto de los organismos de la AGE y de la administración pública autonómica, como con los principios, criterios y fundamentos más reconocidos a nivel internacional en materia de evaluación. Si bien es cierto, como se ha reseñado, que la acción evaluativa del IAAP está más orientada al control de la eficiencia de los recursos públicos y a una concepción administrativista y procesalista de la evaluación. 3.2.2. Análisis teórico de las propuestas de aplicación de la EE en la administración pública autonómica española. En el nivel autonómico se define evaluabilidad, en términos generales, como análisis previo de las posibilidades que tiene una intervención pública de ser evaluada (Gobierno de Navarra, 2013; Ivàlua, 2017a). Más en detalle, se considera como proceso sistemático que permite identificar las condiciones favorables y desfavorables para la evaluación de una acción pública (IAAP, 2016), contribuyendo así a valorar las condiciones necesarias y propuesta de Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 132 del personal y en Ivàlua se alinea con las dimensiones de utilidad y viabilidad (Iválua, 2017a). Tabla 14. Dimensiones de las propuestas de EE de la Junta de Andalucía, Generalitat de Cataluña y Gobierno de Navarra. Junta de Andalucía Generalitat de Cataluña Comunidad Foral de Navarra Análisis de la evaluabilidad del diagnóstico Verosimilitud Calidad de la planificación Análisis de la evaluabilidad del diseño Análisis de la evaluabilidad del sistema de seguimiento Viabilidad Calidad del sistema de seguimiento Análisis de la evaluabilidad del contexto para la evaluación: compromiso, recursos y difusión Utilidad Claridad en los propósitos y utilidad esperada de la evaluación Viabilidad Recursos destinados a la evaluación Implicación del personal Fuente: elaboración propia, a partir de Gobierno de Navarra, 2013; Ivàlua, 2017a; IAAP, 2017. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 133 3.2.3. Aplicación de la evaluación de evaluabilidad en la Junta de Andalucía. En este apartado se contrastan los resultados alcanzados en el total de EE realizadas por la Junta de Andalucía, a través del IAAP, entre los años 2021 y 2023 17 con los resultados previstos o esperados de una EE (Tabla 15), atendiendo a los principales modelos de EE analizados en el marco teórico de este estudio. Tabla 15. Resultados esperados de una EE Resultados esperados de EE Modelo de EE en el que se reconoce el resultado RE1. Desarrollo de un modelo o teoría del cambio. • EE original. • EE participativa continua. • EE por componentes. RE2. Validación de un adecuado sistema de seguimiento orientado a la evaluación. • EE original. • EE participativa continua. • EE por componentes. RE3. Identificación de los intereses y propósitos en torno a la evaluación de los agentes involucrados en el programa. • EE original. RE4. Orientaciones para el desarrollo de procesos evaluativos. • EE original. • EE participativa continua. RE5. Plan de evaluación. • EE participativa continua. • EE por componentes. RE6. Plan de uso de los resultados de las evaluaciones. • EE por componentes. RE7. Ideas, normas y prescripciones orientadas al diseño de sistemas de evaluación. • EE 2.0. Fuente: elaboración propia, a partir de Wholey (1979, 2010), Rutman (1980), Smith (1989), Thurston & Potvin (2003), Dahler-Larsen (2013), Trevisan & Walser (2015). 17 Este periodo de tiempo se justifica por el hecho de que antes de 2021 no se hizo ninguna EE, mientras que las realizadas en 2024 se publican a final de año, no estando aún disponibles. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 134 El total de 26 EE realizadas, todas ellas hechas de manera interna por el IAAP, lo son de planes estratégicos de la Junta de Andalucía. Según se recoge en la tabla 16, a partir de la consulta de las memorias de actividades elaboradas anualmente por el IAAP, siete EE fueron hechas en 2021, ocho en 2022 y once en 2023. Se muestra de este modo como el desarrollo de la EE en Andalucía es un proceso muy reciente y, a la vez, creciente e intenso. Además de ser novedoso en el conjunto de las AAPP en España. Sin duda la tradición de planificación estratégica a largo plazo de la Junta de Andalucía, vinculada con las necesidades históricas de mejora en materia de desarrollo socioeconómico del territorio andaluz, explican el interés por su evaluación. Esencialmente por conocer si, en efecto, los planes estratégicos logran sus resultados y, en consecuencia, contribuyen al desarrollo de la Comunidad Autónoma. Esta tradición se concreta en planes como el Plan Andaluz de Investigación, Desarrollo e Innovación, entre otros muchos, asociados a una fuerte recepción de fondos comunitarios. En este contexto, la evaluabilidad se concibe por el IAAP (IAAP, 2017) como herramienta esencial en el área de evaluación de políticas públicas de la Junta de Andalucía, a modo de punto de partida en la elaboración de un plan estratégico (IAAP, 2017). En particular, se aplica entre las fases de elaboración y aprobación de dichos planes estratégicos (IAAP, 2017). Esta aplicación de la EE no responde a mandato alguno, sino al interés del gobierno andaluz por incorporar la evaluación a su quehacer diario. Tabla 16. Evaluaciones de evaluabilidad realizadas por el IAAP, por año. Plan estratégico que ha sido objeto de una EE en Andalucía Año I Plan de Igualdad de la Administración General de la Junta de Andalucía 20232027. 2023 III Plan de Infancia y Adolescencia de Andalucía 2023 – 2027. 2023 I Estrategia de atención a personas sin hogar en Andalucía 2023 – 2026. 2023 Plan de Transporte Metropolitano Huelva. 2023 Plan de Transporte Metropolitano Jaén. 2023 Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 135 Plan de Transporte Metropolitano Granada. 2023 Estrategia de Promoción de una Vida Saludable en Andalucía. 2023 Estrategia de especialización Inteligente para la Sostenibilidad de Andalucía 2021-2027, S4 2023 I Plan de Familias en Andalucía. 2023 I Plan Estratégico Integral de voluntariado y participación ciudadana en Andalucía 2023-2026. 2023 I Estrategia para la igualdad de trato y no discriminación de las personas LGTBI y sus familiares en Andalucía 2023-2027. 2023 Plan Estratégico de Impulso y Modernización de la Economía Social en Andalucía. 2022 Plan Estratégico de los Recursos Humanos de la Administración General de la Junta de Andalucía. 2022 Plan de Transporte Metropolitano Málaga. 2022 Plan de Transporte Metropolitano Campo de Gibraltar. 2022 Plan estratégico para la igualdad de mujeres y hombres en Andalucía 2022-2028. 2022 Estrategia de Internacionalización de la Economía Andaluza 2021-2027. 2022 Plan Estratégico de Servicios Sociales de Andalucía (2022-2026). 2022 II plan de igualdad de oportunidades entre mujeres y hombres en la actividad agraria, pesquera y medioambiental de Andalucía-horizonte 2027. 2022 Estrategia Energética de Andalucía 2030. 2021 Estrategia I+D+i de Andalucía 2021-2027. 2021 III Plan de Acción Integral para las Personas con Discapacidad en Andalucía. 2021 Plan de Infraestructuras del Transporte y Movilidad de Andalucía 2021-2027. 2021 Plan Estratégico de Evaluación del Sistema Educativo. 2021 Plan Estratégico de la Juventud en Andalucía. 2021 Plan META 2021-2027 (Turismo). 2021 Fuente: elaboración propia, a partir de las Memorias de Actividades del IAAP. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 136 Estos planes tienen, en todos los casos, un carácter plurianual. En particular, 22 de los 26 un periodo de vigencia igual o superior a 5 años, 7 de los cuales hasta el año 2030. Sólo 4 presentan una vigencia de cuatro o tres años. Esta amplia extensión en el tiempo evidencia la relevancia e importancia de dichas estrategias en el conjunto de la acción pública de la Junta de Andalucía. Atendiendo al ámbito geográfico 20 tienen como espacio de actuación toda la Comunidad Autónoma de Andalucía, mientras que los 6 restantes tienen una dimensión local. En concreto, estos últimos, se dirigen a las áreas metropolitanas de Gibraltar, Granada, Huelva, Jaén y Málaga. Por otro lado, 21 de los planes suponen una primera edición, de modo que, en su mayoría, constituyen nuevas herramientas de acción del gobierno andaluz. Únicamente 5 suponen un segundo, o superior, periodo estratégico. En todo caso se debe señalar que el hecho de ser nuevos planes no quiere decir que con anterioridad no se dirigieran recursos y actuaciones o programas específicos a la población destinataria, sector y/o territorio en cuestión. La situación pasa por contar ahora con un plan estratégico como tal. En este sentido es preciso subrayar cómo por parte de los gobiernos se prioriza la aprobación y desarrollo de nuevas estrategias, más que dar continuidad a las ya existentes, dado que éstas normalmente fueron definidas por gobiernos anteriores, en muchos casos, incluso, de distinto color político. Si bien todas ellas son estrategias impulsadas por una consejería, se atribuye también a otras la competencia de acciones o medidas concretas. En total las estrategias objeto de EE son lideradas por 13 de las 15 Consejerías que actualmente componen la estructura organizativa de la Junta de Andalucía 18 . A la Consejería de Inclusión Social, Juventud, Familias e Igualdad le competen 9 de los 26 planes evaluados; 6 corresponden a la Consejería de Fomento, Articulación del Territorio y Vivienda; 2 a la Consejería de Universidad, 18 La únicas dos Consejerías cuyos planes estratégicos no han sido objeto de alguna EE por parte del IAAP han sido la Consejería de Cultura y Deporte y la Consejería de Sostenibilidad y Medio Ambiente. Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 137 Investigación e Innovación; y 1 a cada una de las siguientes Consejerías: Agricultura, Pesca, Agua y Desarrollo Rural; Justicia, Administración Local y Función Pública; Turismo y Andalucía Exterior; Salud y Consumo; Desarrollo Educativo y Formación Profesional; Industria, Energía y Minas; Economía, Hacienda y Fondos Europeos; Empleo, Empresa y Trabajo Autónomo; Presidencia, Interior, Diálogo Social y Simplificación Administrativa. Atendiendo al sector de intervención, de acuerdo con la clasificación de los tipos de políticas públicas de Pastor (2014), predominan las políticas sociales, un total de 13. Resulta de interés recordar que la mayor parte de las evaluaciones que se hacen en España lo son precisamente de este tipo de políticas (IEPP, 2021; Las Naves, 2021). Este predominio sin duda invisibiliza los resultados y alcances de otras políticas que son menos evaluadas. Y genera un discurso, en materia de comunicación, que parece limitar el campo de acción de la evaluación en el ámbito social. En segundo término, hay 6 estrategias del sector transporte e infraestructuras; 2 correspondientes al campo de la investigación, innovación y desarrollo; y 5 referidas a otros sectores, como son sector público, sector exterior, turismo, energía y economía social. Según las personas destinatarias, las estrategias son muy diversas, dado que se dirigen a muchos y distintos colectivos y/o grupos de población, tales como personas con discapacidad, personas sin hogar, adolescentes, infancia, mujeres, personas LGTBI+, personal público, empresas (en todas sus formas jurídicas y tamaño) y ciudadanía en general. En síntesis, las 26 políticas objeto de EE por el IAAP son intervenciones públicas estratégicas; de carácter plurianual; dirigidas en su mayor parte (20 de 26) a todo el territorio andaluz; impulsadas por un total de 13 de las 15 Consejerías de la Junta de Andalucía; en su mayoría suponen una primera edición de la estrategia en cuestión (21 de las 26); con un predominio de las políticas sociales (el 50% de las estrategias evaluadas); y una amplia diversidad de personas destinatarias. Tal y como se ha señalado, se analizan en los siguientes apartados los resultados alcanzados en materia de EE en las 26 estrategias evaluadas por el IAAP, en relación con los resultados esperados atendiendo a los principales modelos en la materia (Tabla 15). Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 138 3.2.3.1. Validación de la teoría del cambio. Un primer resultado esperado o previsto de una EE es la formulación o reformulación de la teoría del cambio o modelo del programa. En la totalidad de los planes estratégicos evaluados por el IAAP hay un modelo o teoría del programa, en tanto disponen de un diagnóstico y de un marco estratégico de referencia. De una parte, todas las estrategias evaluadas cuentan con un amplio y completo análisis de la realidad, o diagnóstico de partida. En los documentos estratégicos analizados, los diagnósticos se presentan en distintos formatos, principalmente análisis DAFO. Recogen un detallado estudio, tanto cuantitativo como cualitativo e, incluso, incorporan árboles de problemas, causas y consecuencias de las realidades que justifican la puesta en marcha de las intervenciones públicas. Por otra parte, todos los planes identifican la situación o escenario al que se quiere llegar. Esta situación futura, o deseable, se articula en todos los casos en, al menos, tres niveles estratégicos. Un nivel superior, de objetivos estratégicos; un nivel intermedio, de objetivos específicos u operativos del programa; y un nivel inferior, de acciones o actuaciones concretas. Además, se evidencia la coherencia interna entre los diagnósticos y las estrategias, en gran medida gracias a matrices de correspondencia entre problemas y objetivos. Se encuentran así los planes evaluados por el IAAP alineados con las lógicas de planificación más reconocidas a nivel internacional, al menos en un nivel formal (Funnell & Rogers, 2011; Voguel, 2012; Rogers, 2014). Tradicionalmente estos niveles son los representados por los productos, resultados e impactos (Voguel, 2012; Rogers, 2014; Gertler et al., 2017). En este sentido la EE, tal y como se indica además de manera expresa en los planes analizados, ha permitido validar la existencia de esta teoría del programa en la totalidad de planes. Esta tarea de validación se entiende como positiva, dado que gracias a ella se acredita un determinado nivel de calidad de las estrategias evaluadas. Pero es preciso señalar que los modelos de EE detallados en el marco teórico de esta tesis establecen que la EE debe ser parte del proceso de planificación de Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 139 las estrategias, en tanto debe permitir alcanzar como logro un modelo de programa. Es decir, que uno de los resultados de la EE es el propio diseño de las estrategias o reformulación de éstas (UNICEF, 2019). Sin embargo, como se ha evidenciado, en el caso andaluz, la EE se emplea para validar el diseño, pero no para formular o reformular la teoría del cambio. Además, desde este punto de vista, pese a contar las estrategias con una resolución favorable o positiva en los informes de evaluabilidad del IAAP, se identifican ciertas debilidades en materia de planificación de los planes estratégicos evaluados, que precisamente deberían haber sido corregidas a través de la EE. En primer lugar, pese a destacarse la cuestión de género en todos los documentos consultados, en ningún caso se hace una planificación con perspectiva de género. Las estrategias evaluadas no cuentan ni con diagnósticos de partida bajo la teoría de género (diferenciando entre problemas, necesidades y retos de mujeres y hombres), ni con una articulación de objetivos, líneas de acción y actuaciones siguiendo igualmente la teoría de género (esto es, objetivos y actuaciones orientadas a mujeres y a hombres). Se expresa, en todos los casos, la importancia del género, en coherencia y cumplimiento además de la Ley 12/2007, de 26 de noviembre, para la promoción de la igualdad de género en Andalucía. Se hace, en todos los documentos, un uso no sexista del lenguaje y se desagrega la información por sexo. Sin embargo, no hay una verdadera planificación, entendida ésta como la suma de diagnóstico y estrategia, con perspectiva de género y/o siguiendo la teoría de género (Guzmán & Pérez, 2007; CLACSO, 2022), ni con un enfoque transformador de género (ONU Mujeres, 2020). En este sentido sí se constata alguna excepción en materia de disponibilidad de indicadores de género, que permiten medir y evaluar bajo esta perspectiva. Es el caso del II plan sectorial de igualdad de oportunidades entre mujeres y hombres en la actividad agraria, pesquera y medioambiental de Andalucía horizonte 2027 que, además de desagregar la información por sexo, también recoge indicadores de género, en particular: índice de concentración, índice de feminización, brecha de género e índice de presencia relativa. Este grupo de indicadores se valora como positivo, dado que sí permite una medición Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 140 y evaluación adecuada por cuestión de género. Como es obvio, sería deseable que el conjunto de planes estratégicos contase también con indicadores de esta índole. A través de una EE se debe subrayar esta cuestión. En segundo término, se observa un carácter esencialmente declarativo tanto en objetivos estratégicos como en objetivos intermedios, es decir, están redactados de una manera abierta, general y ambigua, dando lugar a posibles equívocos e interpretaciones subjetivas. Esta situación se constata en 21 de los 26 de los planes estratégicos evaluados. Asimismo, se constata la presencia de actuaciones de carácter declarativo, consideradas así porque no se indica cómo o a través de qué acciones concretas, se pueden ejecutar o llevar a cabo. Este hecho es general en la totalidad de planes evaluados. En tercer término, los planes y programas presentan, en 16 de los 26 casos, un número de niveles estratégicos superior a los tres considerados en la teoría del programa. Este hecho provoca, para el caso de la evaluación: confusión, en tanto no se distingue claramente la denominada lógica de la intervención; solapamientos, puesto que los objetivos intermedios vienen a puntualizar y/o ampliar los objetivos estratégicos, pero no a desarrollar o articular éstos; y dificultades para la medición y el seguimiento, puesto que no todos los niveles estratégicos cuentan con indicadores. También hay líneas temáticas que únicamente sirven para aglutinar medidas o acciones concretas, no representando un nivel estratégico como tal, a ejecutar, medir y evaluar. Asimismo, se constata, la existencia en uno de cada cuatro planes y programas evaluados, de una única actuación, o medida, para el desarrollo de un objetivo. En la teoría del programa (Rogers, 2014; Ligero, 2016), cada nivel estratégico superior se vertebra en, al menos, dos inferiores. Es decir, cada objetivo estratégico precisa, como mínimo, de dos objetivos intermedios. Éstos, a su vez, requieren dos medidas o actuaciones concretas. En este sentido, como se ha puesto de manifiesto, hay casos en los que hay una única actuación para el logro de un objetivo. En cuarto lugar, también casi la totalidad de los planes evaluados (22 de los 26 casos), las medidas o acciones concretas se relacionan sin unir ni vincular con los objetivos específicos de nivel intermedio. Dicho de otro modo, para el logro de los objetivos estratégicos se relatan conjuntos de medidas, Capítulo 3. Desarrollo de la evaluación de evaluabilidad en la administración pública española 141 pero sin identificar la cadena lógica de consecución entre éstas y los objetivos específicos. Finalmente, se evidencia la existencia de medidas y objetivos que son hitos de gestión del programa, y no elementos estratégicos de acción. Esta realidad se aprecia en el 50% de los planes y programas evaluados. Se evidencian, en este sentido, elementos estratégicos que son realmente tareas previstas propias de la ejecución del programa, de cumplimiento dicotómico (sí/no), pero no dirigidas al logro de los objetivos específicos intermedios o de objetivos estratégicos, no contribuyen a la consecución de éstos. Todas estas circunstancias, mostradas como debilidades o aspectos mejorables de los diseños de las estrategias, invitan a la reformulación del modelo o teoría del programa de las intervenciones evaluadas, tal y como se propone por parte de todos los modelos de EE, tanto los propios del paradigma original, como del paradigma de EE ampliada. 3.2.3.2. Validación de indicadores y sistemas de seguimiento orientados a la evaluación. Un segundo resultado esperado de una EE se centra en valorar la disponibilidad de un adecuado sistema de seguimiento, en términos tanto de calidad como de cantidad de indicadores, para la evaluación de resultados e impactos. Contar con un conjunto de indicadores o sistema de seguimiento orientado a la evaluación es imprescindible para poder medir y conocer tanto el grado de cumplimiento de las intervenciones públicas, como su éxito, o fracaso, en términos de eficacia, eficiencia y efectos (Osuna & Márquez, 2000; Mideplan, 2018; United Kingdom Government, 2020; Rangarajan, 2023). A través de una EE, tal y como se expresa por parte de todos los modelos internacionales en la materia, tanto los considerados dentro del paradigma de EE original como los propios del paradigma de EE ampliada, se analiza la calidad de los sistemas de seguimiento existentes. Se trata de determinar si