Redes de cooperación público-privada y partenariados: retos y pistas para su evaluación. El caso de la Iniciativa Comunitaria Equal en Andalucía.

EXPERIENCIAS Y CASOS 161 Redes de cooperación público-privada y partenariados: retos y pistas para su evaluación. El caso de la Iniciativa Comunitaria Equal en Andalucía Juan Murciano Rosado Instituto de Estudios de Economía, Evaluación y Empleo, S.L. [email protected] Laura Porrini Instituto de Estudios de Economía, Evaluación y Empleo, S.L. [email protected] Carlos Bueno Suárez Instituto de Estudios de Economía, Evaluación y Empleo, S.L. [email protected] Carmen Vélez Méndez Universidad de Sevilla [email protected] Resumen En las sociedades actuales conviven realidades diversas, con problemas, expectativas y necesidades diferenciadas, cuyo tratamiento escapa a las políticas públicas tradicionales, verticalistas y generalistas. Esto impone la necesidad de pensar nuevos modelos de gestión que permitan optimizar la coordinación de políticas y recursos a escala de los territorios. Así, ha tomado fuerza un modelo de gestión de políticas sustentado en la colaboración institucional, erigiéndose como un nuevo modelo de gobernanza a escala territorial. En este artículo se sintetizan algunos retos y pistas para evaluar partenariados a la luz de las aportaciones teóricas existentes y de nuestra praxis profesional en evaluación, entre las que destaca la evaluación de la experiencia de Equal en Andalucía en materia de redes de cooperación. El análisis se centra en tres elementos: los criterios que deben guiar las evaluaciones, los ámbitos en los que debe centrarse la evaluación y las metodologías de análisis que las sustentan. Palabras clave C ooperación Institucional; partenariados; evaluación de políticas públicas; gobernabilidad; redes de actores. Public-private Cooperation Networks and partnerships: Challenges and clues for their evaluation. The case of EQUAL Community Iniciative in Andalucia Abstract In nowadays societies many realities interact, supposing the coexistence of different problems and needs; which treatment goes further the traditional public policies. This emphasizes the need to think about new management models which could improve the coordination of policies and resources. A management model based on institutional cooperation among key actors is earning its place among public administrators; becoming a new governance model at a local scale. In this article are summarized some challenges and clues to evaluate initiatives based on institutional cooperation; considering the theory available and the professional experience of the authors; like the evaluation of institutional nets created in the framework of the Equal Initiative in Andalucía. Three elements are emphasized: the criteria that traditionally orientate the evaluation processes, the new aspects in which the evaluation has to focus on in order to analyze institutional networks and the methodologies that support this kind of evaluations. Key words Institutional Cooperation, Public Policies evaluation, Governance, Nets of Key Actors. GAPP. Revista Gestión y Análisis de Políticas Públicas Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200 ISSN: 1134-6035 Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 162 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 1. OBJETIVOS Y PREMISAS SOBRE LA EVALUACIÓN DE REDES DE COOPERACIÓN En este artículo se analizan las redes de cooperación público-privadas bajo la fórmula de partenariados como objeto de evaluación. Para ello, se hace uso de nuestra experiencia en evaluación, aludiendo especialmente a diversos trabajos de seguimiento y evaluación de proyectos en el marco de la Iniciativa Comunitaria Equal en Andalucía 2001-2007 y, destacando entre ellos, la Evaluación de Equal en Andalucía en materia de redes de cooperación institucional (SAE, 2009a). Se parte de la premisa de que la eficacia e impactos de una intervención articulada bajo la fórmula del partenariado está condicionada, entre otros factores, por la pertinencia de dicho partenariado y la calidad de la participación de cada entidad a lo largo del proceso. En este sentido, se entiende que no es mejor cualquier partenariado que una acción aislada de una entidad y que, por tanto, la evaluación deberá pronunciarse sobre la necesidad y oportunidad del partenariado y sobre su contribución a los logros alcanzados. Este planteamiento nos ha llevado a construir una propuesta metodológica de evaluación específica y orientada a dar respuesta a las cuestiones relacionadas con el partenariado, realizando una revisión sobre los enfoques, métodos y técnicas que mejor se adaptan a dichos requerimientos. El enfoque de evaluación que aquí presentamos ha sido aplicado en la citada Evaluación de redes de cooperación en el marco de Equal en Andalucía, una evaluación ex post de impactos. Por ello, los factores clave que se identifican y las propuestas que se realizan se apoyan fundamentalmente en dicha evaluación, que puede considerarse de amplio alcance tanto por el volumen de experiencias de partenariados que aglutina como, sobre todo, porque la Iniciativa Comunitaria Equal constituyó un laboratorio a escala europea para el desarrollo de proyectos experimentales de empleo bajo la fórmula de partenariados y, por tanto, constituye un caldo de cultivo sin parangón para compartir aprendizajes derivados de las evaluaciones que obligatoriamente se realizaron en cada proyecto o aquellas que voluntariamente se impulsaron –como es el caso que aquí se presenta–. Debe entenderse, pues, como un trabajo que se sitúa en el ámbito de la sistematización de la experiencia evaluativa desarrollada y que se mueve en el terreno de la generación de hipótesis, que debieran ser contrastadas con posteriores evaluaciones de partenariados y comparadas con otras experiencias similares. Así, con este artículo nuestro objetivo es compartir los fundamentos metodológicos del proceso evaluativo desarrollado y sus resultados para, con los primeros, facilitar la contrastación y comparación con evaluaciones de otros casos de partenariados y, con los segundos, difundir los aprendizajes entre responsables públicos y profesionales que desempeñan su labor en el ámbito de las políticas públicas. REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 163 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 El artículo se ha estructurado en tres partes fundamentales. En la primera de ellas se presentan los elementos que justifican el surgimiento de modelos de gestión de las políticas públicas que se apoyan en la cooperación institucional bajo la fórmula de partenariados, especialmente los impulsados desde la Comisión Europea, y que determinan su importancia actual. En la segunda parte se presentan los requerimientos que se derivan de dichos partenariados en tanto que objeto de evaluación. En este sentido, se realiza un recorrido por el itinerario de la evaluación, destacando en cada fase y etapa las implicaciones concretas que se derivan. Este recorrido se apoya en referencias bibliográficas y en nuestra experiencia en la evaluación de Equal en Andalucía. En la tercera parte, se presentan recomendaciones de la evaluación objeto de estudio y algunas de las lecciones de la experiencia, orientadas a la detección de los factores clave para la construcción de partenariados eficaces junto a unas consideraciones finales sobre la experiencia. 2. JUSTIFICACIÓN E IMPORTANCIA ACTUAL DE LAS REDES DE COOPERACIÓN PÚBLICO-PRIVADAS BAJO LA FÓRMULA DE PARTENARIADOS COMO NUEVOS MODELOS DE GESTIÓN DE LAS POLÍTICAS PÚBLICAS En las últimas décadas, gran parte de las Administraciones Públicas de países desarrollados o en vías de desarrollo han estado sometidas a importantes procesos de cambio y modernización. En la mayoría de los casos, estos procesos se han visto acelerados, como apunta Osuna, a partir de la coexistencia de dos fuerzas que, desplegadas de manera simultánea, han potenciado el protagonismo de lo local (Osuna, 2006). Por un lado, se hace referencia a los procesos de integración que en los últimos años han tenido lugar a nivel mundial; lo cual –en mayor o menor medida– ha reducido las cuotas de poder que hasta entonces ostentaba el Estado Nacional, redistribuyendo ciertas prerrogativas en nuevos circuitos administrativos. Por otro lado, se alude a los procesos de descentralización político-administrati- va que han tenido lugar recientemente, que han dado como resultado una multiplicación de entes, organismos y dispositivos territoriales con crecientes competencias, lo que al tiempo que ha supuesto importantes avances en materia de acercamiento de la gestión pública a la ciudadanía, ha conllevado, en algunos casos, una duplicación de servicios y un solapamiento de recursos (Osuna, 2006). Asimismo, se observa en este panorama una atomización de la sociedad, en donde conviven realidades diversas, con problemas, expectativas y necesidades diferenciadas, cuyo tratamiento escapa a las políticas públicas tradicionales, verticalistas y generalistas. Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 164 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 CUADRO 1 Cambio y modernización en las Administraciones Públicas Descentralizacin poltico-administrativa a nivel nacional Necesidad de nuevos modelos de gestin y coordinacin Procesos de integracin a nivel mundial Multiplicacin de servicios Solapamiento de recursos Atomizacin de la sociedad Administracin Pblica Fuente: Elaboración propia. En este contexto, la reproducción de modelos de intervención articulados únicamente desde la esfera de la Administración Pública, termina atentando contra la integración misma de la sociedad; agudizando las diferencias entre los que están dentro y los que quedan fuera . Esta compleja realidad ha impuesto la necesidad de pensar nuevos modelos de gestión que permitan optimizar la coordinación de políticas y recursos a escala de los territorios, colectivos y sectores; generando sinergias que redunden en una potenciación de los procesos de desarrollo a escala local/territorial y en una mayor integración de la sociedad civil. Como afirma Alburquerque: “Esto supone introducir, al nivel más general, una lógica de funcionamiento que desplace enfoques centralistas por un diseño descentralizado de las políticas públicas, las cuales deben dotarse de mayor grado de horizontalidad, selectividad, territorialidad y capacidad de concertación con los actores sociales” (Alburquerque, 2008: 12 – módulo 3–). Lógicamente, la puesta en marcha de nuevos modelos de gestión requiere de una justificación y de una oportunidad que sólo se da en la presencia de factores endógenos y exógenos específicos. Tal como indica Chaqués Bonafont, “el legado histórico y la estructura institucional son una fuente de estabilidad, que limitan las posibilidades de llevar a cabo un cambio radical en la política” . Según esta autora, estos periodos de estabilidad son alterados, en ocasiones, por cambios drásticos, que pueden deberse a factores tales como el cambio tecnológico, el envejecimien- to de la población, o la universalización del sistema sanitario, entre otros (Chaques, 2009: 72). En este contexto, el modelo de las ventanas de oportunidad política puede explicar los cambios en la política y en los sistemas (Kingdon, 1995). Según este modelo, y sobre la base de la interpretación de Chaqués Bonafont, “el REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 165 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 cambio en una política pública es el resultado de una compleja interacción entre tres procesos distintos que en principio siguen cursos diferentes y no están relacionados entre sí –el proceso relativo a los problemas, el proceso relativo a cambios en el sistema político, y el proceso relativo a las ideas disponibles-” (Chaques, 2009: 73). Los cambios en estos tres procesos y su interacción crean, en algunas circunstancias, la ventana de oportunidad necesaria para que el cambio en la política pública ocurra. Este modelo explica, en parte, el paso de los modelos de gestión individual de las políticas públicas a los sustentados en la gestión asociada. En este caso, la ventana de oportunidad se abre a partir de la coexistencia de diversos factores –como la convivencia de una pluralidad de grupos étnicos en un mismo territorio o las nuevas dinámicas de inclusión/exclusión que impone la globalización– que producen un cambio radical en los problemas que afectan a las comunidades, que exigen soluciones gestadas desde la multidimensionalidad, a lo que se suma –entre otras cuestiones– los cambios en el sistema político-administrativo, producto de los procesos de integración que tienen lugar a nivel mundial y de la descentralización acaecida en el interior de las fronteras nacionales. Así, como una respuesta natural a estos procesos, emerge el modelo de gestión de las políticas locales sustentado en la colaboración institucional entre los actores clave de cada territorio; erigiéndose como un nuevo modelo de gobernanza a escala territorial . En este sentido, tal como se expresa en el Libro Blanco de la Gobernanza Europea, “la reforma de la gobernanza aborda la cuestión de cómo… (la administración)…utiliza los poderes que le otorgan sus ciudadanos. Se refiere a la manera en que las cosas podrían y deberían hacerse. El objetivo es abrir el proceso de decisión política para dotarlo de unos mayores niveles de integración y responsabilidad. Un mejor uso de sus poderes debería permitir una conexión más directa con los ciudadanos y dar lugar a unas políticas más efectivas… Esto significa que el modelo lineal consistente en decidir las políticas desde arriba debe ser sustituido por un círculo virtuoso basado en la interacción, en las redes existentes y en una participación a todos los niveles, desde la definición de las políticas hasta su aplicación” (Comisión de las Comunidades Europeas, 2001: 8-12) –pasando por su evaluación compartida–. Esta nueva gobernanza basada en la colaboración institucional supone, entre otras cosas, horizontalizar la gestión de las políticas a escala local, implicando y coresponsabilizando a nuevos actores en su diseño, ejecución y evaluación, lo que a su vez impactaría en una mayor complementariedad de recursos y en una maximización de las oportunidades de desarrollo del territorio, colectivo o sector. Asimismo, la inclusión de instituciones de diversa procedencia y objetivos en el ciclo de vida de las políticas públicas permitiría ampliar las bases de la democracia representativa; posibilitando el diseño e implementación de políticas mucho más adaptadas a las necesida- Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 166 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 des de los distintos grupos de ciudadanos y ciudadanas y que atienda, a su vez, a la diversidad dentro de cada grupo. La colaboración institucional en la gestión de las políticas implica un modelo de trabajo basado en la cooperación entre instituciones de distinta naturaleza que, en la medida de sus posibilidades, capacidades e intereses, acuerdan colaborar en el desarrollo de un proyecto conjunto; movilizando los recursos disponibles al servicio de la búsqueda de nuevas soluciones a las problemáticas de las comunidades actuales (SAE, 2007: 6). La puesta en marcha de un modelo de gestión basado en la colaboración institucional requiere, por tanto, la cooperación de entidades en el ámbito de un partenariado con el fin de dar un tratamiento integrado a las distintas problemáticas que motivan la cooperación. Así, en los últimos años, desde ámbitos diferenciados –muy directamente desde la Comisión Europea– se ha promovido la constitución de estos partenariados, integrados por agentes público-privados, como pilar a partir del cual gestionar políticas públicas en diversas materias (políticas de empleo, desarrollo rural y regional, o cooperación internacional, entre otras). Esta apuesta de la Comisión Europea por el partenariado como eje vertebrador y vía de apropiación de políticas de desarrollo territorial y local encuentra su germen en el programa experimental de Pactos Territoriales por el Empleo impulsado a finales de la década de los noventa y, posteriormente, se erigen como corolarios y ejemplos paradigmáticos las Iniciativas Comunitarias desarrolladas en el periodo de programación 2001-2007, entre ellas Leader + y Equal, en las que la construcción de dicho partenariado constituye una prerrogativa. Este nuevo modelo de gestión de las políticas públicas nos sitúa ante una concepción del desarrollo socioeconómico entendido como un proceso integral y participativo de un territorio con identidad propia, en el que las condiciones de vida de la sociedad local mejoran de manera sostenida tanto en lo económico, social, cultural, institucional y político de manera que se logre el bienestar generalizado de la población (OIT, 2008). A pesar de las ventajas que conlleva, la puesta en marcha de un modelo de gestión de estas características no constituye una tarea fácil; no sólo desde un punto de vista práctico –en tanto está condicionado por la voluntariedad de la participación de los actores locales-, sino también desde un punto de vista teórico-axiológico, pues supone que cada uno de estos actores esté dispuesto a ceder protagonismo a favor del todo, aminorando las asimetrías de poder y favoreciendo la construcción y el desarrollo de capacidades. Estas dificultades, junto a las visibles ventajas que acarrea la aplicación de estos modelos de gestión en partenariados requieren el desarrollo de metodologías de evaluación que posibiliten maximizar su potencial, contribuyendo de esta forma a la REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 167 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 generación de políticas públicas adaptadas a las necesidades actuales de cada contexto de intervención. 3. LA EVALUACIÓN DE LOS PARTENARIADOS: APROXIMACIONES Y PROPUESTAS Justificada la importancia actual de los partenariados, su consideración como objeto de evaluación es la que resulta especialmente relevante a los efectos de este artículo. La coparticipación de entidades en un partenariado genera un contexto en el que la propia participación y gestión emergen como factores clave del éxito y, en consecuencia, en determinantes del mérito o valor de las intervenciones sobre las que la evaluación debe emitir un juicio crítico y sistemático (Murciano, 2006). Por tanto, la evaluación de las intervenciones que se desarrollan bajo la fórmula de partenariado debe orientarse no sólo al enjuiciamiento de su eficacia, sino también al examen del propio partenariado como estrategia de desarrollo, en tanto que puede actuar como catalizador de dicho proceso en la medida que lo facilita o inhibe. En esta misma línea de pensamiento, y siguiendo al profesor Joan Subirats, “si aceptamos que el trabajo compartido, el trabajo en red, es hoy determinante en las políticas de inclusión, debemos reconocer que la búsqueda de estrategias para tener en cuenta el valor generado por la construcción de esa red, y la evaluación de su eficacia, su capacidad de aprendizaje conjunto y su fuerza para el futuro, son elementos cada vez más significativos en toda dinámica de evaluación de las políticas sociales actuales” (Subirats, 2005: 35-36). Y en esta búsqueda de estrategias de evaluación que permitan enjuiciar estas redes de gestión, hay que tener en cuenta el carácter netamente empírico del concepto de partenariado, que evoluciona progresivamente con los actores que lo construyen y perciben, y la necesidad de examinar su idoneidad según cada contexto (Handicap Internacional, 2002). Este carácter empírico y contextual del partenariado es el que configura a su evaluación como una oportunidad para “avanzar en la discusión de hipótesis más concretas relativas al papel de los contextos estructurales sobre los procesos de decisión, tanto los que se refieren a las percepciones y las reglas informales sobre el poder, como los que identifican los canales y formas de relación entre actores y su articulación dentro de las redes que forman” (Jordana, 2009: 11). Ahora bien, a pesar de la relevancia que posee hoy día la evaluación de los partenariados, no existe una propuesta evaluativa unánime, ni siquiera existen muchas referencias en la literatura especializada; por lo que se erige como uno de los retos actuales de la evaluación de políticas públicas (Osuna et al., 2006). Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 168 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 Entre las referencias que pueden guiar este análisis encontramos desde la psicología, el estudio de las coaliciones comunitarias (Martínez y Martínez, 2003), y desde otras disciplinas, los estudios y aproximaciones a la medición del capital social (Román, 2001; Román y Rodríguez, 2006), o el análisis de redes (Garrido, 2003) –objeto de un reciente monográfico de la Revista GAPP–. 3.1. Pistas para evaluar partenariados a partir del caso de Equal en Andalucía En los siguientes apartados se sintetizan retos y pistas para evaluar partenariados a la luz de las aportaciones teóricas existentes y de nuestra praxis profesional en evaluación. Tras presentar unos datos básicos sobre el modelo de gestión aplicado con Equal en Andalucía se toma como base la Evaluación de la experiencia Equal en Andalucía en materia de Redes de cooperación institucional (SAE, 2009a) para, a partir de ella, sistematizar las implicaciones que tiene que evaluar un partenariado y sus principales ámbitos de incidencia a lo largo de las principales etapas que se recorren en el itinerario de cualquier evaluación. En cada una de estas etapas, presentadas en los cuatro apartados siguientes, se muestran las opciones de método y técnicas seleccionados en dicha evaluación, justificándolos tanto en el propio contexto evaluativo como en la literatura existente en materia de evaluación de políticas públicas y, en la medida de lo posible, añadiendo extractos ejemplificadotes de los hallazgos del proceso evaluativo. CUADRO 2 (cont.) El caso de la Iniciativa Comunitaria Equal: la acción del partenarido como mecanismo de gestión La Iniciativa Comunitaria Equal, diseñada con el fin de promover nuevas maneras de combatir todas las formas de discriminación y desigualdad en relación con el mercado de trabajo, propuso el partenariado como plataforma desde donde gestar y gestionar soluciones innovadoras en materia de empleo e inclusión. El modelo de gestión de las políticas de empleo sustentado en la colaboración institucional entre actores clave emergió como una respuesta a las necesidades de coordinación y complementariedad que demandaba la realidad local ante la multiplicidad de instituciones, entidades y dispositivos que ha ido generando el proceso descentralización y la configuración de una administración multinivel. Concretamente, Equal proponía la conformación de partenariados –denominados en el marco de Equal agrupaciones de desarrollo (AD)– como pilar sobre el que construir proyectos experimentales de empleo en 6 áreas temáticas diferenciadas; otorgándoles a dichas AD la gestión del ciclo de vida de cada proyecto, desde su conceptualización y diseño hasta su evaluación. La agrupación de desarrollo consistía en un acuerdo establecido por los agentes clave de un territorio o sector con voluntad de cooperar en el desarrollo (o la búsqueda) de soluciones a los problemas de desigualdad en el mercado laboral. REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 169 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 CUADRO 2 (cont.) El caso de la Iniciativa Comunitaria Equal: la acción del partenarido como mecanismo de gestión En el marco de Equal en Andalucía se ejecutaron, en el periodo 2001-2007, 70 proyectos cuya gestión estuvo a cargo de 47 agrupaciones de desarrollo que contaron con la participación de 394 entidades, gran parte de ellas representadas por la Consejería de Empleo de la Junta de Andalucía. Si se excluyen aquellas que participaron en más de una AD, esta cifra se reduce a 286 entidades participantes; con una media de 9 entidades por partenariado. El 30% de entidades participantes fue representativa de algún colectivo o sector prioritario; y de ellas, el 40% fueron entidades de mujeres, el 21% asociaciones de desarrollo local, el 15% de personas con discapacidad y el resto representaron a personas inmigrantes, minorías étnicas y jóvenes, entre otros. Fuente: Extracto del resumen ejecutivo de la evaluación de la cooperación institucional experimentada con Equal en Andalucía (SAE, 2009a: 5). Sobre la base de la experiencia adquirida en el marco de la evaluación de la experiencia de Equal en Andalucía en materia de redes de cooperación1, entre los desafíos que impone la valoración de la red y la evaluación de su eficacia, al menos cuatro elementos deben ser considerados: 1. La oportunidad del propio partenariado como estrategia de desarrollo ad hoc ; 2. La necesidad de redefinir el concepto y el alcance de los criterios que tradicionalmente han guiado a los procesos evaluadores; 3. La conveniencia de repensar los ámbitos en los que debe centrarse la evaluación, y 4. La importancia de identificar metodologías de análisis adecuadas, capaces de responder a los requerimientos de información implícitos en evaluaciones de estas características. En la siguiente tabla se presentan estos elementos que deben tenerse en cuenta en una evaluación de procesos de gestión basados en la colaboración institucional, considerados como parte de las etapas que, en mayor o menor medida, marcan el itinerario de toda evaluación; y que serán abordados en profundidad en los epígrafes siguientes: 1 Para más información sobre la Iniciativa comunitaria Equal en Andalucía puede consultarse www.juntadeandalucia.es/empleo/equal Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 176 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 tiones la que marca el inicio del diseño de toda evaluación. Estas cuestiones suelen estar asociadas a los criterios de valor que facilitan la labor de enjuiciamiento evaluativo. Independientemente de la existencia y utilidad de criterios complementarios según cada contexto, y prescindiendo en un primer momento de su dialéctica con evaluaciones más comprensivas, un recorrido por la literatura actual en materia de evaluación permite observar un consenso sobre la existencia de cinco criterios básicos3: pertinencia, eficiencia, eficacia, impactos y viabilidad (MAEC, 2007). Son estos criterios principales los que, a continuación se analizan para el caso de los partenariados. • En el marco de un modelo de gestión basado en la colaboración institucional, la evaluación de la pertinencia deberá atender, también, a la adecuación de las entidades socias que conforman el partenariado a las especificidades de la población beneficiaria y al contexto de intervención; suponiendo la consideración de aspectos tales como el grado de participación del tejido institucional local o el nivel de representatividad de los socios del partenariado respecto a la población destinataria, entre otras cuestiones de importancia. • Si lo que se evalúan son proyectos y acciones gestionados desde la cooperación institucional, para la evaluación de la eficiencia será preciso considerar aspectos tales como la puesta en marcha de mecanismos destinados a promover la coordinación de los recursos de los socios del partenariado, en tanto que una superposición de recursos a nivel de partenariado restaría eficiencia a las acciones emprendidas. • Para la evaluación de la eficacia se torna clave definir en función de qué parámetros se considera que un modelo de cooperación ha sido eficaz ; siendo necesario considerar aspectos tales como: la operatividad del modelo de gestión implementado; la sostenibilidad de la acción del partenariado y la propia capacidad del modelo para alcanzar los objetivos planteados. • Tomando como referencia el Manual sobre partenariados , es posible afirmar que la cooperación institucional marca el paso de una lógica de proyectos a una lógica de estructuras, en donde no sólo es importante la eficacia del pro- 3 Las definiciones utilizadas han sido extraídas –y en su caso adaptadas– del “Manual de gestión de evaluaciones de la cooperación española” (MAEC, 2007: 56-57). Es en el campo de la cooperación internacional para el desarrollo donde con mayor arraigo se percibe el modelo de evaluación basado en estos cinco criterios. Con algunos matices (coherencia, relevancia y sostenibilidad), también se corresponde con los promulgados por la Comisión Europea para la evaluación de las políticas de desarrollo regional y de las actuaciones cofinanciadas por los Fondos Estructurales. REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 177 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 yecto, sino también la sostenibilidad de la estructura en el largo plazo (Handicap Internacional, 2002). • En el caso de políticas y/o programas gestionados desde la cooperación entre actores, la identificación de los impactos de las intervenciones deberá focalizar, además de las personas beneficiarias, en las instituciones socias del partenariado gestor; atendiendo a aspectos tales como la modificación de las modalidades de trabajo de cada socio, la articulación de nuevas metodologías de intervención pública, o la generación de procesos de aprendizaje interinstitucionales, entre otros aspectos. • A modo de ejemplo, destaca que en el marco de la evaluación de final de impactos de la Iniciativa Comunitaria Equal en Andalucía (SAE, 2009b) se identificaron 10 impactos principales de IC Equal en las instituciones participantes de los partenariados, entre los que destacan la creación de redes de trabajo interinstitucionales; la generación de experiencias, conocimientos y metodologías de trabajo; la formación de equipos técnicos especializados; y la generación de sinergias y puesta en común de recursos para el fomento del empleo a escala local. • En el ámbito de la cooperación institucional, el criterio de viabilidad se relaciona con la valoración de la continuidad en el tiempo de las plataformas de gestión creadas; haciendo referencia a la sostenibilidad misma del partenariado gestor, existiendo a este respecto discrepancias entre las percepciones recabadas entre los gestores y gestoras de proyectos Equal y otras experiencias (Kjaer, 2003) sobre la necesidad de dicha viabilidad4. A partir de esta particularización de los criterios de evaluación, se modifican, consecuentemente, las preguntas que informan cada criterio; siendo necesario complementar las cuestiones tradicionales con nuevos interrogantes con capacidad de arrojar luz sobre las especificidades del modelo de gestión y su incidencia en el cumplimiento de los objetivos planteados. A continuación se presenta una relación de preguntas “tradicionales” y “complementarias” para cada criterio de evaluación antes mencionado. 4 En relación a la viabilidad/sostenibilidad de las plataformas de gestión en partenariados creadas, Kjaer (2003) expresa que a pesar de que los outcomes sostenibles del partenariado son esenciales, la necesidad de la existencia del partenariado en perpetuidad no es necesariamente cierta. En lugar de esperar que las estructuras de los partenariados existentes sean fijas y sostenibles, puede ser más apropiado verlos como una oportunidad de cambio, caracterizados por su temporalidad y su naturaleza transitoria. Las actividades de los partenariados han de dirigirse a lograr un impacto sostenible, pero el partenariado en sí mismo puede disolverse, después de haber servido a su propósito, o de manera alternativa, transformarse en nuevas formas de operación con un cambio radical de objetivos, propósitos, o incluso socios. Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 178 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 CUADRO 7 Segunda etapa del proceso evaluador: redefinición de criterios CRITERIO PREGUNTAS DE EVALUACIÓN TRADICIONALES PREGUNTAS DE EVALUACIÓN COMPLEMENTARIAS (COOPERACIÓN INSTITUCIONAL) PERTINENCIA ¿Se corresponde la intervención con las prioridades y necesidades de la población beneficiaria? ¿Han cambiado las prioridades de los/as beneficiarios/ as o sectores desde la definición de la intervención? En caso afirmativo ¿se ha adaptado la intervención a dichos cambios? ¿Se corresponde la tipología de entidades que conforman el partenariado con las prioridades y necesidades de la población beneficiaria? ¿Representan las entidades que conforman el partenariado a cada subgrupo específico de beneficiarios/as? EFICIENCIA ¿Se han respetado los presupuestos establecidos inicialmente? ¿Se han respetado los cronogramas y tiempos previstos? ¿Ha sido eficiente la transformación de los recursos en los resultados? ¿Se han previsto mecanismos para coordinar los recursos (humanos, técnicos, financieros) de los que disponen los socios? ¿Se ha convocado a todos los actores clave del territorio a los fines de generar sinergias y evitar duplicidades? ¿Se han previsto mecanismos para flexibilizar las asignaciones presupuestarias, adaptándolas a las cambiantes problemáticas/necesidades de los/as beneficiarios/as? EFICACIA ¿Se han alcanzado todos los resultados previstos de la intervención? ¿Se ha alcanzado el objetivo específico de la intervención? ¿Se han logrado otros efectos no previstos? ¿Han encontrado dificultades los destinatarios para acceder a las actividades de la intervención? ¿Hubiera sido posible alcanzar los resultados de la intervención de no haber mediado la colaboración institucional? ¿Ha sido el proceso de gestión lo suficientemente operativo como para alcanzar los resultados de la manera más rápida y eficiente posible? ¿Se trata de un modelo de gestión sostenible en el tiempo? IMPACTO ¿Ha contribuido la intervención a alcanzar el objetivo global propuesto? ¿Se ha logrado un impacto positivo sobre los/as beneficiarios/as directos considerados? ¿Se han producido impactos positivos no previstos sobre los/as beneficiarios/as? ¿Se han producido impactos negativos no previstos sobre los beneficiarios? ¿Se han producido impactos negativos/positivos sobre las instituciones participantes del partenariado gestor (generación de procesos de aprendizaje, intercambio de experiencias, formación de equipos técnicos especializados, etc.)? ¿Se han modificado las modalidades de intervención pública? VIABILIDAD ¿Se mantienen los beneficios de la intervención una vez retirado el financiamiento? ¿Se siguen generando los recursos necesarios para el mantenimiento de las actividades? ¿Se ha influido positivamente sobre la capacidad institucional? ¿Se ha actuado sobre la desigualdad de género? ¿Se ha promovido un progreso tecnológicamente apropiado? ¿Se ha velado por la protección de medio ambiente? ¿Se han previsto mecanismos para mantener la acción del partenariado en el tiempo? ¿Se siguen generando los recursos necesarios para el mantenimiento de la acción del partenariado? Fuente: Elaboración propia. REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 179 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 3.4. Nuevos ámbitos de evaluación La valoración de políticas o programas gestionados desde la acción de un partenariado impone centrar la atención en nuevos ámbitos de análisis puesto que aparecen nuevos aspectos con significativo potencial para condicionar el logro de los objetivos planteados. Dicho de otro modo, en el marco de las evaluaciones de modelos de gestión basados en la colaboración institucional entran en escena factores no tradicionales que inciden directamente en las cuestiones de evaluación y en los criterios antes mencionados. Entre ellos, cobran especial relevancia la estructura organizativa y de coordinación, lo que conlleva la valoración de aspectos tales como: • Los mecanismos de comunicación articulados. • Las modalidades de asignación de tareas y responsabilidades implementadas. • Los sistemas de toma de decisiones adoptados. • La puesta en marcha de una instancia transversal de coordinación. Estos cuatro sub-ámbitos de análisis pueden determinar, en gran parte, el correcto funcionamiento del modelo de gestión en partenariados; condicionando, consecuentemente, la sostenibilidad de la plataforma de gestión creada y la capacidad del partenariado para alcanzar los objetivos planteados. Así, si se consideran los mecanismos de comunicación de manera individual, se observa la posible coexistencia de tres tipologías de flujos de información: 1. Partenariados en los que las entidades socias reciben las comunicaciones remitidas desde un nodo (entidad) que asume las funciones de coordinación. 2. Partenariados en los que las entidades socias mantienen una actitud proactiva en materia de comunicación. 3. Partenariados en los que algunas entidades lideran la comunicación en algunas parcelas. En este sentido, tal como expresa Mataix, las redes se caracterizan por poseer un conjunto de nodos y conexiones entre ellos, más fuertes o más débiles, y aunque no necesitan un nodo central, suelen poseerlo, variando su vinculación con el resto de nodos. A diferencia de las redes sociales (entre individuos), las redes organizativas (entre entidades) se caracterizan, por su carácter productivo, generando productos y resultados o prestando servicios. Su eficacia respecto a modelos de gestión tradicionales jerárquicos radica en que son más flexibles, modulares y ágiles (Mataix, 2007). En cuanto a las modalidades de asignación de tareas y responsabilidades, resulta importante centrar el análisis en dos cuestiones clave: por un lado, en los criterios que guían la asignación de funciones y, por otro, en las modalidades mediante las cuales Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 180 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 se asignan las tareas y responsabilidades, pues ambas cuestiones pueden presentar una significativa incidencia en la eficacia de los partenariados, condicionando su capacidad para alcanzar los objetivos planteados. A priori , es posible diferenciar cinco “criterios-guía” en la asignación de tareas y responsabilidades en el marco de instancias de gestión asociada, criterios que no son excluyentes: — Asignación de tareas en función del grado de implicación de cada entidad desde el inicio del proyecto. — Asignación de tareas en función de las capacidades y especialidad de cada entidad. — Asignación de tareas en función del colectivo o sector que cada entidad representa. — Asignación de tareas en función de la experiencia de la entidad en ese ámbito o en el desarrollo de ese tipo de tareas. — Asignación de tareas en función de la capacidad de contacto e interacción de cada entidad con los/las beneficiarios/as, así como según su estructura, recursos y experiencia. Independientemente de estos criterios, también es importante analizar las modalidades de asignación de tareas y responsabilidades entre las entidades que conforman el partenariado, especialmente por su incidencia diferenciada en la generación de compromisos dentro del partenariado y, consecuentemente, en la continuidad/ viabilidad de los modelos de gestión basados en la colaboración institucional. Para ilustrar estas modalidades, y su diferenciado nivel de incidencia, se recurrirá a un ejemplo que se muestra en el siguiente recuadro. CUADRO 8 Modalidades de gestión compartida de actuaciones Modalidad 1: Acciones encadenadas. Las tareas se asignan sobre la base de una misma actividad, promoviendo el desarrollo conjunto de cada acción prevista en el proyecto (gestión compartida) Ejemplo: desarrollo de una acción formativa Socio A Socio B Socio C Captación del alumnado Desarrollo de contenidos Impartición del curso Fuente: Elaboración propia. REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 181 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 CUADRO 9 Modalidad 2: Acciones globales. Las tareas se dividen sobre la base de diversas “acciones tipo”, en donde cada entidad asume el desarrollo de todas las tareas que dan forma a una actividad concreta, en la que no participa el resto de entidades (gestión repartida) Ejemplo: desarrollo de una poltica de fomento del autoempleo Socio A Socio B Socio C Acciones formativas Asesoramiento empresarial Acciones de sensibilizacin Fuente: Elaboración propia. En el marco de Equal, la primera de estas dos modalidades –basada en la asignación de acciones encadenadas– ha resultado ser más eficaz en lo que respecta a la operatividad del partenariado. Ello se debe principalmente a su capacidad para generar compromisos horizontales entre las entidades, ya que el desarrollo de una actividad estaba supeditado al trabajo conjunto de los socios. Por el contrario, el sistema de asignación de tareas basado en el reparto de acciones globales ha desincentivado, en cierta medida, la interacción entre las entidades, pues el desarrollo de cada acción no guardaba relación con el resto de actividades planificadas (SAE, 2009b). En estos casos, la intensidad de los lazos de colaboración puede no ser significativa; comprometiendo, en cierto modo, la continuidad de la plataforma de cooperación creada. A su vez, en numerosas ocasiones, estas entidades pueden terminar actuando en compartimentos estancos; traduciéndose en una parcelación de la realidad de cada persona beneficiaria de las actuaciones y en una merma del tratamiento integral de las problemáticas y de sus soluciones. De esto se desprende una de las principales limitaciones de la gestión en partenariados, centrada en las dificultades para generar compromisos duraderos entre los miembros de la red; lo cual, por un lado, afecta la viabilidad/sostenibilidad del modelo de gestión en el tiempo; y, por otro, condiciona el logro de los objetivos planteados, limitando la eficacia de las actuaciones5. 5 La pregunta en este caso es si realmente es importante y necesaria la sostenibilidad del modelo de gestión. Algunos autores afirman que la sostenibilidad del partenariado constituye un requisito hasta Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 182 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 Esta dificultad para generar compromisos se relaciona de manera directa con la diferenciación, proveniente del campo de las relaciones internacionales, entre los conceptos intergubernamental y supranacional , que en línea con las cuestiones hasta ahora abordadas podrían expresarse como cooperación interinstitucional y cooperación suprainstitucional . Así, mientras el primer concepto hace referencia a un proceso que afecta a varias instituciones que voluntariamente deciden emprender un proyecto juntas; el segundo implicaría la existencia de una institución que estaría por encima de las otras, cuyas decisiones deberían ser acatadas por el resto de instituciones. Evidentemente, el sistema de gestión en partenariado al que se viene haciendo referencia es de base interinstitucional, sustentándose exclusivamente en la voluntariedad de las entidades que conforman cada partenariado; lo que al tiempo que supone importantes ventajas en cuanto al carácter democrático del modelo de gestión, plantea ciertos interrogantes respecto de la fortaleza del modelo como generador de compromisos duraderos. En cuanto a los sistemas de toma de decisiones adoptados, el estudio de diversas experiencias de cooperación pone en evidencia que resulta fundamental la articulación consensuada de un sistema de carácter horizontal; en tanto que se ha demostrado que la reproducción de prácticas verticales en este sentido atenta contra los principios mismos de la colaboración institucional, desincentivando la continuidad de las estructuras de cooperación creadas, y afectando de manera directa la viabilidad de este modelo de gestión. Asimismo, resulta importante considerar, en el marco de las modalidades de coordinación articuladas, un último sub-ámbito de análisis: la existencia de una instancia de coordinación. Y la importancia de focalizar el análisis en este aspecto radica en que un rol de coordinación fuerte supone un factor facilitador del trabajo en red, incidiendo de manera directa en la generación y el mantenimiento de los lazos de cooperación. En el caso de Equal existía un rol de representación (normalmente ostentado por la Consejería de Empleo de la Junta de Andalucía) y un rol de coordinación asumido por la entidad que lideraba el proyecto. A este respecto, los representantes de las instituciones participantes relacionaron, de manera directa, la mayor/menor presencia de la Consejería de Empleo con la intensidad del trabajo en red; evidenciándose lazos más intensos en aquellos casos en los que el rol de la Consejería de Empleo (a través de sus distintas delegaciones) se percibía como “más activo”. tanto dure la intervención o política; careciendo de importancia la continuidad del modelo de gestión una vez finalizada la intervención. No obstante, los participantes en partenariados de la Iniciativa Equal en Andalucía que fueron entrevistados muestran que una dimensión de la eficacia de dichos partenariados es su capacidad para mantenerse en el tiempo, justificado por las sinergias que se hubiesen generado o por la mejora del servicio prestado y al margen de los incentivos económicos que pudiesen haber constituido el estimulo inicial de la cooperación. REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 183 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 CUADRO 10 Tercera etapa del proceso evaluador. Nuevos ámbitos de evaluación: estructuras organizativas y modalidades de coordinación Sub-ámbitos de análisis ⎧ ⎨ ⎩ Factores de incidencia ⎧ ⎨ ⎩ Criterios afectados Mecanismos de comunicación ⎧ ⎪ ⎨ ⎪ ⎩ Tipología de flujos de información ad-intra partenariado ⎧ ⎨ ⎩ Eficacia Modalidades de asignación de tareas y responsabilidades Criterios de asignación ⎧ ⎪ ⎪ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎩ En función de grado de implicación desde el inicio Según capacidades Según colectivo o sector que representa Según experiencia Según capacidad de contacto e interacción Modalidades de asignación ⎧ ⎨ ⎩ Acciones encadenadas Acciones globales ⎧ ⎪ ⎪ ⎨ ⎪ ⎪ ⎩ Eficacia Eficiencia Viabilidad Impacto Sistemas de toma de decisiones ⎧ ⎨ ⎩ Carácter horizontal del sistema Carácter vertical del sistema ⎧ ⎨ ⎩ Eficacia Viabilidad Instancia de coordinación ⎧ ⎨ ⎩ Facilita/ralentiza el proceso ⎧ ⎪ ⎨ ⎪ ⎩ Eficacia Viabilidad Impacto Fuente: Elaboración propia. Por último, no hay que olvidar que la cooperación institucional además de un modelo de gestión que debe ser enjuiciado en función de su contribución al logro de los objetivos generales de la intervención, puede constituir en sí mismo un objetivo instrumental de las políticas públicas para promover mayores cotas de desarrollo y bienestar. En este caso, la promoción de la cooperación institucional se convierte en un objetivo de las intervenciones; adquiriendo una connotación diferente a la que se ha venido exponiendo hasta ahora. Así, es posible diferenciar dos significados diferenciados de la cooperación institucional que merecen ser tenidos en cuenta durante los procesos de evaluación, en tanto que ostentan capacidad para Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 184 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 informar sobre algunas cuestiones clave en un contexto de desarrollo socioeconómico de base local: • La cooperación institucional como modelo de gestión de las políticas públicas, cuyo análisis puede arrojar lecciones valiosas que contribuyan a definir consensuadamente un nuevo modelo de gobernanza que facilite la vertebración de políticas públicas territoriales. • La colaboración institucional como objetivo de las políticas públicas, cuya evaluación puede aportar insumos sobre aquellos elementos que necesariamente deben estar presentes si lo que se persigue es generar procesos de cooperación territorial. En este segundo caso, emergen nuevas categorías de análisis como las que siguen: • El carácter movilizador de las políticas, entendido como su capacidad para dinamizar a todos los actores necesarios para acometer el objetivo de cooperación planteado. • El grado de participación de los actores clave del territorio en el diseño del objetivo planteado (independientemente de su participación en el partenariado). • La sostenibilidad del partenariado promovido, es decir, su capacidad para asegurar la continuidad de las instancias de cooperación creadas una vez finalizada la intervención o reproducirlas bajo otras fórmulas de colaboración. • La existencia de voluntad política para acompañar/liderar el proceso. La promoción de la colaboración institucional como un objetivo de los proyectos constituye uno de los aspectos más destacables de la Iniciativa Equal en Andalucía, en tanto en cuanto se ha utilizado esta fórmula experimental para fomentar la generación de procesos de cooperación duraderos a nivel territorial. Tal como se expresa en el informe de evaluación de las redes de cooperación establecidas en el marco del Equal en Andalucía, “las ventajas de este tipo de acciones son muchas. Entre ellas destaca principalmente la articulación de escenarios de reflexión colectiva; la posibilidad de poner en común diagnósticos y de contar con estrategias más innovadoras para el desarrollo de estos territorios; la mayor complementariedad de las actuaciones; la optimización en el uso de los recursos; y la articulación de mecanismos capaces de responsabilizar horizontalmente a todos los actores de la ciudadanía en el desarrollo de las localidades” (SAE, 2009b: 171-172). REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 185 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 CUADRO 11 La cooperación institucional como modelo de gestión y como objetivo: significado, funciones, nuevos ámbitos de evaluación y contenidos de la información C.I. como modelo de gestión de las políticas públicas Se experimenta Se promueve •Tipología de entidades socias. •Estructura organizativa. • Modalidades de coordinación articuladas Definición consensuada de un nuevo modelo de gobernanza que facilite la vertebración de políticas públicas Información sobre aquellos elementos que deben estar presentes si lo que se persigue es generar procesos de cooperación a nivel territorial Significado de la Cooperación Institucional (CI) •Dinamismo. •Participación. •Sostenibilidad. •Implicación (voluntad política) Función de la CI Ámbitos en los que se centra la evaluación Aspecto sobre el que informa la evaluación C.I. como objetivo de las políticas públicas Fuente: Elaboración propia. 3.5. Identificación de metodologías de análisis adecuadas La evaluación de modelos de gestión basados en la colaboración institucional requiere, por último, la identificación de metodologías de análisis adecuadas; capaces de alimentar, de manera simultánea, dos requerimientos de información paralelos: por un lado, los centrados exclusivamente en los resultados e impactos de la intervención (estrategia operativa de las políticas); y, por otro, aquellos que focalizan en los mecanismos de gestión articulados desde la red para alcanzar estos resultados e impactos (estrategia institucional de las políticas). En este sentido, mientras en el primer caso las metodologías de análisis sustentadas en técnicas de investigación cuantitativas pueden aportar gran parte de los datos necesarios para llevar adelante la evaluación, en el segundo se precisará de información de carácter cualitativo, capaz de aportar datos sobre las particularidades, ventajas y desventajas del modelo de gestión implementado, siempre con relación a un contexto determinado, a destinatarios/as específicos/as y a objetivos diferenciados. Sobre la base de esta doble necesidad de información, algunas metodologías de análisis muestran mayor capacidad de adaptarse a la evaluación de modelos de gestión basados en la cooperación institucional. Una primera referencia estaría relacionada con la combinación de modelos de evaluación basados en estándares (criterios) con modelos de evaluación comprensi- Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 192 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 En este proceso se observaron las distintas connotaciones que adquiría el concepto de eficacia de la colaboración institucional experimentada. Así, fue posible identificar y analizar tres aspectos a partir de los cuales las entidades socias valoraron la eficacia de los modelos de cooperación desarrollados: 1. La operatividad del proceso de gestión en el que se materializó la colaboración institucional. 2. La capacidad de los partenariados para conseguir los objetivos planteados. 3. La sostenibilidad de la acción del partenariado. Finalmente, se procedió al análisis de los impactos que ha generado la acción del partenariado en las instituciones participantes en las agrupaciones de desarrollo; siendo el objetivo extraer aprendizajes que informen y optimicen futuras intervenciones en materia de empleo. 4. RECOMENDACIONES PARA LA CONSTRUCCIÓN Y PROMOCIÓN DE PARTENARIADOS EFICACES Entre las estrategias para la mejora continua en el ámbito de la evaluación de políticas públicas se encuentran el desarrollo de metaevaluaciones y la realización de síntesis de evaluaciones; centradas las primeras en el propio proceso evaluativo (evaluar la evaluación) y las segundas en los aprendizajes extraídos (sistematizar sus hallazgos y conclusiones). En este apartado se ha realizado un esfuerzo por sintetizar las principales conclusiones y recomendaciones la evaluación de la experiencia Equal en Andalucía en materia de redes de cooperación. Al difundir y compartir esta experiencia el propósito no es otro que contribuir a generar un background suficiente que facilite futuras síntesis de evaluaciones: sintetizar para sistematizar. 1. Composición de los partenariados En primer lugar, es posible observar que en aquellos partenariados en los que existe una relación directa entre el problema que se pretende solucionar y la composición del partenariado, las personas beneficiarias expresan una mayor conformidad con las políticas, puntualizándose las ventajas de contar con actuaciones pertinentes y adaptadas a las realidades de cada individuo. ➡ La existencia de una relación directa entre el problema que se pretende solucionar y la composición del partenariado permite explicitar las dificultades a resolver de manera más clara y diseñar actuaciones más selectivas y focalizadas, capaces de responder a situaciones concretas y siendo sensibles a la diversidad dentro de cada grupo poblacional o colectivo. REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 193 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 Asimismo, la experiencia sugiere que la participación activa del tejido institucional local, en especial de asociaciones representativas de subgrupos específicos de la comunidad, es imprescindible si lo que se pretende es adaptar las políticas a las necesidades de las personas beneficiarias; no obstante, la experiencia también demuestra que tal nivel de implicación no resulta viable de no mediar una contraparte económica que posibilite al personal de tales organizaciones asumir compromisos en este sentido. Y en esto las Administraciones Públicas deben asumir un rol protagonista, articulando medidas de apoyo tendentes a fomentar la participación activa de estas entidades. En el marco de la evaluación de Equal, se ha puesto de manifiesto que la representatividad de las entidades posee dos dimensiones que deben ser consideradas para constituir partenariados eficaces: una “extensiva”, que hace referencia a su implantación en el territorio y a su capacidad para representar los intereses generales de un colectivo (considerando al grupo como un todo homogéneo); y otra vertiente “intensiva”, relacionada con la capacidad de las entidades para ser sensibles a las necesidades específicas de facciones o subgrupos (poniendo el énfasis en las necesidades y en el perfil que éstas configuran y que son las que determinan la diversidad dentro del grupo)7. Esta representatividad de las agrupaciones de desarrollo Equal, extensiva e intensiva, se ha visto condicionada según las percepciones de las entidades colaboradoras (no ejecutoras directas de presupuesto) por la falta de recursos, que se ha traducido en su implicación desigual –y, en cierta medida, voluntarista– a lo largo del ciclo de vida de los proyectos. La constante dedicación y los requerimientos continuos de coordinación que exige el trabajo en red, ponen de relieve que la participación e implicación de este tipo de entidades en los partenariados supone un reto que exige explorar nuevas fórmulas que garanticen recursos específicos que les permitan compaginar su quehacer cotidiano con la asunción de compromisos duraderos y efectivos con el fomento del empleo (SAE, 2009b). ➡ Independientemente de estas consideraciones, es necesario encontrar un equilibrio entre la heterogeneidad institucional, como garante de la representatividad de la diversidad local, y la operatividad del procedimiento, en tanto que la existencia de un número excesivo de socios puede dificultar el buen funcionamiento del sistema de gestión implementado. Por otra parte, siendo una finalidad de la colaboración institucional la necesidad de coordinar los distintos recursos con los que cuentan los territorios, resulta funda- 7 Un ejemplo de esto último lo constituye el hecho de que en un partenariado destinado a promover el autoempleo en mujeres gitanas de un barrio con problemas de exclusión social, se considera una representación más intensiva de las necesidades de dichas mujeres la presencia en el partenariado de asociaciones del propio barrio, de asociaciones de mujeres o, mejor incluso, de asociaciones de mujeres gitanas de dicho barrio si es que existen. Sería menos intensiva, a priori, la representación que pudiese ostentar una agrupación regional de empresarios y una agrupación regional de personas gitanas en general. Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 194 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 mental que en los partenariados se cuente con la participación activa de todos los actores clave en las materias que motivan las políticas. En caso contrario se continúan reproduciendo estructuras paralelas, que operan desde el individualismo y no desde la construcción de sinergias. De aquí se desprende el importante papel que las Administraciones Públicas –en especial a nivel regional en el caso de Equal– deben asumir en la coordinación de los distintos actores y recursos disponibles, en tanto que ostentan la autoridad y la competencia necesarias para liderar los procesos. Por último, resulta importante destacar las diferencias entre actores locales en los que la cooperación constituye un compromiso verdaderamente asumido por todos los estamentos institucionales, de aquellos en los que la cooperación sólo constituye una prioridad para los equipos técnicos. En el caso de Equal la experiencia se relaciona más directamente al segundo caso. Esta brecha político-técnica ha afectado de manera acusada a la sostenibilidad de los procesos de cooperación generados que, en gran parte, está condicionada a la voluntad política de los directivos y cargos electos (SAE, 2009b). 2. Diseño de las intervenciones En esta fase, la existencia de objetivos comunes entre los socios, que precedan a la constitución del partenariado o que se diseñen conjuntamente mediante un proceso participativo, ha demostrado ser un elemento facilitador del proceso de colaboración; lo que puede lograrse reforzando los mecanismos de participación durante el diseño de las intervenciones, reemplazando los sistemas de consulta por estrategias genuinas de trabajo en red y destinando partidas presupuestarias a la promoción de una mayor acción conjunta en la fase de diseño. Por otra parte, la articulación de canales claros y accesibles de comunicación entre los miembros del partenariado también ha demostrado su potencial para garantizar la operatividad de los procesos. En el caso de Equal el éxito del trabajo en red, medido a través del logro de los objetivos planteados y de la continuidad de los lazos de cooperación generados, ha sido más tangible en aquellos casos en los que las comunicaciones fluyeron de manera constante; siendo a la vez fundamental el rol de coordinación para mantener vivo el proceso (SAE, 2009b). 3. Ejecución de las intervenciones En esta fase, el modo en el que se han implementado dos mecanismos clave ha marcado diferencias en cuanto a la eficacia de la acción del partenariado. Concretamente, se hace referencia a los mecanismos de asignación de tareas y responsabilidades y los procedimientos de toma de decisiones. En cuanto a los primeros, el reparto de tareas basado en la asignación de acciones encadenadas resultó ser más eficaz que la modalidad de asignación de acciones REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 195 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 globales, especialmente en relación a la operatividad de la acción del partenariado. Y esto principalmente por su capacidad para generar compromisos horizontales entre los socios, en tanto el desarrollo de una actividad está supeditado al trabajo conjunto de todas las entidades participantes. Por el contrario, el sistema de asignación de tareas basado en el reparto de acciones globales puede desincentivar, en cierta medida, la interacción entre las entidades; pues el desarrollo de cada acción no guarda relación con el resto de actividades planificadas. En esta misma línea de pensamiento, ha mostrado ser fundamental la articulación consensuada de un sistema horizontal de toma de decisiones; en tanto que se ha puesto de relieve que la reproducción de prácticas verticalistas en este sentido atenta contra los principios mismos de la colaboración institucional, desincentivando la continuidad de las estructuras de cooperación creadas. En el caso de Equal, el análisis y valoración individual de cada partenariado ha puesto de manifiesto que existe una relación directa entre financiación y toma de decisiones o, lo que es lo mismo, entre quien aporta cofinanciación al proyecto y entre quienes tienen capacidad de decisión; lo que muestra las limitaciones de la apertura de los partenariados hacia el resto de entidades no cofinanciadoras (SAE, 2009b)8. De manera transversal al ciclo de vida de cada política, destaca como condicionante de la operatividad, sostenibilidad y capacidad de impacto de la acción del partenariado la existencia de voluntad política por parte de las Administraciones públicas para acompañar y liderar el proceso en tres sentidos: 1. Porque sin el apoyo de las Administraciones públicas (AAPP). disminuye notablemente la legitimidad de las intervenciones. 2. Porque el desarrollo de políticas paralelas a aquellas liderados desde la AA.PP. puede contribuir a la reproducción de prácticas simultáneas más que a la potenciación de recursos escasos. 3. Porque las posibilidades de sostenibilidad de las iniciativas de cooperación se reducen considerablemente si no se cuenta con el apoyo y liderazgo del actor protagónico en materia de políticas públicas. 4. Seguimiento y evaluación. En este aspecto, se hace necesario contar con un instrumento –evaluación– con capacidad para reorientar las intervenciones a medio camino, potenciando así su utilidad y capacidad de impacto. 8 Hay que tener en cuenta que no todas las entidades del partenariado eran cofinanciadoras de los proyectos Equal. Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 196 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 En cuanto a la función de evaluación en el seno del partenariado hay que tener en cuenta de manera preliminar que puede ser responsabilidad de una única entidad, de un grupo o del conjunto de entidades asociadas. Esta participación en la evaluación puede variar desde una implicación directa en el diseño, realización y comunicación de resultados, lo que sin duda aumenta el aprendizaje organizacional (individual y colectivo), hasta la coordinación del proceso evaluativo externalizado o su cofinanciación. En el caso de los partenariados resulta especialmente interesante el desarrollo de evaluaciones conjuntas, entre varias o todas las entidades asociadas, aunque se observa que suele ser una de las entidades la que ostenta la responsabilidad en este proceso apoyándose en asistencias técnicas externas. Esta situación, que en principio puede parecer adecuada, puede generar tensiones ante dificultades y retrasos en la ejecución de la intervención, ya que ello provoca que la evaluación quede relegada a un segundo plano, perdiendo la centralidad que debe tener. Más allá de quien asume esta responsabilidad de evaluación en el partenariado la cuestión central es qué funciones son efectivamente asumidas y cuáles quedan externalizadas. Ello es así porque aunque se pueda externalizar la realización de la evaluación existen muchas decisiones que corresponden a los propios actores del partenariado y que no se pueden eludir, como la determinación de los objetivos, el ámbito, el alcance o las cuestiones a las que se debe dar respuesta con el ejercicio evaluativo (Murciano, 2006). En cualquier caso, para la evaluación de políticas públicas, los partenariados presentan una fortaleza sobre otros modelos de gestión: reúnen a los múltiples niveles de la administración con competencias en una determinada materia y a gran parte de los stakeholders . Por tanto, a priori , se configuran como el escenario idóneo para desplegar procesos de evaluación participativos. En el marco de la evaluación de redes de cooperación en Equal, desde las entidades participantes en las AD se ha puesto de manifiesto el gran trabajo realizado en materia de seguimiento y evaluación de cara a la detección de buenas prácticas para su transferencia, contando para ello con instrumentos útiles y ágiles y generando un importante proceso de desarrollo de capacidades en este sentido. No obstante, también han expresado el reto que aún supone desarrollar las herramientas necesarias que permitan redireccionar las actuaciones sobre la marcha. En unos casos la dificultad para concretar ciertas actuaciones durante la fase de diseño y, en otros, la lógica de prueba y error que conlleva un proceso experimental como Equal, son los argumentos esgrimidos a favor de la interpretación flexible que se demanda sobre los compromisos establecidos en los documentos programáticos (SAE, 2009b). REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 197 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 5. CONSIDERACIONES FINALES En general, existe cierto consenso entre los diversos actores consultados que han participado en las iniciativas basadas en la acción de un partenariado analizadas por los autores y autoras acerca de la pertinencia y potencial del modelo basado en la cooperación institucional para alcanzar objetivos de políticas públicas de manera más integral; evidenciándose que aunque el trabajo desde la individualidad constituye la modalidad de gestión más sencilla –por su rapidez y comodidad-, la colaboración institucional presenta mayor capacidad para generar los resultados esperados. En este sentido, la acción interinstitucional ofrece un marco flexible, en el que tienen cabida actuaciones adaptadas a cada contexto de intervención en el que se aplican y/o a los colectivos a las que están destinadas. No obstante, el logro de los objetivos planteados pareciera estar condicionado por la operatividad del proceso de gestión; que a su vez depende de la coexistencia de ciertos factores clave, entre los que destacan: • La puesta en marcha de mecanismos de coordinación (de los nodos de la red y de los recursos del territorio) adecuados. • La implementación de mecanismos de asignación de tareas y responsabilidades que promuevan la interacción entre los nodos de la red y la generación de compromisos duraderos. • La existencia de canales claros de comunicación entre los miembros del partenariado. • La disposición de medios humanos, materiales y económicos suficientes y pertinentes. • El planteamiento de objetivos basados en problemáticas integrales y multidimensionales. • El consenso respecto del modelo de participación que se quiere impulsar. • Voluntad para poner a disposición del partenariado los recursos que cada entidad posee para, a través de la acción participativa, determinar cómo se administran. • Voluntad política de la Administración Pública para dinamizar a los actores locales y para someterse a las reglas de funcionamiento de la acción del partenariado. La necesaria conjunción de estos elementos exige, ciertamente, la puesta en marcha de mecanismos de evaluación que permitan redireccionar las estrategias de Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 198 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 intervención sobre la marcha, posibilitando allanar el terreno hacia el logro de los objetivos planteados. Esto requiere ampliar el foco de análisis del proceso evaluador, atendiendo tan- to a las estrategias operativas como a las estrategias institucionales implementadas en el marco de la gestión conjunta de las políticas públicas. Las cuestiones abordadas en este documento aspiran a aportar luz en estos aspectos concretos y a generar una red de evaluadores y evaluadoras interesados en la evaluación de partenariados y en partenariado. REFERENCIAS BIBLIOGRÁFICAS Y DOCUMENTALES Alburquerque, F. y Dini, M. (2008), Guía de aprendizaje sobre integración productiva y desarrollo económico territorial. Sevilla: IDR y CSIC. Banco Mundial (2004), Seguimiento, instrumentos, métodos y enfoques . En línea: <http://www.worldbank.org/ieg/> (consulta: enero de 2010). Borrás, S. (2009), “La Comisión Europea como intermediario en las redes de políticas públicas ” , Gestión y Análisis de Políticas Públicas , Nueva Época 1: 17-42. Bustelo Ruesta, M. (2001), La evaluación de las políticas públicas de igualdad de género de los gobiernos central y autonómicos en España: 1995-1999 . Tesis Doctoral, Universidad Complutense de Madrid. Calame, P. (2006), Tesis para repensar la gobernanza. En línea: <http://www.institutgouvernance.org/es/dossiers/motcle-dossiers-38.html> (Consulta: 8 septiembre 2009). Chaqués Bonafont, L. (2009), “Nuevo paradigma, nuevo contexto institucional: el caso de la política farmacéutica ”, Gestión y Análisis de Políticas Públicas , Nueva Época, 1: 65-86. Chen, H. T. (2005), Practical Program Evaluation: Assessing and improving planning, implementation and effectiveness . Londres: Sage. Comisión de las Comunidades Europeas (2001), La Gobernanza Europea. Un Libro Blanco . Bruselas: Commission of the European Comunities, COM: 428. Davies, R. (2004), “Scale, Complexity and the Representation of Theories of Change”, Evaluation , 10: 101–121. Díez, M. A. (2007), “La evaluación basada en la teoría: una aproximación a los diferentes modelos”, en Materiales pedagógicos de la Maestría Internacional de Evaluación de Políticas Públicas, UNIA. MIMEO. Garrido, F.J. (2003), “El análisis de redes en el desarrollo local”, en T. Villasante, M. Montañés y P. Martín, coords., Prácticas locales de creatividad social . Barcelona: El Viejo Topo. Handicap Internacional, Grupo de Trabajo Partenariado (2002), Partenariado. Comprender nuestras colaboraciones para constituir mejor el partenariado. Manual técnico para uso interno: enfoque y herramientas para los equipos. Handicap International. Publicación digital. En línea:<http://www.handicap-international.de/fileadmin/redaktion/pdf/partenariat_es.pdf> (Consulta: 10 febrero 2010). REDES DE COOPERACIÓN PÚBLICO-PRIVADA Y PARTENARIADOS: RETOS Y PISTAS PARA SU EVALUACIÓN... EXPERIENCIAS Y CASOS 199 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 Kingdon, J. W. (1995), Agendas, alternatives and public policies . Nueva York: Harper Collins College Publishers. Jordana, J. (2009), “Examinando las redes de actores en el análisis de las políticas públicas: debate teórico y técnicas cuantitativas”, Gestión y Análisis de Políticas Públicas , Nueva Época 1: 9-16. Kjaer, L. (2003), Local partnerships in Europe. An action research project. Copenague: The Copenhagen Centre. Martínez García, M.F. y Martínez García, J. (2003), “Coaliciones Comunitarias: una Estrategia Participativa para el Cambio Social”, Intervención Psicosocial , 12(3): 251- 267. Mataix, C. (2007), “Redes organizativas”, en Materiales pedagógicos del Magíster de Evaluación de Políticas Públicas de la Universidad Complutense de Madrid. Mimeo. Ministerio de Asuntos Exteriores y Cooperación (2007), Manual de Gestión de Evaluaciones de la Cooperación Española. Madrid: Secretaría de Estado para la Cooperación Internacional y para Iberoamérica (SECIPI). Murciano, J. (2006), “Evaluación de partenariados y evaluación en partenariados. El caso de la Iniciativa Comunitaria Equal en Andalucía”, Revista de la Sociedad Española de Evaluación , 3: 18-31. En línea: <www.sociedadevaluacion.org> (consulta: enero 2010). Organización Internacional del Trabajo (2008), Programa Área. Concepto de desarrollo local . En línea: <http://www.programa-area.org> (consulta: 8 septiembre 2009). Osuna, J.L., Vélez, C., Cirera, A. y Murciano, J. (2006), “Programación y Evaluación Pública: un triángulo complejo”, E konomiaz. Revista Vasca de Economía , 60: 76-97. Román, C. y Rodríguez, P., coords. (2004), La contribución del capital social a la creación de empleo en Andalucía. Sevilla: Instituto de Desarrollo Regional. Román, C. (2001), Aprendiendo a innovar. El papel del capital social. Sevilla: Instituto de Desarrollo Regional. Servicio Andaluz de Empleo (SAE) (2007), Guía de presentación de proyectos acogidos a la segunda convocatoria de la Iniciativa Comunitaria Equal en Andalucía 2004- 2007. Sevilla: Servicio Andaluz de Empleo. Consejería de Empleo. En línea: <www. juntadeandalucia.es/empleo/equal> (Consulta: 11 febrero 2010). Servicio Andaluz de Empleo (SAE) (2009a), Redes de cooperación institucional. Evaluación de la experiencia Equal en Andalucía. Sevilla: Servicio Andaluz de Empleo. Consejería de Empleo. Junta de Andalucía. Elabora: Instituto de Estudios de Economía, Evaluación y Empleo. En línea: <www.juntadeandalucia.es/empleo/ equal> (Consulta: 11 febrero 2010). Servicio Andaluz de Empleo (SAE) (2009b), Informe de Evaluación final de impactos . Iniciativa Comunitaria Equal en Andalucía. Resumen ejecutivo . Sevilla. Edita: Servicio Andaluz de Empleo, Consejería de Empleo, Junta de Andalucía. Elabora: Instituto de Estudios de Economía, Evaluación y Empleo. En línea: <www.juntadeandalucia.es/empleo/equal> (Consulta: 11 febrero 2010). Savas, E. S. (2000), Privatization and public-private partnerships . Nueva York: Chatham House Publishers. Stake, R. (2006), Evaluación comprensiva y evaluación basada en estándares . Barcelona: Editorial Graó. Juan Murciano Rosado, Laura Porrini, Carlos Bueno Suárez y Carmen Vélez Méndez EXPERIENCIAS Y CASOS 200 GAPP. Nueva Época, Nº 4. Madrid, julio - diciembre 2010, pp. 161-200, ISSN: 1134-6035 Subirats, J. (2005), “Catorce puntos esenciales sobre evaluación de políticas públicas con especial referencia al caso de las políticas sociales”, Ekonomiaz, Revista Vasca de Economía , 60(1): 18-37. Vélez, C. (2006), “La evaluación: un nuevo yacimiento de empleo”, E-valuación. Revista de la Sociedad Española de Evaluación, 3: 4-17. Vélez, C. (2007), “El cambio de paradigma en evaluación de políticas públicas: el caso de la cooperación al desarrollo”, en M.J. Terol Becerra, dir., Nuevas políticas públicas. Anuario Multidisciplinar para la modernización de las Administraciones Públicas. Sevilla: Instituto Andaluz de Administración Pública. Weiss, C. (1998), Evaluation . Upper Saddle River, Prentice Hall. Recibido: 1 de marzo de 2010 Aceptado: 28 de abril de 2010