Reflexiones epistemológicas y metodológicas para la evaluación de políticas públicas

Andamios 95 Reflexiones epistemológicas y metodológicas paRa la evaluación de políticas públicas Carlos Bueno Suárez* y José Luis Osuna Llaneza** Resumen: No existe una metodología de evaluación de políti cas públicas plenamente consensuada y de aceptación generalizada. Este artículo aborda el reto que implica determinar un marco metodológico que permita orientar la labor de evaluación como juicio crítico y a su vez constructivo de la intervención pública; siempre desde el cumplimiento estricto del rigor científico exigible. Se aportan algunas reflexiones teóricas de utilidad desde el marco epistemológico para clarificar los principios, el enfoque y el método, así como la opción de técnicas e instrumentos analíticos que han de conformar, en la práctica, la base de los pro cesos de evaluación de las políticas públicas. palabRas clave: Evaluación, políticas públicas, metodología, epistemología. intRoducción: la adecuación y oRientación del método al objeto de evaluación de la inteRvención pública En el marco general de la investigación en un determinado dominio o área de la ciencia se suele dar una respuesta analítica mediante una * Doctor en Economía Regional. Profesor Ayudante Universidad de Sevilla. Asesor Científico del Instituto de Estudios de Economía, Evaluación y Empleo. Coordinador de Investigación de la Cátedra Carlos Román en evaluación de políticas públicas de la Universidad de Sevilla. Correo electrónico: [email protected] ** Doctor en Ciencias Económicas Catedrático E. U. de la Universidad de Sevilla. Presidente de la Sociedad Española de Evaluación de Políticas Públicas (España). Miembro del Consejo Rector de la Agencia Estatal de Evaluación de las Políticas Públicas. Director del Máster Iberoamericano de Evaluación de Políticas Públicas, en la Universidad Internacional de Andalucía. Correo electrónico: [email protected] Volumen 10, número 21, enero-abril, 2013, pp. 95-117 Andamios 96 caRlos bueno suáRez y josé luis osuna llaneza habitual ortodoxia relativa a un “marco concreto de procedimientos metodológicos” (Rebolloso, Fernández-Ramírez y Cantón, 2008: 21). No obstante, no se puede negar que la evaluación se nutre de campos diversos, adquiriendo un carácter multidisciplinar. De este modo, la evaluación de políticas públicas responde a la visión multiparadigmática que se hace de las propias ciencias sociales. Tanto la observación, como el análisis y la conceptualización, y evidentemente, las formas de acceso a la información relativa al contexto e intervención presentan una amplia diversidad de formas y maneras de ser abordadas. Así pues, en evaluación de políticas públicas, posicionamientos epistemológicos, enunciados científicos y técnicas empíricas van a mostrarse de forma múltiple y diversa (Bericat, 1998). Precisamente, a través del siguiente artículo se presentan, desde una aproximación analítica teórico-descriptiva, posibles alternativas metateóricas, teóricas y empíricas, asociadas a los principios, paradigmas, enfoques y técnicas desde los que abordar, con las correspondientes exigencias de rigor científico, procesos de evaluación de políticas públicas en el ámbito de las Ciencias Sociales. Se pretende, como objetivo, clarificar de forma estructurada y concisa la multiplicidad de posibilidades analíticas que dispone, e incluso exige, la evaluación de políticas públicas. Considerando la relevancia del paradigma tradicional positivista y su evolución en el campo de la evaluación de políticas públicas, y la necesidad, por su aportación al enriquecimiento científico que entraña, de la complementariedad entre planteamientos, el presente artículo se centra, no obstante, en las posibilidades y alternativas que se presentan desde el paradigma constructivista. Las orientaciones o enfoques metodológicos de la evaluación pueden diferir en virtud del modo en que son concebidas y establecidas las propias políticas públicas; o en función de los requerimientos y las necesidades de información de los decisores públicos; de la disposición de sistemas de gestión de información orientados a la evaluación; del ámbito funcional o temporal al que ésta se dirige; o siendo determinadas por las titulaciones, conocimientos, experiencias y preferencias analíticas de los propios evaluadores. También, por supuesto, en función de los recursos financieros disponibles para acometerla. De hecho, Rossi y Freeman Andamios 97 Reflexiones epistemológicas y metodológicas paRa la evaluación reconocían que la evaluación situaba su ámbito de investigación social dentro de los marcos políticos y éticos, y se sometía a las limitaciones que imponían el tiempo, la financiación y los recursos humanos a disposición del equipo evaluador (Rossi y Freeman, 1993). Asimismo, en el ámbito de las ciencias sociales los debates metodológicos están mucho más abiertos y son más dinámicos e intensos. Por esta razón, desde una perspectiva teórica, se desarrollan y reflexionan cuestiones habitualmente tratadas relativas al positivismo, al uso de paradigmas deductivos o inductivos y constructivistas, al uso de herramientas cualitativas y/o cuantitativas, o a las formas en las que deben ser considerados los juicios. El hecho de que la evaluación deba adecuarse a los parámetros y cánones propios de la investigación científica en ningún caso puede ser interpretado como la aceptación de un único paradigma o un único método. Bustelo establece que el evaluador debe ser capaz de dar diferentes respuestas metodológicas en virtud de cada contexto (Bustelo, 2007). Las posibilidades de delimitar, analizar y responder, de forma rigurosa, a las cuestiones que se determinen y deriven de las evaluaciones de políticas públicas exige disponer de un diversificado elenco de instrumentos y metodologías prestos a ser aplicados. Más aún cuando se acepta una concepción holística e integradora de la evaluación ligada a su finalidad, en tanto que la sitúa en todas y cada una de las fases asociadas a la acción pública.1 Asimismo, es necesario considerar la complejidad de las políticas públicas y, por tanto, el traslado de ésta a sus análisis y evaluaciones. La política pública es a veces entendida como un “tratamiento” a suministrar a un colectivo de beneficiarios bajo la hipótesis de que si éste está bien “dosificado” sus “males” serán, en principio, resueltos 1 Una definición integradora ampliamente referenciada es la que hicieran Rossi y Freeman considerando lo que se conoce como comprehensive evaluation que “Es la aplicación sistemática de los procedimientos de la investigación social para valorar la conceptualización y el diseño, la ejecución y la utilidad de los programas de intervención social” (Rossi y Freeman, 1989: 18). Destaca por la relevancia que otorga al análisis de los resultados, pero también a otras facetas relativas tanto al diseño como a la gestión y procedimientos de implementación de las intervenciones públicas. Por esta múltiple orientación exige acometer evaluaciones a medida. Andamios 98 caRlos bueno suáRez y josé luis osuna llaneza (Heckman, 2001: 713). Esto lleva a que las políticas sean concebidas bajo condiciones de racionalidad, donde, determinado el diagnóstico del contexto, se establecen los objetivos y estrategias que hacen frente a los “padecimientos” del mismo. La evaluación se establecerá bajo una metodología que verifique, con veracidad, el alcance de “curación”. No obstante, quizás sea ésta una forma simplificada, próxima a la modelización de la misma, que si bien puede ser de utilidad analítica y explicativa no dejará de estar limitada. Y es que los elementos que conforman la realidad sobre la que se interviene no suelen ser tan simples. De este modo, la política pública debe ser entendida como un sistema de intervención dirigido a la resolución de problemas complejos y en el que las estrategias acometidas y los propios resultados son susceptibles de evolucionar a lo largo del proceso de ejecución. Es necesario, asimismo, considerar que dichos resultados estarán no sólo asociados a la intervención, sino a múltiples elementos que incluso son ajenos a la misma; “Ante todo, es importante tener en cuenta que hay un conjunto de factores que operan simultánea y sucesivamente en la realidad, en una realidad compleja, y que, por lo tanto, generalmente hay múltiples causas y no causas únicas” (Feinstein, 2007: 20-22). También se habla de un “triángulo complejo de relaciones”, al referirse a los programas y políticas públicas donde se cruzan las variadas dimensiones sectoriales sobre las que se interviene; la multiplicidad y heterogeneidad de actores implicados; así como diferentes escalas administrativas de gestión y ejecución de las actuaciones y su estructura política (Osuna, et al, 2005). Por otra parte, centrando el análisis en el ámbito de las políticas de inclusión, se hace referencia a “motivaciones complejas fruto de un proceso nada lineal” como condicionantes de la creación y aplicación de la política (Subirats, 2006: 31). Estas consideraciones son perfectamente extrapolables a otras intervenciones públicas. Y ante esto, se comparte la afirmación de Subirats “en políticas complejas, evaluaciones complejas”, y más aún cuando pretende ser una reivindicación a la combinación de lo que denomina metodologías “hard” y “soft” al acometer procesos de evaluación de las políticas públicas, sugiriendo que el uso exclusivo de apro ximaciones cuantitativas en evaluación da resultados insu ficientes. Frente a ello, no se pueden obviar tampoco los postulados de Andamios 99 Reflexiones epistemológicas y metodológicas paRa la evaluación quienes, sin renunciar al análisis cualitativo, adelantan críticas sobre la capacidad de éste para sustituir los enfoques cuantitativos (Campbell, 1970). Hacia una pRopuesta metodológica de evaluación: la asunción de pRincipios y la opción entRe paRadigmas, enfoques y técnicas Cuando Shaw se introduce en el campo de la metodología de la evaluación empieza refiriéndose a las actitudes que se tiene ante éstas, calificándolas a la vez de “bendición” y “pesadilla” (Shaw, 2003: 117). Se refiere a la necesidad de hacer frente a lo que califica como purismo metodológico y justifica sus dudas hacia el hecho de que las evaluaciones estén regidas exclusivamente por la metodología. No obstante, si bien hay que reconocer que un método determinado no lo puede ser todo en la evaluación —en tanto que no tiene por qué ser el que permita dar respuestas a las cuestiones que en cada caso se propone—, no se puede obviar que la conformación y adecuación metodológica a la intervención pública objeto de evaluación ha de ser un pilar esencial de la misma. Consecuentemente, parece razonable la afirmación de Guba y Lincoln cuando establecen que no se puede especificar una metodología definitiva para llegar a conocer lo que acontece (Guba y Lincoln, 1989). Pero no cabe duda de que la evaluación de políticas públicas exige la conformación de conocimiento científico en el marco de las ciencias sociales, al tiempo que requiere de su valoración; todo ello sustentado en pautas metodológicas que garanticen su máximo rigor. Y esto será desde el reconocimiento, de las limitaciones de los métodos aplicables y desde la consideración de que la propia evaluación dispone de pautas metodológicas específicas. Así, se entiende que la evaluación de políticas públicas requiere, des de el pragmatismo y el rigor, establecer una triangulación tanto de fuentes de información como de métodos a aplicar (Feinstein, 2007). La referencia al pragmatismo debe ser considerada desde dos vertientes: por una parte, desde el posibilismo analítico y por otra desde la utilidad y funcionalidad de la evaluación, aceptando que “La utilidad es la Andamios 100 caRlos bueno suáRez y josé luis osuna llaneza fundamentación de la evaluación” (Weiss, 1998: 15). El pragmatismo, aplicable tanto desde el positivismo como desde el constructivismo, se asocia esencialmente tanto a las técnicas aplicables como al enfoque. Como todo trabajo científico, la evaluación exige una adecuación metodológica orientada no sólo a los objetivos que persigue sino también a los recursos disponibles; poniendo de manifiesto el alcance y las limitaciones del proceso de investigación como elemento esencial de rigurosidad y veracidad. La opción del método en evaluación puede estar determinada por tres niveles básicos adoptados de aquellos que se establecen en el marco de la investigación social; Dichos niveles son los siguientes: El metateórico (paradigma), el teórico (enfoque) y el empírico (técnica). La determinación del método a aplicar nos exige una elección concreta, en cada uno de estos niveles, dada la multiplicidad y variedad de opciones disponibles. Asimismo, el método a aplicar exige que la selección por la que se opte en cada uno de estos niveles, sea, en su conjunto, “coherente”, garantizando con ello un cuerpo metodológico “integrado” (Bericat, 1998: 19). Cierto es que la posibilidad de optar se deriva de la aceptación de cuatro principios2 esenciales: Principio de consenso metodológico previo Se trata de delimitar con claridad, con los actores de la evaluación, el marco metodológico a desarrollar, explicitando los límites, tratando de evitar, a priori, du das sobre los resultados que se deriven de la evaluación por un cuestionamiento de la metodología. El evaluador optará en virtud del valor que otorgue a cada metodología aplicable, y explicitará sus actos respecto a las acciones o pautas a acometer. Principio de rigor y coherencia De modo que la preocupación por el rigor metodológico guíe continuamente la investigación evaluativa; lo que exige un método que evite, a priori, el establecimiento de posicionamientos que pudiesen “conducir” la labor de evaluación a conclusiones erróneas. La opción metodológica debe, por tanto, cons tituir un cuerpo integrado al amparo de un sistema de acciones o pautas coherentes (Bericat, E. 1998: 19). Con ello, serán las observaciones y los análisis los que determinen o concluyan los resultados de la evaluación y no a la inversa. 2 Adaptado de Benhayoun, G. y Lazzeri, Y. (1998: 29,30). Andamios 101 Reflexiones epistemológicas y metodológicas paRa la evaluación Principio de pluralismo metodológico La confrontación de experiencias, la combinación de aproximaciones cua litativas y cuan titativas, la disposición de información diversa, obtenida de técnicas y fuentes diversas, deben ser entendidos, en los procesos de evaluación, como una buena estrategia para alcanzar conclusiones sólidas y con trastadas. Un autor enumera, conscientemente de forma muy entremezclada, entre otras, las siguientes: “marcos lógi cos de coherencia, contrafactualidad, input-output, paneles de expertos, Delphi, dafo, grupos de discusión, análisis coste-beneficio, coste-efectividad, coste-eficacia y de frontera, pruebas experimentales, mapas contractuales, mapas de impactos, etcétera” (Román, 2006: 5). Principio de adaptación de métodos Hay que aceptar la aplicabilidad de diversas metodologías que cumplan los principios deontológicos de cientificidad, y que den respuesta rigurosa a las cuestiones cogniti vas y normativas que se propone la evaluación. No obstante, los méto dos deben adaptarse a los objetos de estudio, a los sistemas de información, los recursos disponibles y a las hipótesis planteadas. cuadRo 1. pRopuesta del método integRado paRa la evaluación de políticas públicas: pRincipios; paRadigmas; enfoques y técnicas Fuente: Elaboración propia. Andamios 102 caRlos bueno suáRez y josé luis osuna llaneza Con todo ello, la propuesta metodológica de la evaluación a abordar debe superar aquellos dogmatismos que abogan por una exclusividad de enfoques aplicables, y que se establecen de forma independiente a los objetos de análisis. De hecho, la Comisión de Expertos para la creación de la Agencia Estatal de Evaluación de la Calidad de los Servicios y las Políticas Públicas (aeval) establecía que “superado ya el monopolio de ciertos paradigmas, no parece oportuno aferrarse a priori a la defensa de ciertos modelos o técnicas de evaluación, en gran medida, porque la práctica de la evaluación así lo ha aconsejado”.3 El nivEl mEtatEórico: la opción EntrE paradigmas Las opciones metodológicas estarán previamente sujetas a la opción de paradigma siendo ésta el posicionamiento ontológico y epistemológico bajo el que se guiará el evaluador (Guba y Lincoln 1994: 105). Dicho posicionamiento indicará el modo en que el evaluador, como investigador social, se enfrenta al reto de la intervención y del contex- to. Muchas de las cuestiones que delimitan el paradigma se refieren a lo que debe y puede ser conocido (posicionamiento ontológico), y, por otra parte, a la relación o vinculación entre el sujeto evaluador y el objeto de evaluación, así como a los atributos del conocimiento, fundamentalmente en relación a la capacidad o no de generalización de conclusiones (Solarte, 2004). Valorando la relevancia de la tradición positivista en este campo,4 se reconoce un progresivo aumento en la aplicación del constructivismo. Se aboga, por una concepción epistemológica que asuma la relatividad de las verdades absolutas y reconozca la relevancia de las percepciones subjetivas como forma de aproximación certera y plural al contexto y a la propia intervención (Vélez, 2007: 154). No sólo el conocimiento, sino también el juicio o valoración que incorpora la evaluación, se construye de forma gradual 3 Informe de 4 de Octubre de 2004 Comisión para el Estudio y Creación de la Agencia Estatal de Evaluación de la Calidad de los Servicios y las Políticas Públicas (2004). Ministerio de Administraciones Públicas (pp 70). Colección Informes. aeval. Madrid. 4 Otro autor hace referencia a las diversas aportaciones metodológicas que se desarrollan, desde el paradigma positivista, en el ámbito específico de las evaluaciones aplicadas en el campo de la economía (Planas, I. 2005). Andamios 103 Reflexiones epistemológicas y metodológicas paRa la evaluación a través de sucesivas aproximaciones. Se reconoce, por tanto, tal y como establece Solarte al referirse al paradigma constructivista que “sujeto y objeto están interactivamente vinculados” y que los conocimientos o “descubrimientos” son creados a lo largo del propio proceso de investigación (Solarte, 2004: 42). También se muestra interesante la distinción entre paradigmas propuesta por Shaw al referirse al positivista, pospositivista, constructivista y, finalmente, al de la teoría crítica. Es precisamente éste último, al que el autor denomina de forma más específica evaluación crítica, el que suscita un mayor interés en tanto que establece un llamamiento a la reflexión al considerar que “los problemas se conceptualizan como parte de los patrones sociales, políticos y culturales en los que se forma el evaluando”. Y esto implica la necesidad de reconocer que a través de la evaluación no sólo se produce conocimiento sino que se producen valores en si mismos, “la producción de conocimientos es la produc ción de valores” (Shaw, 2003: 77-78). El reconocimiento de los juicios intrínsecos que acompañan al eva luador no debe mermar su capacidad y rigor de análisis; pero al mis mo tiempo, obliga a ser conscientes de que todo el proceso está indisolublemente condicionado por los patrones sociales y morales en los que el evaluador-persona se forma como tal. Ello exige la adopción de una metodología hermenéutica y dialéctica en la que se puedan detectar y comprender las interpretaciones de la realidad que presentan los múltiples actores de la acción, al tiempo que se asume una perspectiva integral y holística de la evaluación de políticas públicas. Esta opción no está reñida con lo que se denomina como el “paradigma de elecciones” en tanto rechaza la ortodoxia metodológica exclusivista “a favor de la adecuación metodológica como criterio básico para juzgar la calidad del método” (Patton, 1990: 38,39). Cierto es que en la actualidad tanto el paradigma constructivista como el positivis ta específicamente aplicado a la evaluación de políticas públicas admiten, ya no sólo la asunción de enfoques plurales de los métodos científicos, sino también la diversidad de posibilidades y variedades de usos de sus técnicas (Stake, 2006). Andamios 110 caRlos bueno suáRez y josé luis osuna llaneza de ocasiones, la evaluación viene a ser usada como un input más en el proceso decisional” (Subirats y Gomá, 2002: 196). Stake (2006), Monnier (1995), Shaw (2003), no obstante, apuntan, en su concepción negociadora de la evaluación, que también estas cuestiones deben formar parte del propio proceso, con objeto de poder establecer oportunamente la viabilidad de las estrategias y sus limitaciones. No obstante, habría que tener en cuenta, por una parte, que no siempre es factible transparentar los criterios sobre los que, decisores y gestores públicos, orientan su intervención; y por otra parte, que puede ser cuestionable que determinados criterios deban formar parte de la evaluación, cuando éstos posiblemente nada ten gan que ver con la lógica de la intervención establecida bajo los parámetros de análisis de esta investigación social aplicada a las políticas públicas. Tampoco se puede obviar que los propios procedimientos de desarrollo legislativo y de negociación y concertación política y social, bajo el que también se concretan las políticas públicas, condicionarán, y no siempre según los parámetros de la evaluación, las decisiones que finalmente se lleven a cabo. En relación a esta cuestión, se establece que “existen pocos casos en los que las decisiones se basan sólo en los resultados de la evaluación, aunque si estos resultados son convincentes y los estudios son defendibles desde el punto de vista del rigor, pueden dominar la toma de decisiones” (Rossi, 1989: 36). Debe asumirse, por tanto, que aquellas evidencias contrastadas a través de la evaluación no conformarán la única base sobre la cual el poder ejecutivo tomará decisiones políticas. Hay que reconocer la complejidad del proceso de formulación de políticas públicas, y si bien los análisis de evaluación son un insumo de conocimiento y juicio clarificadores, existen otros factores que inciden en la concepción definitiva de la intervención (Feinstein, 2007: 20). Pero la evaluación no debe prescindir de su orientación a facilitar la toma de decisiones. Desde la lógica racional y coherente a los criterios establecidos por la evaluación, ésta deberá concluir acerca de cuá les deban ser las respuestas estratégicas a ejecutar por parte de los decisores públicos. Y ello, a pesar de los planteamientos de Monnier, será independiente del resultado final de la decisión, en el bien entendido que el término independiente sitúa: 1) en los decisores políticos y en sus Andamios 111 Reflexiones epistemológicas y metodológicas paRa la evaluación procesos procedimentales y legales la toma de decisión que se establezca; 2) y en las conclusiones de la evaluación como un elemento más, que no el único, sobre el que establecer criterios para tales decisiones. Por tanto, la evaluación se ha de orientar hacia la toma de decisiones, con planteamientos posibilistas reconociendo que su utilidad estriba en servir de referencia a los gestores. Asimismo, la evaluación orientada hacia la toma de decisiones no esta reñida con el hecho de que ésta sea concebida como una herramienta indicativa, que no imperativa. El nivEl Empírico: la opción EntrE técnica Las técnicas estarán orientadas hacia opciones más cuantitativas, más cualitativas, o de integración, bien sea bajo formas de “triangula ción, combinación o complementación” (Bericat, 1998: 38). Se establece como principio la aceptación de que tanto las técnicas cuantitativas como las cualitativas pueden aplicarse bajo el paradigma y los enfoques teóricos propuestos sin menoscabar rigor y cientificidad a la evaluación. En este sentido, no existe un posicionamiento en favor de una única opción de técnicas como forma metodológica empírica exclusiva, si bien se reconoce que las aproximaciones al conocimiento de la realidad desde parámetros exclusivamente cuantitativos obvian importantes elementos que la conforman y que no pueden ser mesurables. Del mismo modo, en el campo de la evaluación de políticas públicas, sobre todo desde la superación del experimentalismo, son muchos los autores que en absoluto coinciden con que sólo desde las técnicas cuantitativas pueden ser contrastadas y justificadas las hipótesis de partida. Asimismo, salvo ante programas de intervención muy específicos y muy minoritarios, tampoco parece suficiente sustentar el análisis en una mera observación cualitativa como parece sugerir Stake en su defensa por un enfo que de evaluación comprensiva; si bien es cierto que él mismo reconoce que “es un malentendido habitual suponer que para la evaluación comprensiva es necesaria la investigación naturalista, el estudio de casos o los métodos cualitativos” (Stake, 2006: 149). Más allá del reclamo de legitimidad científica que para sí pretenden apropiarse tanto los cuantitativistas puros como los cualitativistas, lo cierto es que, en evaluación de políticas públicas, los requerimientos Andamios 112 caRlos bueno suáRez y josé luis osuna llaneza derivados de la complejidad que caracteriza el objeto de análisis, lleva a numerosos autores, a combinar, en un mismo proceso, técnicas de los dos signos. Por tanto, es necesario, de una parte, reconocer explícitamente el valor y utilidad de cada una de las técnicas respectivas aplicadas en procesos de evaluación, sean éstas cuantitativas o cualitativas; y por otra parte, reconocer las mayores capacidades analíticas que para la evaluación de políticas públicas ofrece la integración vertebrada de diversas técnicas de investigación. En este sentido, responde a una lógica coherente entender que la inclusión de técnicas cualitativas, que no exija renunciar a las cuantitativas, parece congruente con una lógica inductiva de aproximación constructiva a la realidad del contexto y de la política objeto de evaluación (Vélez, 2007). La legitimidad científica de la integración de técnicas cuantitativas y cualitativas está propuesta, en el ámbito específico de la evaluación de políticas públicas, por Cook y Reichardt (1986), entre otros muchos. Esencialmente se pueden distinguir tres estrategias básicas de integración: • La estrategia de complementación de técnicas cuantitativas y cualitativas. En realidad, en este caso el grado de integración metodológico es relativo en tanto que cada una de las técnicas se centra en aspectos diferentes de la realidad, si bien se entiende que se aplicarán con sentido diferenciado. • La estrategia de combinación de técnicas cuantitativas y cualitativas. Propone una integración subsidiaria de una técnica cualitativa en otra cuantitativa o viceversa. Se pretende obtener una óptima combinación metodológica de forma que se fortalezcan las técnicas a partir del aprovechamiento de las sinergias derivadas de su combinación. • La estrategia de triangulación de técnicas cuantitativas y cualitativas. Su aplicación a la evaluación de políticas públicas exige utilizar, de forma independiente, ambos tipos de técnicas orientadas al mismo objeto de análisis. En este caso, la legitimidad analítica se sustenta en la aplicación de dos tipos de técnicas para analizar el mismo fenómeno. Esto otorga una mayor confianza en la convergencia de resultados obtenidos a través de “caminos” diferentes, y en la veracidad del contraste de las hipótesis de partida. Andamios 113 Reflexiones epistemológicas y metodológicas paRa la evaluación conclusiones En el ámbito de la evaluación de políticas públicas la complementariedad a nivel metateórico se hace tan necesaria como dar cumplimiento a las exigencias de coherencia metodológica entre la aplicación de las técnicas y la asunción de los enfoques. De la misma manera que Bericat establece que el problema a investigar determina el método de investigación, debiera extenderse, esta afirmación, al ámbito específico de la evaluación, de forma que podría afirmarse igualmente que el objeto a evaluar determina el método de evaluación. De hecho, Suchman, ya hace más de cuatro décadas, afirmaba que situaciones distintas necesitaban distintos métodos evaluativos (Suchman, 1967). Asimismo, la diferencia de la evaluación de otros modos de investigación social no está tanto en el método como en su finalidad (Weiss, 1998). No obstante, desde el reconocimiento que la evaluación se inserta en el marco de las ciencias sociales, es necesario aceptar que la complejidad y multiplicidad de objetos de evaluación requieren propuestas epistemológicas plurales en las que paradigma, enfoque metodológico y técnicas aplicadas se adecuen con rigor y tratamiento científico al ámbito específico de cada análisis. Todo ello desde la consideración de que la evaluación debe permitir detectar y analizar con rigor las bondades y limitaciones del objeto de la intervención y ayudar a detectar posibles soluciones para su mejora. fuentes consultadas aguilaR, l. f., y bustelo, m. (2010), “Gobernanza y evaluación: una relación potencialmente fructífera”, en GAPP. Revista de Gestión y Análisis de Políticas Públicas, núm. 4, Julio-diciembre, Madrid: Nueva Época, pp. 23-51. banco mundial (2004), Seguimiento e instrumentos, métodos y enfoques, disponible en línea: http: //www.worldbank.org/ieg/. beRicat, e. (1998), La integración de los métodos cuantitativo y cualitativo en la investigación social, Barcelona: Ariel. Andamios 114 caRlos bueno suáRez y josé luis osuna llaneza beRtRana, x., e ysa, t. (2007), “Los retos de la evaluación de políti cas públicas: Entre la participación y la responsabilidad”, en Nue vas Políticas Públicas. Anuario multidisciplinar para la modernización de las Administraciones Públicas, núm. 3, Evaluación de Políticas Públicas, Sevilla: Instituto Andaluz de Administración Pública / Consejería de Justicia / Administración Pública Junta de Andalucía. bickman, l. (1987), “The Functions of Program Theory”, en Bickman, L., (ed.), Using Program Theory in Evaluation. New Directions for Program Evaluation, vol. 33, San Francisco: Jossey-Bass, pp. 25- 27. bueno, c. (2006), “Propuesta metodológica para el análisis de estrategias empresariales: Contextualizar para el análisis ex ante de políticas de empleo”, en Revista SEE-valuación, núm. 2, Sevilla: Sociedad Española de Evaluación, pp. 4-11. bustelo, m. (2001), La evaluación de las políticas públicas de igualdad de género de los gobiernos centrales y autonómicos en España: 1995- 1999, Tesis Doctoral, Madrid: Universidad Complutense de Madrid. _____ (2007), La teoría del programa y la evaluación del diseño. Material didáctico del Master en Evaluación de Programas y Políticas Públicas 2007, Madrid: Universidad Complutense de Madrid. campbell, d.t. (1970), “Considering the Case Against Experimental Evaluations of Social Innovations”, en Administrative Science Quarterly, núm. 15. Nueva York: Cornell University, pp 110- 113. cook, t. d., y ReicHaRdt, c. s. (1986), Métodos cualitativos y cuantitativos en investigación evaluativa, Madrid: Ediciones Morata. cRonbacH, l. j., ambRon, s. R., doRnbuscH, s. m., Hess, R. d., HoRnik, R. C., pHillips, d. c., WalkeR, d. F., & WeineR, s. s. (1985), Toward Reform of Program Evaluation, San Francisco: Jossey-Bass. cHen, H. t. (2005), Practical Program Evaluation: Assessing and Improving Planning, Implementation and Effectiveness, California: Sage. cHen, H. t., y Rossi, p. H. (1989), “Issues in theory-driven perspective”, en Evaluation and Program Planning, vol. 12, núm. 4, pp. 299-306. Andamios 115 Reflexiones epistemológicas y metodológicas paRa la evaluación davidson, e.J. (2000), “Ascertaining Causality in theory-based evaluation”, en Rogers, P., et al. (ed.), Program Theory in Evaluation: Challenges and Opportunities, núm. 87, San Francisco: New Directions for Program Evaluation, pp. 17-26. díez, m. a. y setién, m. l. (2005), “La evaluación del proyecto Itun- Equal: Efectos y procesos de cambio”, en Inguruak: Soziologia Eta Zientzia Politikoaren Euskal Aldizkaria, núm. 41, Bilbao: Universidad de Deusto, pp. 33-56. _____ (2006), “Bases Metodológicas para la evaluación de proyectos de inserción social y laboral”, en Ekonomiaz La evaluación de las políticas públicas en el País Vasco, núm. 60 (2), Vitoria: Servicio Central de Publicaciones del Gobierno Vasco, pp. 111-137. feinstein, o. (2007), “Evaluación Pragmática de Políticas Públicas”, en Información Comercial Española icE. Evaluación de Políticas Públicas, núm. 836, Madrid: Ministerio de Industria, Turismo y Comercio, pp. 19-31. guba, e. g., y lincoln, y. s. (1989), Fourth Generation Evaluation, California: Sage Publications/Newbury Park. _____ (1994), “Competing Paradigms in Qualitative Research”, en N.K. Denzin e Y.S. Lincoln, Handbook of qualitative research, Thousand: Sage, pp. 105-117. Heckman, j. (2001), “Micro Data, Heterogeneity, and the Evaluation of Public Policy: Nobel Lecture”, en Journal of Political Economy, vol. 100, núm. 4, Chicago: University of Chicago, pp. 673-748. Hemmati, m. (2002), Multi-stakeholder Process for Governance and Sustainability, Londres: Erathscan Publications ltd. monnieR, e. (1995), Evaluación de la acción de los poderes públicos, Madrid: Instituto de Estudios Fiscales. osuna, j. l., muRciano, j., y vélez, c. (2005), “Programación y evaluación pública: un triángulo complejo”, en Ekonomiaz La evaluación de las políticas públicas en el País Vasco, núm. 60 (1), Vitoria: Servicio Central de Publicaciones del Gobierno Vasco. osuna, j. l., y bueno, c. (2007), “La evaluación de las Políticas Públicas: El caso de las Políticas de Fomento del Empleo Estable”, en Información Comercial Española ICE. Evaluación de Políticas Andamios 116 caRlos bueno suáRez y josé luis osuna llaneza Públicas, núm. 836, Madrid: Ministerio de Industria, Turismo y Comercio, pp. 75-83. patton, m. q. (1990), Qualitative evaluation and research methods, Newbury Park: Sage Publications. planas, i. (2005), “Principales mecanismos de evaluación económica de políticas públicas”, en Economías La evaluación de las políticas públicas en el País Vasco, núm. 60 (1). Vitoria: Servicio Central de Publicaciones del Gobierno Vasco. Rebolloso e., feRnández-RamíRez b., y cantón p. (2008), Evaluación de programas de intervención social, Madrid: Síntesis. Román, c. (2006), “Otro Estado”, en Revista sEE-valuación, núm. 1. Sevilla: Sociedad Española de Evaluación, pp. 4-5. Rossi, p. H,, y fReeman H. e. (1989), Evaluación: un enfoque sistemático para programas sociales, México: Trillas. _____ (1993), Evaluation: a systematic approach, Londres: Sage Publications. scRiven, m. (1983), “Evaluation Ideologies”, en Madaus, G. F., Scriven, M., y Stufflebeam, D. L. (eds.), Evaluation Models: Viewpoints on Educational and Human Services Evaluation, Boston: Kluwer- Nijhoff, pp. 229-260. sHaW, i. f. (2003), La evaluación cualitativa, Barcelona: Paidós Básica. solaRte, l. (2004), Las evaluaciones de políticas públicas en el estado liberal, santiago de cali, Montreal: Universidad del Valle. stake. R. e. (2006), Evaluación comprensiva y evaluación basada en estándares, Colección Crítica y Fundamentos, Barcelona: gRao. subiRats, j. (2006), “Algunos puntos sobre evaluación de políticas públicas con especial referencia al caso de las políticas sociales”, en Revista sEE-valuación, núm. 2, Sevilla: Sociedad Española de Evaluación, pp. 24-35. subiRats, j., y gomà, R. (2002), “Evaluación de políticas públicas”, en Planificación y evaluación en políticas de información, Coleción uoc/La universidad Virtual, Barcelona: Fundació per a la Universitat Oberta de Catalunya, pp. 151-167. sucHman, e. a. (1967), Evaluative research: Principles and practice in public service and social action programs, Nueva York: Russell Sage Foundation. Andamios 117 Reflexiones epistemológicas y metodológicas paRa la evaluación vélez, c. (2007), “El cambio de paradigma en evaluación de políti cas pú blicas: El caso de la Cooperación al Desarrollo”, en Nue vas Políticas Públicas. Anuario multidisciplinar para la modernización de las Administraciones Públicas, núm. 3, Evaluación de Políticas Públicas, Sevilla: Instituto Andaluz de Administración Pública / Consejería de Justicia / Administración Pública. Weiss, c. H. (1998), Evaluation. Methods for Studying Programs and Policies, Nueva Jersey: Prentice Hall. Fecha de recepción: 7 de mayo de 2012 Fecha aprobación: 19 de diciembre de 2012 Volumen 10, número 21, enero-abril, 2013, pp. 95-117