Reflexiones epistemológicas y metodológicas para la evaluación de políticas públicas

Andamios 95 Re lexiones epis emológicas y me odológicas paRa la e aluación de polí icas públicas Ca los Bueno Suá ez* y José Luis Osuna Llaneza** Resumen: No exis e una me odología de e aluación de polí i cas públicas plenamen e consensuada y de acep ación gene alizada. Es e a ículo abo da el e o que implica de e mina un ma co me- odológico que pe mi a o ien a la labo de e aluación como juicio c í ico y a su ez cons uc i o de la in e ención pública; siemp e desde el cumplimien o es ic o del igo cien í ico exi- gible. Se apo an algunas e lexiones eó icas de u ilidad desde el ma co epis emológico pa a cla i ica los p incipios, el en o- que y el mé odo, así como la opción de écnicas e ins umen os analí icos que han de con o ma , en la p ác ica, la base de los p o cesos de e aluación de las polí icas públicas. palabRas cla e: E aluación, polí icas públicas, me odología, epis emología. in Roducción: la adecuación y oRien ación del mé odo al obje o de e aluación de la in eR ención pública En el ma co gene al de la in es igación en un de e minado dominio o á ea de la ciencia se suele da una espues a analí ica median e una * Doc o en Economía Regional. P o eso Ayudan e Uni e sidad de Se illa. Aseso Cien- í ico del Ins i u o de Es udios de Economía, E aluación y Empleo. Coo dinado de In es igación de la Cá ed a Ca los Román en e aluación de polí icas públicas de la Uni e sidad de Se illa. Co eo elec ónico: [email p o ec ed] ** Doc o en Ciencias Económicas Ca ed á ico E. U. de la Uni e sidad de Se illa. P esi- den e de la Sociedad Española de E aluación de Polí icas Públicas (España). Miemb o del Consejo Rec o de la Agencia Es a al de E aluación de las Polí icas Públicas. Di ec- o del Más e Ibe oame icano de E aluación de Polí icas Públicas, en la Uni e sidad In e nacional de Andalucía. Co eo elec ónico: [email p o ec ed] Volumen 10, núme o 21, ene o-ab il, 2013, pp. 95-117 Andamios 96 caRlos bueno suáRez y josé luis osuna llaneza habi ual o odoxia ela i a a un “ma co conc e o de p ocedimien os me odológicos” (Rebolloso, Fe nández-Ramí ez y Can ón, 2008: 21). No obs an e, no se puede nega que la e aluación se nu e de campos di e sos, adqui iendo un ca ác e mul idisciplina . De es e modo, la e aluación de polí icas públicas esponde a la isión mul ipa adigmá i- ca que se hace de las p opias ciencias sociales. Tan o la obse ación, como el análisis y la concep ualización, y e iden emen e, las o mas de acceso a la in o mación ela i a al con ex o e in e ención p esen an una amplia di e sidad de o mas y mane as de se abo dadas. Así pues, en e aluación de polí icas públicas, posicionamien os epis emológi- cos, enunciados cien í icos y écnicas empí icas an a mos a se de o ma múl iple y di e sa (Be ica , 1998). P ecisamen e, a a és del siguien e a ículo se p esen an, desde una ap oximación analí ica eó ico-desc ip i a, posibles al e na i as me- a eó icas, eó icas y empí icas, asociadas a los p incipios, pa adigmas, en oques y écnicas desde los que abo da , con las co espondien- es exigencias de igo cien í ico, p ocesos de e aluación de polí icas públicas en el ámbi o de las Ciencias Sociales. Se p e ende, como obje i o, cla i ica de o ma es uc u ada y concisa la mul iplicidad de posibilidades analí icas que dispone, e incluso exige, la e aluación de po- lí icas públicas. Conside ando la ele ancia del pa adigma adicional posi i is a y su e olución en el campo de la e aluación de polí icas pú- blicas, y la necesidad, po su apo ación al en iquecimien o cien í ico que en aña, de la complemen a iedad en e plan eamien os, el p esen- e a ículo se cen a, no obs an e, en las posibilidades y al e na i as que se p esen an desde el pa adigma cons uc i is a. Las o ien aciones o en oques me odológicos de la e aluación pueden di e i en i ud del modo en que son concebidas y es ablecidas las p opias polí icas públicas; o en unción de los eque imien os y las ne- cesidades de in o mación de los deciso es públicos; de la disposición de sis emas de ges ión de in o mación o ien ados a la e aluación; del ámbi o uncional o empo al al que és a se di ige; o siendo de e minadas po las i ulaciones, conocimien os, expe iencias y p e e encias analí icas de los p opios e aluado es. También, po supues o, en unción de los ecu - sos inancie os disponibles pa a acome e la. De hecho, Rossi y F eeman Andamios 97 Re lexiones epis emológicas y me odológicas paRa la e aluación econocían que la e aluación si uaba su ámbi o de in es igación social den o de los ma cos polí icos y é icos, y se some ía a las limi aciones que imponían el iempo, la inanciación y los ecu sos humanos a disposición del equipo e aluado (Rossi y F eeman, 1993). Asimismo, en el ámbi o de las ciencias sociales los deba es me- odológicos es án mucho más abie os y son más dinámicos e in ensos. Po es a azón, desde una pe spec i a eó ica, se desa ollan y e- lexionan cues iones habi ualmen e a adas ela i as al posi i ismo, al uso de pa adigmas deduc i os o induc i os y cons uc i is as, al uso de he amien as cuali a i as y/o cuan i a i as, o a las o mas en las que deben se conside ados los juicios. El hecho de que la e aluación deba adecua se a los pa áme os y cánones p opios de la in es igación cien í ica en ningún caso puede se in e p e ado como la acep ación de un único pa adigma o un único mé odo. Bus elo es ablece que el e aluado debe se capaz de da di e en es espues as me odológicas en i ud de cada con ex o (Bus elo, 2007). Las posibilidades de delimi a , analiza y esponde , de o ma igu osa, a las cues iones que se de e minen y de i en de las e aluaciones de polí icas públicas exige dispone de un di e si icado elenco de ins umen os y me odologías p es os a se aplicados. Más aún cuando se acep a una concepción holís ica e in eg ado a de la e a- luación ligada a su inalidad, en an o que la si úa en odas y cada una de las ases asociadas a la acción pública.1 Asimismo, es necesa io conside a la complejidad de las polí icas pú- blicas y, po an o, el aslado de és a a sus análisis y e aluaciones. La polí ica pública es a eces en endida como un “ a amien o” a suminis a a un colec i o de bene icia ios bajo la hipó esis de que si és e es á bien “dosi icado” sus “males” se án, en p incipio, esuel os 1 Una de inición in eg ado a ampliamen e e e enciada es la que hicie an Rossi y F eeman conside ando lo que se conoce como comp ehensi e e alua ion que “Es la aplicación sis emá ica de los p ocedimien os de la in es igación social pa a alo a la con- cep ualización y el diseño, la ejecución y la u ilidad de los p og amas de in e ención social” (Rossi y F eeman, 1989: 18). Des aca po la ele ancia que o o ga al análisis de los esul ados, pe o ambién a o as ace as ela i as an o al diseño como a la ges ión y p ocedimien os de implemen ación de las in e enciones públicas. Po es a múl iple o ien ación exige acome e e aluaciones a medida. Andamios 98 caRlos bueno suáRez y josé luis osuna llaneza (Heckman, 2001: 713). Es o lle a a que las polí icas sean concebidas bajo condiciones de acionalidad, donde, de e minado el diagnós ico del con ex o, se es ablecen los obje i os y es a egias que hacen en e a los “padecimien os” del mismo. La e aluación se es ablece á bajo una me odología que e i ique, con e acidad, el alcance de “cu ación”. No obs an e, quizás sea és a una o ma simpli icada, p óxima a la mo- delización de la misma, que si bien puede se de u ilidad analí ica y explica i a no deja á de es a limi ada. Y es que los elemen os que con o man la ealidad sob e la que se in e iene no suelen se an simples. De es e modo, la polí ica pública debe se en endida como un sis ema de in e ención di igido a la esolución de p oblemas com- plejos y en el que las es a egias acome idas y los p opios esul ados son suscep ibles de e oluciona a lo la go del p oceso de ejecución. Es necesa io, asimismo, conside a que dichos esul ados es a án no sólo asociados a la in e ención, sino a múl iples elemen os que incluso son ajenos a la misma; “An e odo, es impo an e ene en cuen a que hay un conjun o de ac o es que ope an simul ánea y sucesi amen e en la ealidad, en una ealidad compleja, y que, po lo an o, gene almen e hay múl iples causas y no causas únicas” (Feins ein, 2007: 20-22). También se habla de un “ iángulo complejo de elaciones”, al e e i se a los p og amas y polí icas públicas donde se c uzan las a iadas di- mensiones sec o iales sob e las que se in e iene; la mul iplicidad y he e ogeneidad de ac o es implicados; así como di e en es escalas adminis a i as de ges ión y ejecución de las ac uaciones y su es uc u a polí ica (Osuna, e al, 2005). Po o a pa e, cen ando el análisis en el ámbi o de las polí icas de inclusión, se hace e e encia a “mo i aciones complejas u o de un p oceso nada lineal” como condicionan es de la c eación y aplicación de la polí ica (Subi a s, 2006: 31). Es as conside aciones son pe ec amen e ex apolables a o as in e enciones públicas. Y an e es o, se compa e la a i mación de Subi a s “en polí icas complejas, e aluaciones complejas”, y más aún cuando p e ende se una ei indicación a la combinación de lo que denomina me odologías “ha d” y “so ” al acome e p ocesos de e aluación de las polí icas públicas, sugi iendo que el uso exclusi o de ap o ximaciones cuan i a i as en e aluación da esul ados insu i- cien es. F en e a ello, no se pueden ob ia ampoco los pos ulados de Andamios 99 Re lexiones epis emológicas y me odológicas paRa la e aluación quienes, sin enuncia al análisis cuali a i o, adelan an c í icas sob e la capacidad de és e pa a sus i ui los en oques cuan i a i os (Campbell, 1970). Hacia una pRopues a me odológica de e aluación: la asunción de pRincipios y la opción en Re paRadigmas, en oques y écnicas Cuando Shaw se in oduce en el campo de la me odología de la e aluación empieza e i iéndose a las ac i udes que se iene an e és as, cali icándolas a la ez de “bendición” y “pesadilla” (Shaw, 2003: 117). Se e ie e a la necesidad de hace en e a lo que cali ica como pu ismo me odológico y jus i ica sus dudas hacia el hecho de que las e aluaciones es én egidas exclusi amen e po la me odología. No obs an e, si bien hay que econoce que un mé odo de e minado no lo puede se odo en la e aluación —en an o que no iene po qué se el que pe mi a da espues as a las cues iones que en cada caso se p opone—, no se puede ob ia que la con o mación y adecuación me odológica a la in e ención pública obje o de e aluación ha de se un pila esencial de la misma. Consecuen emen e, pa ece azonable la a i mación de Guba y Lincoln cuando es ablecen que no se puede especi ica una me odología de ini i a pa a llega a conoce lo que acon ece (Guba y Lincoln, 1989). Pe o no cabe duda de que la e aluación de polí icas públicas exige la con o mación de conocimien o cien í ico en el ma co de las ciencias sociales, al iempo que equie e de su alo ación; odo ello sus en ado en pau as me odológicas que ga an icen su máximo igo . Y es o se á desde el econocimien o, de las limi aciones de los mé odos aplica- bles y desde la conside ación de que la p opia e aluación dispone de pau as me odológicas especí icas. Así, se en iende que la e aluación de polí icas públicas equie e, des de el p agma ismo y el igo , es ablece una iangulación an o de uen es de in o mación como de mé odos a aplica (Feins ein, 2007). La e e encia al p agma ismo debe se conside ada desde dos e ien es: po una pa e, desde el posibilismo analí ico y po o a desde la u ilidad y uncionalidad de la e aluación, acep ando que “La u ilidad es la Andamios 100 caRlos bueno suáRez y josé luis osuna llaneza undamen ación de la e aluación” (Weiss, 1998: 15). El p agma ismo, aplicable an o desde el posi i ismo como desde el cons uc i ismo, se asocia esencialmen e an o a las écnicas aplicables como al en oque. Como odo abajo cien í ico, la e aluación exige una adecuación me odológica o ien ada no sólo a los obje i os que pe sigue sino am- bién a los ecu sos disponibles; poniendo de mani ies o el alcance y las limi aciones del p oceso de in es igación como elemen o esencial de igu osidad y e acidad. La opción del mé odo en e aluación puede es a de e minada po es ni eles básicos adop ados de aquellos que se es ablecen en el ma co de la in es igación social; Dichos ni eles son los siguien es: El me a eó ico (pa adigma), el eó ico (en oque) y el empí ico ( écnica). La de e minación del mé odo a aplica nos exige una elección conc e a, en cada uno de es os ni eles, dada la mul iplicidad y a iedad de opciones disponibles. Asimismo, el mé odo a aplica exige que la se- lección po la que se op e en cada uno de es os ni eles, sea, en su conjun o, “cohe en e”, ga an izando con ello un cue po me odológico “in eg ado” (Be ica , 1998: 19). Cie o es que la posibilidad de op a se de i a de la acep ación de cua o p incipios2 esenciales: P incipio de consenso me odológico p e io Se a a de delimi a con cla idad, con los ac o es de la e aluación, el ma co me odológico a desa olla , explici ando los lími es, a ando de e i a , a p io i, du das sob e los esul ados que se de i en de la e aluación po un cues ionamien o de la me odología. El e aluado op a á en i ud del alo que o o gue a cada me odología aplicable, y explici a á sus ac os espec o a las acciones o pau as a acome e . P incipio de igo y cohe encia De modo que la p eocupación po el igo me odológico guíe con- inuamen e la in es igación e alua i a; lo que exige un mé odo que e i e, a p io i, el es ablecimien o de posicionamien os que pudie- sen “conduci ” la labo de e aluación a conclusiones e óneas. La opción me odológica debe, po an o, cons i ui un cue po in eg ado al ampa- o de un sis ema de acciones o pau as cohe en es (Be ica , E. 1998: 19). Con ello, se án las obse aciones y los análisis los que de e minen o concluyan los esul ados de la e aluación y no a la in e sa. 2 Adap ado de Benhayoun, G. y Lazze i, Y. (1998: 29,30). Andamios 101 Re lexiones epis emológicas y me odológicas paRa la e aluación P incipio de plu alismo me odológico La con on ación de expe iencias, la combinación de ap oximaciones cua li a i as y cuan i a i as, la disposición de in o mación di e sa, ob- enida de écnicas y uen es di e sas, deben se en endidos, en los p ocesos de e aluación, como una buena es a egia pa a alcanza con- clusiones sólidas y con as adas. Un au o enume a, conscien emen e de o ma muy en emezclada, en e o as, las siguien es: “ma cos ló- gi cos de cohe encia, con a ac ualidad, inpu -ou pu , paneles de expe os, Delphi, da o, g upos de discusión, análisis cos e-bene icio, cos e-e ec i idad, cos e-e icacia y de on e a, p uebas expe imen ales, mapas con ac uales, mapas de impac os, e cé e a” (Román, 2006: 5). P incipio de adap ación de mé odos Hay que acep a la aplicabilidad de di e sas me odologías que cumplan los p incipios deon ológicos de cien i icidad, y que den espues a i- gu osa a las cues iones cogni i as y no ma i as que se p opone la e aluación. No obs an e, los mé o dos deben adap a se a los obje os de es udio, a los sis emas de in o mación, los ecu sos disponibles y a las hipó esis plan eadas. cuadRo 1. pRopues a del mé odo in egRado paRa la e aluación de polí icas públicas: pRincipios; paRadigmas; en oques y écnicas Fuen e: Elabo ación p opia. Andamios 102 caRlos bueno suáRez y josé luis osuna llaneza Con odo ello, la p opues a me odológica de la e aluación a abo da debe supe a aquellos dogma ismos que abogan po una exclusi i- dad de en oques aplicables, y que se es ablecen de o ma independien e a los obje os de análisis. De hecho, la Comisión de Expe os pa a la c eación de la Agencia Es a al de E aluación de la Calidad de los Se icios y las Polí icas Públicas (ae al) es ablecía que “supe ado ya el monopolio de cie os pa adigmas, no pa ece opo uno a e a se a p io i a la de ensa de cie os modelos o écnicas de e aluación, en g an medida, po que la p ác ica de la e aluación así lo ha aconsejado”.3 El ni El mE a Eó ico: la opción En E pa adigmas Las opciones me odológicas es a án p e iamen e suje as a la opción de pa adigma siendo és a el posicionamien o on ológico y epis emológico bajo el que se guia á el e aluado (Guba y Lincoln 1994: 105). Di- cho posicionamien o indica á el modo en que el e aluado , como in es igado social, se en en a al e o de la in e ención y del con ex- o. Muchas de las cues iones que delimi an el pa adigma se e ie en a lo que debe y puede se conocido (posicionamien o on ológico), y, po o a pa e, a la elación o inculación en e el suje o e aluado y el obje o de e aluación, así como a los a ibu os del conocimien o, undamen almen e en elación a la capacidad o no de gene alización de conclusiones (Sola e, 2004). Valo ando la ele ancia de la adi- ción posi i is a en es e campo,4 se econoce un p og esi o aumen o en la aplicación del cons uc i ismo. Se aboga, po una concepción epis- emológica que asuma la ela i idad de las e dades absolu as y econozca la ele ancia de las pe cepciones subje i as como o ma de ap oximación ce e a y plu al al con ex o y a la p opia in e ención (Vélez, 2007: 154). No sólo el conocimien o, sino ambién el juicio o alo ación que inco po a la e aluación, se cons uye de o ma g adual 3 In o me de 4 de Oc ub e de 2004 Comisión pa a el Es udio y C eación de la Agencia Es a al de E aluación de la Calidad de los Se icios y las Polí icas Públicas (2004). Minis e io de Adminis aciones Públicas (pp 70). Colección In o mes. ae al. Mad id. 4 O o au o hace e e encia a las di e sas apo aciones me odológicas que se desa- ollan, desde el pa adigma posi i is a, en el ámbi o especí ico de las e aluaciones aplicadas en el campo de la economía (Planas, I. 2005). Andamios 103 Re lexiones epis emológicas y me odológicas paRa la e aluación a a és de sucesi as ap oximaciones. Se econoce, po an o, al y co- mo es ablece Sola e al e e i se al pa adigma cons uc i is a que “suje o y obje o es án in e ac i amen e inculados” y que los conocimien os o “descub imien os” son c eados a lo la go del p opio p oceso de in es igación (Sola e, 2004: 42). También se mues a in e esan e la dis inción en e pa adigmas p opues a po Shaw al e e i se al posi i is a, posposi i is a, cons- uc i is a y, inalmen e, al de la eo ía c í ica. Es p ecisamen e és e úl imo, al que el au o denomina de o ma más especí ica e aluación c í ica, el que susci a un mayo in e és en an o que es ablece un llamamien o a la e lexión al conside a que “los p oblemas se concep ualizan como pa e de los pa ones sociales, polí icos y cul u ales en los que se o ma el e aluando”. Y es o implica la necesidad de econoce que a a és de la e aluación no sólo se p oduce conocimien o sino que se p odu- cen alo es en si mismos, “la p oducción de conocimien os es la p oduc ción de alo es” (Shaw, 2003: 77-78). El econocimien o de los juicios in ínsecos que acompañan al e a luado no debe me ma su capacidad y igo de análisis; pe o al mis mo iempo, obliga a se conscien es de que odo el p oceso es á indisolublemen e condicionado po los pa ones sociales y mo ales en los que el e aluado -pe sona se o ma como al. Ello exige la adopción de una me odología he menéu ica y dialéc ica en la que se puedan de ec- a y comp ende las in e p e aciones de la ealidad que p esen an los múl iples ac o es de la acción, al iempo que se asume una pe spec i a in eg al y holís ica de la e aluación de polí icas públicas. Es a opción no es á eñida con lo que se denomina como el “pa- adigma de elecciones” en an o echaza la o odoxia me odológica exclusi is a “a a o de la adecuación me odológica como c i e io básico pa a juzga la calidad del mé odo” (Pa on, 1990: 38,39). Cie o es que en la ac ualidad an o el pa adigma cons uc i is a como el posi i is a especí icamen e aplicado a la e aluación de polí icas públicas admi en, ya no sólo la asunción de en oques plu ales de los mé odos cien í icos, sino ambién la di e sidad de posibilidades y a iedades de usos de sus écnicas (S ake, 2006). Andamios 110 caRlos bueno suáRez y josé luis osuna llaneza de ocasiones, la e aluación iene a se usada como un inpu más en el p oceso decisional” (Subi a s y Gomá, 2002: 196). S ake (2006), Monnie (1995), Shaw (2003), no obs an e, apun an, en su concepción negociado a de la e aluación, que ambién es as cues iones deben o ma pa e del p opio p oceso, con obje o de po- de es ablece opo unamen e la iabilidad de las es a egias y sus limi aciones. No obs an e, hab ía que ene en cuen a, po una pa e, que no siemp e es ac ible anspa en a los c i e ios sob e los que, deciso es y ges o es públicos, o ien an su in e ención; y po o a pa e, que puede se cues ionable que de e minados c i e ios deban o ma pa e de la e aluación, cuando és os posiblemen e nada en gan que e con la lógica de la in e ención es ablecida bajo los pa áme os de análisis de es a in es igación social aplicada a las polí icas públicas. Tampoco se puede ob ia que los p opios p ocedimien os de desa ollo legisla i o y de negociación y conce ación polí ica y social, bajo el que ambién se conc e an las polí icas públicas, condiciona án, y no siemp e según los pa áme os de la e aluación, las decisiones que inalmen e se lle en a cabo. En elación a es a cues ión, se es able- ce que “exis en pocos casos en los que las decisiones se basan sólo en los esul ados de la e aluación, aunque si es os esul ados son con incen- es y los es udios son de endibles desde el pun o de is a del igo , pueden domina la oma de decisiones” (Rossi, 1989: 36). Debe asumi se, po an o, que aquellas e idencias con as adas a a és de la e aluación no con o ma án la única base sob e la cual el pode ejecu i o oma á decisiones polí icas. Hay que econoce la complejidad del p oceso de o mulación de polí icas públicas, y si bien los análisis de e aluación son un insumo de conocimien o y jui- cio cla i icado es, exis en o os ac o es que inciden en la concepción de ini i a de la in e ención (Feins ein, 2007: 20). Pe o la e aluación no debe p escindi de su o ien ación a acili a la oma de decisiones. Desde la lógica acional y cohe en e a los c i e- ios es ablecidos po la e aluación, és a debe á conclui ace ca de cuá les deban se las espues as es a égicas a ejecu a po pa e de los deciso es públicos. Y ello, a pesa de los plan eamien os de Monnie , se á independien e del esul ado inal de la decisión, en el bien en endido que el é mino independien e si úa: 1) en los deciso es polí icos y en sus Andamios 111 Re lexiones epis emológicas y me odológicas paRa la e aluación p ocesos p ocedimen ales y legales la oma de decisión que se es ablezca; 2) y en las conclusiones de la e aluación como un elemen o más, que no el único, sob e el que es ablece c i e ios pa a ales decisiones. Po an o, la e aluación se ha de o ien a hacia la oma de decisiones, con plan eamien os posibilis as econociendo que su u ilidad es iba en se - i de e e encia a los ges o es. Asimismo, la e aluación o ien ada hacia la oma de decisiones no es a eñida con el hecho de que és a sea concebida como una he amien a indica i a, que no impe a i a. El ni El Empí ico: la opción En E écnica Las écnicas es a án o ien adas hacia opciones más cuan i a i as, más cua- li a i as, o de in eg ación, bien sea bajo o mas de “ iangula ción, combinación o complemen ación” (Be ica , 1998: 38). Se es ablece como p incipio la acep ación de que an o las écnicas cuan i a i as como las cuali a i as pueden aplica se bajo el pa adigma y los en oques eó i- cos p opues os sin menoscaba igo y cien i icidad a la e aluación. En es e sen ido, no exis e un posicionamien o en a o de una única op- ción de écnicas como o ma me odológica empí ica exclusi a, si bien se econoce que las ap oximaciones al conocimien o de la ealidad desde pa áme os exclusi amen e cuan i a i os ob ian impo an es elemen os que la con o man y que no pueden se mesu ables. Del mismo modo, en el campo de la e aluación de polí icas públicas, sob e odo desde la supe ación del expe imen alismo, son muchos los au o es que en absolu o coinciden con que sólo desde las écnicas cuan i a i as pueden se con as adas y jus i icadas las hipó esis de pa ida. Asimismo, sal o an e p og amas de in e ención muy especí icos y muy mino i a ios, ampoco pa ece su icien e sus en a el análisis en una me a obse ación cuali a i a como pa ece suge i S ake en su de ensa po un en o que de e aluación comp ensi a; si bien es cie o que él mismo econo- ce que “es un malen endido habi ual supone que pa a la e aluación comp ensi a es necesa ia la in es igación na u alis a, el es udio de casos o los mé odos cuali a i os” (S ake, 2006: 149). Más allá del eclamo de legi imidad cien í ica que pa a sí p e enden ap opia se an o los cuan i a i is as pu os como los cuali a i is as, lo cie o es que, en e aluación de polí icas públicas, los eque imien os Andamios 112 caRlos bueno suáRez y josé luis osuna llaneza de i ados de la complejidad que ca ac e iza el obje o de análisis, lle a a nume osos au o es, a combina , en un mismo p oceso, écnicas de los dos signos. Po an o, es necesa io, de una pa e, econoce explíci amen e el alo y u ilidad de cada una de las écnicas espec i as aplicadas en p ocesos de e aluación, sean és as cuan i a i as o cuali a i as; y po o a pa e, econoce las mayo es capacidades analí icas que pa a la e aluación de polí icas públicas o ece la in eg ación e eb ada de di e sas écnicas de in es igación. En es e sen ido, esponde a una lógica cohe en e en ende que la inclusión de écnicas cuali a i as, que no exija enuncia a las cuan i a i as, pa ece cong uen e con una lógica induc i a de ap oximación cons uc i a a la ealidad del con ex o y de la polí ica obje o de e aluación (Vélez, 2007). La legi imidad cien í ica de la in eg ación de écnicas cuan i a i as y cuali a i as es á p opues a, en el ámbi o especí ico de la e aluación de polí icas públicas, po Cook y Reicha d (1986), en e o os mu- chos. Esencialmen e se pueden dis ingui es es a egias básicas de in eg ación: • La es a egia de complemen ación de écnicas cuan i a i as y cua- li a i as. En ealidad, en es e caso el g ado de in eg ación me odológico es ela i o en an o que cada una de las écnicas se cen a en aspec os di e en es de la ealidad, si bien se en iende que se aplica án con sen ido di e enciado. • La es a egia de combinación de écnicas cuan i a i as y cuali a i as. P opone una in eg ación subsidia ia de una écnica cuali a i a en o a cuan i a i a o ice e sa. Se p e ende ob ene una óp ima combinación me odológica de o ma que se o alezcan las écnicas a pa i del ap o echamien o de las sine gias de i adas de su combinación. • La es a egia de iangulación de écnicas cuan i a i as y cuali a i as. Su aplicación a la e aluación de polí icas públicas exige u iliza , de o ma independien e, ambos ipos de écnicas o ien adas al mismo obje o de análisis. En es e caso, la legi imidad analí ica se sus en a en la aplicación de dos ipos de écnicas pa a analiza el mismo enómeno. Es o o o ga una mayo con ianza en la con e gen- cia de esul ados ob enidos a a és de “caminos” di e en es, y en la e acidad del con as e de las hipó esis de pa ida. Andamios 113 Re lexiones epis emológicas y me odológicas paRa la e aluación conclusiones En el ámbi o de la e aluación de polí icas públicas la complemen a iedad a ni el me a eó ico se hace an necesa ia como da cumplimien o a las exigencias de cohe encia me odológica en e la aplicación de las écnicas y la asunción de los en oques. De la misma mane a que Be ica es ablece que el p oblema a in- es iga de e mina el mé odo de in es igación, debie a ex ende se, es a a i mación, al ámbi o especí ico de la e aluación, de o ma que po- d ía a i ma se igualmen e que el obje o a e alua de e mina el mé odo de e aluación. De hecho, Suchman, ya hace más de cua o décadas, a i maba que si uaciones dis in as necesi aban dis in os mé odos e a- lua i os (Suchman, 1967). Asimismo, la di e encia de la e aluación de o os modos de in- es igación social no es á an o en el mé odo como en su inalidad (Weiss, 1998). No obs an e, desde el econocimien o que la e aluación se inse a en el ma co de las ciencias sociales, es necesa io acep a que la complejidad y mul iplicidad de obje os de e aluación equie en p opues as epis emológicas plu ales en las que pa adigma, en oque me odológico y écnicas aplicadas se adecuen con igo y a amien o cien í ico al ámbi o especí ico de cada análisis. Todo ello desde la con- side ación de que la e aluación debe pe mi i de ec a y analiza con igo las bondades y limi aciones del obje o de la in e ención y ayuda a de ec a posibles soluciones pa a su mejo a. uen es consul adas aguilaR, l. ., y bus elo, m. (2010), “Gobe nanza y e aluación: una elación po encialmen e uc í e a”, en GAPP. Re is a de Ges ión y Análisis de Polí icas Públicas, núm. 4, Julio-diciemb e, Mad id: Nue a Época, pp. 23-51. banco mundial (2004), Seguimien o e ins umen os, mé odos y en oques, disponible en línea: h p: //www.wo ldbank.o g/ieg/. beRica , e. (1998), La in eg ación de los mé odos cuan i a i o y cuali a i o en la in es igación social, Ba celona: A iel. Andamios 114 caRlos bueno suáRez y josé luis osuna llaneza beR Rana, x., e ysa, . (2007), “Los e os de la e aluación de polí i cas públicas: En e la pa icipación y la esponsabilidad”, en Nue as Polí icas Públicas. Anua io mul idisciplina pa a la mo- de nización de las Adminis aciones Públicas, núm. 3, E aluación de Polí icas Públicas, Se illa: Ins i u o Andaluz de Adminis ación Pública / Conseje ía de Jus icia / Adminis ación Pública Jun a de Andalucía. bickman, l. (1987), “The Func ions o P og am Theo y”, en Bickman, L., (ed.), Using P og am Theo y in E alua ion. New Di ec ions o P og am E alua ion, ol. 33, San F ancisco: Jossey-Bass, pp. 25- 27. bueno, c. (2006), “P opues a me odológica pa a el análisis de es a e- gias emp esa iales: Con ex ualiza pa a el análisis ex an e de polí icas de empleo”, en Re is a SEE- aluación, núm. 2, Se illa: Sociedad Española de E aluación, pp. 4-11. bus elo, m. (2001), La e aluación de las polí icas públicas de igualdad de géne o de los gobie nos cen ales y au onómicos en España: 1995- 1999, Tesis Doc o al, Mad id: Uni e sidad Complu ense de Mad id. _____ (2007), La eo ía del p og ama y la e aluación del diseño. Ma e ial didác ico del Mas e en E aluación de P og amas y Polí icas Públicas 2007, Mad id: Uni e sidad Complu ense de Mad id. campbell, d. . (1970), “Conside ing he Case Agains Expe imen al E alua ions o Social Inno a ions”, en Adminis a i e Science Qua e ly, núm. 15. Nue a Yo k: Co nell Uni e si y, pp 110- 113. cook, . d., y ReicHaRd , c. s. (1986), Mé odos cuali a i os y cuan i a i os en in es igación e alua i a, Mad id: Ediciones Mo a a. cRonbacH, l. j., ambRon, s. R., doRnbuscH, s. m., Hess, R. d., HoRnik, R. C., pHillips, d. c., WalkeR, d. F., & WeineR, s. s. (1985), Towa d Re o m o P og am E alua ion, San F ancisco: Jossey-Bass. cHen, H. . (2005), P ac ical P og am E alua ion: Assessing and Imp o ing Planning, Implemen a ion and E ec i eness, Cali o nia: Sage. cHen, H. ., y Rossi, p. H. (1989), “Issues in heo y-d i en pe spec i e”, en E alua ion and P og am Planning, ol. 12, núm. 4, pp. 299-306. Andamios 115 Re lexiones epis emológicas y me odológicas paRa la e aluación da idson, e.J. (2000), “Asce aining Causali y in heo y-based e alua ion”, en Roge s, P., e al. (ed.), P og am Theo y in E alua ion: Challenges and Oppo uni ies, núm. 87, San F ancisco: New Di ec ions o P og am E alua ion, pp. 17-26. díez, m. a. y se ién, m. l. (2005), “La e aluación del p oyec o I un- Equal: E ec os y p ocesos de cambio”, en Ingu uak: Soziologia E a Zien zia Poli ikoa en Euskal Aldizka ia, núm. 41, Bilbao: Uni e sidad de Deus o, pp. 33-56. _____ (2006), “Bases Me odológicas pa a la e aluación de p oyec os de inse ción social y labo al”, en Ekonomiaz La e aluación de las polí icas públicas en el País Vasco, núm. 60 (2), Vi o ia: Se icio Cen al de Publicaciones del Gobie no Vasco, pp. 111-137. eins ein, o. (2007), “E aluación P agmá ica de Polí icas Públicas”, en In o mación Come cial Española icE. E aluación de Polí icas Públicas, núm. 836, Mad id: Minis e io de Indus ia, Tu ismo y Come cio, pp. 19-31. guba, e. g., y lincoln, y. s. (1989), Fou h Gene a ion E alua ion, Cali o nia: Sage Publica ions/Newbu y Pa k. _____ (1994), “Compe ing Pa adigms in Quali a i e Resea ch”, en N.K. Denzin e Y.S. Lincoln, Handbook o quali a i e esea ch, Thousand: Sage, pp. 105-117. Heckman, j. (2001), “Mic o Da a, He e ogenei y, and he E alua ion o Public Policy: Nobel Lec u e”, en Jou nal o Poli ical Economy, ol. 100, núm. 4, Chicago: Uni e si y o Chicago, pp. 673-748. Hemma i, m. (2002), Mul i-s akeholde P ocess o Go e nance and Sus- ainabili y, Lond es: E a hscan Publica ions l d. monnieR, e. (1995), E aluación de la acción de los pode es públicos, Mad id: Ins i u o de Es udios Fiscales. osuna, j. l., muRciano, j., y élez, c. (2005), “P og amación y e a- luación pública: un iángulo complejo”, en Ekonomiaz La e aluación de las polí icas públicas en el País Vasco, núm. 60 (1), Vi o ia: Se icio Cen al de Publicaciones del Gobie no Vasco. osuna, j. l., y bueno, c. (2007), “La e aluación de las Polí icas Públicas: El caso de las Polí icas de Fomen o del Empleo Es able”, en In o mación Come cial Española ICE. E aluación de Polí icas Andamios 116 caRlos bueno suáRez y josé luis osuna llaneza Públicas, núm. 836, Mad id: Minis e io de Indus ia, Tu ismo y Come cio, pp. 75-83. pa on, m. q. (1990), Quali a i e e alua ion and esea ch me hods, Newbu y Pa k: Sage Publica ions. planas, i. (2005), “P incipales mecanismos de e aluación económica de polí icas públicas”, en Economías La e aluación de las polí icas públicas en el País Vasco, núm. 60 (1). Vi o ia: Se icio Cen al de Publicaciones del Gobie no Vasco. Rebolloso e., eRnández-RamíRez b., y can ón p. (2008), E aluación de p og amas de in e ención social, Mad id: Sín esis. Román, c. (2006), “O o Es ado”, en Re is a sEE- aluación, núm. 1. Se illa: Sociedad Española de E aluación, pp. 4-5. Rossi, p. H,, y Reeman H. e. (1989), E aluación: un en oque sis emá ico pa a p og amas sociales, México: T illas. _____ (1993), E alua ion: a sys ema ic app oach, Lond es: Sage Publica ions. scRi en, m. (1983), “E alua ion Ideologies”, en Madaus, G. F., Sc i en, M., y S u lebeam, D. L. (eds.), E alua ion Models: Viewpoin s on Educa ional and Human Se ices E alua ion, Bos on: Kluwe - Nijho , pp. 229-260. sHaW, i. . (2003), La e aluación cuali a i a, Ba celona: Paidós Básica. solaR e, l. (2004), Las e aluaciones de polí icas públicas en el es ado libe al, san iago de cali, Mon eal: Uni e sidad del Valle. s ake. R. e. (2006), E aluación comp ensi a y e aluación basada en es ánda es, Colección C í ica y Fundamen os, Ba celona: gRao. subiRa s, j. (2006), “Algunos pun os sob e e aluación de polí icas pú- blicas con especial e e encia al caso de las polí icas sociales”, en Re is a sEE- aluación, núm. 2, Se illa: Sociedad Española de E aluación, pp. 24-35. subiRa s, j., y gomà, R. (2002), “E aluación de polí icas públicas”, en Plani icación y e aluación en polí icas de in o mación, Coleción uoc/La uni e sidad Vi ual, Ba celona: Fundació pe a la Uni e si a Obe a de Ca alunya, pp. 151-167. sucHman, e. a. (1967), E alua i e esea ch: P inciples and p ac ice in public se ice and social ac ion p og ams, Nue a Yo k: Russell Sage Founda ion. Andamios 117 Re lexiones epis emológicas y me odológicas paRa la e aluación élez, c. (2007), “El cambio de pa adigma en e aluación de polí i cas pú blicas: El caso de la Coope ación al Desa ollo”, en Nue as Polí icas Públicas. Anua io mul idisciplina pa a la mode - nización de las Adminis aciones Públicas, núm. 3, E aluación de Polí icas Públicas, Se illa: Ins i u o Andaluz de Adminis ación Pública / Conseje ía de Jus icia / Adminis ación Pública. Weiss, c. H. (1998), E alua ion. Me hods o S udying P og ams and Policies, Nue a Je sey: P en ice Hall. Fecha de ecepción: 7 de mayo de 2012 Fecha ap obación: 19 de diciemb e de 2012 Volumen 10, núme o 21, ene o-ab il, 2013, pp. 95-117