Siembra y cosecha. Manual de evaluación participativa

Siembra cosecha y Esteban Tapella - Pablo Rodríguez Bilella - Juan Carlos Sanz Jorge Chavez-Tafur - Julia Espinosa Fajardo Manual de evaluación participativa Esteban Tapella - Pablo Rodríguez Bilella - Juan Carlos Sanz Jorge Chavez-Tafur - Julia Espinosa Fajardo Siembra cosecha y Manual de evaluación participativa SIEMBRA Y COSECHA. MANUAL DE EVALUACIÓN PARTICIPATIVA Autores: Esteban Tapella, Pablo Rodríguez Bilella, Juan Carlos Sanz, Jorge Chavez-Tafur, Julia Espinosa Fajardo Diseño gráfico: María Clara Graffigna Ilustraciones y booktrailer: Ana Clara Bustelo Asistencia en corrección de texto: Tatiana Marisel Pizarro Este libro es el resultado del proyecto "Fortalecimiento de la teoría y práctica de la Evaluación Participativa en América Latina y el Caribe: generación de una comunidad de práctica y aprendizaje", desarrollado entre el Programa de Estudios del Trabajo, el Ambiente y la Sociedad (PETAS), Instituto de Investigaciones Socioeconómicas, Facultad de Ciencias Sociales, Universidad Nacional de San Juan (Argentina) y el proyecto Focelac para el fomento de capacidades y articulación de actores de la evaluación en América Latina del Instituto Alemán de Evaluación para la Cooperación al Desarrollo (DEval). Tapella, Esteban Siembra y cosecha. Manual de evaluación participativa / Esteban Tapella; Pablo Rodríguez Bilella; Juan Carlos Sanz; Jorge Chavez-Tafur; Julia Espinosa Fajardo. - 1ª ed. – Bonn, Alemania: DEval, 2021. 224p.; 21 x 23,7 cm. Incluye hipervínculos multimedia, índice y referencias bibliográficas. ISBN 978-3-96126-124-6 1. Evaluación. 2. Participación social. I. Rodríguez Bilella, Pablo D. II. Sanz, Juan Carlos. III. Chavez-Tafur, Jorge. IV. Espinosa Fajardo, Julia. V. Título. Esta publicación contó con el apoyo de: Con el apoyo financiero de: © Esteban Tapella / Pablo Rodríguez Bilella / Juan Carlos Sanz / Jorge Chavez-Tafur / Julia Espinosa Fajardo © Instituto Alemán de Evaluación de la Cooperación para el Desarrollo (DEval). Fritz-Schäffer Strasse 26, 53113 Bonn, Alemania. Tel: +49 (0) 228 33 69 07-0. Email: inf[email protected] www.DEval.org ISBN 978-3-96126-124-6 (PDF/electrónica) Se permite la reproducción total o parcial, citando apropiadamente su fuente. Dime y lo olvido, enséñame y lo recuerdo, involúcrame y lo aprendo Benjamin Franklin 7 6 Para finales del año 2018 los actuales miembros del equipo coordinador de EvalParticipativa habíamos ya facilitado diferentes procesos de evaluación participativa con distintas organizaciones, públicas y privadas en distintos países de América Latina. Junto a ello, habíamos desarrollado diferentes capacitaciones y publicaciones en revistas científicas sobre la tema, apoyando particularmente a jóvenes evaluadores con metodologías y herramientas para el despliegue de evaluaciones participativas. Estábamos satisfechos, pero teníamos la sensación de que aún había mucho por descubrir. Así fue que durante los primeros meses del año 2019 lanzamos EvalParticipativa, la comunidad de práctica y aprendizaje en evaluación participativa para América Latina y el Caribe. Con la motivación que contagia el esfuerzo conjunto y la construcción colectiva, la iniciativa reunió a dos entidades: el Programa de Estudios del Trabajo, el Ambiente y la Sociedad (PETAS) de la Universidad Nacional de San Juan (Argentina), y Focelac, el Proyecto para el Fomento de Capacidades y Articulación de Actores de la Evaluación en América Latina del Instituto Alemán de Evaluación para la Cooperación al Desarrollo (DEval). Convencidos del potencial que tiene el trabajo entre pares como mecanismo para profundizar el conocimiento y la ex- A modo de prólogo periencia, nos propusimos como objetivo principal fortalecer el involucramiento inclusivo de la sociedad civil en procesos evaluativos. Para ello, decidimos crear un espacio de interacción tanto virtual como presencial para que las personas interesadas en el campo de la evaluación participativa reflexionen y mejoren su práctica, se apoyen en sus esfuerzos y construyan conjuntamente productos (metodologías y herramientas) que ayuden a profesionalizar la práctica de este tipo de evaluación. Han pasado dos años desde que se abrieron las puertas de EvalParticipativa, a la que entendemos como expresión del creciente interés y desarrollo de experiencias de evaluación participativa en la región, a la vez que una invitación a conectarnos, a poner nuestros saberes en valor y a seguir aprendiendo. Al día de hoy, se han sumado distintas organizaciones aliadas y no ha dejado de crecer el número de personas que participan en nuestro foro, siguen nuestras publicaciones o intercambian sobre el tema a través de nuestras redes sociales. Acabamos de cerrar un 2020 que nadie hubiera deseado. Una crisis sanitaria como nunca habíamos vivido, con consecuencias económicas y sociales todavía difíciles de estimar. Hemos transitado un año que recordaremos por el empeño colectivo en encontrar asideros y 9 8 motivos para seguir adelante, tales como aislarse para proteger a nuestros mayores, redoblar esfuerzos solidarios, buscar nuevos equilibrios familiares y hacerse presente aun cuando no se puede estar. Al mismo tiempo, el COVID-19 nos ha hecho más fuertes cada día en tanto nos exige recuperar la esencia del sentido de comunidad. A pesar de los condicionantes, EvalParticipativa como espacio de práctica y aprendizaje se ha consolidado, superando incluso las expectativas más optimistas. Este libro es uno de los resultados de esta construcción conjunta. Hemos intentado sintetizar en este manual −ilustrado y con formato multimedia− el pensar, sentir y aprendizaje colectivo de tantos colegas que vienen trabajando la temática. Valga un reconocimiento especial a las y los colegas que participaron del Primer Encuentro de experiencias de Evaluación Participativa, realizado en Quito (Ecuador) a finales del año 2019. Sus valiosos aportes enriquecieron nuestra reflexión y aparecen registrados en los videos testimoniales que acompañan este manual. Ellas y ellos son: Andrés Nicolás Peregalli Magnus Kossman Dagny Karin Skarwan Matthias Edouart Casasco Ana Tumi Guzmán David Olmos Joaquín Navas Olga Niremberg Ericka Vanessa Valerio Mena María Eugenia Brisson Marcia Itzel Checa Gutiérrez Karla María Salazar Sánchez María Virginia Vintimilla Suárez Erika Abril Torres Vargas Morella Miraballes Baz Valerie Fragnaud Mallorquín Fernanda Massiel Arriaza López Carmen Luz Sánchez Bretón Daniela Beatriz Miranda Prado En el desarrollo de los contenidos de este manual contamos con la muy valiosa colaboración de nuestros colegas Jorge Chavez-Tafur y Julia Espinosa Fajardo, a quienes agradecemos nuevamente sus aportes y entusiasmo. Confiamos que este libro sea un instrumento útil y un aliado a la hora de facilitar evaluaciones participativas de calidad en la región. Esteban Tapella Pablo Rodríguez Bilella Juan Carlos Sanz Equipo coordinador de EvalParticipativa CAPÍTULO 1 Índice Sentido y propósito de la evaluación participativa hoy… y de este manual también -pág 14- -pág 36- CAPÍTULO 2 La evaluación participativa. El “Qué” y los “Quiénes” -pág 120- CAPÍTULO 4 Cómo facilitar la evaluación participativa -pág 162- CAPÍTULO 5 Técnicas para la evaluación participativa Bibliografia Autores -pág 78- CAPÍTULO 3 Cómo se desarrolla una evaluación participativa -pág 208- -pág 218- Información adicional al texto principal, como bibliografía complementaria o sugerencias basadas en la práctica. Los colores por capítulo ayudan a la ubicación general dentro del manual. Están presentes en los números de página, frases destacadas y destacados de cada sección. Junto al texto principal, en el manual encontrarás lo siguiente: COLORES SEGÚN CAPÍTULO CAPÍTULO 1 CAPÍTULO 2 CAPÍTULO 3 CAPÍTULO 4 CAPÍTULO 5 ENLACE A VIDEO TESTIMONIAL BASADO EN EXPERIENCIAS DE EVACUACIÓN PARTICIPATIVA EN AMÉRICA LATINA Y EL CARIBE. Ejemplos para ilustrar los conceptos centrales a partir de experiencias y casos reales. DESTACADOS Uso del manual 14 Capítulo 1 Sentido y propósito de la evaluación participativa hoy… y de este manual también 29 28 que deberían sustentar un programa de formación sobre evaluación participativa para la región. En esta dirección, en el capítulo 2 exploramos el desarrollo de la relación entre evaluación y participación, por lo que presentamos la pluralidad de propuestas elaboradas al respecto en diferentes puntos del planeta. En concreto, prestamos especial atención a las conexiones de este estilo de práctica con otras iniciativas participativas de honda raigambre en el escenario latinoamericano. A partir de esto, avanzamos en su delimitación conceptual y en la presentación de sus principios claves, lo que nos permite reflexionar acerca de la potencialidad de la evaluación participativa en la promoción de derechos, inclusión y equidad. En el capítulo 3 pasamos a describir, paso a paso, el proceso de la evaluación participativa. Se revisan tanto los aspectos generales que caracterizan el desarrollo de este tipo de evaluación, como las particularidades que aparecen en cada uno de los pasos concretos. También señalamos algunas herramientas y técnicas que contribuyen a que una evaluación participativa se desarrolle de acuerdo con los estándares de calidad y el rigor metodológico esperables de cualquier evaluación. AQUÍ PUEDES ACCEDER AL VIDEO "ENCUENTRO DE EVALUACIÓN PARTICIPATIVA" En este marco, y a partir de las contribuciones de los miembros de la comunidad EvalParticipativa, presentamos este manual de evaluación participativa. Los propósitos del mismo son los siguientes: • elaborar consideraciones conceptuales y metodológicas básicas en torno a evaluación participativa, enfatizando el “qué” y “cómo” del proceso, el papel/ rol de la facilitación y la elección y uso de las herramientas adecuadas a dicho enfoque; y • revisar la teoría y la práctica de la evaluación participativa en América Latina, a fin de aportar ideas/pautas/recomendaciones acerca de cómo hacer una evaluación participativa de calidad. 31 30 4. CÓMO LEER ESTE MANUAL En el capítulo 4 nos detenemos a presentar y analizar el rol de quien facilita una evaluación participativa. En este pun- to, partimos de la idea que quien facilita este tipo de evaluación asume un rol distinto al de aquellos involucrados en procesos de evaluación convencionales. En el capítulo presentamos una idea general sobre la noción de facilitación para detenernos puntualmente en lo que esto implica en el espacio de una evaluación participativa: la guía del proceso en sus diferentes etapas y fases, la relevancia en contribuir con el desarrollo de capacidades específicas y la necesidad de monitorear el nivel de avance y mostrar resultados. Por último, en el capítulo 5 nos focalizamos en las técnicas para la evaluación EvalParticipativa es una comunidad de práctica y aprendizaje orientada a aprender de y potenciar el alcance de experiencias exitosas en evaluación participativa en la región de América Latina y el Caribe. Como señalamos en la introducción del capítulo, este manual tiene su génesis en el Primer Encuentro de experiencias de Evaluación participativa en América Latina y el Caribe, desarrollado en Quito (Ecuador) a fines de 2019. Durante cinco intensos días, junto a una veintena de participantes intercambiamos aprendizajes y conceptualizaciones surgidas de nuestras respectivas prácticas. La estructura del encuentro ha sido replicada en cierta medida en este manual, con los contenidos señalados en la sección anterior. Creemos que no hay un solo camino para acceder y aprovechar los contenidos del manual. Una lectura lineal de capítulo tras capítulo permitirá: realizar un recorrido desde una visión panorámica y general de las raíces, vínculos y principios de la evaluación participativa (Capítulo 2), pasar por el abordaje del proceso mismo de desarrollo de este tipo de evaluación y sus particularidades (Capítulo 3), reflexionar sobre el rol clave que juega la persona facilitadora en la evaluación participativa (Capítulo 4) y, finalmente, conocer la caracterización y criterios de uso de las técnicas participativas en el contexto de este enfoque (Capítulo 5). También es posible aprovechar los capítulos individualmente, de acuerdo con los propósitos e intereses particulares de los lectores. Cada uno de ellos está en sintonía y articulado con los restantes, pero a la vez son autónomos y pueden ser abordados en su unicidad. Cada capítulo, además del contenido principal, cuenta con cuadros de diálogo con ejemplos prácticos, sugerencias sobre bibliografía especializada para profundizar y enlaces a herramientas y experiencias. También, cuando amerita, hemos incluido enlaces a testimonios de integrantes de la comunidad de práctica EvalParticipativa a través pequeños cortos audiovisuales que podrán recrear los conceptos o destacar experiencias personales y de sus organizaciones. Una nota adicional acerca del uso del lenguaje no sexista en este manual. Reconocemos que el idioma español tiene sus reglas y que las mismas (particularmente el “masculino genérico”) fueron elaboradas en un contexto de dominio del hombre sobre el mundo y de una enorme desigualdad de derechos con respecto a las mujeres. Por ello, la lengua se constituye en un espacio o arena conflictiva donde se expresan las tensiones entre las regulaciones institucionales y los procesos de cambio y transformación No hay un solo camino para acceder y aprovechar los contenidos del manual. Son válidas tanto una lectura lineal de capítulo tras capítulo como aprovecharlos individualmente, de acuerdo con los propósitos e intereses particulares de cada uno. participativa, por lo que presentamos algunas consideraciones conceptuales claves sobre metodología y técnicas, así como las ventajas y limitaciones de estas últimas. A partir de ahí, brindamos una clasificación genérica de las técnicas en función de su modalidad, así como el propósito con el que podemos utilizarlas. Mediante ejemplos y recomendaciones prácticas, proponemos una lista de siete criterios a tener en cuenta a la hora de elegir y usar estos instrumentos. 33 32 Al igual que el resto de enfoques, la evaluación participativa tiene la función clave de aportar evidencias que orienten las decisiones sobre la continuidad y mejora de los proyectos. que la misma atraviesa. En la redacción de este manual hemos procurado usar un lenguaje que nos facilite nombrar la realidad tal como es, por lo que usamos diversos recursos que el idioma dispone a fin de no discriminar a las personas. Por ello, priorizamos ser claros en la comunicación e inclusivos, sin enfrentarnos con las reglas gramaticales. Encontrarán que usamos en ocasiones el desdoblamiento (el o la evaluador o evaluadora) como también intercambiamos el uso del género (a veces el evaluador, a veces la evaluadora), mientras que en otras oportunidades empleamos un genérico, un colectivo o un impersonal. Durante el proceso de desarrollo de este manual, la pandemia del COVID-19 ha desatado una emergencia global sin precedentes que compromete seriamente la Agenda 2030. Más que nunca, todos los agentes, públicos y privados, deben aunar esfuerzos para idear e implementar fórmulas de solución que permitan avanzar el logro de los Objetivos de Desarrollo Sostenible. La evaluación también debe responder a este enorme reto y ponerse a disposición de los agentes de desarrollo como instrumento determinante para la buena gobernanza. Al igual que el resto de los enfoques, la evaluación participativa tiene la función principal de aportar evidencias que orienten las decisiones sobre la continuidad y mejora de los programas. A su vez, presenta el valor agregado de que se adapta a los principios de la Agenda 2030 y favorece la cohesión entre los grupos de actores implicados en los procesos de desarrollo. Los miembros de la comunidad de Eval- Participativa somos conscientes de la gravedad de la situación y consideramos que es posible realizar un aporte significativo a través de la presentación y puesta a disposición de este enfoque de evaluación. Imaginamos a EvalParticipativa como una iniciativa con la potencialidad de: • capacitar en torno a estos temas, intercambiar experiencias y documentar buenas prácticas que permitan compartir lecciones y fomentar nuevas iniciativas; 5. NUESTRAS EXPECTATIVAS 34 • desarrollar habilidades tanto en el sector público como en organizaciones de la sociedad civil y la comunidad de profesionales para la evaluación participativa; • apoyar y acompañar proyectos, programas o intervenciones que tengan como eje metodológico un abordaje participativo en cualquiera de sus variantes y niveles; • construir y socializar conocimiento teórico y práctico a partir de experiencias desarrolladas en diferentes países, al poner en valor el amplio abanico de materiales existentes y generando otros nuevos; • fortalecer alianzas intra e interregionales, interinstitucionales y entre diversas organizaciones, lo que incluye a la academia y los programas de formación en evaluación; y • favorecer la creación de condiciones necesarias para que los procesos de evaluación participativa se conviertan en una práctica regular en la región. Algunas de dichas condiciones comprenden sensibilizar a los actores principales, alentar a los participantes, demostrar beneficios y la necesidad de institucionalizar esta práctica. Confiamos que este manual nos permita analizar estas ideas, recrearlas y avanzar hacia la consolidación de un nuevo paradigma de evaluación con participación social. Capítulo 2 La evaluación participativa. El "Qué" y los "Quiénes" 39 En este capítulo nos adentramos en los orígenes, desarrollos, principios y grupos implicados en la evaluación participativa. En la primera sección, nos abocamos a dar cuenta de las raíces y vinculaciones de este enfoque evaluativo. Para ello, exploramos los inicios de la relación entre evaluación y participación, presentamos la diversidad de propuestas desarrolladas en esta línea en diferentes puntos del planeta y damos cuenta de las conexiones de este estilo de práctica con otras iniciativas participativas de honda raigambre en el escenario latinoamericano. A partir de esta presentación del panorama general desde donde podemos situar a la evaluación participativa, en la segunda sección del capítulo avanzamos en su delimitación conceptual y presentación de sus principios claves. En la tercera sección, reflexionamos sobre la amplitud de interpretaciones y prácticas ligadas al concepto de “participación”, y la potencialidad de la evaluación participativa para promover los derechos, la inclusión y la equidad. En las conclusiones retomamos los aspectos centrales del capítulo enmarcando la evaluación participativa como un instrumento que contribuye a que nadie quede atrás. 1. RAÍCES Y VINCULACIONES DE LA EVALUACIÓN PARTICIPATIVA La presencia cada vez más evidente de evaluaciones participativas, acompañadas de sus respectivas reflexiones, capacitaciones y conceptualizaciones, podría llevar a pensar en la emergencia de un fenómeno reciente y totalmente original, si es que no en una moda. De modo contrario, la vinculación entre evaluación y participación tiene un largo camino recorrido en distintos contextos y escenarios, tanto de un modo explícito en 41 40 Desde entonces, diversas han sido las aproximaciones evaluativas que han incorporado el involucramiento de los actores como un tema relevante y clave, manifestando una particular sensibilidad a sus necesidades y perspectivas, así como un interés claro en comprometerlos con el proceso evaluativo (Chouinard y Milley, 2018). No obstante, como discutiremos luego, el propio término “participación” ha resultado muy elástico y las prácticas participativas en evaluación han sido muy diversas. Diversidad de propuestas en el vínculo evaluación y participación Desde inicios de los años noventa, diversos enfoques de evaluación han reconocido la importancia de la implicación de una pluralidad de actores en el proceso evaluativo. De hecho, la inclusión de las voces de la sociedad civil se considera actualmente un elemento central no sólo para dar respuesta a sus necesidades evaluativas sino también para el logro de evaluaciones de calidad, creíbles, viables y basadas en evidencias (Tapella el campo de la evaluación como algo más implícito a partir del énfasis participativo en iniciativas cercanas a dicho campo. Evaluación y participación: una relación de larga data La relación entre evaluación y participación comienza a desplegarse desde los años sesenta del siglo pasado ante las críticas a los modelos clásicos de evaluación, caracterizados por un enfoque técnico racional de carácter positivista y cuantitativo, así como una clara perspectiva vertical descendente (top-down) (Cousins, Whitmore, y Shulha, 2013; Plottu y Plottu, 2011; Guba y Lincoln, 1989; Everitt y Hardiker, 1996). Hasta entonces, la evaluación había sido considerada un ejercicio de carácter meramente técnico que, apoyada en herramientas de medición y en la mirada externa de un equipo de evaluación experto, era capaz de extraer conclusiones objetivas sobre el funcionamiento y resultados de los programas o proyectos. No obstante, las nuevas aportaciones en el campo de la evaluación reconocen su naturaleza política, así como la centralidad de la reflexividad y la intersubjetividad en los procesos evaluativos (Chelimsky, 1998). Influida por la perspectiva interpretativa y constructivista proveniente de la ciencias sociales, la evaluación asume la importancia de incluir valoraciones cualitativas para mejorar la comprensión de la complejidad de los programas sociales y los procesos de cambio social. De este modo, se cuestiona que la evaluación esté libre de juicios de valor y reconoce la necesidad de alcanzar consensos entre los diferentes valores existentes. Por ende, la disciplina evaluativa sitúa por primera vez a la diversidad de actores sociales implicados y sus diferentes perspectivas y prioridades como un elemento fundamental a considerar en todo el proceso de indagación y valoración de los programas y políticas públicas. Sin embargo, no fue hasta mitad de la década de los noventa y en un marco internacional orientado a promover el “desarrollo humano”, cuando se asiste a un florecimiento de la reflexión y debate teórico-metodológico sobre participación y evaluación. Desde mediados de esa década, numerosos artículos, libros y manuales recogen –bajo diferentes nombres– prácticas de evaluación en las que se implicaba a los actores claves −generalmente denominados stakeholders− de forma dinámica y continua (King, Cousins, y Whitmore, 2007). Muchas de estas propuestas evaluativas fueron generadas en el ámbito de la cooperación para el desarrollo y han ido ganando popularidad ante el reconocimiento de la complejidad del contexto evaluativo, de los programas y políticas y de las organizaciones mismas (Cousins y Chouinard, 2012). Desde mediados de la década de 1990, diversas han sido las aproximaciones evaluativas que han incorporado el involucramiento de los actores como un tema relevante y clave. AQUÍ PUEDES ACCEDER AL VIDEO "RAÍCES Y VINCULACIONES DE LA EVALUACIÓN PARTICIPATIVA A NIVEL GLOBAL" 43 42 y Sanz, 2019). Frente a la evaluación de corte convencional -que pone el énfasis en la necesidad del método científico, el uso de experimentos controlados y la modelización-, los enfoques orientados a los actores sociales comprenden a la evaluación como un proceso de negociación pluralista (Weiss, 1998; Monnier, 1995) y orientado a la utilidad. De forma específica, dirigen la mirada al contexto y abogan por un mayor papel de la población implicada, así como por un rol más activo y diferencial del equipo evaluador (Patton 2018, 2010; Shulha et al., 2016). Conviven, junto a la evaluación participativa, diversas propuestas que comparten con ella buena parte de su orientación general. No obstante, también presentan especificidades con relación al propósito de la evaluación, el tipo de actor social a involucrar y el rol del equipo evaluador. Introducimos seguidamente cuatro de ellas que consideramos particularmente significativas: la evaluación transformativa, la evaluación para el empoderamien- to, el enfoque colaborativo en evaluación y la evaluación para el desarrollo de una innovación (Developmental Evaluation). Evaluación transformativa La evaluación transformativa (Transformative Evaluation) subraya que este proceso no sólo es técnico, sino también eminentemente político. Su finalidad es evidenciar y modificar las situaciones de discriminación y exclusión social −vinculadas con diferentes dimensiones de diversidad−, así como contribuir a la justicia social. Para Mertens, “un importante aspecto del paradigma transformador es la inclusión consciente de un amplio abanico de personas que suelen estar excluidas en la sociedad” (Mertens, 2009). De acuerdo con este enfoque, el conocimiento −y con ello, el conocimiento generado en la evaluación− está influido por los diferentes intereses y relaciones de poder. En este sentido, la evaluación conforma un proceso que habilita incluir las voces de las personas menos poderosas, potenciar sus capacidades y avanzar hacia sociedades más equitativas y justas. En tanto que el propio proceso evaluativo implica transformación (Nirenberg, 2013), la evaluación se constituye en una oportunidad para repensar los programas e impulsar acciones de cambio. 45 44 se liga con los mecanismos y comportamientos que facilitan que las personas tomen control sobre sus vidas y los recursos de su entorno. En este sentido, este tipo de evaluación pone el foco en ayudar a las comunidades a valorar su propia actividad y resultados, al impulsar procesos de participación orientados a fortalecer las capacidades de los actores para planificar, implementar y evaluar. En este tipo de evaluación, el equipo evaluador acompaña a los diversos actores claves (personal de la organización, participantes en el programa y comunidad en general) en el desarrollo de la evaluación y sirve como un “amigo crítico” o coach que ayuda al desarrollo de un proceso riguroso y relevante (Fetterman 1994; Fetterman et al., 2014). En la aplicación de este enfoque, se distingue entre la evaluación para el empoderamiento práctico y la evaluación para el empoderamiento transformativo. La primera se asemeja a la evaluación formativa y se orienta a mejorar el programa con la participación de los diferentes actores. La segunda promueve la toma de control de las personas sobre sus propias vidas y los recursos existentes de cara a PARA SABER MÁS SOBRE EVALUACIÓN TRANSFORMATIVA Mertens, D. M. 2009. Transformative research and evaluation: the intersection of applied social research and program evaluation. New York: Guilford Press. Nirenberg, O. 2013. Formulación y evaluación de intervenciones sociales. Buenos Aires: Noveduc. PARA SABER MÁS SOBRE EVALUACIÓN PARA EL EMPODERAMIENTO Accede a la página de Better Evaluation: Evaluación para el empoderamiento de intereses de los diferentes actores y las características del contexto. Igualmente, define al equipo evaluador como facilitador del proceso de negociación y razonamiento evaluativo (Shulha et al., 2016). En esta línea, define ocho principios CAE, entendidos como factores que facilitan este tipo de prácticas. Estos principios son: (1) explicación de la motivación para colaborar; (2) impulso de relaciones interprofesionales significativas; (3) desarrollo de un entendimiento compartido del programa; (4) promoción de procesos de participación adecuados; (5) supervisión y reacción a la disponibilidad de recursos; (6) supervisión del En esta misma línea, el equipo evaluador no se concibe solamente como metodólogo, analista o facilitador, sino también −y muy especialmente− como un agente de cambio que adopta un rol de activista y persigue avanzar hacia una mayor justicia social (Ligero Lasa et al., 2014). Evaluación para el Empoderamiento La evaluación para el empoderamiento (Empowerment Evaluation) tiene como finalidad promover la autodeterminación de los grupos como mecanismo para contribuir a la mejora y a la probabilidad de que los programas logren sus resultados. La autodeterminación Enfoque Colaborativo en Evaluación El Enfoque Colaborativo en Evaluación (Collaborative Approach in Evaluation, CAE por sus siglas en inglés) tiene como finalidad el aprendizaje y la mejora de los programas y políticas por parte de las organizaciones e instituciones implicadas. Se centra en entender cómo funcionan los procesos de cambio de cara a orientar mejor los objetivos de las intervenciones sociales, atendiendo siempre al contexto específico. A la vez, se orienta a mejorar las capacidades organizativas en materia de planificación, implementación y también evaluación. Para ello, sitúa como punto de partida a la diversidad PARA SABER MÁS SOBRE EL ENFOQUE COLABORATIVO EN EVALUACIÓN Shulha, L. M. et al. 2016. "Introducing Evidence-Based Principles to Guide Collaborative Approaches to Evaluation", American Journal of Evaluation, 37(2), pp. 193-215. cambiar los roles y estructuras predefinidas (Fetterman, 2015). 47 46 foque ubica a la innovación y la adaptación en la fase de diseño y recopilación de la información de cara a hacer factible el apoyo al programa y/o el desarrollo organizativo con una retroalimentación oportuna y rápida (idealmente, en tiempo real). El equipo evaluador trabaja de forma estrechamente colaborativa con profesionales de la innovación social para conceptualizar, diseñar y probar nuevos enfoques en un proceso continuo de adaptación, cambio intencional y desarrollo a largo plazo. Las funciones principales de este equipo apuntan a dilucidar los procesos de innovación y adaptación, por lo que rastrea sus implicaciones y resultados, lo que permite facilitar la toma de decisiones continuas, en tiempo real y basada en datos, que emergen del proceso de desarrollo (Patton, 2012). Una innovación evaluativa al interior de este enfoque es la Cosecha de Alcances (Outcome Harvesting), desarrollada por el latinoamericano Ricardo Wilson-Grau (2019), la que asume que el despliegue de un proceso altamente participativo es una necesidad ineludible para el logro de un trayecto y un producto evaluativo exitoso. desarrollo y la calidad de la evaluación; (7) fomento del pensamiento evaluativo; y (8) seguimiento para comprobar el uso (Shulha et al., 2016). Evaluación del Desarrollo de una Innovación El enfoque de la evaluación del desarrollo de una innovación1 (Developmental Evaluation) focaliza en informar y apoyar a uno o varios agentes de cambio que implementan enfoques innovadores en situaciones de dinámicas complejas (Wilson-Grau y Britt, 2013). El proceso evaluativo se despliega en la misma formulación de preguntas de evaluación, así como en la aplicación de una lógica evaluativa y la recopilación y análisis de información a lo largo del proceso de innovación. El enfoque apoya el desarrollo de intervenciones innovadoras con la finalidad de guiar su adaptación a realidades emergentes y dinámicas en entornos complejos (Patton 2010, 2012). Entendida como parte de la intervención, el en- 1 Seguimos aquí la denominación adoptada por Wilson-Grau y Britt (2013) para traducir el nombre del enfoque de la Developmental Evaluation. 61 60 formación social y el potencial de los programas para avanzar en términos de desarrollo. A este respecto, la participación se traduce en dar voz a todos los/ as actores/as relevantes, en especial a los sectores poblacionales excluidos. En línea con Chouinard y Milley (2018), la práctica participativa da cuenta así de un componente normativo, centrado en la democratización del proceso de indagación, en la creación conjunta de conocimiento y en dar respuesta de un mejor modo a las necesidades y exigencias de cada contexto concreto. Sin embargo, históricamente, los/as participantes de proyectos, programas y políticas no han sido incorporados a los procesos de evaluación más que como meros informantes. Entenderlos en el marco evaluativo mismo como sujetos de derecho contrasta con visualizarlos como objetos de intervención, protección o simples beneficiarios. La teoría y práctica de la evaluación participativa en su perspectiva transformadora reconoce a las personas como seres habilitados para la palabra y el pensamiento crítico, la toma de decisiones y la autonomía, reconociéndolos portadores de sus propios intereses, expectativas y prioridades. Esta concepción de la participación impulsa la implicación activa de los diferentes actores a lo largo de todo el proceso evaluativo, desde su diseño a la difusión de sus resultados. Dicha implicación activa conlleva que quienes tomen la decisión de realizar una evaluación participativa deben asumir que ello implica compartir la toma de decisiones, sobre todo respecto al proceso evaluativo, lo que no es otra cosa que una cesión de poder. Junto a esto, entender a los/las participantes como sujetos de derechos implica reconocer también las responsabilidades que determina esta condición. Ver una aproximación a estas diversas definiciones en Viñas y Ocampo (2002); Clark y Sartorius (2004); Coupal (2000). 2. El saber local es reconocido como conocimiento válido e imprescindible para la evaluación La centralidad dada al conocimiento de aquellas personas que viven en pobreza −incluyendo a los pueblos originarios− 63 62 Antes que brindar una definición de evaluación participativa que estructure y cierre la conceptualización, en este manual optamos por presentar siete principios claves que la caracterizan en la región latinoamericana y que, al mismo tiempo, hacen explícito su carácter transformador. ha estado en el foco de la reflexión latinoamericana desde la década de los setenta (Kushner y Rotondo, 2012), lo que permitía ilustrar al reconocimiento y valoración del saber local como primer escalón en los procesos de emancipación y liberación (Gadotti, 2017). De ese modo, una faceta fundamental de la incorporación de los/las actores/as locales en la dinámica transformadora de la evaluación participativa es el reconocimiento y valoración de sus conocimientos y saberes, legitimados a partir de su emergencia fruto de la lectura que estos actores realizan de su realidad. 3. Los/las representantes institucionales u organizacionales trabajan de modo asociado con los/ las actores/as locales en el diseño, implementación e interpretación de los hallazgos evaluativos La evaluación participativa es un enfoque en el cual evaluadores/as entrenados trabajan en asociación con actores sociales o las “partes interesadas” (stakeholders) de una intervención social (política, programa o proyecto) a fin de generar conocimiento evaluativo de dicha intervención. Estos actores sociales comprenden a los responsables del programa, así como a los actores locales: organizaciones de base, grupos de usuarios/as y staff técnico que opera a nivel local en los programas. En el marco de la evaluación participativa, son ellos quienes definen qué será evaluado, quiénes participarán, cuándo se hará, qué métodos de recolección y análisis de datos se usará y cómo se comunicarán los resultados (Coupal, 2000). Todas las instancias del proceso son relevantes, si bien la delimitación del foco de la evaluación y su carácter negociado entre los diferentes actores es capaz de darle el tono al resto de las actividades. Esto apunta a generar instancias de participación que resulten efectivas tanto para acotar con claridad el objetivo buscado por la participación como para estructurar y canalizar la misma durante el proceso evaluativo (Aubel, 2000). 65 64 En el uso de las técnicas, las dimensiones racionales y emotivas se encuentran vinculadas, lo que favorece una mayor y real apropiación de las reflexiones y sus hallazgos. Junto a esto, el uso de la dinámica evaluadora se convierte en una forma de potenciar el surgimiento y desarrollo del pensamiento crítico en las personas involucradas en el proceso. Las técnicas, talleres y juegos apuntan a generar intercambios que permitan profundizar el conocimiento propio y colectivo, devuelvan el protagonismo y hagan operativos los debates, faciliten la confianza y el aprendizaje lúdico, reflejando y repercutiendo en la orientación transformadora perseguida. 5. Las personas participantes o partes interesadas se apropian tanto de los procesos como de los resultados de la evaluación La noción de “participación” suele usarse de múltiples modos, lo que en ocasiones resulta vaga y poco clara, por lo que diluye así su capacidad democratizadora y transformadora (Cornwall, 2008). Si bien en el contexto evaluativo la participación social puede ser entendida e interpretada de manera diversa (Chouinard y Milley, 2018), múltiples esfuerzos en América Latina han procurado superar su uso instrumentalista, esto es, aquel que suma a distintos actores locales solamente como informantes en aras de legitimar un proceso evaluativo definido externa y verticalmente −enfoque topdown−. Esto se operacionaliza vía una distribución horizontal del poder en las diferentes tomas de decisiones requeridas por el proceso evaluativo. 6. El proceso evaluativo refuerza las competencias locales de planificación y toma de decisiones participativas La perspectiva empoderante de la evaluación participativa refleja los aportes de Freire en lo referido a la creación de poder en las personas y a la centralidad de organizarlas y movilizarlas con dicho propósito (Torres, 1987). La participación requiere el involucramiento de los actores locales para captar las especificidades del lugar y garantizar que se incluyan sus perspectivas. De este modo, a la vez que permite comprender otros puntos de vista y facilita acceder a una interpretación común del programa evaluado, la evaluación participativa genera un proceso por el cual los actores locales incrementan su capacidad de decidir sobre sus propias vidas y su entorno. De esta manera, es posible incluir el manejo de mecanismos para mejorar su posición en la sociedad. 7. Los equipos de evaluación actúan como facilitadores del proceso de evaluación La participación en la evaluación puede contribuir tanto al empoderamiento y al aprendizaje, así como a mejorar la cultura democrática de organizaciones y grupos sociales. Sin embargo, como hemos señalado, también puede ser usada sólo de forma instrumentalista, ya que reproduciría las asimetrías de poder existentes en el mundo real si no se procura que no sólo participen aquellos con 4. El uso de técnicas y materiales didácticos facilita el diálogo, por lo que genera espacios y procedimientos para la recolección, análisis y uso de la información El desarrollo efectivo de la participación en contextos diversos y culturalmente complejos presenta retos ligados a las realidades de la desigualdad, el poder, la voz y las capacidades de los diferentes actores/as presentes. La evaluación participativa ha enfrentado dicho desafío a partir de proponer y generar materiales didácticos y técnicas participativas innovadoras que faciliten la presencia y el rescate de la perspectiva de todas las personas en el proceso evaluativo, independientemente de su ubicación, poder, género, etc. (Chouinard y Milley, 2018). Valorar la perspectiva de múltiples actores/as implica reconocer sus saberes, construidos desde la práctica social, cultural e histórica. 67 66 3. LA EVALUACIÓN PARTICIPATIVA EN MARCHA: UNA OPORTUNIDAD PARA PROMOVER LOS DERECHOS, LA INCLUSIÓN Y LA EQUIDAD La apuesta de la evaluación participativa por dar la voz a los diferentes actores y actoras sociales constituye una característica propia de la misma. Ahora bien, la participación de estos actores en evaluación no siempre se traduce en un mismo tipo de práctica y, como hemos señalado, en ocasiones evidencia ejercicios que no siempre pueden ser entendidos netamente como participación. Al respecto, la naturaleza poliédrica y calidoscópica del concepto de “participación” no es algo nuevo y ya fue puesta de manifiesto por Sherry Arnstein (1969) en su “escalera" o niveles de participación. De acuerdo con esta autora, existen diferentes tipos de participación que forman parte de un continuum que va desde el uso manipulado de la participación a la participación ejercida y gestionada por la ciudadanía. un discurso más estructurado, con más capacidades y con más poder. Del mismo modo, si no se gestiona la participación de modo adecuado, se pueden generar frustraciones entre las personas implicadas, desmotivar su participación efectiva y reducir el potencial empoderante de la evaluación. En este marco, el rol de los equipos de evaluación como facilitadores del proceso gana relevancia, al constituir una dimensión central y clave de toda instancia de evaluación participativa. El equipo evaluador “ha de ser respetuoso y capaz de gestionar procesos de construcción grupal en la definición de qué es importante evaluar, cómo hacerlo y cuáles son los resultados, conclusiones y recomendaciones de la evaluación” (Espinosa Fajardo, 2019). La evaluación participativa genera un proceso por el cual los/las actores/as locales incrementan su capacidad de decidir sobre sus propias vidas y su entorno. 69 68 Niveles de participación SUMINISTRO DE INFORMACIÓN Elaboración propia, inspirada en Arnstein (1969). PARTICIPACIÓN POR CONSULTA PARTICIPACIÓN POR INCENTIVOS PASIVIDAD PARTICIPACIÓN FUNCIONAL PARTICIPACIÓN INTERACTIVA AUTODESARROLLO Los actores y actoras proporcionan información, generalmente a través de cuestionarios, pero no influyen en la evaluación. Los actores y actoras son solamente informados de la evaluación. Los actores y actoras locales son escuchados pero no inciden en las decisiones relativas a la evaluación, sus resultados, conclusiones y recomendaciones. Los actores y actoras locales participan en grupos para responder a objetivos de la evaluación. No inciden en la formulación pero sí en su desarrollo. Los actores y actoras locales participan en todas las fases de la evaluación de forma activa. Los actores y actoras locales ponen en marcha y desarrollan la evaluación sin esperar intervenciones externas. Los actores y actoras locales participan proporcionando información a cambio de ciertos incentivos. 71 70 En efecto, más allá del discurso de apoyo a procesos participativos, la práctica evaluativa no siempre refleja una “vocación” netamente participativa (Guijt, 2014), en tanto que la noción de participación adquiere diferentes connotaciones. De hecho, en muchas ocasiones, la participación de los actores se traduce sólo en su implicación como proveedores de información. En este sentido, la evaluación participativa puede limitarse a una mera instancia de consulta (participación pasiva), sin ofrecer a los actores y actoras locales la posibilidad de influir en las decisiones que se suceden en un proceso evaluativo (Tapella y Sanz, 2019). Todo esto revela prácticas de exclusión y privilegio, así como ponen de relieve la centralidad en la evaluación de aspectos como la voz, el poder y la política (Chouinard y Milley, 2018). En concreto, como señala Chambers (2003), la evaluación corre el riesgo de convertirse en un mero simulacro simbólico al no apostar por hacer frente al status quo y redistribuir el poder. La misma dinámica que forja la evaluación participativa tiene la potencialidad de generar un conocimiento local situado, producto del encuentro de saberes de los actores locales y los agentes externos. Este diálogo entre saberes desarrollado en el proceso evaluativo conlleva interacciones argumentativas entre el equipo evaluador y una pluralidad de actores y actoras, que configura así una dinámica de deliberación democrática (House y Howe, 2000) en el corazón de la evaluación participativa. Dado que los procesos participativos de evaluación cuentan con mayores chances de contribuir a la flexibilidad y adaptabilidad al contexto y de abordar las necesidades y preocupaciones de los actores locales, se incrementan las posibilidades de apropiación tanto de los mecanismos y lógica del proceso evaluativo −la propuesta de diseño metodológico, el trabajo de campo, el análisis de los datos y la presentación de los hallazgos y recomendaciones− como de los resultados. Esto último impacta directamente en incrementar el uso efectivo de la evaluación al permitir a las personas apropiarse del proceso mismo de la intervención, constituyéndose en sujetos de derechos. En tanto proceso delimitado en el tiempo y desarrollado colaborativamente La evaluación participativa cuenta con mayores posibilidades de adaptabilidad al contexto, se centra en las personas, se alinea con los enfoques de derechos y permite avanzar en términos de inclusión y equidad. 73 72 veces valorado en modelos de evaluación propuestos desde lógicas ajenas. En cambio, la participación en la práctica de la evaluación también pone en evidencia que no siempre es posible ni pertinente el desarrollo de una propuesta participativa de máximos. Aunque ésta pueda ser un objetivo a largo plazo, en muchas ocasiones, el nivel de participación que puede impulsarse depende del programa, el contexto específico y del equipo evaluador, entre otros elementos. En relación con esto, resulta siempre central valorar quién participa, cómo participa, en qué actividad, cuál es el potencial real de participación en cada caso concreto y cómo seguir promoviéndola. En el equilibrio entre la participación deseada y la participación posible, la experiencia en América Latina −como hemos expuesto en el epígrafe anterior− subraya la centralidad de la participación de los actores sociales en tanto que sujetos con derechos. En este sentido, la evaluación participativa concibe el rol activo de los actores sociales como resultado natural de sus derechos como ciudadanos y ciudadanas. Y no sólo eso, sino que también comprende la evaluación como una oportunidad y momento para impulsar su cumplimiento por parte de las instituciones públicas. Esta tendencia dentro de la evaluación participativa en la región imbrica con el impulso en los últimos años de la incorporación de los Derechos Humanos en el centro de la evaluación. En línea con evaluaciones que incluyen un enfoque de Derechos Humanos, se han avanzado diferentes propuestas orientadas a que la evaluación constituya un instrumen- to para “promover, respetar y garantizar el disfrute efectivo de los derechos humanos de la población con una atención especial a los grupos más vulnerables” (Ligero Lasa et al., 2014, p.19). En este caso, el proceso de indagación se centra en valorar cómo el programa contribuye a reducir la discriminación, desarrolla competencias en los actores y favorece al incrementar el impacto que ésta tiene en los diversos actores y actoras. Es en el marco del trabajo conjunto, desarrollado colaborativa y horizontalmente, que se visualiza la atención recíproca a las perspectivas plurales que los diferentes actores pueden brindar respecto a la valoración del éxito del programa. Una particular preocupación en América Latina apunta a despegar a la evaluación participativa de visiones meramente “tecnicistas”, las que tienden a equiparar todo el enfoque y su propósito con las meras técnicas animadoras de la participación. Inclusive, su ausencia puede resultar positiva si con el uso de éstas se buscan alternativas “divertidas” para imponer contenidos y orientar el esfuerzo evaluativo simulando sumar la perspectiva de los actores locales. En todo caso, las técnicas, los talleres o los juegos sí son partes centrales y muy relevantes de los procesos participativos. A través de ellas, se efectiviza el quehacer colectivo de “hacer juntos” y se “pone el cuerpo” (y no sólo el pensamiento) en la dinámica de aprendizaje. Por otra parte, este “poner el cuerpo”constituye un rasgo fuertemente latinoamericano, pocas entre diversos actores, la evaluación participativa tiene el potencial de reforzar competencias locales de modo tal que las mismas pueden ser activadas más allá del proyecto evaluado. Esto se visualiza al considerar las diversas actitudes y conductas que dicho proceso puede activar orientadas al empoderamiento de los actores: flexibilidad, reflexión crítica, negociación, búsqueda de consenso, creatividad, etc. Además de impulsar que las personas implicadas tengan mayor conocimiento y voz en los procesos y decisiones que afectan sus vidas, atendiendo a no dejar a nadie atrás, la participación en el contexto evaluativo puede fortalecer las capacidades internas de las organizaciones, su aprendizaje y la generación de lecciones referidas al desempeño de las intervenciones de cara a su mejora. La capacidad de contextualizar las evaluaciones es una de las potencialidades más evidente de la conjunción de participación y evaluación. Distintas experiencias de evaluación participativa analizadas en el contexto latinoamericano muestran su potencialidad en centrar la evaluación en las personas, AQUÍ PUEDES ACCEDER AL VIDEO "UNA EVALUACIÓN SIN EVALUADORES" 75 74 su participación, reivindicación y acción (Ligero Lasa et al. 2014). En paralelo y al hilo del vínculo entre participación y derechos, la evaluación participativa en marcha en la región se presenta también como una oportunidad para avanzar en términos de inclusión y equidad. Los enfoques participativos fueron criticados en un principio tanto por su carácter en ocasiones naíf, así como no siempre considerar las desigualdades existentes dentro de los grupos sociales implicados en el programa y en la evaluación (Guijt y Shah, 1998). En los últimos años, la práctica latinoamericana ha comenzado a reconocer las discriminaciones existentes y ha puesto sobre la mesa la necesidad de avanzar hacia su transformación. En líneas generales, existe un reconocimiento de la diversidad de actores y actoras implicados, sus distintas necesidades e intereses, así como sus saberes y conocimientos específicos. Asimismo, comienza a tomarse en consideración las relaciones de poder existentes entre los mismos y las diferentes situaciones de discriminación y desigualdad a las que, según su posición, pueden hacer frente. Empero, no existe un único tipo de actor social, por lo que su situación y posición tampoco pueden ser explicadas si se toma en consideración un único tipo de categoría, por ejemplo, el nivel socioeconómico. Es preciso prestar atención, en cada evaluación concreta, a las diferentes características sociales de los actores y cómo éstas se imbrican en cada caso. Esto requiere atender al modo en que los diferentes sistemas y estructuras de poder se encuentran entrelazados y cómo cambian con el paso del tiempo (Hankivsky y Jordan-Zachery, 2019). Se trata de comprender la manera en que los diferentes factores de desigualdad −como el nivel socioeconómico, el género, el origen étnico, la edad, entre otros− se interrelacionan en cada caso concreto. Además, no sólo los programas evaluados, sino que la propia evaluación está marcada por consideraciones filosóficas, políticas y prácticas que median y reproducen determinados tipos de discriminación y exclusión (Cousins y Chouinard, 2012). En este punto, resulta central poner de manifiesto y analizar la posición social, los roles, los valores y los supuestos existentes en el programa a evaluar, la evaluación en sí misma y el contexto en el que se desarrolla. Por ende, la evaluación constituye una oportunidad para evidenciar y cambiar tales consideraciones de carácter clasista, sexista, racista, homófobo, entre otros. En esta línea, la práctica de la evaluación participativa en América Latina comienza a conversar e intentar establecer conexiones con propuestas evaluativas que apuestan por incorporar el enfoque de género y el enfoque intercultural de cara a cuestionar las estructuras y lógicas de poder y discriminación (Faúndez Meléndez y Weinstein, 2013). Así, se pone énfasis en dar voz a aquellas personas y grupos con frecuencia silenciados, en los derechos de todas las personas a participar en la evaluación y en reconocer y valorar la diversidad. De forma específica, comienzan a reconocerse los diferentes puntos de partida. Por ejemplo, es posible observar que los programas no son neutrales al género socialmente construido, sino que, si no adoptan medidas al respecto, reproducen este tipo de desigualdad estructural. De igual modo, algunas prácticas de la región reconocen y ponen en valor las diversidades culturales de las sociedades latinoamericanas, al promover los derechos y las voces de los pueblos indígenas y afrodescendientes. En esta línea, se apuesta por una buena identificación de actores y actoras claves y de su diversidad desde el inicio de la evaluación, así como su implicación en todo el proceso al romper con los enfoques verticalistas o top-down con frecuencia predominantes. En el equilibrio entre la participación deseada y la participación posible, la experiencia en América Latina subraya la centralidad de la participación de los actores y actoras sociales en tanto que sujetos con derechos. 4. CONCLUSIONES En este capítulo se ha señalado que la relación entre evaluación y participación cuenta con una dilatada historia. Múltiples han sido las propuestas que apostaron por la implicación de los diversos actores sociales en los procesos evaluativos. Como hemos visto, la evaluación participativa guarda conexiones con la evaluación transformativa, la evaluación empoderante y el enfoque colaborativo en evaluación, entre 77 76 uso de técnicas y materiales didácticos, la apropiación de procesos y resultados por parte de los actores, el refuerzo de las competencias locales y el rol facilitador del equipo evaluador. Ahora bien, la participación no siempre se traduce en un mismo tipo de práctica. Si bien en ocasiones la participación puede usarse como “etiqueta”, al cuestionar todo su poder transformador; en otras aproximaciones. Además, en el contexto latinoamericano, su desarrollo ha tenido influencias y sinergias con experiencias como la Educación Popular, la Investigación-Acción-Participativa y la Sistematización de Experiencias. De igual modo, la evaluación participativa en la región muestra un conjunto de principios específicos ligados a la consideración de los actores como sujetos con derechos, el reconocimiento del saber local, el trabajo de modo asociado y horizontal, el otras, puede abrir espacio para -paso a paso y según cada contextoabrir oportunidades que permita avanzar en derechos, inclusión y equidad. En esta línea, la evaluación participativa puede constituir una herramienta con un amplio potencial que ayude a promover la participación de los diversos actores y actoras, incluir de forma activa sus voces, necesidades, intereses y conocimientos y, en línea con la Agenda 2030, no dejar a nadie atrás. A continuación, exploramos cómo poner en marcha este tipo de ejercicio evaluativo, cómo facilitar la participación en evaluación y qué herramientas podemos utilizar para ello. 79 78 Capítulo 3 Cómo se desarrolla una evaluación participativa 93 92 Es muy probable que, a medida que avance el proceso de evaluación, se presente la necesidad de integrar a nuevos actores clave o se descubra que el rol de algunos participantes deja de ser relevante en alguna de las etapas. La flexibilidad para realizar ajustes y cambios en el equipo de evaluación es otra característica esencial de una evaluación participativa. En el capítulo cuatro, dedicado a la facilitación, se ofrecen valiosas pistas y consejos para orientar las decisiones relacionadas con la constitución del equipo de evaluación. Etapa 2: Establecer los objetivos y preguntas de la evaluación Los objetivos de la evaluación van a guiar tanto el proceso evaluativo como el aprovechamiento de sus resultados. Posiblemente es la decisión más importante por tomar en un proceso de evaluación. Compartir esta decisión es uno de los grandes méritos de la evaluación participativa. En la medida en que más actores hayan participado en la decisión sobre los objetivos de la evaluación, aumentan las posibilidades de que los resultados se ajusten mejor a las necesidades de un grupo meta más amplio. Normalmente, la evaluación tiene su origen en un problema o una necesidad de información. Identificar quiénes y para qué necesitan esa información constituye el primer paso para establecer los objetivos de una evaluación. En este punto debe tenerse presente que la evaluación puede no ser el instrumento más adecuado para atender todas las necesidades informativas, sino aquellas cuya respuesta requiere un estudio en profundidad de algún aspecto relacionado con el proyecto. Por ejemplo, es muy común que se planteen a los evaluadores preguntas del tipo “¿se han alcanzado los objetivos del proyecto?”, que es una cuestión a la que un buen sistema de seguimiento debería poder responder. Una pregunta más adecuada para la evaluación sería, por Desde el inicio del proceso, no se debe perder de vista que las evaluaciones se realizan para ser utilizadas. 95 94 ejemplo: “¿por qué no se han alcanzado al 100% los objetivos del proyecto?”. Una vez identificadas, las necesidades informativas se formulan como preguntas evaluativas o preguntas que puedan ser respondidas mediante una evaluación. Para formular buenas preguntas de evaluación debe tenerse en cuenta que: (1) se correspondan con una necesidad de información o la identificación de una solución; (2) aludan a cuestiones que, en efecto, puedan ser respondidas por la evaluación y no correspondan, por ejemplo, al sistema de seguimiento del programa o a una auditoría. Siempre que se mantenga este vínculo entre las preguntas de evaluación, las necesidades informativas y la aplicación que se dará a la información una vez que se obtenga, no debería resultar complejo formular los objetivos de la evaluación y establecer su vínculo con las preguntas de evaluación. Normalmente, los objetivos de la evaluación hacen referencia a los problemas relacionados con el proyecto que se quieren solucionar a través de la evaluación. Las preguntas de evaluación harán referencia a la información necesaria para resolver esos problemas. Insistiremos en esta idea cuando revisemos la fase final de uso, pero es conveniente adelantarla en este momento. El objetivo de una evaluación no debería limitarse a responder las preguntas formuladas, sino también a resolver los problemas que originaron estas preguntas. Esta consideración resulta clave para aclarar la diferencia entre “buenas evaluaciones” y “evaluaciones útiles”, que es una cuestión muy discutida en el mundo de la evaluación. Una evaluación puede proponer objetivos que no estén directamente relacionados con preguntas específicas de evaluación (por ejemplo: aumentar la coordinación entre los actores participantes en el programa o rendir cuentas a la entidad que financia el proyecto). Por el contrario, si en la matriz de evaluación aparece alguna pregunta que no está relacionada con ningún objetivo concreto, el equipo de evaluación deberá plantearse si es realmente necesario responder a este cuestionamiento antes de seguir adelante con la planificación de la evaluación. Un problema usual en evaluación –y también en la planificación de proyectos− es que los objetivos y las preguntas se planteen de forma demasiado amplia, de manera que se pueden interpretar (y contestar) de formas muy distintas. El riesgo para la evaluación es que las respuestas que genere no se correspondan con las evidencias que se buscan cuando se plantean las preguntas. Para evitar este problema y ser más concisos en la formulación de objetivos y preguntas de evaluación se suele recurrir a los indicadores (sexta columna de la matriz de evaluación). Los indicadores son una expresión de lo que se quiere alcanzar o medir, y son muy útiles para detallar claramente qué es lo que se va a analizar con la evaluación. Por ejemplo, si uno de los resultados que queremos conseguir con la evaluación es mejorar la cobertura de un programa de vacunación infantil contra la polio, resultará muy útil concretar con indicadores a qué nos referimos por cobertura: al número de centros de salud que pueden administrar dicha vacuna, a la cantidad de personal sanitario, al porcentaje de vacunaciones sobre nacimientos de niños en situación de pobreza y extrema pobreza, etc. Dado que los indicadores son los que finalmente concretan las preguntas de evaluación, en una evaluación participativa es importante que todos los colectivos implicados formen parte de la discusión para su selección. Durante todo el proceso evaluativo, pero especialmente en esta primera fase, es sustancial no perder de vista el propósito de la evaluación. En cada una de las decisiones que se tomen durante estos primeros pasos, debería considerarse el uso que se le va a dar a las evidencias que aporte la evaluación. Cada objetivo o pregunta que se plantee va a exigir tiempo y recursos a la evaluación. Por ello, en esta primera etapa, es importante discernir y llegar a acuerdos sobre las preguntas esenciales, aquellas cuya respuesta vaya a reportar utilidad o un valor añadido al proyecto y/o sus efectos. La matriz de evaluación que les proponemos en este manual incluye una tercera columna dedicada al “uso que se le dará a la evidencia” generada por la evaluación. Es, digámoslo así, un recurso para no perder de vista en ningún momento que las evaluaciones se realizan para ser utilizadas. 97 96 Los equipos de evaluación participativa tienen la notable ventaja que, al contar entre sus miembros con personas muy cercanas al programa, les resulta más sencillo identificar y acceder a los grupos que puedan aportar información relevante para la evaluación. Etapa 3: Identificar las fuentes de información y las herramientas para recopilarla Durante esta etapa se identificarán las fuentes que nos puedan proporcionar la información necesaria para responder a las preguntas de evaluación. Un importante valor añadido de las respuestas que proporciona la evaluación es que se obtienen al aplicar técnicas y herramientas de investigación social, lo que le confiere un rigor científico y posibilita que pueda ser fácilmente contrastada. Por este motivo, se suele decir que la evaluación aporta “evidencias”. Es aconsejable recurrir a varias fuentes de información e incluso consultar a varias fuentes sobre un mismo tema, o acudir varias veces a la misma fuente aplicando herramientas distintas. Por ejemplo, se puede pedir a un/a técnico/a del proyec- to que rellene un cuestionario y, en otro momento, realizar una entrevista personal que permita profundizar en algunos temas. Este recurso recibe el nombre de “triangulación” y permite obtener información más rica, como eliminar sesgos o percepciones subjetivas. La triangulación, en definitiva, confiere rigor y credibilidad a la evaluación. Las fuentes se clasifican en primarias, cuando se trata de información directamente recopilada por el equipo evaluador (por ejemplo, cuando se hacen entrevistas) o secundarias, cuando la información ya había sido recopilada por otras personas (por ejemplo, cuando se consulta un informe del proyecto). Las fuentes primarias de una evaluación suelen ser las personas que han estado vinculadas al proyecto, bien sea en su condición de grupos beneficiarios o como gestores, planificadores o financiadores de éste. No obstante, hay otros grupos que, aunque no se estén directamente implicados en el proyecto, pueden aportar información muy valiosa para la evaluación y deberían conside- Los indicadores son una expresión de lo que se quiere alcanzar o medir y son muy útiles para detallar claramente qué es lo que se va a analizar con la evaluación. 99 98 rarse: líderes o lideresas de la comunidad, autoridades locales o sectoriales, personal científico o investigador vinculado a materias relacionadas con el proyecto, etc. Una ventaja de los equipos de evaluación participativa es que, al contar entre sus miembros con personas muy cercanas al programa, les resulta más sencillo identificar y acceder a los grupos que puedan aportar información relevante para la evaluación. Incluso, es muy probable que buena parte de la información necesaria la puedan aportar los propios miembros del equipo de evaluación. Las herramientas clásicas para recopilar información de fuentes primarias son las encuestas, las entrevistas y las reuniones grupales. Tienen la ventaja de que son herramientas flexibles y permiten obtener de manera más precisa la información que se requiere para realizar la evaluación. En contrapartida, recopilar la información primaria suele ser considerablemente más costoso y, además, requiere la implicación de las personas que representen a los grupos consultados. Por ello, resulta fundamental que el equipo de evaluación prepare cuidadosamente las herramientas y planifique con detalle las sesiones en las que los actores serán consultados. Los equipos de evaluación participativa enfrentan el reto adicional de que las herramientas de recopilación de información han sido diseñadas para ser utilizadas por profesionales de la evaluación o, en general, de las ciencias sociales. Como éste no es el caso de los miembros de un equipo de evaluación participativa, las herramientas deben ser objeto de una doble adaptación: a las fuentes consultadas y a las personas que van a aplicarlas. La adaptación de herramientas se revisa con más detalle en las páginas dedicadas a describir la fase de realización de la evaluación. Además, en el capítulo final se aborda el tema de las herramientas A MODO DE RECOMENDACIÓN Muchos equipos de evaluación –también los profesionales− se encuentran con que los informes de seguimiento están incompletos hasta un punto en que, no sólo no resultan de utilidad para la evaluación, sino que tampoco responden a las necesidades de gestión del proyecto. Por ello, los equipos de evaluación se ven obligados a recolectar datos muy básicos durante la evaluación: cuántas personas se atendieron, qué actividades se realizaron, cuántos equipos se entregaron, etc. Es necesario hacerlo porque sin esos datos no se puede continuar la evaluación, pero debe indicarse claramente a las personas responsables del programa que es un error esperar a la evaluación para recopilarla. En parte porque no es esa la función de la evaluación, pero sobre todo porque el monitoreo regular de estos datos resulta fundamental para la gestión del proyecto. para recopilar información primaria, así como algunas buenas ideas y experiencias sobre cómo pueden adaptarse para su aplicación en la evaluación participativa. La fuente de información secundaria más relevante para la evaluación es −o debería ser− la que proporciona el sistema de seguimiento del proyecto evaluado. La función principal de un sistema de seguimiento es proporcionar información que oriente de forma continua la gestión del proyecto. Pero además, el sistema de seguimiento debe diseñarse de forma que proporcione información relevante para la evaluación. Lamentablemente, esto es un ideal que está lejos de cumplirse en la mayoría de las ocasiones. Los sistemas de seguimiento se suelen diseñar en la planificación del proyecto o durante los primeros pasos de su implementación. Salvo que en los equipos de planificación haya personas muy experimentadas o con conocimientos sobre evaluación, resulta difícil prever en ese momento qué tipo de información podría requerir una futura evaluación. No obstante, la participación de estas personas en las evaluaciones –especialmente en los equipos de evaluación participativa− les ofrece la oportunidad de ajustar los sistemas de seguimiento para asegurar que, en el AQUÍ PUEDES ACCEDER AL VIDEO "EL DESAFÍO DE USAR TÉCNICAS QUE INCLUYAN DIVERSOS ACTORES" 101 100 futuro, recopilen información relevante, también para la evaluación. Otras fuentes de información secundaria relevantes para la evaluación son las estadísticas oficiales, las publicaciones científicas o divulgativas sobre temas relacionados con el proyecto y otros informes de evaluación que se hayan publicado sobre proyectos similares. Al contrario de lo que sucedía con las fuentes primarias, identificar estas fuentes de información suele ser más complicado para los equipos de evaluación participativa entre cuyos miembros no se cuente con experiencia investigadora. En esta ocasión, la orientación de la persona facilitadora sobre las fuentes y documentos a consultar, e incluso un primer tratamiento de la información y los datos para que sean más fácilmente comprendidos por el equipo evaluador, resulta un aporte muy valioso. Etapa 4: Planificar costos y plazos de la evaluación Una vez concluida la etapa 3, especialmente si hemos integrado todos los intereses de los grupos participantes, es altamente probable que nuestra matriz de evaluación se encuentre bastante llena de objetivos, preguntas, fuentes de información e instrumentos propuestos para recopilarla. Este momento es idóneo para estimar los recursos financieros y, muy especialmente, el tiempo que consumirá nuestra evaluación. También es el momento en que los actores deberán negociar para priorizar las preguntas, concentrar los esfuerzos de la evaluación en aquellas que puedan responderse con los recursos disponibles y que vayan a ser de mayor utilidad para el proyecto y/o sus efectos. En esta etapa se hace importante tener presente que el proceso evaluativo no concluye con la presentación de las evidencias que genere la evaluación, sino que éstas deben ser trasladadas a los actores para que tomen las decisiones correspondientes y darles seguimiento para asegurar que se traducen en las mejoras esperadas en el proyecto. Reservar los recursos necesarios para asegurar el uso de los resultados, nos permitirá afrontar con ciertas garantías de éxito esta fase final tan importante en el proceso evaluativo. Por lo tanto, en conso- 103 102 nancia con el carácter instrumental de la evaluación –con la importancia de su uso−, esta fase de programación debe incluir también la planificación de actividades, tiempos y recursos que se van a destinar a la fase final del proceso evaluativo, dedicada precisamente al uso de las evidencias para introducir mejoras en el proyecto. Planificación de costos La mayor parte de los recursos financieros de las evaluaciones convencionales se destinan a la contratación de los equipos profesionales de evaluación. Los integrantes de los equipos de evaluación participativa suelen colaborar en la misma a través de su vinculación a otras funciones que desempeñan en el proyecto o como parte de su compromiso voluntario con éste. Por lo tanto, los fondos reservados para una evaluación participativa se destinarán a conceptos como la remuneración del o de la facilitadora, en el caso de que sea contratada externamente, y el apoyo para costear gastos de alimentación, transporte y materiales necesarios para las sesiones de trabajo del equipo de evaluación. También consumen recursos los encuentros programados para recopilar la información y las sesiones de presentación y seguimiento del uso de los resultados de la evaluación. En todos los casos son costos que las organizaciones suelen estar acostumbradas a calcular, ya que son asimilables a los de muchas otras actividades de los proyectos. Planificación de tiempo El recurso del tiempo requerido para realizar una evaluación participativa suele ser un limitante mayor y más complejo de calcular que los costos financieros. Hay dos elementos que exigen que los tiempos de una evaluación participativa sean cuidadosamente planificados: la oportunidad de los resultados de la evaluación y la necesidad de reservar espacios para la adaptación de herramientas y capacitación de los participantes. El criterio de oportunidad es muy importante a la hora de planificar los tiempos de una evaluación. Por muy buena que sea una evaluación y sus resultados, podrían no servir de nada si llegaran tarde o cuando las decisiones ya están tomadas. La única forma de evitar estas A MODO DE RECOMENDACIÓN Hacer entrevistas en una evaluación no resulta tan sencillo como pudiese parecer a primera vista. Se necesitan habilidades, conocimientos y práctica para obtener la información que se está buscando, sin presionar o condicionar las respuestas de la persona entrevistada. En la evaluación participativa resulta muy importante que los equipos realicen varios ensayos antes de abordar la entrevista definitiva, especialmente si se van a tratar temas controvertidos o sensibles. situaciones es delimitar los plazos dentro de los cuales los resultados serán de utilidad y tenerlo en cuenta a la hora de planificar la evaluación. Es muy posible, por ejemplo, que realizar una consulta a todos los actores implicados en un proyecto consuma mucho más tiempo y recursos de los disponibles, por lo que sería necesario optar por consultar a una muestra representativa. Como se explicó al inicio de este capítulo, la necesidad de capacitación de los miembros del equipo de evaluación es un rasgo característico de la evaluación participativa. No se espera que se conviertan en evaluadores o evaluadoras profesionales, pero sí que conozcan la lógica del proceso evaluativo y comprendan las diferentes herramientas de evaluación de forma suficiente, al menos, para poder aplicarlas. En este sentido vuelve a ser muy importante el rol de la persona encargada de la facilitación. Su función será no sólo identificar las necesidades de capacitación en cada momento, sino también, y sobre todo, suplir aquellas carencias que no puedan ser cubiertas a través de la capacitación. Capacitar a los participantes cuando lo necesiten durante el proceso evaluativo requiere planificar los tiempos. En ocasiones, es posible que se tenga que emplear más tiempo en capacitar sobre un paso concreto de la evaluación que en realizar el propio paso en sí, pero es importante que el ritmo de la evaluación participativa se ajuste en todo momen- to al de aprendizaje de sus participantes y no al revés. Si alguien se queda atrás en uno de los pasos, no podrá seguir los siguientes y dejará de ser auténtico pro- 105 104 tagonista en el proceso, con lo que se iría diluyendo la esencia participativa de la evaluación. Si los problemas a solucionar exigen resultados rápidos, conviene plantearse si el enfoque participativo resulta o no la opción idónea para realizar esa evaluación. Una vez planificada, comienza la fase de realización de la evaluación. Acá se pondrán en marcha las actividades priorizadas en la fase anterior: se recolecta la información y se analiza para responder a las preguntas de evaluación. Adelantándose a su aplicación, estas respuestas se traducen en recomendaciones para mejorar el proyecto evaluado. También es en esta fase cuando se elaboran los formatos o “productos” con los que se van a trasladar los resultados de la evaluación a las personas que puedan usarlos. En la evaluación convencional, esta fase coincide con la actividad desarrollada por los equipos de evaluación. En la evaluación participativa no es exactamente así. Al haberse constituido desde un inicio del proceso evaluativo, los equipos de evaluación participativa se dedican durante esta fase a implementar los planes de trabajo que ellos mismos elaboraron. Etapa 5: Recolección y registro de información Los equipos de evaluación participativa son amplios y diversos. Además, conocen muy bien el proyecto evaluado y el contexto en que se implementa. Por esto, los propios miembros de los equipos de evaluación podrán aportar buena parte de la información necesaria para realizar la evaluación. Sin embargo, esto no significa que no deban recurrir a otras fuentes para ampliar o contrastar sus conocimientos. Como ya mencionamos en las páginas dedicadas a la planificación de la evaluación, los equipos de evaluación participativa enfrentan una dificultad inicial para aplicar las herramientas de recolección de información, ya que no están familiarizados con ellas. Incluso una herramienta aparentemente sencilla, como la realización de una entrevista, se puede tornar compleja si no se ha realizado nunca, se deben conseguir determinados resultados o es necesario La necesidad de capacitación de los miembros del equipo de evaluación es un rasgo característico de la evaluación participativa. No es el propósito que se conviertan en evaluadores o evaluadoras profesionales, pero sí que conozcan la lógica del proceso evaluativo y comprendan las diferentes herramientas de evaluación de forma suficiente para poder aplicarlas. 107 106 indagar de forma crítica manteniendo un tono constructivo con la persona entrevistada. Sin embargo, el éxito de cualquier evaluación depende en gran medida de que se recolecte toda la información necesaria durante esta etapa. Por ello, la evaluación participativa cuenta con tres mecanismos que pueden ayudar a los equipos con menos experiencia: • adaptar las técnicas y herramientas de recolección de información para que, sin dejar de cumplir su función, puedan ser aplicadas por personas sin experiencia en evaluación; • incluir capacitaciones sobre el uso de las herramientas en los planes de trabajo de las evaluaciones participativas; y -realizar ensayos previos donde el resto de los participantes pueda observar, corregir y anticipar problemas que pudiera darse durante la aplicación real de la herramienta. La figura de la o el facilitador toma especial relevancia en esta etapa. No sólo para guiar al equipo de evaluación en la recolección de información, sino para organizar estas actividades preparatorias que aseguren su buena marcha posterior. En cualquier evaluación es usual que se recolecte gran cantidad de información en muy poco tiempo. Si no se organizan los datos a medida que se colectan, puede resultar muy complejo analizarlos después. En las evaluaciones participativas son más las personas que se implican en una y otra etapa, por lo que el reto de tener la información ordenada es aún mayor. A este proceso de organizar la información que se va recolectando se denomina sistematización y es sumamente importante para realizar una buena evaluación. Una buena sistematización ayuda a: • durante la etapa de recolección de datos: conocer en cada momento si tenemos información suficiente para responder a las preguntas de evaluación o es preciso seguir; • durante la etapa de análisis de la información: revisar y reflexionar para traducir la información recopilada en respuestas a las preguntas de evaluación; y • durante la fase de uso de los resultados de la evaluación: dar credibilidad y rigor metodológico a los resultados de la evaluación, ya que permite a terceros conocer el origen de las conclusiones a las que llega la evaluación. El registro o sistematización de la información que se ha recolectado puede ser un proceso complejo. Y normalmente es diferente en función de las herramientas que se apliquen. Por ejemplo, para una entrevista personal se suele tomar notas o realizar una grabación, cuyos principales contenidos son trasladados a una tabla. Para un trabajo grupal, puede recurrirse a las notas, pero usualmente resulta mucho más práctico registrar las ideas principales en tarjetas que se ordenan en la pared o tableros y después se les toma una fotografía. Por norma general, no estaremos totalmente preparados para aplicar una herramienta de recolección de información hasta que no hayamos decidido cómo vamos a registrar y ordenar los datos que nos proporcione. En el capítulo cinco de este manual les proponemos algunas ideas para el registro y sistematización de información adaptadas a cada herramienta. Pero también se puede recurrir a la creatividad del grupo para idear nuevas soluciones ajustadas a cada situación. Una vez más, el apoyo de la persona encargada de la facilitación será de gran ayuda para esta etapa. Finalmente, conviene mencionar que, por muy bien que se haya planificado este paso, es probable que se deban realizar ajustes en las fuentes de información que se pensaba consultar o en las herramientas que se habían previsto. Es muy común que la información que se esperaba encontrar resulte incompleta o que AQUÍ PUEDES ACCEDER AL VIDEO "LA ELECCIÓN Y USO DE LA HERRAMIENTA CORRECTA" Una ventaja de la evaluación participativa es que los equipos son más flexibles para responder a situaciones imprevistas. 109 108 su acceso resulte más complicado de lo inicialmente previsto. Esto también ocurre en las evaluaciones convencionales, que además enfrentan la complicación adicional de que los cambios respecto a la planificación requieren de nuevos acuerdos entre los equipos de evaluación y quienes les realizaron el encargo. Una ventaja de la evaluación participativa es que los equipos son más flexibles para responder a estas situaciones imprevistas. generan. Por ello, los resultados del análisis de la información recolectada en una evaluación se suelen presentar en dos niveles. Al primero de ellos se le denomina “conclusiones” que deberían estar vinculadas directamente a las preguntas de evaluación y guardar una relación directa con la información recopilada durante la evaluación. El segundo nivel es el de las “recomendaciones”, cuyo objetivo es incidir positivamente en el proyecto a través de acciones de mejora propuestas desde la evaluación. Para la formulación de las recomendaciones se toman como referencia las conclusiones, pero se tienen en consideración otros elementos, como si es posible o no ponerlas en práctica y los costos derivados de las mismas. Es en esta etapa en la que se destila la esencia de los resultados de una evaluación. Una evaluación que arroje buenas recomendaciones será, muy probablemente, una evaluación exitosa que traerá muchos beneficios para el proyecto y los actores implicados en él. La formulación de recomendaciones suele ser una de las actividades más cuestionadas en los procesos evaluativos. Y no sólo por su trascendencia final sobre el proyecto, sino también porque es donde más entra Etapa 6: Análisis de la información Una vez recolectados los datos –o a medida que se van recolectando−, llega el momento de analizarlos, de revisar la información disponible y reflexionar sobre las respuestas que ofrece, tomando siempre como referente las preguntas de evaluación, sus objetivos y el uso que se le va a dar a las respuestas que genere la evaluación. Volvemos a recordar que el objetivo de una evaluación no debería quedar sólo en responder a las preguntas, sino en traducir estas respuestas en acciones para mejorar los proyectos o los efectos que 111 110 en juego la subjetividad del equipo de evaluación. Mantener el hilo argumental entre la información recolectada, las conclusiones derivadas de su análisis y la orientación de las recomendaciones a las preguntas y objetivos marcados para la evaluación, no disminuirá la “presión escénica” sobre esta etapa, pero sí permitirá a los equipos de evaluación responder con rigor científico a posibles cuestionamientos. Es lo que los y las profesionales de la evaluación denominan “trazabilidad” de las recomendaciones, ya que permite trazar el camino que les ha llevado hasta éstas para que sean mejor comprendidas y aceptadas por terceras personas. Etapa 7: Transferencia de los resultados Esta etapa cierra la segunda fase del proceso evaluativo y marca la transición entre las fases de realización de la evaluación y la de uso. Aunque la fase de realización de la evaluación termine con la presentación de resultados, esto no significa que concluya el proceso evaluativo. Más bien al contrario, esta etapa conduce a la fase final de uso, que es la que da sentido a cualquier evaluación. Hacemos esta aclaración porque muchas personas se confunden al pensar que la evaluación termina con la presentación del informe. Esto se debe a que, a partir de ese momento, se diluye en cierta medida el protagonismo del equipo evaluador. En la fase posterior (fase de uso), los focos estarán puestos en los equipos que van a utilizar las recomendaciones de la evaluación para planificar e implementar acciones de mejora de los proyectos evaluados. Por eso, podría decirse que el objetivo de esta etapa de transferencia de los resultados es asegurar una buena transición entre las personas que han realizado las evaluaciones y quienes tienen que aplicar sus resultados (recomendaciones de la evaluación) en acciones de mejora del proyecto evaluado. Una gran ventaja que tienen las evaluaciones participativas es que, seguramente, buena parte de los grupos destinatarios de las recomendaciones ya han estado representados en los equipos de evaluación. Igualmente será necesario compartir los resultados desde el representante de cada grupo al resto del colectivo, pero esta transferencia será mucho más sencilla si las propuestas llegan “desde dentro”. Para asegurar una buena transferencia de los resultados de su trabajo, los equipos de evaluación deben asegurarse de: (1) presentar los resultados de forma atractiva para captar el interés de cada grupo destinatario; y (2) que los resultados sean interpretados correctamente por los grupos que van a utilizarlos para que puedan verse fácilmente traducidos en acciones de mejora. Para hacer atractiva la presentación de los resultados de una evaluación resulta determinante elegir el formato o formatos de presentación más adecuados para cada grupo. Habrá grupos a quienes se ajuste mejor una presentación presencial. Otros preferirán tener toda la información y leer un informe completo de la evaluación. Para otros grupos será más conveniente tener un resumen de lo que se les recomienda hacer y por qué. La amplia representatividad que caracteriza a los equipos de evaluación participativa facilitará enormemente la decisión sobre qué formato o formatos utilizar para trasladar los resultados de la evaluación a cada grupo. Además de atractiva, una buena presentación de los resultados de la evaluación debe ser eficaz, en el sentido de que permita a los grupos destinatarios interpretar correctamente las recomendaciones que se les proponen y traducirlas en acciones para la mejora de los programas. Esto será más fácil con aquellos grupos que han estado representados en el equipo de evaluación. Para el resto de los grupos, lo más recomendable es dejar abierta la opción de resolver sus dudas directamente con el equipo de evaluación. Para esto, se pueden hacer circular los resultados previamente por escrito y/u organizar encuentros de presentación de resultados con espacio para aclarar las cuestiones de quienes deberán aplicar las recomendaciones. Cuando las personas responsables de tomar las decisiones no están directamente vinculadas a los equipos de evaluación, será importante que las recomendaciones de la evaluación sean convincentes y bien argumentadas. Es en este momento donde cobra gran importancia la trazabilidad de las recomendaciones –que no es otra cosa que 125 124 nado, o como aquel que dirige un evento (a manera de maestro de ceremonias). Sin embargo, en el sentido más estricto de la palabra, “facilitar” se refiere solamente a hacer que un proceso sea más fácil y que dé mejores resultados. Más que encontrar una definición única, lo importante es asegurarnos de que todos los que la usamos como parte de un proceso tengamos la misma idea de lo que este proceso significa. De esta manera, cuando hablamos de facilitar un proceso no nos referimos al dictado de un curso, sino más bien a: • la gestión del proceso, al ver al facilitador/a como un administrador/a de éste; • la coordinación necesaria entre personas que tienen roles, objetivos y actividades diferentes, lo que implica un proceso de negociación continua entre los involucrados; • el apoyo brindado para que diferentes personas colaboren entre sí y se apoyen mutuamente (la creación de un grupo que trabaje como tal y que no sea sólo un rejunte de personas); • la creación de condiciones necesarias para que los participantes asuman el liderazgo de un proceso –quizás gradualmente−; • el sostén al desarrollo de capacidades específicas; y • el monitoreo regular de pasos, actividades y resultados del proceso. De manera específica para el caso de una evaluación participativa, el objetivo fundamental es lograr que el proceso en su conjunto sea participativo, y que por ello sea más interesante, más eficiente y efectivo, lo que permitiría lograr mejores resultados. Ligado a ello, el objetivo apunta también a asegurar que estos resultados se usen: que se pongan en práctica y que de esa manera ayuden a mejorar el proceso mismo. AQUÍ PUEDES ACCEDER AL VIDEO "CÓMO FACILITAR LA EVALUACIÓN PARTICIPATIVA" 127 126 ceso de capacitación; en este caso, el/ la facilitador/a no es quien organiza un taller, sino más bien, es la persona que asume la responsabilidad de que la evaluación participativa sea efectivamente una evaluación y que la misma sea realmente participativa. Condiciones y requisitos Una facilitadora puede ser una persona externa o también puede ser uno de los miembros de un equipo particular; es decir, un colega de todos los demás participantes del proceso. Pero facilitar un proceso es más que “ser parte” del mismo, siempre hay personas que lo hacen mejor que otras. Esto se debe a que básicamente tienen algunas habilidades específicas, cumplen con algunas condiciones puntuales, gracias a su experiencia se relacionan mejor con los miembros de un equipo y pueden ayudar a que todos trabajen juntos, etc. En términos generales, se dice que mucho depende de la personalidad de cada uno: algunos son más habladores y fácilmente invitan a otros a hablar y a participar; mientras que otros son mucho más capaces de ver cómo se relacionan un equipo) y asegura que efectivamente participen. Es la persona que asume la responsabilidad de que el proceso se complete y que se alcancen los objetivos planteados en un inicio. Es decir, no es un supervisor/a o líder: el/la facilitador/a de un proceso de evaluación participativa es quien asegura que éste sea verdaderamente participativo. El/la facilitador/a es la persona que traza planes y prepara el proceso en un inicio. Éste/a, sin necesariamente ser el líder del equipo, es quien asegura que este equipo defina cuáles serán los resultados esperados, que decida cuáles van a ser las actividades que serán necesarias para lograrlos y cuándo se van a llevar a cabo; es quien asegura que éstas efectivamente se lleven a cabo. Como vamos a discutir en las páginas siguientes, es la persona facilitadora quien sirve de guía dentro de un proceso. Es quien motiva a los demás, se asegura de incluir todas las voces y de que todos sean parte activa del proceso, creando el espacio necesario para la discusión y el aprendizaje entre todos los que están siendo parte del mismo. Algo similar ocurre con el/la facilitador/a de un pro- ¿Qué hace un facilitador/a? A veces resulta más fácil decir qué es lo que no hace un facilitador/a, o qué es lo que no se espera de él o ella. El/la facilitador/a, aún pudiendo ser un evaluador externo a la intervención a valorar y/o un experto en el tema o área que la misma aborda (salud, vivienda, empleo, etc.), no asumirá el mismo rol que tendría en el contexto de una evaluación no participativa. La persona facilitadora no es quien tiene la responsabilidad de medir resultados o de demostrar qué tan parecidos son éstos a las metas que se habían trazado en un inicio. Asimismo, tampoco es quien debe analizar a estos resultados o plantear recomendaciones específicas. Si se toman en consideración las definiciones presentadas arriba, el/la facilitador/a más bien es la persona que asegura que todos los miembros de un equipo participen de manera activa, expresen sus opiniones y contribuyan al proceso; y, en un trabajo conjunto, completen el proceso de evaluación. A lo largo de todo el proceso, el/la facilitador/a es quien motiva o guía a los demás participantes (como miembros de TRABAJAR EN EQUIPO Facilitar un proceso de evaluación participativa puede ser complicado para una sola persona, especialmente si el proceso incluye muchos participantes. En muchos casos, es mejor trabajar en equipo, repartiendo la responsabilidad entre diferentes personas, considerando sus habilidades específicas, su ubicación geográfica, interés, etc. De esta manera, una persona queda a cargo de una parte y otras pasan a ser responsables o coordinadores de otras actividades. Al momento de formar un equipo, una recomendación general es considerar participantes de personalidad diferente, que se van a relacionar de manera distinta con todos los participantes. Lógicamente, es importante asegurarse que todos están de acuerdo con lo que se hace o no se debe hacer. A la vez, muchas veces es bueno asignar responsabilidades específicas a algunos de los participantes; de esta manera, todos actúan en este proceso de diversas formas. Los participantes pueden dirigir una sesión, o pueden guiar a sus colegas al momento de, por ejemplo, buscar información. 129 128 secuencia lógica de actividades y de que cada una de estas actividades se complete y alcance los resultados esperados; • capaz de identificar problemas o dificultades, de ver las dudas que puedan tener los participantes, y de responder a ellas; y • capaz de manejar tiempo: él o ella debe poder armar y seguir un programa de actividades a lo largo de un periodo de tiempo, y cumplir con los que se ha propuesto. Tal como presentamos en otros capítulos de este manual, es clave que el/la facilitador/a conozca cómo se desarrolla un proceso de evaluación, los pasos a seguir y cómo usar algunas de las herramientas que se suelen aplicar en cada paso. Además de esto, frecuentemente, se considera también que la persona facilitadora debe conocer el tema que se está evaluando, la zona donde se está trabajando o las costumbres locales y el contexto general en el que se está desarrollando el proyecto o programa que se está evaluando. Pero, otros dos factores parecen ser tanto o más importantes que esto: quien facilite debe tener claro interés en el proceso que se está siguiendo y en los resultados que se espera alcanzar, por lo que debe ser capaz de transmitir su entusiasmo y “contagiar” a todos los miembros del equipo. A la vez, es importante que quien facilite el proceso tenga una preparación adecuada. Esto implica buscar información sobre los posibles participantes: ¿qué saben?, ¿qué quieren saber?, ¿qué problemas tienen?, o indagar sobre lasherramientas que puede usar y sobre su uso. Resulta imprescindible que el/ la facilitador/a busque y logre aprender de otros, de los “co-facilitadores” con los que compartirá responsabilidades y de los miembros del equipo de evaluación. Y, sobre todo, que esté interesado en aprender de sí mismo, de las actividades que ponga en marcha y de los resultados que vea. Como hemos señalado en las paginas anteriores, el/la facilitador/a es en cier- to modo el “manager” del proceso. La facilitadora planifica el proceso y asegura que el equipo alcance los objetivos planteados. Esto significa que el/ella: • pone el proceso en marcha: articula términos de referencia, objetivos, plazos y recursos; • arma un equipo y se asegura que diferentes personas sean parte del proceso; • identifica una serie de actividades y maneja el tiempo para que éstas se implementen; • comparte información con los demás participantes en momentos específicos, por lo que muestra los planes que ha trazado, la metodología que se va a seguir o la manera que espera que las personas o miembros del equipo interactúen unos con otros; 2. GUIAR EL PROCESO ¿INTERNO O EXTERNO? Por un lado, como miembro del equipo, un/una facilitador/a interno tiene una ventaja clara: conoce a los que participan en la evaluación (sus colegas) y sabe cómo hacer para que ellos participen de manera activa. También conoce a su institución, sabe cuáles son los objetivos y cuáles son las dificultades que se ven regularmente. De otro lado, el contar con una facilitacion externa también puede ser ventajoso: él o ella puede establecer una relación más homogénea con todos los participantes, sin verse influenciado por los roles o las jerarquías internas. unas personas con otras y de hacer algo al respecto. Así, a pesar de que es imposible pensar que el/la facilitador/a cumplirá con todos los requisitos, por lo general, se señala que un buen facilitador/a debe ser o tener: • habilidades sociales: él o ella debe ser capaz de manejar un grupo de personas con antecedentes diversos y con intereses diferentes; • organizado/a: capaz de planificar un proceso que dure tiempo, de armar una APENDER MIENTRAS SE HACE ¿Cómo ser un mejor facilitador? Actualmente es posible encontrar muchas guías o manuales en el Internet, con muchas recomendaciones puntuales. Sin embargo, todos los facilitadores están de acuerdo en que la mejor manera para facilitar un proceso es justamente eso: facilitar un proceso –y ver cómo lo hacemos−. Es necesario monitorearlo, pedir comentarios… y hacerlo otra vez. 131 130 • garantiza que todo el proceso siga su curso, que no pierda el enfoque planteado y que llegue a las conclusiones que quería llegar; • asegura que el equipo comprende cómo se desarrolla un proceso de evaluación, conoce sus herramientas y puede aplicarlas correctamente; y • apoya para que el equipo cuente con el soporte institucional necesario y que el equipo tenga las herramientas que van a ser necesarias en el proceso. En el marco de un proceso de evaluación participativa, el rol principal de quien facilita es asegurar la participación de todos los involucrados a lo largo de todo el proceso. La facilitadora ayuda a incorporar diferentes perspectivas al recoger las diferentes opiniones de todos los involucrados. También asegura que aquellos que más pueden (o deben) contribuir lo hagan de manera activa, empujando el proceso para lograr mejores resultados. Lo que sigue describe cada uno de estos puntos con más detalle. Armar un equipo La principal responsabilidad del facilitador es asegurar que el proceso sea verdaderamente participativo, lo que implica que todos los miembros de éste participen de manera activa. El primer paso consiste entonces en analizar quién va a participar y en la selección cuidadosa de aquellos que van a ser invitados a unirse al proceso. Entonces, ¿quiénes deben ser invitados a unirse al equipo?, ¿qué puede o debe esperarse de cada persona? Lógicamente, lo primero para tener en cuenta es que sean personas que sepan sobre las actividades a evaluar, que hayan estado directamente involucradas en el proyecto o programa que se quiere evaluar, que por ello tengan información y una opinión clara sobre lo que se ha hecho y sobre lo que se ha logrado. Pero, junto a ello, es importante considerar que los participantes deben estar interesados en involucrarse en todo el proceso. Es por esto necesario seleccionar a aquellas personas que van a querer dar su opinión, que van a querer discutir con los demás y que reconocen que esto 133 132 será beneficioso. Se debe considerar que no todo el mundo tiene el mismo interés por participar en un proceso de evaluación y que nadie debe sentirse obligado a hacerlo. Aún si todos han estado involucrados de manera similar dentro de un proyecto, lo más probable es que estén interesados en descubrir diferentes resultados. Por tanto, se ha de partir entonces de las expectativas que pueden tener diferentes personas: ¿qué desean descubrir?, ¿qué va a hacer que participen de manera activa? En algunos casos conviene pedirle a un gran número de personas que muestren interés en el proceso que va a comenzar (por ejemplo, que respondan a un formulario con algunas preguntas), y luego invitar a aquellos que expresen una opinión más interesante. A la vez, el facilitador puede pensar en incentivos que pueden hacer que más personas quieran unirse. Además de mencionar todo lo que van a aprender en el proceso, podría considerarse algún tipo de reconocimiento (como puede ser, por ejemplo, la entrega de un certificado). Puede ser igualmente importante cubrir todos los costos que implique participar a lo largo del proceso. NO BENEFICIARIOS Una buena recomendación puede ser la de invitar a personas que no han sido beneficiarias del proyecto a evaluar, o que no han sido parte de éste. Estas personas pueden tener una visión "externa" o pueden mostrar algunos de los puntos débiles del proyecto. y luego ver que su ejecución se ajuste al plan. Esto parte de un breve análisis, que contrasta “lo que se quiere” con “lo que se puede”, a manera de línea de base. Como parte de este proceso es necesario ver si éste es el momento adecuado para la evaluación o si es mejor esperar hasta que haya más resultados que analizar y mostrar; si hay un interés particular por participar y por encontrar lecciones y recomendaciones; si hay información suficiente y si se dispone de los recursos necesarios (o si se podrán buscar). Como punto de partida de todo proceso, la planificación se basa principalmente en la preparación de un plan de acción. Esto se inicia con la definición de los objetivos que guiarán la evaluación y las preguntas claves. ¿Qué es lo que vamos a buscar? En base a ello, un siguiente punto es el de determinar las actividades de recolección, sistematización y análisis de datos para la evaluación. Algunas de ellas podrán ser llevadas en línea mientras que otras requerirán la organización de una o varias reuniones presenciales. En este caso es necesario: • decidir cuándo se van a llevar a cabo y dónde; • determinar cuánto tiempo se va a dedicar a cada una de las actividades mencionadas arriba; y • determinar cuántos recursos se requerirán y ver, por supuesto, si es que estos recursos están disponibles y si pueden ser utilizados. Es igualmente necesario pensar en los aspectos logísticos. Si una de las reuniones que está programada será en línea, Quien facilita debe también considerar la distribución de estos participantes como parte de un equipo, ya sea en términos de género o de edad, y debe asegurar que el grupo de participantes sea lo más heterogéneo posible. Es también importante considerar personas que hayan tenido un rol diferente dentro del proyecto o programa que se está evaluando: algunos habrán sido miembros del equipo técnico, otros han sido beneficiarios. Nuevamente pensando en la heterogeneidad, mientras más diverso sea el grupo es más probable que tenga mejores resultados. Poner el proceso en marcha Aun si se trabaja con todos los miembros de un equipo, la persona que facilita es la responsable de planificar el proceso UNA VISIÓN COMÚN Como hemos visto, es bien importante que el facilitador sepa bien cuál es su rol y cumpla con lo que todos los participantes esperan de él o de ella. Pero, igual de relevante, es que lo sepan todos los participantes y que nadie se decepcione cuando el facilitador no se presente como el experto o como la persona que va a solucionar todos los problemas del equipo. Es necesario que todo el mundo sepa qué es lo que el facilitador no va a hacer y cuáles son las responsabilidades del equipo. 135 134 entonces es preciso asegurar una plataforma a la que todos pueden tener acceso, y que ésta funcione de manera efectiva. Por otro lado, si se va a organizar una reunión, se debe encontrar un lugar en el que ésta puede llevarse a cabo y asegurarse de que reúna las condiciones necesarias. Además, será preciso comprar pasajes o pensar en el alojamiento de todos los participantes. Muchas veces se dice que esto no es responsabilidad de quien facilita y que son tareas que deben ser asumidas por un secretario/a. Pero también puede decirse que sí es su responsabilidad, ya que estos factores van a afectar la participación de aquellos que esperamos que participen activamente. En definitiva, el uso de una plataforma que no permite un ingreso libre de por sí impide la participación de algunos, de la misma manera que lo hace una mala distribución de las sillas en una sala de reuniones. Tanto en reuniones presenciales como online, un rol importante de quien facilita en este momento será el de manejar las expectativas de todos los miembros. ¿Qué es lo que cada uno espera?, ¿qué es lo que lo ha motivado a unirse al grupo y qué espera ver al final del proceso? Es necesario mostrar de manera realista qué es lo que se puede hacer dentro del tiempo del que se dispone y cuáles son las cosas para las que será necesario organizar una nueva sesión más adelante o un nuevo proceso. Crear condiciones para la colaboración Diferentes factores hacen que los miembros de un equipo estén dispuestos a trabajar juntos y que efectivamente puedan hacerlo. Generalmente, se señala que el punto de partida sea un interés común con el que todos estén de acuerdo: los objetivos generales del proceso Una parte fundamental de todo proceso de evaluación es el de definir los ejes centrales que guiarán el proceso. Quien facilita debe asegurarse que los participantes logren acuerdos sobre la importancia de la evaluación y puedan hacer preguntas específicas sobre la pertinencia, la eficacia, la efectividad, el impacto y la sostenibilidad de la intervención, además de otros aspectos por ellos priorizados. Quien facilita un proceso de evaluación participativa tendrá como rol destacado el de manejar las expectativas de todas las personas involucradas. ¿Qué es lo que cada uno espera?, ¿qué es lo que lo ha motivado a unirse al grupo y qué espera ver al final del proceso? 137 136 de evaluación deben estar alineados con la visión de cada individuo y viceversa. Pero también se menciona la importancia de que todos los miembros de un equipo se sientan en libertad de expresarse, de dar su opinión y de sentirse escuchados. Un aspecto importante del trabajo de facilitación será lograr que todos los participantes se sientan en confianza y que esto se mantenga a lo largo de todo el proceso. Asimismo, es importante considerar que la evaluación participativa es un proceso que toma tiempo: requerimos de tiempo suficiente para presentar una idea, para analizarla en detalle y para dar una opinión al respecto (si se toma en consideración que todos los miembros del equipo estarán a la vez ocupados con sus actividades diarias). Si queremos que una cantidad considerable de personas sea parte de él, es lógico pensar que todas ellas no podrán estar juntas durante todo este tiempo. Por esto es importante pensar en herramientas que nos permitan mantenernos comunicados y que nos permitan intercambiar información aún a la distancia. El crecimiento de Internet y el desarrollo de programas para software ha tenido un efecto muy positivo en este sentido. Hoy es posible comunicarnos con prácticamente cualquier parte del mundo sin problemas, sin costos extremos y lo hacemos prácticamente sin darnos cuenta (sólo piensen en la cantidad de tiempo que dedicamos a leer y a escribir correos electrónicos). En este momento podemos utilizar muchas herramientas que son fáciles de usar, que son gratuitas y no requieren de insumos o equipos adicionales. Pero, a la vez, trabajar de manera virtual no es siempre fácil. Algunas oficinas no disponen aún de los equipos necesarios; a algunas personas les es difícil expresarse frente a una cámara y los malentendidos parecen ser más comunes. A pesar de la cantidad de personas que usan plataformas como Facebook o Twitter, a muchos nos cuesta dar una opinión en espacios públicos al saber que quedará grabada y que estará disponible para siempre. La facilitadora debe hacer uso de las ventajas disponibles para lograr una mayor participación y a la vez tratar de minimizar las dificultades. Debe planificar estos procesos al tener en cuenta una serie de criterios específicos. La composición de los grupos de trabajo • La sugerencia inicial es que, en la medida de lo posible, se pueda trabajar simultáneamente con equipos pequeños, de no más de diez personas a la vez. Al igual que en talleres o eventos, es mejor armar equipos homogéneos en cuanto a interés, y heterogéneos en cuanto a experiencia. Es necesario asignar roles y responsabilidades concretas, no sólo hablar de metas u objetivos finales. Las reuniones virtuales • Para un desarrollo efectivo de las reuniones virtuales, proporcione guías claras para cada reunión, a manera de “reglas de juego”. Para esto deberá definir de antemano la duración de las mismas y lo que se espera de cada participante. • Planifique reuniones cortas e invite a los participantes a presentarse a sí mismos, asignando el tiempo suficiente para una conversación informal. • Asegúrese que los participantes no estén distraídos u ocupados en otra cosa a la vez (“multitasking”). La colaboración virtual requiere que todos estén concentrados. Junto a ello, considere momentos para discusiones informales, a manera de pausa. Un plan a mediano y largo plazo • Considere la realización de reuniones virtuales como parte del proceso –preferiblemente después de una reunión UN REPOSITORIO El trabajar de manera virtual requerirá compartir documentos y también almacenarlos de manera que estén disponibles para otros. En muchos casos, será necesario editarlos, sin duplicar esfuerzos y sin perder versiones anteriores. Considere una plataforma o un sistema que sea fácil de usar, permita un ingreso simple y rápido, y no requiera una suscripción a programas pagados. AQUÍ PUEDES ACCEDER AL VIDEO "CÓMO DAR PROTAGONISMO A TODAS LAS VOCES" 139 138 presencial–. Los miembros de un equipo van a sentirse más cómodos en una discusión virtual si ya se conocen entre sí. • Siga un plan preestablecido, con reuniones frecuentes –que no caigan “de sorpresa”–. • Considere un proceso regular de monitoreo, por lo que deberá mostrar lo logrado hasta el momento y lo que todavía debe suceder en el futuro. La tecnología • Además de discusiones “en vivo”, piense también en los pasos a tomar antes y después, y que harán que estas discusiones sean más efectivas. Para ello, pensamos por ejemplo en aquellos sistemas que nos permiten compartir documentos o trabajar en el mismo documento desde diferentes lugares. • Considere herramientas, equipos y programas de buena calidad, aunque no necesariamente sean los últimos o los más actuales –los que probablemente no estarán disponibles en todas partes–. • Escoja una o dos herramientas para comunicarse con otros, pero no abuse en su cantidad. Los participantes se confundirán si los mensajes van y vienen a través de programas o plataformas diferentes, o si no saben qué herramienta o programa usar en un momento dado. Tenga en cuenta que muchas personas se conectarán a través de un celular, por lo que debe recurrir a programas o plataformas que sean compatibles. Al terminar cada reunión, haga una pequeña evaluación. ¿Qué salió bien? ¿Qué debemos hacer todavía? Es importante tomar notas y distribuirlas a todos los participantes, así como compartirlas también con aquellos que no pudieron participar esta vez, pero que serán parte de la siguiente reunión. Asegurar la participación a lo largo del proceso Aun cuando generalmente asociamos al trabajo de facilitación con un evento o con una sesión, es necesario resaltar que quien facilita asegure el involucramiento de todos los participantes a lo largo del proceso y no solamente durante una reunión. Cabe enfatizar que la evaluación participativa no se completa en un taller o en una reunión, sino que es un proceso que demora un tiempo largo –y que requiere de discusiones y de un intercambio de opiniones seguido–. Según el tamaño del grupo, la facilitadora podrá considerar formar subgrupos durante el proceso, los que podrán ser homogéneos o heterogéneos. En algunos casos, habrá personas que se sentirán más cómodas discutiendo con sus pares. En otros casos, el formar grupos heterogéneos permitirá resultados más interesantes. Es necesario ver también quién va a participar en determinado momento –o quién se espera que lo haga–. Lo ideal es que todos participen en todas las fases, pero quizás esto no es posible –o no les interesa–. Debemos reconocer que habrá momentos en los que la participación será menor, donde la facilitadora tendrá un rol mayor o donde un grupo/subgrupo estará más involucrado que otros, por lo que se puede pensar entonces en una distribución como la que se muestra en la tabla. Ésta permitirá planificar las diferentes actividades para obtener los mejores resultados. Al partir de las diferentes fases o etapas del proceso, quien facilita buscará también crear las condiciones para que esta participación continúe. Si por "partici- COMUNICACIONES Al haber muchas maneras de enviar y recibir mensajes, es mejor sólo usar una o dos, lo que le permitirá evitar que la información se pierda en el camino o que ésta no llegue a muchos de los participantes. ¿Qué sistema escoger? Considere: • si a los participantes les interesa combinar mensajes “de trabajo” con mensajes privados; • si todos tienen acceso a él; • la necesidad de usar contraseñas o de ingresar a una plataforma, lo que dificulta un uso inmediato; • el temor por sentirse “bombardeado”y, con ello, la posibilidad de sólo recibir resúmenes diarios o semanales; y • la posibilidad de que los mensajes queden almacenados, y estén disponibles luego de un tiempo. AQUÍ PUEDES ACCEDER AL VIDEO "EL PROTAGONISMO EN TODO EL PROCESO ES FUNDAMENTAL". 141 140 pación" entendemos el intercambio de ideas y de opiniones, o el trabajo conjunto entre diferentes personas, es lógico pensar que nos interesa que esto siga, más allá de un proceso de evaluación. Crear las condiciones necesarias significa asegurar que: • la participación no sea vista como una carga adicional que distrae a las personas de su trabajo, sino que sea parte de sus responsabilidades diarias; • existe disponibilidad de los recursos necesarios; • hay posibilidad de usar herramientas o plataformas (por ejemplo, que no requieran una suscripción); y • existe una masa crítica, es decir un número suficiente de participantes que permita un mayor intercambio y una mayor colaboración. El aspecto más importante, como se verá más adelante, será el de mostrar regularmente que esta participación es beneficiosa, y que por ello vale la pena ser parte activa de lo que se está haciendo. Como hemos visto al inicio de este capítulo, el facilitador no es el evaluador principal, ni necesariamente el líder del equipo de evaluación. Sin embargo, cumple una función clave e indelegable en el marco de una evaluación participativa: la capacitación y el acompañamiento al equipo a cargo de la evaluación. Uno de los propósitos de una evaluación participativa, a diferencia de un proceso de evaluación convencional, es que los participantes desarrollen habilidades o capacidades nuevas, y que ello les permita participar más y planificar e implementar un mejor proceso de evaluación en el futuro. Más que armar un proceso de capacitación, uno de los roles de quien facilita es el de generar las condiciones para “aprender haciendo”, para que mientras participan, los miembros de un equipo desarrollen esas habilidades que les permitirán participar de mejor manera, y que permitirán que ésta y otras evaluaciones den mejores resultados. Y su responsabilidad es que todos aprendan (incluyéndose a sí mismo). Lógicamente, partimos de los objetivos del proceso de evaluación: • ¿qué se quiere hacer?, ¿qué se quiere hacer mejor?, ¿qué es lo que necesitamos aprender?; y • los propios participantes: ¿qué saben ya?, ¿qué opinión tienen al momento de pensar en un proceso de evaluación participativa?, ¿qué experiencia tienen, y cómo se desenvuelven al momento de verse como evaluadores? Sin necesidad de preparar una guía para el desarrollo de capacidades, sí conviene hacer un pequeño diagnóstico, a manera de línea de base, y con ello un breve 3. DESARROLLO DE CAPACIDADES COLEGAS OTROS INTERESADOSBENEFICIARIOS DONANTES OTROS ANÁLISIS PREPARACIÓN LÍNEA DE BASE PREPARACIÓN DE INFORME PLANIFICACIÓN ACTIVIDADES DISEMINACIÓN Y USO DE LA INFORMACIÓN RECOLECCIÓN DE INFORMACIÓN INSTITUCIONALIZACIÓN Actividades según participantes 143 142 plan de acción que considere diferentes estrategias puestas en marcha a lo largo de todo el proceso. Lo que sigue presenta las diferentes ideas que puede tener en cuenta el facilitador. Diferentes roles y responsabilidades Como se ha señalado, una recomendación que se hace a muchos facilitadores es la de armar un equipo heterogéneo, por lo que se debe considerar diferencias en cuanto a género, edad, antecedentes y experiencia; y con roles distribuidos según las habilidades específicas que muestra cada persona (es decir, aquel que hace buenas entrevistas, por ejemplo, que las efectúe). Pero, junto a ello, quien facilita debe invitar a que diferentes personas asuman roles puntuales en diferentes momentos, con la idea de “aprender haciendo”. El rol de facilitación consistirá en crear las condiciones y en permitir que los miembros del equipo intenten hacer lo que es necesario hacer; sintiendo que no serán criticados, sino apoyados por aquellos que tienen más experiencia y que podrán dar sugerencias y recomendaciones en todo momen- to. Además, y según el grupo, la facilitadora podrá invitar a una persona con más experiencia a que guíe a otro, a manera de tutora, por lo que trabajarán juntos por un periodo de tiempo. Pasado ese lapso, se invita a quien fue apoyado a que luego acompañe a otras personas, multiplicando así los aprendizajes. Organizar pequeños ensayos Otra recomendación es la de probar actividades puntuales, adecuándolas al contexto, a las habilidades específicas del EXPERIMENTAR CON LAS HERRAMIENTAS Para aprender a usar herramientas de recolección de datos es necesario experimentarlas. El equipo de evaluación puede poner a prueba las mismas al interior del grupo, antes de realizar las actividades con los informantes claves. Una vez diseñadas las herramientas, por ejemplo la guía de entrevista o las instrucciones para un grupo focal, se puede dramatizar su aplicación. Esto permitirá ajustar las consignas y ganar confianza con el manejo de la herramienta. 157 156 Esto es especialmente necesario si pensamos en la cantidad de evaluaciones que se llevan a cabo regularmente –y en el número relativamente pequeño de evaluaciones participativas–. Claramente, el porcentaje de evaluaciones en las que los miembros de un equipo participan de manera activa y contribuyen con ello, es relativamente pequeño. Si esperamos que la participación sea adoptada como práctica regular y que el proceso se institucionalice, tenemos que partir por imaginar cómo se verá esta institucionalización. En términos generales, podemos decir que la habremos alcanzado cuando: • la evaluación participativa sea parte regular de todo proyecto o programa; • la estrategia esté clara, al igual que los métodos a seguir y las actividades que son necesarias; • los roles y responsabilidades estén definidos y distribuidos dentro de un equipo; • exista un programa de capacitación que permita que colegas nuevos se sumen rápidamente; • los líderes o jefes del equipo están interesados en el proceso y motivan a todo su equipo a continuar; o cuando • los resultados se muestran y se comparten, y las ventajas de la participación quedan claras. Quien facilita puede jugar un papel importante al ayudar a un proyecto, programa o una organización. Esto podrá ser más fácil si el consultor/a es parte del equipo y si tiene un cierto poder de decisión. En muchos casos, una persona externa (un consultor/a) tendrá menos posibilidades, al tener una menor influencia en las decisiones que se tomen (aunque en algunos casos, la opinión de alguien externo puede ser más convincente). Raramente quien facilita podrá obligar a los miembros de una organización a trabajar de determinada manera, pero sí puede hacer mucho. Él o ella puede: • involucrar a los tomadores de decisiones de la organización en el proceso de evaluación; • mostrar resultados positivos y rigor para convencer a otros de que éste es un buen método en el que vale la pena invertir; 159 158 • desarrollar guías y documentos de apoyo para el proceso de evaluación participativa, los que puedan ser usados por cualquier miembro del equipo; • utilizar herramientas que propicien la instalación de capacidades en comunidad y mostrar la robustez metodológica de este proceso; • planificar el proceso; • promover la participación en redes de evaluación y mostrar las virtudes y oportunidades de una evaluación participativa; y • trabajar con los adalides o paladines (champions); vale decir, aquellas personas que motivadas e interesadas en este proceso asegurarán que los resultados se difundan y que se encuentren los recursos y participantes necesarios para nuevos procesos. Si bien puede decirse que no hay una receta perfecta para asegurar la adopción de la evaluación participativa, es posible pensar en un plan que nos acerque a ésta. Como cualquier otro plan de acción, es necesario considerar algunos elementos claves. • Una breve línea de base, un análisis general de la situación dentro de la organización: la manera en que se distribuyen roles y responsabilidades, el apoyo que los superiores brindan a sus equipos, el modo en que se comparte la información y se muestran los resultados. • Las actividades que serán necesarias, por ejemplo, para mostrar lo que se ha hecho y lo que se ha logrado. • Los recursos que serán necesarios, pensando no sólo en dinero, sino también en tiempo: ¿estarán disponibles?, ¿podremos conseguirlos en caso de que no lo estén? frase Un factor clave para la facilitación es la capacidad de comunicar. Debemos intentar que esta sea abierta, clara, fluida, creando y generando condiciones de aprendizaje que permitan a las personas sentirse cómodas, libres, y no observadas ni juzgadas. Esto ayudará a que se expresen con naturalidad y espontaneidad, haciendo de este un proceso de innovación creativa basado en la confianza mutua. MOSTRAR QUE FUNCIONA La mejor manera para asegurar la adopción de un proceso es convencer a los miembros de un equipo de que funciona, o de que es mejor que los procesos que se siguen regularmente. Para ello es necesario diseminar los resultados y la manera como éstos podrían ser usados, preparando diferentes medios de información para llegar con ellos a la mayor cantidad de personas posible. 161 160 • Los (futuros) participantes: ¿habrá interés en involucrarse? • Los posibles retos, los riesgos a los que un equipo podrá enfrentarse. Para concluir, destaquemos un factor central de la tarea de facilitación: la capacidad de comunicar. Es muy importante que él o la facilitadora de un proceso de evaluación participativa genere una comunicación abierta, clara, fluida, creando y generando condiciones de aprendizaje que permitan a las personas sentirse cómodas, libres y no observadas ni juzgadas. Esto ayudará a que se expresen con naturalidad y espontaneidad, haciendo de este un proceso de innovación creativa basado en la confianza mutua. 163 162 Capítulo 5 Técnicas para la evaluación participativa 165 Quienes alguna vez facilitamos procesos participativos nos hemos preguntado cómo lograr el mayor involucramiento posible de múltiples actores en las actividades que planificamos. La evaluación participativa enfrenta, entre otros, el desafío de crear espacios de participación reales, en los que múltiples actores puedan ejercer un verdadero protagonismo en la agenda evaluativa. Sabemos que no alcanza con comprender el sentido profundo de la evaluación participativa y los pasos del método, es necesario también identificar y manejar las herramientas adecuadas para cada contexto social y cultural en que la evaluación se desarrolle. Ya sea que se usen para analizar la realidad, facilitar la comunicación, construir puntos de vista colectivos, estimular la creatividad o facilitar la toma de decisiones, o bien disminuir el predominio de algunos para dar lugar a la voz de los más tímidos, el uso de herramientas participativas es cada vez más valorado en el campo de la evaluación. Basta dar una vuelta por la sección herramientas de la web de EvalParticipativa para advertir que estamos frente a “la gran boutique” de las técnicas y dinámicas. Disponemos de un arsenal importante de herramientas, aunque no siempre sepamos cómo manejarlas. Parece existir un instrumento para cada situación o propósito posible; sin embargo, recurrentemente necesitamos recrearlos o diseñar nuevas herramientas a la medida justa. Pero, ¿qué son las técnicas participativas y cómo comprender su uso en un proceso de evaluación?, ¿cuál es su alcance y cuál sus limitaciones?, ¿qué tener en cuenta a la hora de elegirlas y cómo usarlas? Estas y otras preguntas similares suelen estar presentes cuando los y 167 166 No se forma un mecánico al entregar una llave de tuercas a alguien que no sepa de mecánica, pero el mecánico más experimentado no puede desarrollar su trabajo sin una llave de tuercas. Las herramientas para la evaluación participativa cumplirán su función siempre que hayamos comprendido el sentido profundo de lo que implica una evaluación con participación social. 169 168 las evaluadoras se predisponen a diseñar y acompañar una evaluación participativa. En este capítulo intentaremos dar respuestas a estas inquietudes. En primer lugar, presentaremos algunas consideraciones conceptuales sobre metodología y técnicas participativas, sus ventajas y limitaciones. Luego, procuraremos una clasificación genérica, en función de la modalidad y sentidos que intervienen de forma más activa en una actividad y en función del propósito con el que podríamos utilizarlas. Finalmente, presentaremos una lista de siete criterios a tener en cuenta a la hora de elegir y usar estos instrumentos. A medida que desarrollamos los temas, incluimos ejemplos y recomendaciones prácticas. Como hemos visto en el Capítulo 2, la evaluación participativa en nuestra región es heredera de una rica tradición, entre las que encontramos a la Educación Popular, la Sistematización de Experiencias y la Investigación Acción Participante. Con diversos puntos de contacto entre sí, a la vez con sus respectivos matices y diferencias, estos enfoques comparten un tronco común e importante: adherir a una perspectiva liberadora y transformadora de la realidad. Éste es el sustrato fuerte y hondo que sostiene y legitima estas iniciativas en su formato más profundo, siendo una de sus singularidades el hecho de valerse de herramientas que faciliten la participación en condiciones de igualdad de los actores sociales vinculados a la intervención. Muchas veces se alude a la “metodología” y la “técnica” como sinónimos, pero a nosotros nos interesa hacer una distinción. Entendemos la “técnica” como una herramienta, instrumento o medio que nos ayuda a desarrollar un trabajo determinado; y la “metodología” como la modalidad con la que desarrollamos dicho trabajo, los supuestos subyacentes y la concepción de la realidad a partir de la cual usamos uno u otro instrumento. Esto implica, como señalan Leis (1989) y Jara (1987), romper radicalmente con la tendencia a concebir lo metodológico como un problema meramente instrumental. 1. TÉCNICAS PARTICIPATIVAS EN EVALUACIÓN Expresado en otros términos, queremos decir que la elaboración, adaptación y uso de una técnica o instrumento requiere claridad sobre los principios metodológicos encargados de guiar nuestro trabajo. Esto implica haber pensado y optado por una manera diferente de comprender nuestra práctica de evaluación y la manera en la que nos relacionaremos con los múltiples actores durante el proceso. También implica (de)construir el rol atribuido a la persona evaluadora en los enfoques convencionales (ver capítulo 4, acerca de la facilitación). Así, un mismo instrumento (la técnica) puede usarse con concepciones metodológicas diferentes. Por ejemplo, alguien podría utilizar un video documental para persuadir, convencer y determinar una conducta acríticamente, convirtiéndose esto en una práctica autoritaria. Pero, también podríamos usar el mismo video para generar un espacio de discusión y debate que sirva para cuestionar desde múltiples miradas lo que el documental plantea, convirtiéndose en una práctica más abierta y democrática. Por tanto, lo metodológico refiere al conjunto de criterios y principios que le dan unidad y coherencia al enfoque de evaluación adoptado. Las técnicas son los instrumentos o herramientas que adoptamos y su uso tiene que ser coherente con estos criterios y principios. Así, podemos utilizar un grupo focal para tratar con un conjunto reducido de actores un tema en profundidad, o bien elegir un juego de simulación para generar un espacio lúdico donde todos Las tradiciones participativas en América Latina adhieren a una perspectiva liberadora y transformadora de la realidad, siendo una de sus singularidades el valerse de herramientas que faciliten la participación en condiciones de igualdad de los actores sociales vinculados a la intervención. AQUÍ PUEDES ACCEDER AL VIDEO "TÉCNICAS PARTICIPATIVAS EN EVALUACIÓN" 171 170 se sientan libres de expresar su sentir. También podemos construir una transecta para que, mediante un dibujo colectivo, aprovechemos los conocimientos de quienes no saben escribir o temen expresarse verbalmente. Cualquiera sea la herramienta, deberá responder a la concepción metodológica adoptada, siendo consistente con los principios que sustentan una evaluación participativa y el tipo de procesos reflexivos que se propone impulsar. El capítulo uno profundiza sobre estos principios y conceptos desde los cuales se sustenta la metodología de la evaluación participativa. No son las herramientas utilizadas las que hacen la diferencia, sino la actitud abierta y respetuosa con la cual se apoya un proceso de evaluación. Esta concepción participativa de una evaluación asume que todas las personas involucradas en una intervención tienen el derecho y la posibilidad, aunque en ocasiones requieran de una capacitación específica, de ser protagonistas a la hora de valorar el programa o proyecto con el que han estado involucradas. Desde esta concepción metodológica, el uso de técnicas participativas debe ser entendido como una forma de romper inhibiciones y temores en el conjunto de participantes, para poder captar de la manera más fiel posible la diversidad de opiniones, y −a partir de ellas− construir consensos sobre dicha intervención siempre que sea posible. Cualesquiera sean las técnicas o instrumentos que usemos bajo esta concepción metodológica, la evaluación debería permitirnos: • socializar el conocimiento individual que se tiene sobre la intervención, enriquecerlo y potenciar el conocimiento colectivo sobre el mismo; • desarrollar una experiencia de reflexión sobre un punto en común, en el que los participantes aporten su experiencia particular, ampliando la colectiva; y • construir de manera conjunta las recomendaciones o soluciones posibles a los de evaluación, garantizando el mayor protagonismo posible de las personas involucradas (Slocum, 2003). Las herramientas pueden estar compuestas por una combinación de actividades tales como dinámicas grupales, sociodramas, adecuación de juegos populares, títeres, dibujos o rompecabezas, y cualquier otro medio que nos ayude a lograr participación de calidad por parte de múltiples actores involucrados en el proceso evaluativo. Desde una entrevista colectiva, una mesa redonda, una conferencia o el uso de un rotafolio con láminas ilustrativas, hasta un juego de simulación, una dinámica grupal o un video-debate, podemos valernos de una gran diversidad de herramientas, siempre que se adapten al tema, las características del grupo y los objetivos propuestos. Estas herramientas tienen problemas identificados, que permita que todos sean partícipes en su elaboración. En este accionar conjunto, no sólo se comparten las diferentes percepciones sobre los temas que interesan de la intervención y la valoración respecto de procesos, resultados e impactos de ésta. También se busca que las personas intervinientes se apropien de los métodos y técnicas utilizados, y de la lógica del proceso para la multiplicación de la experiencia en sus grupos y comunidades. Esto convierte a la metodología en un proceso de empoderamiento para los diferentes actores sociales intervinientes y sus organizaciones. Las técnicas como instrumentos para la evaluación participativa Existen tantas definiciones y conceptos de técnicas como herramientas hay. En función de lo que hemos dicho acerca de los criterios y principios metodológicos generales, vamos a entender las técnicas participativas como aquellos instrumentos o herramientas concretas que permiten hacer viable cada paso del proceso Las técnicas participativas son aquellos instrumentos o herramientas que permiten hacer viable cada paso del proceso de evaluación, garantizando el mayor protagonismo posible de las personas involucradas. La elaboración, adaptación y uso de una técnica o instrumento requiere claridad sobre los principios metodológicos encargados de guiar nuestro trabajo. 173 172 deben procurar análisis reflexivo sobre la práctica, síntesis y consenso de ideas, socialización de los saberes individuales, valoración de sus percepciones y sentimientos sobre una intervención determinada. El uso de estas herramientas se sustenta en la noción de que el conocimiento crítico se construye por medio de una serie de procesos intelectuales y motrices que implican realizar asociaciones, relaciones, abstracciones, formular conclusiones, análisis o síntesis, de forma activa y consciente (Nuñez, 1989). Este conjunto de herramientas, utilizadas en diferentes momentos y situaciones, permite tratar un tema de una manera diferente, motivar una discusión sin herir susceptibilidades, arribar a conclusiones representativas del conjunto luego de un debate democrático, comunicar el resultado de una deliberación, recoger y socializar información relevante, etc. una aplicación variable y flexible, lo que permite que puedan ser adaptadas en función del contexto, las características y experiencias de las personas participantes, las necesidades y el momento en que se realiza la evaluación y de cómo se establezca el trabajo, los objetivos y expectativas de las personas participantes. Es importante asumir que las técnicas son un “medio” y no un “fin” en sí mismo. Éstas tienen un papel instrumental al servicio de un proceso evaluativo profundo y riguroso. No pretendemos que quien facilita una evaluación participativa se convierta en “aplicador de técnicas”, un “dinamiquero”, que olvida que éstas son sólo un instrumento para lograr un fin, que se sustenta en las ideas de participación y democracia. Ya sea que se usen para facilitar procesos informativos, consultivos o de toma de decisiones, se trata de herramientas al servicio de la evaluación. Bajo diferentes modalidades, éstas Es importante asumir que las técnicas son un “medio” y no un “fin” en sí mismo. Estas tienen un papel instrumental al servicio de un proceso evaluativo profundo y riguroso. Ventajas y limitaciones El uso de técnicas participativas trae muchas ventajas al proceso evaluativo. Como hemos dicho, el uso de estas he- 175 174 rramientas permite desarrollar procesos de evaluación que se enriquecen con los aportes de todas y cada una de las personas que intervienen. Esto contribuye a la construcción colectiva de conocimientos sobre la intervención, sus logros, sus dificultades, sus avances y retrocesos. También, estos procesos fortalecen la identidad y autoestima individual y contribuyen a la consolidación de las organizaciones al sentirse reconocidos y valorados. El intercambio que ocurre a través de un juego o una dinámica grupal estimula la creatividad y la búsqueda de soluciones a problemas comunes, posibilita la objetivación de la propia problemática y permiten el encuentro y articulación entre iniciativas distintas. Además, en tanto las sienten “propias”, las recomendaciones que surgen de procesos evaluativos participativos e incluyentes tienen muchas más chances de ser adoptadas. Como contracara, las herramientas participativas tienen riesgos y limitaciones. Aun cuando existe una gran cantidad de herramientas materializadas en libros específicos, con una amplia diversidad de dinámicas, juegos e instrumentos, no siempre encontramos la técnica o herramienta a la medida de nuestra necesidad. En muchos casos, la herramienta ideal para una situación determinada no es posible de ser usada por condicionantes de tiempo, recursos y la capacidad de quien facilita el proceso; entonces, nos vemos obligados a recrear la herramienta, adaptarla o combinarla con otras. Por otro lado, por mejor pensadas y diseñadas que estén las dinámicas, éstas no garantizan los resultados y es posible que algunos participantes prefieran no involucrarse en el proceso. Finalmente, algunas dinámicas y herramientas pueden generar conflictos o disparar procesos emocionales para los que no estamos preparados o no sabemos cómo manejar. Es importante ser consciente de estas limitaciones y reconocer que las técnicas “no lo pueden todo”. En la segunda sección de este capítulo ofreceremos algunas sugerencias respecto a la selección y uso de las técnicas como forma de mitigar estos riesgos y dificultades. El uso de técnicas participativas trae muchas ventajas al proceso evaluativo. Como contracara, tienen riesgos y limitaciones. Trascender lo recreativo y motivacional Como hemos dicho, las técnicas o los juegos no son por sí mismos la esencia y el corazón de la evaluación participativa. No obstante, las consideramos una parte clave y muy relevante de los procesos participativos, pues a través de éstas nos aventuramos al “hacer juntos”. Si bien el uso de estas herramientas ha crecido tanto en los procesos educativos como en la gestión y evaluación de programas y proyectos, en muchos casos observamos que su uso tiene como único propósito la motivación del grupo, “quebrar el hielo”, presentarse unos a otros, producir momentos de relajación entre una sesión de trabajo y otra, etc. Creemos que el uso de herramientas participativas en evaluación, especialmente los juegos, deben trascender el propósi- to recreativo y motivacional, yendo más allá del entretenimiento o la idea de “pasar el rato”. De igual modo, el uso de estos instrumentos no debería convertirse en un mecanismo que lleve a cada participante a asumir un rol que le es totalmente ajeno, evadiéndose de su propia realidad para sumergirse en un mundo de fantasías. Para comprender de una manera diferente las herramientas participativas deberíamos preguntarnos cómo tratar “evaluativamente” o con “contenido” un tema complejo, que requiere de conocimientos previos y de la participación profesional, pero que demanda también opiniones y opciones personales, en una forma participativa, horizontal y no impositiva. La mayoría de las herramientas participativas que podemos usar en evalua- Si con el uso de técnicas y herramientas estamos buscando alternativas ‘divertidas’ para imponer contenidos y orientar el esfuerzo evaluativo simulando sumar la perspectiva de los actores locales, podríamos perfectamente desestimar su utilización. De hacerlo, estaríamos manipulando a los participantes al introducir de manera ‘divertida’ y ‘amigable’ contenidos y conclusiones desde necesidades y lógicas externas. En estos casos, se desvirtúa el sentido profundo de la participación que implica una evaluación participativa (Tapella y Rodríguez Bilella, EvalParticipativa, 2019) 189 188 vo, entre otras. Aplicar con éxito estas herramientas requiere de preparación y conocimiento profundo de la herramienta para poder “manejar” las situaciones que se pueden generar con la misma. El análisis de la información (datos cualitativos) también reviste ciertas complejidades. Por ejemplo, la comprensión de los datos que surgen de una entrevista en profundidad o historia de vida requiere de una lectura minuciosa del registro, una lectura que permita encontrar “pistas” para acercarnos a la compresión del sentido que la acción social tiene para las personas entrevistadas. Esto es una tarea de detección y desmenuzamien- to de temas y subtemas, de diferenciación y de vinculación, de asociación y de comparación, inescindible del contexto social y cultural, para lo cual exige de formación y experiencia en investigación cualitativa por parte de quien facilita la evaluación. Finalmente, hemos formado un grupo de herramienta que llamamos grupales y vivenciales. Éstas se caracterizan por crear un espacio en el que las personas participantes se involucran en crear o recrear situaciones para vivenciar una experiencia determinada. Es muy variado el conjunto de herramientas que podemos ubicar dentro de este grupo, desde instancias más amplias como talleres multi-actorales, reuniones y asambleas de la comunidad o audiencias públicas Las técnicas audiovisuales aportan elementos nuevos a la percepción e información que tienen los participantes, lo que hace imprescindible crear espacios para la reflexión y análisis posterior por parte del grupo. Si bien suelen usarse de manera combinada, las técnicas gráficas se valen de dibujos e infografías, mientras que las escritas tienen como elemento central el uso de la escritura. Las técnicas narrativas enfatizan la comprensión del significado que los actores locales le otorgan a una intervención, sus resultados, impactos y aprendizajes. Las técnicas grupales y vivenciales se caracterizan por crear un espacio en el que las personas participantes se involucran en crear o recrear situaciones a fn de vivenciar una experiencia determinada. 191 190 hasta instancias más acotadas como grupos focales, juegos de simulación y técnicas de desempeño de roles (sociodrama, cuento dramatizado, títeres, pantomima, etc.). Estas herramientas −especialmente las de actuación−, funcionan mejor cuando los participantes ya se conocen y tienen cierto grado de confianza entre sí, de lo contrario puede ser intimidante para algunas personas. Podemos utilizar estas herramientas con diferentes intereses. Por ejemplo, para socializar información entre múltiples actores (asamblea comunitaria) o profundizar el análisis de terminado aspecto de la intervención con expertos en el tema (grupo focal). También podemos usar estas dinámicas para analizar una experiencia, ya que se brinda a través de la actuación elementos simbólicos que nos permitan reflexionar sobre situaciones de la vida real o de determinada práctica concreta. El elemento central en este caso es la expresión corporal, a través de la cual representamos situaciones, comportamientos y formas de pensar propias de los actores y el contexto en el que se desarrolla la misma. En ocasiones, estas herramientas se usan para animar, cohesionar o crear un ambiente fraterno y participativo, previo a un ejercicio de mayor abstracción. Técnicas según el propósito Es posible agrupar las herramientas participativas según el objetivo que persigamos en una evaluación. En este caso hemos agrupado las mismas en cuatro tipos o categorías, a saber: (1) técnicas de presentación y de animación, (2) técnicas de recolección de datos, (3) técnicas de análisis, reflexión y profundización y (4) técnicas de comunicación y socialización de resultados. Las técnicas de presentación y animación buscan crear un ambiente relajado y fraterno para facilitar la comunicación horizontal, en el que la gente se sienta cómoda y libre para trabajar en conjunto. Las herramientas de presentación se suelen usar al inicio de cada sesión/reunión para que los participantes se conozcan e intercambien información básica sobre su vínculo con la intervención evaluada. Algunos ejemplos son la técnica de los refranes, el rompecabezas o figuras partidas, desgranando maíz, la telaraña, entre otras. Las dinámicas para animar al grupo suelen usarse para romper el hielo y crear una atmósfera de confianza y seguridad para desarrollar el trabajo previsto. Éstas también son empleadas entre sesión y sesión cuando se percibe que el grupo está cansado o bloqueado en el proceso de análisis y reflexión. Algunas técnicas de este tipo son el correo, las lanchas, calles y avenidas, canasta revuelta, jirafa y elefante, el barco se hunde, la moneda, entre otras. El grupo de instrumentos que hemos denominado de recolección de datos es quizás el más compartido con una evaluación convencional. Acá aparecen las herramientas clásicas como la encuesta, la entrevista en profundidad, el grupo focal, la consulta pública y las historias de vida. La diferencia principal está en la modalidad con la que estas herramientas se usan en una evaluación participativa. En este caso, los temas y las preguntas para encarar la recolección de datos son definidos participativamente por el equipo evaluador, integrado por múltiples actores vinculados a la intervención. Por su parte, las herramientas para el análisis, reflexión y profundización comprenden un conjunto variado de 193 192 dinámicas vivenciales, de actuación, audiovisuales, gráficas y visuales. La característica principal de estas técnicas es facilitar el análisis de una intervención, ya que crea un espacio horizontal para intercambiar, reflexionar y construir lecciones aprendidas desde la percepción de múltiples actores sociales. Sirven también para profundizar un tema de manera escalonada, desmenuzando conceptos o ideas, sintetizando el pensamiento individual y construyendo uno colectivo. Asimismo, acá existe una amplia variedad de herramientas, desde las más conocidas como el grupo focal, la entrevista colectiva y el análisis FODA, hasta las más complejas como juegos de simulación, mapas grupales, matrices y transectas, el laberinto, la carrera y la cadena de asociaciones, por mencionar algunas. Finalmente, las técnicas de comunicación y socialización de resultados incluyen un conjunto de instrumentos para asegurar que la diversidad de actores involucrados en una evaluación estan al tanto de los avances de ésta, comparten los principales hallazgos y son parte de las recomendaciones básicas. Desde posters, videos documentales o testimoniales y muestras fotográficas, hasta el radio foro, los talleres de intercambio y los informes para públicos segmentados son instrumentos válidos para utilizar con este propósito. La comunicación y socialización de los resultados parciales o finales de la evaluación contribuye directamente con la apropiación y adopción de las recomendaciones, por lo que recomendamos utilizar estas herramientas de la manera más efectiva posible. “El modo de hacer las cosas es tan importante como las cosas que se hacen”, nos dijo hace algunos unos años una lideresa de una organización campesina del noroeste argentino. Sus palabras aplican a la hora de pensar en la selección y uso de las técnicas y los instrumentos con los que llevaremos adelante el proceso de evaluación participativa. En los puntos que presentamos a continuación, desarrollamos una serie consideraciones prácticas para tener en cuenta a la hora de elegir y usar una técnica, así como los desafíos que enfrentamos al aplicar este tipo de herramientas. Las mismas las hemos sintetizado en la gráfica de la página siguiente. Definir el tema y objetivo específico para el que se usa la técnica Aunque puede resultar obvio a esta altura, nos parece importante destacar que la selección y uso de una técnica debe estar siempre en función de un tema y un objetivo concreto que deseamos abordar. Una misma herramienta participativa puede ser usada para diferentes temas y con múltiples propósitos en diferentes 3. CONSIDERACIONES PRÁCTICAS SOBRE LA SELECCIÓN Y USO DE TÉCNICAS PARTICIPATIVAS A MODO DE RECOMENDACIÓN Es probable que, al utilizar una herramienta, ésta genere opiniones o reacciones que van más allá del nivel de profundidad que habíamos imaginado. En tal sentido, es muy importante tener en claro el tema y el objetivo, y definir previamente hasta dónde queremos llegar en el nivel de reflexión en esta actividad. Es importante también saber “palpar” la situación, comprender cómo se va “enganchando” el grupo, teniendo en cuenta las inquietudes de los/as participantes, así como el entusiasmo por la discusión que se genere. En ocasiones será necesario dejar fluir la discusión si vemos que “vale la pena". En otras ocasiones tendremos que ser estrictos y detener el debate, para no entorpecer la secuencia de las actividades previstas si vemos que se nos está “yendo de las manos” o saliendo del foco de análisis que deseábamos tener. 195 194 Caracterizar los actores sociales que participarán en la actividad. Conocer las herramientas, sus alcances y límites. 3 Adaptar y recrear herramientas a la realidad. 4 Poner a prueba la herramienta. 5 Valorar nuestra preparación para 'manejar' la situación. 6 Facilitar el proceso: introducción, desarrollo y desenlace. 7 ¿Qué tener en cuenta para elegir y usar técnicas participativas? Lo más importante es la vocación participativa. Esto implica tener tolerancia al error, voluntad para volver a explicar, disposición a revisar acuerdos y rediseñar el plan de trabajo. Definir el tema y objetivo específico para el que se usa la técnica. 1 2 momentos del proceso de evaluación participativa. La delimitación del objeto de conocimiento o tema que queremos abordar con la evaluación es clave, no sólo para definir el alcance y focalizar nuestra búsqueda, sino también para elegir las herramientas más apropiadas para hacerlo. Definir el tema puede abarcar diferentes aspectos. Uno de ellos consiste en determinar qué cosas son relevantes y pertinentes para los y las participantes. Otro de estos aspectos tiene que ver con el nivel profundidad con el que deseamos abordar el tema, y esto también dependerá de la diversidad de los actores sociales con los que desarrollemos la actividad. Además, es necesario definir la herramienta en función de la complejidad del tema, es decir, qué tipo y fuentes de información podemos necesitar, quiénes pueden aportar los datos, qué tan difícil puede ser analizar esa información, etc. Finalmente, es necesario adaptar la herramienta al grado de controversia que pueda existir en torno al tema. ¿Es un tema donde hay disputas?, ¿existe debate y hay polarización en torno a este aspecto?, ¿se vislumbra como posible el logro de consensos? Estas y otras preguntas similares pueden ayudarnos a la hora de elegir la herramienta más apropiada. La definición del objetivo tiene que ver con delimitar qué queremos lograr al abordar ese tema. Por ejemplo, podemos utilizar una herramienta para captar el grado de heterogeneidad entre diversos actores respecto de los resultados de una intervención. En tal caso, la técnica debería ser capaz de evidenciar cómo diferentes actores perciben la intervención y valoran sus efectos. Quizás, el interés no pasa por captar los diferentes puntos de vista, sino por identificar aspectos compartidos. En este caso, la herramienta deberá generar una dinámica capaz de favorecer el consenso, ya sea que estemos en un momento de análisis y reflexión sobre la intervención o que nos encontremos generando recomendaciones. De igual modo, una herramienta podrá usarse como mecanismo para la toma de decisiones compartidas o bien como estrategia de difusión y socialización de los resultados de la evaluación. También conocer nuestro papel de facilitadores, para motivar sin empujar, reflexionar con el grupo sin condicionar conclusiones, aportar ideas sin imponer las propias y hacer preguntas sin sugerir las respuestas. 197 196 Así, si definimos previamente las prioridades de la actividad, será más simple elegir o crear una herramienta que cumpla con el cometido. A la hora de pensar en el objetivo a abordar con la herramienta, es muy importante también identificar los actores sociales implicados y la utilidad que queremos dar a los datos/información que surja de la misma. Caracterizar los actores sociales que participarán de la actividad Como hemos dicho, en una evaluación participativa es importante involucrar a la mayor diversidad de actores posibles: especialistas en el tema, directores y responsables de nivel medio de la intervención, usuarios del programa o pobladores locales, funcionarios de alto rango, representantes de ONGs y organizaciones de la sociedad civil, entre otros. La mayor o menor participación de unos u otros dependerá del tema a tratar en cada instancia y del alcance de la evaluación. Aunque quisiéramos, no todas las personas involucradas o relacionadas a la intervención evaluada podrán participar. A la hora de diseñar cada actividad es necesario identificar y caracterizar el grupo de actores que tomarán parte de ésta, y la elección de la técnica también dependerá de ello. Según las características del grupo o sector con que trabajemos, la técnica o juego seleccionado para cada actividad será diferente o requerirá de ciertas adaptaciones. No es lo mismo diseñar una actividad donde participarán usuarios del programa, que una donde involucraremos a funcionarios y tomadores de decisión. Además de los diversos roles respecto de la intervención evaluada, es necesario pensar en el sexo, edad, contexto cultural, económico y político en el que se realiza la actividad, antecedentes y experiencia previa del grupo de participantes, nivel de instrucción, etc. Hay que tener en cuenta que las personas a invo- AQUÍ PUEDES ACCEDER AL VIDEO "HERRAMIENTAS QUE FACILITEN LA TOMA DE DECISIONES MULTIACTORALES" lucrar tienen diferentes capacidades, motivaciones y disponibilidad de tiempo. Esto también condicionará el tipo de herramientas a utilizar. Conocer qué herramientas tenemos, determinar sus alcances y límites Como sabemos, hoy existe una amplia diversidad de herramientas para la evaluación democrática y participativa. Es importante indagar qué tenemos y saber cuáles nos ofrecen el mayor protagonismo posible de todas las personas y no sólo el de los más extrovertidos. Además, es necesario reconocer que las técnicas tienen limitaciones, las que variarán, entre otros aspectos, según el grupo, el contexto, los recursos y el tiempo disponible. Es importante investigar para conocer las características particulares de cada herramienta, sus potencialidades y limitantes. Muchas veces, en especial en las dinámicas vivenciales, abusamos de los elementos simbólicos de una dinámica pueda tener y –como corolario− forzamos conclusiones o comparaciones más allá de lo que se generó durante el proceso grupal. Es recomendable no esperar del uso de una técnica más de lo que ésta puede dar. De lo contrario, serían nuestras elucubraciones −en tanto facilitadores del proceso− las que presenta- “Es un gran desafío tener herramientas que permiten no sólo la opinión de grupos, personas, beneficiarios sino que le permiten a ellos y a ellas tomar decisiones en base a su propio análisis. Creo que hay que ser bastante sincero y no tan romántico de creer que van a participar todos y vamos a escuchar todas las voces. ¡Así no es! Entonces es importante que participen los y las actores principales, quiero decir quienes se deben beneficiar de la intervención. Porque ahí también, desde un enfoque de derechos, hay que hacer ver las relaciones de desigualdad, la falta de información y muchas veces, también, la falta de participación en la planificación misma de proyectos o programas. Entonces, es muy importante manejar una metodología incluyente desde la planificación misma de la intervención”. Dagny Skarwan, participante del encuentro de evaluación participativa en Quito. 199 198 tancia o situación concreta que pretendamos abordar, como así también a las características del grupo o sector. Es importante utilizar la caja de herramientas de manera creativa. Una misma técnica puede tener múltiples variantes y procedimientos al aplicarla con diferentes participantes, en situaciones y con objetivos distintos. Saber adaptarlas a la realidad y contexto particular es la mejor manera de utilizarlas. Del mismo modo, es recomendable combinarlas, ya que esto permite un proceso de profundización ordenado y sistemático. Como casi todas las cosas, con la práctica vamos adquiriendo destrezas para saber qué asmos como conclusiones del grupo, y no su propia reflexión y hallazgos. Por otro lado, hay que evitar “aficionarse” de una única técnica que conocemos bien. Muchas veces sucede que adquirimos cierta habilidad para “manejar” determinadas herramientas, ya sea porque la conocemos profundamente o aplicamos con eficacia. Es importante comprender que no podemos usar una misma herramienta en todas las circunstancias, sino buscar las más adecuadas para cada caso. Explorar nuevas opciones, probar diferentes modalidades o combinaciones nos hará mejores a la hora de facilitar procesos participativos y creativos. La diversidad de herramientas también hace a la riqueza del proceso. Adaptar y recrear las herramientas a la realidad Como señalamos en el punto anterior, las herramientas tienen limitantes. El emplearlas siempre de forma “pura”, de acuerdo con el libro o manual, sin combinarlas o adaptarlas, seguramente le quitará potencialidad a las mismas. Esto determina que en cada caso concreto necesitemos recrearlas según la circuns- A MODO DE EJEMPLO Desde EvalParticipativa hemos desarrollado un proceso de capacitación en evaluación participativa. A la hora de abordar participativamente la cuestión conceptual, diseñamos dos herramientas que, dependiendo de la experiencia y formación de los participantes, pueden usarse de manera independiente o complementarias. En este segundo caso, sirven para abordar de manera “escalonada” la comprensión del tema. La herramienta “Definiendo la Evaluación Participativa” está orientada a animadores socioculturales y profesionales que se desempeñan en el campo de la gestión y evaluación de programas y proyectos. El propósito es construir una definición de evaluación participativa desde los participantes, para lo cual se ofrece como disparador un conjunto de palabras que pueden o no estar involucradas en ese concepto. El debate a partir de diversas palabras facilita la reflexión y la priorización de aquello más relevante, resultando en un primer acercamiento al “qué” de este enfoque de evaluación. La herramienta “El Naipe de la Evaluación Participativa” está orientada a profundizar en el tema. El propósito es reflexionar en torno a las principales características de este tipo de evaluación y el rol de la persona evaluadora desde el enfoque de derechos, sensible al género y comprometida con la participación ciudadana. A partir de un juego de naipes, que implica una priorización, descarte y creación de consignas desde un listado de características clave, se construye colectivamente un conjunto de principios de la evaluación participativa, los que son tomados como marco referencial para sus futuras prácticas de evaluación. pectos cambiar de una herramienta para que “funcione” correctamente. Poner a prueba la herramienta No siempre es posible, pero definitivamente es recomendable poner a prueba la herramienta que vamos a utilizar con un grupo y contexto similar. Como hemos dicho, no siempre encontramos la técnica a la medida de la necesidad, entonces nos vemos obligados a adaptar y recrear las herramientas en función de los objetivos, temas y el grupo con el que vamos a trabajar. Probar la herramienta, aunque sea en un simulacro de una situación real con el equipo evaluador, nos permitirá ajustar las consignas, clarificar los términos según el lenguaje local, estimar con Las técnicas o herramientas participativas necesitan ser recreadas según la circunstancia o situación concreta que pretendamos abordar, como así también a las características del grupo o sector. AQUÍ PUEDES ACCEDER AL VIDEO "CÓMO ADAPTAR Y RECREAR LAS HERRAMIENTAS" 201 200 En ocasiones, una sola técnica no resulta suficiente para trabajar un tema. Por ello, debemos pensar en utilizar una diversidad de recursos que se encadenen unos con otros y no limitarnos a un tratamiento rígido o regular. 203 202 posibilidades de éxito, por lo que sería incluso contraproducente su utilización. No es suficiente con conocer la herramienta y entender su procedimiento, el tiempo y el grupo destinatario. Es necesario saber también si estamos en condiciones de “manejar” las situaciones que la dinámica puede generar, cuidando y respetando la sensibilidad de las personas participantes. No olvidemos que en la coordinación de actividades grupales como las que implica una evaluación participativa tratamos con personas de sensibilidades, cultura, hábitos y gustos muy diferentes. Muchas veces utilizamos dinámicas vivenciales que despiertan procesos emocionales, conflictos o situaciones para los que no estamos preparados. El uso de herramientas como la entrevista en más precisión la duración del ejercicio y conocer en qué medida la herramienta “engancha” a los participantes y sirve a los efectos que la hemos imaginado. También nos ayudará a prever situaciones no deseadas que la herramienta pudiera generar. Si la actividad se va a realizar con diferentes grupos es necesario mantener un mismo procedimiento o protocolo. Esto nos permitirá asegurar la comparabilidad de la información, dar rigurosidad y mayor credibilidad al proceso. En estos casos es necesario diseñar y probar la herramienta para los diferentes escenarios y contextos posibles. Valorar nuestra preparación para “manejar” la situación Según la capacidad y experiencia de la persona que facilitará una actividad concreta durante el proceso de evaluación, ésta se verá obligada −y muchas veces limitada− a utilizar cierto tipo de herramientas y no otras. Esto es porque la falta de conocimiento fehaciente de la estructura, dinámica y posibilidades de aplicación de una técnica reducirá todas sus No es suficiente con conocer la herramienta y entender su procedimiento, el tiempo y el grupo destinatario. Es necesario saber también si estamos en condiciones de “manejar” las situaciones que la dinámica puede generar, cuidando y respetando la sensibilidad de las personas participantes. utilizar las técnicas siguiendo estos pasos: introducción, desarrollo y desenlace. La introducción. Acá es importante dar a conocer a los participantes el tema que se quiere abordar e incentivarlos a ser protagonistas del proceso. Quien facilite la actividad debe asegurarse de que todas las personas participantes saben de qué va la misma y cuáles son los procedimientos por seguir. El uso de guías o instructivos de manera clara y pautada ayuda al trabajo de los grupos. El desarrollo. En este momento el grupo o subgrupos lleva adelante la actividad indicada, siguiendo las pautas previstas en una guía o instructivo. Es importante acompañar el proceso, atender dudas y dificultades, asegurándose de que la mayoría de los participantes se involucren en la dinámica que la herramienta propone. En ocasiones y según la herramienta utilizada, es muy útil contar con personas para moderar el trabajo en cada grupo, asegurándose de cumplir con el procedimiento pautado, así como llevar un registro de las principales conclusiones a las que se arriba. Todo dependerá del tipo de encuentro, el tamaño del grupo, la duración de la actividad y los recursos profundidad, historia de vida y el cambio más significativo, requieren más que la apertura y predisposición a escuchar. En determinados grupos, un juego de roles puede, sin quererlo, poner en ridículo a algunas personas o generar conflictos que no podemos abordar. Debemos ser conscientes que al “poner el cuerpo”, la gente entrega parte de su vida al proceso colectivo. Ante ello, tenemos que ser muy respetuosos y cuidadosos con lo que podemos generar, sobre todo si no tenemos los medios y recursos profesionales para manejar y contener situaciones difíciles. Si no nos sentimos en condiciones, es mejor elegir una herramienta más simple, aunque el resultado y profundidad del análisis sea más austero. Facilitar el proceso: introducción, desarrollo y desenlace Salvo el uso de técnicas o dinámicas de presentación, división de grupos o animación, cuyo propósito se centra en lograr un ambiente propicio para la tarea, organizar el trabajo grupal y mantener el interés de los participantes, sugerimos 205 204 humanos de los que se disponga. Este momento, en el que acontece la discusión entre pares y el debate de ideas y percepciones sobre la intervención evaluada, suele ser lo más rico del proceso. Es muy importante estar atentos, observar y documentar lo que surge de los actores claves de la evaluación. El desenlace. Este momento hace referencia a las conclusiones, los acuerdos, el cierre de la actividad y el logro de los productos que de ésta esperamos. Como hemos visto, una técnica puede tener diferentes propósitos: análisis de una intervención, reflexión sobre logros y dificultades, identificar lecciones aprendidas, lograr acuerdos o consensos, identificar puntos en disidencia y conocer la diversidad de opiniones, etc. Dependiendo del caso, éste es el momento de concluir sobre el tema tratado. Hay diferentes formas de hacerlo, según la modalidad de trabajo que tenga la herramienta, pero por lo general supone una instancia plenaria a la que acuden todas las personas participantes de esa actividad. Una vez finalizado el trabajo del grupo (desarrollo de la técnica), podemos seguir los próximos pasos y preguntas de la tabla en la página siguiente. A modo de conclusión, podemos decir que una técnica en sí misma, no es ni buena ni mala, todo depende del tema específico que vamos a abordar, el objetivo que nos proponemos, el contex- to y características de los participantes. Creemos que elegir, recrear y adaptar herramientas participativas implica una gran responsabilidad. Como cualquier otra herramienta, hay que saber para qué sirve, cómo y cuándo utilizarla, siendo la actitud abierta y receptiva de quien facilita el proceso lo más importante. Más allá de la herramienta, es imprescindible tener en cuenta el significado profundo que le damos a la evaluación participativa, el cual debe basarse en relaciones horizontales y espacios de diálogo e intercambio de saberes. Y, aunque quisiéramos decir lo contrario, debemos asumir que “no hay recetas mágicas”. La práctica de animación sociocultural con grupos y nuestras experiencias en el campo de la evaluación participativa indican que es muchas veces la intuición la que juega el papel primordial. Consiste en realizar un primer ordenamiento colectivo de la información (cuantitativa o cualitativa) que surge del grupo. Generamos preguntas tendientes a explicar lo sucedido. Es un ejercicio de abstracción y racionalización de los hallazgos. A partir de los datos y opiniones que surgen de la actividad intentamos construir recomendaciones útiles a diferentes niveles. Esto será bien diverso según el caso y la herramienta utilizada. Intentamos identificar las principales conclusiones sobre el tema y pensar alguna forma de documentarlas y comunicarlas. 1. RECUPERAR LA VIVENCIA 2. ANÁLISIS DE LA INFORMACIÓN 3. ANÁLISIS DE IMPLICANCIAS 4. CIERRE DE LA ACTIVIDAD Técnicas auditivas Técnicas audiovisuales Técnicas vivenciales Técnicas escritas o gráficas ¿Qué escuchamos? ¿Qué vimos? ¿Qué escuchamos? ¿Qué sucedió? ¿Qué sentimos? ¿Qué leímos? ¿Qué presentamos? ¿Qué pensamos sobre los elementos vistos, dichos o vividos? ¿Por qué pensamos de esa manera? ¿Hay diferentes puntos de vista o hay consenso? ¿Qué implicancias tiene lo que pensamos sobre los elementos vistos, dichos o vividos? A partir de ellas, ¿es posible generar recomendaciones? ¿Qué hemos aprendido con esta actividad? ¿Qué nuevos conocimientos podemos ofrecer a partir de la misma? ¿Qué podemos hacer para que las conclusiones sobre este tema y las recomendaciones generadas sirvan al programa y otras personas? Recuperar conclusiones, acuerdos y cierre de la actividad 207 206 En este capítulo hemos desarrollado algunas nociones básicas sobre la metodología y técnicas participativas para la evaluación. Hemos construido una clasificación genérica de herramientas disponibles al combinar la modalidad de la técnica con el propósito para el cual la podemos utilizar. Por último, compartimos un conjunto de criterios y recomendaciones para tener en cuenta a la hora de seleccionar y utilizar diferentes instrumentos. En este apartado final queremos concluir con una serie de desafíos que enfrentamos quienes deseamos facilitar procesos de evaluación participativa. Primero, debemos asumir que los instrumentos no lo pueden todo. Tanto o más importante que las herramientas es la vocación participativa, vocación que se expresa en la tolerancia al error, la voluntad para volver a explicar, la disposición a revisar acuerdos y rediseñar el plan de trabajo, etc. En tal sentido, hay que tener claridad sobre nuestro papel como agentes externos, aunque participantes, de todo el proceso. Esto implica reconocer que nuestro rol tiene que ver con motivar sin empujar, reflexionar con el grupo sin condicionar conclusiones, aportar ideas sin imponer las propias y hacer preguntas sin sugerir las respuestas. Segundo, creemos necesario desarrollar la imaginación y alimentar la creatividad para adaptar o diseñar nuestros instrumentos. Nada más apropiado y apropiable por las organizaciones que las herramientas que se construyen en función de las personas participantes y las situaciones específicas a enfrentar, acorde a las necesidades de esa evaluación, en su espacio y contexto. Tercero, debemos reconocer que detrás de una evaluación cuyos resultados y recomendaciones se usan, hay un proceso creíble y riguroso. Debemos estudiar y conocer las herramientas a utilizar, probarlas en modo piloto, y asegurarnos que su aplicación y resultados serán lo más sólidos posibles. Es importante garantizar espacios de participación genuina y horizontal, con procesos de selección transparentes y participantes representativos del conjunto. Asimismo, es necesario hacer explícitos los criterios de análisis y sistematización de los datos. Monitorear el proceso, solicitar y recibir supervisión de un mentor, socializar y validar los resultados parciales para legitimar los hallazgos y conclusiones son aspectos que no debemos descuidar si queremos una evaluación de calidad. Finalmente, a la hora de adoptar y usar herramientas participativas debemos estar atentos a diferentes problemas que pueden surgir. Esto implica estar dispuestos a reducir tensiones, brindar información adicional, dialogar con todas las partes y estimular la participación de las personas con menor experiencia, y armonizar para crear espacios de diálogo y favorecer la construcción de consensos. 4. CONCLUSIONES 221 220 ESTEBAN TAPELLA Especialista en estudios del desarrollo y ecología humana (PhD). Profesor e investigador en la Universidad Nacional de San Juan (Argentina), Director del Programa de Estudios del Trabajo, el Ambiente y la Sociedad (PETAS). Consultor independiente en temas de evaluación participativa y capitalización de experiencias, y fotógrafo documental. Miembro de EvaluAR (Red Argentina de Evaluación) y ReLAC (Red de Monitoreo, Evaluación y Sistematización de América Latina y el Caribe). Es miembro del equipo coordinador de EvalParticipativa. Email: [email protected] PABLO RODRÍGUEZ-BILELLA Doctor en sociología por la Universidad de Sussex (Reino Unido). Docente e investigador en temáticas de evaluación y desarrollo en la Universidad Nacional de San Juan y en el Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET), en Argentina. Se desempeña como co-director del PETAS, y es consultor y capacitador en temas de evaluación y antropología social. Escribe en el blog "Al Borde del Caos" y es miembro del equipo coordinador de EvalParticipativa. Email: [email protected] JUAN CARLOS SANZ Economista por la Universidad de Valladolid (España). Experto en desarrollo de capacidades en evaluación. Trabaja en el Instituto Alemán de Evaluación de la Cooperación para el Desarrollo (DEval), en el proyecto Focelac+ para promover la evaluación en América Latina. Desde el 2015 colabora con el PETAS en diversas iniciativas de investigación aplicada relacionadas con la evaluación participativa. Es miembro del equipo coordinador de Eval- Participativa. Email: [email protected] JORGE CHAVEZ-TAFUR Agrónomo de la Universidad Agraria La Molina (UNALM), especialista en capacitación y gestión de conocimiento (Universidad de Wageningen). Asesor del programa SD=HS de Oxfam Novib. Anteriormente editor de la versión internacional de la revista LEISA, miembro del equipo de monitoreo y evaluación y líder del programa de capitalización de experiencias de CTA, y consultor para el programa de gestión de conocimiento del Fondo Internacional de Desarrollo Agrario (IFAD). Docente del programa "Innovación Agraria para el Desarrollo Rural" de la UNALM. Email: j.chavez.[email protected] JULIA ESPINOSA FAJARDO Socióloga y Doctora en Ciencia Política por la Universidad Complutense de Madrid (España). Experta en evaluación, desarrollo y género. Trabaja como profesora e investigadora a tiempo completo en el Área de Sociología de la Universidad de Cádiz, donde coordina el Observatorio de Políticas Públicas de Igualdad y Género. Consultora independiente en el campo de la evaluación y las políticas de igualdad. Forma parte de la iniciativa global EvalGender+, la ReLAC (Red de Evaluación de América Latina y el Caribe), la EES (European Evaluation Society) y AproEval (Asociación Ibérica de Profesionales por la Evaluación). Participa en la iniciativa EvalParticipativa. Email: jespinosaf[email protected] Primera edición digital. Disponible en https://evalparticipativa.net/ Instituto Alemán de Evaluación de la Cooperación para el Desarrollo (DEval). Fritz-Schäffer Strasse 26, 53113 Bonn, Alemania. Tel.: +49 (0)228 33 69 07-0. www.DEval.org DEval, Enero de 2021. El año 2020 quedará marcado en nuestra memoria y en nuestras vidas como el año de la irrupción y disrupción de la pandemia del COVID-19. Experimentamos a nivel global la profundidad de nuestra conexión e interdependencia, así como la forma en que nuestras realidades están hondamente entrelazadas. Este manual de evaluación participativa fue gestado y desarrollado en dicho contexto como expresión desde el campo de la evaluación que, frente a los límites de la autosuficiencia y la fragilidad, sólo podemos inmunizarnos al rescatar la pluralidad de voces y perspectivas de las personas participantes. Para ello, exploramos la realidad y potencia de la evaluación participativa en América Latina, las fases de su despliegue en terreno, el rol clave de quien facilita dichos procesos, y el sentido y lugar de las técnicas e instrumentos participativos en este enfoque de evaluación. Inscripta en una perspectiva transformadora de la realidad, el manual presenta a la evaluación participativa como una comunidad de diálogo que, al cosechar colectivamente los frutos de un proyecto o programa, siembra aprendizajes superadores para potenciar realidades presentes y futuras. ISBN 978-3-96126-124-6 BOOK-TRAILER Siembra cosecha y