Evaluación de políticas, diseño de la evaluación y proyecto evaluativo

DISEÑO Y PROYECTO EVALUATIVO EVALUCIÓN: ¿qué hace? ACTUACIÓN PÚBLICA Actuar sobre necesidades y problemas EVALUACIÓN Analizar las distintas etapas de la actuación: Necesidad –Diseño –Gestión – Resultado de las intervenciones y Programas EVALUACIÓN: ¿para qué? La sociedad demanda mejoras en la prestación de bienes y servicios Los recursos son escasos Necesidad de gestionar racionalmente LA EVALUACIÓN ES LA HERRAMIENTA PARA MEJORAR LA EFICACIA Y LA EFICIENCIA------MEJORAR LA PLANIFIC. PROGRAMACIÓN Y EJECUCIÓN DE LAS INTERVENCIONES EVALUACIÓN: contexto •MODERNIZACIÓN de la Administración Pública (Nueva Legitimidad). •CONCIENCIA por parte de la sociedad de sus derechos: conocer en qué se gasta su dinero y qué mejoras sociales se derivan de ese gasto. •DESCENTRALIZACIÓN política-administrativa --Multiplicidad de entes territoriales con competencias ---Exigencia de control de la actividad pública para evitar duplicaciones y despilfarro de recursos. •Necesidad de controlar el DEFICIT PÚBLICO -justificar la eficiencia de las medidas aplicadas. •OBLIGACIÓN LEGAL ante la U.E. de justificar eficacia y utilidad de las actuaciones cofinanciadas con Fondos Estructurales. LA EVALUACIÓN COMO RESPUESTA A NUEVAS DEMANDAS: 1) Gestión orientada a resultados. 2) Necesidad de rendir cuentas por el uso de los recursos empleados. 3) Aprender de la experiencia. EVALUACIÓN como Respuesta a: •¿Cuál es la naturaleza y dimensión del problema que se desea resolver con la intervención pública? •¿Están los objetivos establecidos en los programas de forma clara y medible? •¿Se está llevando a cabo la política tal y como se diseñó? •¿Está alcanzando el programa o política a su población objetivo? •¿Cuáles son los efectos de la intervención? •¿Cuál es el coste en relación con los beneficios y a la utilidad de la política? CRITERIOS APLICABLES •¿ES EFICAZ? •¿ES EFICIENTE? •ES ADECUADO? •¿ES EQUITATIVO? •¿ES RESPONSABLE? •¿ES APROPIADO? •¿Se han conseguido los objetivos? •¿Cuánto esfuerzo ha requerido el resultado? •¿En qué proporción ha resuelto el problema? •¿Se han distribuido los costes y beneficios? •¿Satisface necesidades, preferencias y valores? •¿Los resutados deseados (objetivos) son actualmente valiosos? LA EVALUACIÓN ES: •MECANISMO Y PROCESO DE INFORMACIÓN •MECANISMO Y PROCESO DE APRENDIZAJE/FORMAC •MECANISMO LEGITIMADOR •MECANISMO DINAMIZADOR - Conocimiento - Datos - Recomendación - Retroalimentación - Transparencia - Eficacia - Planificaciones futuras - Mejora en la toma de decisión DEFINICIONES DE EVALUACIÓN “Es el proceso de determinar en qué medida los objetivos de un programa se han alcanzado” Tyler (1950) “Investigación sistemática del valor o mérito de un objeto”. Joint Commitee for Educational Evaluation (1981) “La provisión de información para la toma de decisiones sobre una intervención”. Cronbach (1981) La provisión de métodos de investigación sistemáticos para la evaluación del diseño, la implementación y la efectividad de un programa” Chelimsky (1985) Emitir un juicio sobre el valor de la acción pública” Viveret (1989) “Iniciativa pluralista cuyo núcleo es el sistema de los actores implicados y cuyo propósito estriba en valorar la fundamentación de una intervención pública, basándose en la comparación de sus efectos con los sistemas de valores vigentes”. Monnier (1995) Práctica seria de argumentación basada en información pertinente sobre los efectos de una política” Roth (2002) TIPOLOGÍA CLÁSICA DE EVALUACIÓN CRITERIOS : 1) SEGÚN EL MOMENTO DE LA EVALUACIÓN -EXANTE - INTERMEDIA - EX –POST 2) SEGÚN LA FUNCIÓN DE LA EVALUACIÓN - FORMATIVA - SUMATIVA O FINAL 3) SEGÚN LA PROCEDENCIA DE LOS EVALUADORES - INTERNA / (Autoevaluación) - EXTERNA - MIXTA - MIXTA POR FASES 4) SEGÚN LA NATURALEZA/CONTENIDO DE LO EVALUADO ENFOQUE INTEGRAL DE EVALUACIÓN SOCIEDAD PROBLEMAS IMPACTOS NECESIDADES ----------------------------------------------------------------------------------------------------------------------------- ACCIÓN PÚBLICA OBJETIVOS ACCIONES RESULTADOS SERVICIOS RECURSOS ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------- EVALUACIÓN EX_ ANTE INTERMEDIA EX_ POST OTRAS CLASIFICACIONES PSEUDO-EVALUACIÓN CUASIEVALUACIÓN EVALUACIÓN DE METAS FIJAS EVALUACIÓN LIBRE DE METAS META-EVALUACIÓN EVALUACIÓN DE LA EVALUABILIDAD (EXPLORATORIA) EVALUACIÓN INTERACTIVA (DEMOCRÁTICA) EVALUACIÓN PARTICIPATIVA CONTEXTUALIZADA (MEPAC) Evaluación Proyecto GRANADA-EMPLEO Modelo de Evaluación Evaluación del Proyecto Granada-Empleo Evaluación Evaluación Externa, de Implementación y de Resultados. Utilización de Grupo de Comparación en la evaluación de Resultados de los Itinerarios de Inserción. Utilización del Modelo de Evaluación MEPAC. «MODELO DE EVALUACIÓN PARTICIPATIVO CONTEXTUALIZADO» MODELO DE EVALUACIÓN PARTICIPATIVO CONTEXTUALIZADO (MEPAC) NIVEL I: NEGOCIACIÓN OBJETIVOS –PERCEPCIONES –INTERESES - VALORES Se inserta en el contexto político de las intervenciones a evaluar y se orienta al aprendizaje NIVEL II:DESCRIPCIÓN CONOCIMIENTO OBJETIVABLE –TÉCNICAS –MÉTODOS - OPINIÓN NIVEL III:VALORACIÓN PUNTO DE PARTIDA –CONTEXTO - RESULTADOS    NIVEL I: NEGOCIACIÓN Participación de los responsables de la ejecución, el equipo evaluador y el personal técnico del proyecto. NEGOCIACIÓN Y CONSENSO DE SISTEMA DE INDICADORES. MEDIANTE PROPUESTA. DESGLOSE: BÁSICOS COMPLEMENTARIOS - Realización - Eficacia - Resultados - Impactos NEGOCIACIÓN DE DIMENSIONES EVALUATIVAS CUANTIFICACIÓN DE RESULTADOS PREVISTOS INSTRUMENTOS: GRUPOS DE TRABAJO. ENTREVISTAS PERSONALES Y GRUPALES. En definitiva: QUÉ EVALUAR NIVEL II: DESCRIPCIÓN Objetivo: Conocer con la recogida de datos los procesos de implementación y resultados del Programa.  Proceso de descripción: la triangulación de métodos y sujetos.  Instrumentos de evaluación: . Fichas de seguimiento del programa . Memorias de actividades . Entrevistas al personal técnico . Encuestas a los usuarios . Grupos de trabajo con las Entidades  Se miden las dimensiones e indicadores establecidos en el Nivel I   3.- METODOLOGÍA - DESCRIPCIÓN DEL MODELO O DISEÑO ELEGIDO . RECOGIDA DE INFORMACIÓN . ELECCIÓN DE G.C. o G.Ex. . VARIABLES A COMPARAR… - PARA CADA UNO DE LOS OBJETIVOS O SUBOBJETIVOS NOMBRADOS, DEFINIR TÉCNICAS E INSTRUMENTOS DE RECOGIDA DE INFORMACIÓN. - DESARROLLAR COMPLETAMENTE CADA UNO DE LOS INSTRUMENTOS NOMBRADOS. - DEFINIR Y DESARROLLAR INDICADORES EN CADA OBJETIVO. - TIPO DE ANÁLISIS PARA CADA INSTRUMENTO. 3.- METODOLOGÍA II DESARROLLAR COMPLETAMENTE CADA UNO DE LOS INSTRUMENTOS NOMBRADOS: - DEFINIR TIPO - CLASE DE FUENTE DE INFORMACIÓN - TIPO DE DOCUMENTO - INSTITUCIONES A VISITAR - PERSONAS A ENTREVISTAR - ELECCIÓN DE ENTREVISTADOS O GRUPOS DE DISCUSIÓN - ENCUESTA: MUESTREO, BLOQUES TEMÁTICOS (baterias de preguntas), Nº DE ENCUESTADOS, TIPO DE PREGUNTAS, ERROR MUESTRAL, NIVEL DE CONFIANZA, APLICACIÓN……… 4.- PLAZOS Y PRESUPUESTOS PLAZOS - CUANDO EMPIEZA Y TERMINA LA EVALUACIÓN (FECHAS) - CORTES EVALUATIVOS, SU CONTENIDO Y SU DURACIÓN - CRONOGRAMA DE ACTIVIDADES (GANTT) o (PERT) PRESUPUESTOS/RECURSOS - DEFINICIÓN DE RECURSOS NECESARIOS . INVENTARIO DE RECURSOS MATERIALES . RECURSOS ECONÓMICOS - PRESUPUESTO POR PARTIDAS - FINANCIACIÓN . RECURSOS HUMANOS GRACIAS POR VUESTRA ATENCIÓN Y POR LA VUESTRA TAMBIÉN…