Metodología de la evaluación de programas en servicios sociales

111 Colegio Oficial de Psicología de Andalucía Occidental, Universidad de Cádiz, Universidad de Córdoba, Universidad de Huelva y Universidad de Sevilla Apuntes de Psicología, 2012, Vol. 30 (1-3), págs. 111-118 Número especial: 30 años de Apuntes de Psicología ISSN 0213-3334 Metodología de la evaluación de programas en servicios sociales Salvador CHACÓN MOSCOSO José LÓPEZ RUIZ José Antonio PÉREZ GIL Universidad de Sevilla Resumen Un primer acercamiento al ámbito de evaluación de programas en servicios sociales puede dar la impresión de constituir un proceso perfectamente delimitado. No obstante al profundizar en la problemática nos encontramos ante una gran dispersión teórica, lo cual revierte en la existencia de grandes limitaciones metodológicas. Todo ello implica que el ejercicio profesional en evaluación de programas de intervención no encuentre un marco de referencia claro en el que fundamentar sus actuaciones. En este sentido, el artículo presenta, por un lado, un planteamiento de diseño de evaluación general en el que enmarcar la secuenciación de una serie de fases en función del desarrollo coordinado que debe experimentar el/los programa/s de intervención concreto/s sobre el/lós que se actúa y, por otro, la estructura de funcionamiento del Servicio en la que se integra/n éste/os. Palabras clave: metodología, diseños de intervención, evaluación de programas, programas de intervención. Abstract Although a first approach to evaluation programs in social services may appear to be a well defined process, after studying this issue we found a wide theoretical dispersion, which implies very important methodological restrictions. Because of this, professional practice in evaluation doesn’t have a clear framework, in which to ground its actions. This anide introduces a general evaluation design consisting of the sequence of several stages depending on the coordinated development that specific intervention program/s must have, and the service functioning structure in which the intervention program/s are integrated. Key words: methodology, intervention designs, evatuation programs, intervention programs. Hoy en día es frecuente oír hablar en los distintos medios de comunicación sobre temas relacionados con política social la cual se traduce directamente en la distintas actuaciones desarrolladas en Servicios Sociales. En general los propósitos de la intervención en Servicios Sociales están dirigidos a la consecución de un incremento en el nivel de lo que se conoce como calidad de vida; con ello nos estamos refiriendo al proceso en el que tras la detección de una serie de necesidades se plantean unos programas de intervención dirigidos a paliarlas, y consecuentemente se espera obtener un aumento en los niveles de calidad de vida existentes. De esta forma, nos encontramos en principio con una etapa de evaluación de necesidades, para que una vez clarificados en mayor o me- nor medida los objetivos y gestión a realizar sea posible plantear la evaluación de la actuación que se programe. (Martín González et al., 1988; Blanco, A. et al., 1985). Por lo tanto, si bien la evaluación supone una derivación de la planificación, no es comprensible una planificación sin establecer, a su vez, planes de evaluación, ya que es su mecanismo corrector. (Fdez. Ballesteros, 1989, pág. 87). Después del análisis de las líneas generales que se siguen en la elaboración de un programa de intervención destinado al desarrollo de la calidad de vida y bienestar social se puede tener la impresión de tratarse de un proceso perfectamente delimitado y estructurado. No obstante al revisar la bibliografía referente a la Evaluación de Programas de Intervención nos encontramos con distintas aproximaciones teóricas referentes al tema, las cuales, a grosso modo, difieren entre sí en la conceptuación Referencia de la publicación original: Chacón Moscoso, S., López Ruiz, J., & Pérez Gil, J.A. (1992). Metodología de la evaluación de programas en servicios sociales. Apuntes de Psicología, 36, 77-89. 112 S. Chacón Moscoso, J. López Ruiz y J. A. Pérez Gil Metodología de la evaluación de programas en servicios sociales Apuntes de Psicología, 2012, Vol. 30 (1-3), 30 años de Apuntes de Psicología, págs. 111-118. de la terminología común utilizada, al traducir distintas perspectivas teóricas en unas mismas etiquetas, como por ejemplo, bienestar social, calidad de vida, detección de necesidades, programas de intervención, etc...; fundamentación teórica sobre la que se desarrollan estos conceptos; propósitos o fines que se persiguen desde cada aproximación; metodología y técnicas derivadas. Todo ello desemboca en una situación en la que ni siquiera existe un estatus propio de legitimación en evaluación de programas, planteándose polémicas como ciencia básica versus ciencia aplicada –(Campbell, 1982)–, evaluación de programas versus investigación evaluativa –Alvira (1985), Clemente Díaz (1989)–, un ámbito ideológico versus técnico (Scriven, 1983), etc. Estas circunstancias se traducen en un sinfín de limitaciones metodológicas, que unido al proceso de toma de decisiones influido por perspectivas tanto ideológicas, políticas como técnicas (Fdez. Ballesteros, 1987) hacen que el profesional enfrentado a una realidad social cambiante e inestable se encuentre ante la imposibilidad de discernir con claridad sobre qué modelo teórico, diseño metodológico o técnicas concretas basar la evaluación de su programa de intervención. Debido a esta amplia diversidad de perspectivas teóricas existentes conviene hacer mención a las aproximaciones fundamentales dentro de este ámbito teniendo presente que posiblemente, tal como se puede apreciar en Cook (1988), el principal motivo de la diversidad conceptual viene dado como resultado del desarrollo anárquico y descoordinado que ha experimentado esta línea de in vestigación, al intentar dar respuesta a las necesidades concretas que se han ido dando en distintos ámbitos de actuación desde finales de los sesenta principal mente. Modelos teóricos en evaluación de programas 1. Evaluación orientada hacia los objetivos (Tyler, 1989). El propósito de tal perspectiva es llegar a conocer si se da coincidencia entre los objetivos del programa y los resultados reales. Dicha evaluación es entendida como proceso recurrente, en el que según se acoplan resultados se reordenan objetivos. Desde esta perspectiva no se explicita ningún diseño concreto de implantación; sólo priorizar objetivos en función del rendimiento de los sujetos, intenciones del programa y procedimientos para llegar al éxito. Dicho ésto conviene explicitar que en la práctica sólo se centra en el ren dimiento de los sujetos. 2. Evaluación responsiva (Stake, 1975). El principal objeto de este modelo de evaluación es su adaptabilidad a las distintas circunstancias que van aconte ciendo al trabajar continuamente con las distintas audiencias y responder a sus necesidades evaluativas. Esta perspecti va amplía la visión tyleriana incluyendo un examen de los antecedentes, del proceso, de las normas y de los juicios, además de los resultados. Con respecto al diseño de interven ción, este modelo presenta un método pluralista, flexible, interactivo, holístico, subjetivo y orientado hacia el servicio, y en él se recoge la posibilidad de estudios de caso único, informes de contrarios y sociodrama. De esta forma se plantea un esquema de recogida de información cuyos elementos base son los antece dentes, las transacciones y los resultados del programa de intervención, desde los que se estudiará la congruencia y con tingencia entre ellos con objeto de plantear posteriormente el estudio de las intenciones predefinidas del programa, para lo que se elabora un sistema de normas y juicios en base a los cuales se evalúan las observaciones registradas. 3. Planificación evaluativa (Cron bach, 1982). Esta perspectiva propone que un modelo de evaluación debe de asentarse en una planificación previsora y flexible de las actividades evaluativas más que en una aplicación consecutiva de técnicas de muestreo, valoración y análisis esta dístico sin reflexionar sobre las implicaciones de tal actividad. De esta forma presenta un diseño totalmente ecléctico denominando a los elementos del mismo los «UTOS» (Unidades, Trata mientos, Operaciones de Observación, Marco de Acción) en el que no se plantea enfrentamiento entre método científico y la interpretación subjetiva, al entender ésta última como complementaria a las aportaciones extraídas desde la metodología científica. 4. Evaluación orientada sobre la toma de decisiones (Stufflebeam, 1985). La evaluación ha de ser definida más que como la consecución de una serie de objetivos, como un proceso mediante el cual se proporciona información útil para la toma de decisiones. Por lo que en principio conviene identificar los princi pales tipo de decisión que afrontar para posteriormente crear las adecuadas es trategias evaluativas. Con respecto al diseño se plantea el estudio de casos únicos, diseños experi mentales y cuasi-experimenta- les junto con la metodología observacional, para lo cual se presenta una estructura básica denomi nada «CIPP» (Contexto, Entrada, Proceso, Producto) desde la que se plantea tanto el análisis de información cuantitativa como cualitativa mediante el examen y estudios de casos concretos, grupos asesores o experimentos. Esta información es inter pretada mediante la identificación de normas y elaboración de los juicios necesarios para la toma de decisiones. 113 S. Chacón Moscoso, J. López Ruiz y J. A. Pérez Gil Metodología de la evaluación de programas en servicios sociales Apuntes de Psicología, 2012, Vol. 30 (1-3), 30 años de Apuntes de Psicología, págs. 111-118. 5. Método científico de evaluación (Campbell y Stanley, 1966; Cook y Campbell, 1979). En él se plantea que no existen dife rencias metodológicas entre evaluación y método científico, buscando determinar la relación causal entre variables indepen dientes y dependientes especificadas, con el objeto de determinar los efectos de una intervención sobre una serie de variables predefinidas. No obstante al actuar sobre un medio cambiante en el que no es posible lograr un control exhaustivo de todas Ias variables intervinientes en el proceso investigativo se hace necesario hacer referencia al método cuasi-experi mental de Campbell (1979), sin restringirse a la metodología estrictamente experimental. 6, Modelo evaluativo orientado hacia el consumidor «de meta libre» (Scriven, 1974). En este caso el evaluador es un sustituto informado del consumidor. El evaluador, ignorante de las metas finales que persigue el programa de intervención, investiga todos los efectos del programa independientemente de sus objetivos. Así si un programa se realiza como se supone que debe, la evaluación debe confirmar ésto, y a la vez descubrir los efectos inesperados al alejar la atención de aquellas metas prefijadas de antemano. En este modelo se plantean diseños experi mentales y cuasi-experimentales, análisis de costes y el método de meta libre. 7. Un método contrapuesto de eva luación; el modelo judicial (Wolf, 1979). Este modelo es planteado desde un proceso dialéctico, dos grupos de evaluadores investigan los pros y contras de un programa con el fin de clarificar sus principales problemas. Dentro de los métodos a emplear presenta como posibilidad la aplicación de los diseños experimentales y cuasi-experimentales junto con la técnica de paneles Delphi. Esta técnica se utiliza para realizar pronósticos sobre el impacto que puede tener un programa o la utilización que se le da a un determinado servicio en base a los datos obtenidos a través de un cuestionario realizado por un panel de expertos en el objeto de estudio. Desde este planteamiento general el diseño de implantación sigue una metodología legal desarrollando una simulación de las etapas características del modelo judicial. 8. Evaluación iluminativa; método holístico (MacDonald, 1971). El principal propósito de este método es la descripción y la interpretación, más que la valoración y predicción. Se plantea la limitación de los métodos experimentales ya que un programa es vulnerable a múltiples influencias exter nas. puesto que se define ,sobre una realidad empírica excesivamente limita da por objetivos, por lo que el evaluador puede muy bien desviarse hacia aquellas cuestiones de incumbencia para los patrocinadores y otros intereses. Es por ello que mantiene una perspectiva ecléctica en las tácticas investigativas a utilizar, aproximadamente igual que los antropólogos sociales o historiadores naturales, intentando familiarizarse con la realidad cotidiana del marco sin in tenciones de manipular, controlar o eli minar las variables situacionales, sino más bien abarcar toda la complejidad de la escena. 9. Evaluación naturalista (Guba, 1985). Este modelo no tiene ningún estatus de legitimación especifica. simplemente representa otra construcción mas que será tenida en cuenta en la búsqueda del consenso. Se presentan «hechos» y «va lores» como inexorablemente ligados. los evaluadores serán compañeros subjetivos implicados en la creación de los datos valorativos. Por lo tanto desde esta perspectiva no se plantea la verificación de supuestos, sino más bien su descu brimiento. De esta forma se enfrenta a la tarea sin una teoría o hipótesis previa, y sin determinar un diseño específico; en cambio, se postula que el diseño irá apareciendo a medida que avanza el proceso evaluativo. Se toma al ser humano como símil de instrumentación debido a su responsividad y flexibilidad ante la na turaleza compleja de los hechos interrelacionados, y es por ello que su estudio se basa en un análisis categórico cualitativo. Evaluación sumativa y evaluación formativa A pesar de la diversidad de desarro llos teóricos existentes, en un principio, se puede optar por la adopción de una postura global integrada al plantearse que cualquier modelo de evaluación ha de fundamentar su actuación sobre un programa de intervención; es decir, desde una perspectiva teórica se plantea inter venir sobre unas variables determinadas con el fin de satisfacer unas necesidades sociales detectadas (Rossi, 1985). Por lo tanto, de una forma u otra, se dará una jerarquización de objetivos (generales y específicos, operativizados), traducidos a estructuras de funcionamiento, desde las cuales se plantea la intervención teniéndose presente el contexto en el que se desenvuelven los hechos (inputs de entrada, materiales, tiempo disponi ble, recursos… ). Este planteamiento ge neral puede ser extraído de las aportaciones presentadas por Stufflebeam (1980), Herman (1987) y Kettner (1990). Por ello, el desarrollo de cualquier proceso evaluativo puede ser entendido desde un planteamiento puramente lineal ligado a la secuenciación estricta de fases o de una forma cíclica fundamentada en la retroalimentación continua del proceso. siendo estas perspectivas, a grosso modo, las denominadas evaluación formativa y sumativa. 114 S. Chacón Moscoso, J. López Ruiz y J. A. Pérez Gil Metodología de la evaluación de programas en servicios sociales Apuntes de Psicología, 2012, Vol. 30 (1-3), 30 años de Apuntes de Psicología, págs. 111-118. De este modo, al enfrentarnos a la tarea de evaluar un programa podemos traducir todo el proceso descrito en la secuenciación de las fases de planifica ción, implementación y evaluación las cuales de forma general pueden ser consideradas dentro de un planteamiento lineal o no lineal, estrechamente rela cionado con las perspectivas de evalua ción sumativa o formativa (Bloom, 1971). Desde este enfoque en una perspectiva sumativa (lineal) la evaluación depende rígidamente de la secuenciación estricta de tales fases no pudiendo ser remodelado el programa en base a las variantes que se vayan produciendo a lo largo del proceso evaluativo. Por el contrario el enfoque formativo (no lineal) se basa en la continua interacción y modulación recí proca entre planificación, implementación y evaluación. El uso de una evaluación formativa -no linealimplicará funda mentalmente una recogida periódica de datos, aportando un análisis mucho más fino de las intervenciones realizadas frente a un único registro final (evaluación sumativa-lineal) centrado más en un análisis global, manteniendo una menor interacción con los profesionales. Todo lo cual trasciende directamente sobre el diseño de la intervención a desarrollar (Anguera, 1989). En la tabla 1 aparecen especificadas las principales características de cada modelo. La decisión de optar por una postura u otra está principalmente influida por el estilo de estructura de funcionamiento desde la que se organizan y coordinan los distintos programas de intervención a evaluar. No obstante, en un principio se ha de afirmar que evaluación y programación son dos procesos interrelacionados que han de evolucionar de forma paralela, es decir en un programa que no esté perfec tamente delimitado (con objetivos totalmente definidos, secuenciados y coordinados, con pautas de actuación explicitadas, estrategias de intervención en desarrollo...) es absurdo en principio ejecutar una perspectiva formativa, no líneal desde la que se planteen remodelaciones sobre programas poco explicitados, ya que se complicaría aún más la .actuación de unos profesionales sin unas directrices delimitadas en mayor o menor medida. Llegados a este punto consideramos necesario hacer un breve comentario, algo más específico a los mencionados anteriormente, sobre qué aspectos mí nimos han de ser considerados desde un programa de intervención con objeto de alcanzar una evaluación óptima (sin entrar a relacionarlos con la tipología de eva luaciones posibles junto con el diseño, análisis e implicaciones derivadas de éstas) ya que el desarrollo que aparece a continuación está intima mente ligado a ellos. De esta forma, vamos a fijar nuestra atención en una perspectiva globalizadora según la cual iremos haciendo distinciones dependiendo del nivel de distanciamiento del que nos encontremos con respecto de lo observable. Así en principio, se parte de la con cepción de un/os logro/s final/es (abs tracto/s) al que pretendemos llegar que denominaremos objetivo/s general/es. Posteriormente para llegar a la consecu ción de esa globalidad final Tabla 1. Comparación entre evaluacio nes formativa y sumativa. (Adaptada de Herman, 1987, pág. 26). FORMATIVA SUMATIVA Audiencia primaria Diseñadores del prog. Directores el prog, Ejecutores del prog. Políticos Intereses públicos Financiadores Énfasis primario en la recogida de datos Clarificación de objetivos; naturales del programa; Proceso/implementación Microanálisis de la implementación/ejecuc; Productos/resultados Documentación sobre resultados Documentación sobre ejecución Rol primario de diseñadores y ejecutores del programa Colaboradores Proveedores de datos Rol primario del evaluador Interactivo Independiente «Metodología» típica Cualitativa y cuantitativa Cuantitativa, a veces incluye cualitativa Frecuencia recogida datos Durante el proceso de monitorización Limitada Mecanismos de información Discusiones/encuentros interacción informal Informes formales Énfasis en el informe final • Relaciones entre elementos del proceso • «Micro» relaciones entre contexto-proceso • Relaciones entre proceso y resultados; Implicaciones para la práctica del programa; cambios en operaciones • Relaciones «Macro» Contexto, Proceso, Resultados • Implicaciones para la política, controles administrativos y dirección 115 S. Chacón Moscoso, J. López Ruiz y J. A. Pérez Gil Metodología de la evaluación de programas en servicios sociales Apuntes de Psicología, 2012, Vol. 30 (1-3), 30 años de Apuntes de Psicología, págs. 111-118. tendremos que ir consiguiendo una serie de pasos o logros intermedios que denominaremos objetivos específicos. A su vez, para llegar a la consecución de esos pasos intermedios nececitaremos ir desarro llando trabajos concretos, a los que de nominaremos actividad desarrollada. Una vez delimitados los objetivos y las acti vidades necesarias para su consecución será necesario temporalizarlos en base a los recursos tanto humanos como de medios materiales de los que se dispon ga, desde lo que obtendremos una calendarización y delimitación de los equipos de trabajo junto con los recursos materiales concretos de los que se dispone. De esta forma, podemos llegar a entender que existen una serie de com petencias concretas que delimitan las tareas específicas de cada profesional para el logro de esos objetivos y desarrollo de esas actividades que denominaremos funciones del programa. Todo lo cual estará integrado en una estructura de funcionamiento, susceptible de ser tra ducida a diagrama de flujos, que coordine e integre todos los elementos menciona dos de cada uno de los programas de intervención que se estén desarrollando con objeto de paliar en lo posible unas necesidades detectadas en la comuni dad. Al hacer mención anteriormente al estilo de estructura de funcionamiento como factor fundamental a la hora de decidir por un planteamiento lineal versus no lineal, nos referimos concretamente a la necesidad de un flujograma de funcionamiento que contemple una coordinación interprogra mas con lo cual se permita un seguimien to y coordinación continuado de las intervenciones desarrolladas desde dis tintos programas en ejecución y una estructuración del mecanismo de toma de decisiones de forma que todas las partes integrantes en el proceso de intervención estén de igual forma consideradas. Sería poco eficiente el desarrollo de una perspectiva formativa que plantee un proceso recursivo en el que no se controlan la mayor parte de variables intervinientes o que las remodelaciones que se establezcan en los distintos pro gramas de intervención no coordinen las perspectivas tanto políticas como técni cas, con lo cual todo el proceso podría dar una imagen externa de perfecto sis tema autorregulado en evolución conti nua en vez de una estructura fosilizante que refuerza y perpetúa posibles plan teamientos erróneos de actuación. Un continuo evaluativo Hasta este momento el desarrollo de todo el proceso evaluativo descrito puede ser mejor entendido si se medita sobre la evolución que experimentaría la estructuración de una serie de Programas de Intervención desde un momento ini cial hasta su desarrollo total dentro de la comunidad en la que se inserten. De esta forma, en un primer momento una serie de profesionales expertos en intervención social habrán de detectar las nece sidades existentes en esa comunidad (evaluación de necesidades), para que una vez valoradas se diseñe y desarrolle un/os Programa/s de Intervención con objeto de paliarlas, observándose si tales necesidades primariamente detectadas han sido satisfechas o si por el contrario se ha de reiniciar el proceso hasta llegar a la extinción de éstas (figura 1). Usualmente se desarrollan al mismo tiempo distintos programas de interven ción con objeto de atender al conjunto de necesidades que presenta la comunidad objeto de actuación, por lo que en un principio se han de priorizar las necesi dades existentes en distintos grupos más o menos homogéneos desde los que se fundamenten los distintos programas a desarrollar. En la figura 2 se presenta un esquema de f1ujograma de estructura de funcionamien- to en el que se integran y coordinan distintos programas de inter vención insertos en una determinada comunidad, usando la codificación de signos en lenguajes de programación presentada por Stern (1982) y basadas en las que aparecen en García (1988). En él se observa como en un princi pio un usuario habría de ser recepcionado, valorado y diagnosticado inicialmente, lo cual implica un proceso de intervención en sí mismo (por lo que respondería al esquema de programa de intervención mencionado) en el que el sujeto estaría inmerso hasta que una vez finalizado el proceso pasara a ser estudiado por el dispositivo de coordinación interpro gramas, en el que se podría optar por tres tipos de decisión: 1. Derivación a un re curso externo, ya que la necesidad planteada no puede ser atendida desde las prestacio nes que ofrecen los distintos programas en ejecución; 2. Fin del caso, al presentar éste una necesidad que ya ha sido satisfecha en la valoración y diagnóstico inicial; 3. Inte gración en un plan de actividades de uno de Figura 1. Flujograma básico de modelo de intervención. 116 S. Chacón Moscoso, J. López Ruiz y J. A. Pérez Gil Metodología de la evaluación de programas en servicios sociales Apuntes de Psicología, 2012, Vol. 30 (1-3), 30 años de Apuntes de Psicología, págs. 111-118. los Programas de Intervención en Desarro llo ( Programas «A», «B», «C», ...) al presentar algunas de las necesidades atendidas (Ne cesidades «A», «B», «C», ...). Llegado a este punto el usuario seguirá integrado en un programa de trabajo hasta que su necesidad haya sido satisfecha (fi gura 1) y posteriormente será dado de «alta» definitivamente una vez que el dispositivo de coordinación interprogramas considere que los objetivos planteados inicialmente han sido alcanzados. Por lo tan- to, este dispositivo podrá derivar al usuario a un recurso externo, o dar por finalizado el proceso dentro de los programas en desa rrollo, tanto a sujetos que l1egan directamente de valoración y diagnóstico como a aquellos que han estado integrados en alguno de los programas en funcionamiento. Por otra parle, a lo largo de todo el proceso presentado hemos de prestar atención sobre el bucle de retroalimentación que se da en cada uno de los programas individuales, ya que en una primera evaluación se presta atención primordial al logro del objetivo persegui do principalmente (evaluación sumativa), para en función del grado de logro alcan zado en la consecución del objetivo planteado ir remodelando las interven ciones sucesivas, con lo que nos introdu cimos en un análisis mucho más fino y minucioso que el anterior (evaluación formativa), cuya función principal es la reestructuración continua de todo el programa en desarrollo. Con el tiempo, este sistema de retroalimentación continua se hará extensivo a las distintas partes inte grantes de los programas, al estar todas ellas en interrelación, con lo que se conseguirá una evolución progresiva y coordinada de las actuaciones en ejecución desde los distintos programas en base a la propia dinámica de trabajo y a las necesidades presentadas en la comunidad sobre la que se actúa. Por lo tanto las principales características que presenta el esquema expuesto son: 1. El desarrollo de cada programa es el resultado del análisis y valoración de las necesidades prioritarias que presenta la comunidad principalmente. 2. El diseño, ejecución y evolución de todos los programas de intervención se realiza de forma coordinada e integrada en un dinámica de trabajo de conjunto. 3. La toma de decisiones tanto de la entrada y derivación que se le da al usuario, como de la salida de éste del proceso de intervención tiene lugar mediante un sistema que permite considerar los distintos intereses de todas las partes implicadas en el proceso de intervención descrito. Figura 2. Flujograma de la estructura de funcionamiento general. 117 S. Chacón Moscoso, J. López Ruiz y J. A. Pérez Gil Metodología de la evaluación de programas en servicios sociales Apuntes de Psicología, 2012, Vol. 30 (1-3), 30 años de Apuntes de Psicología, págs. 111-118. 4. Desde el esquema de diagrama de flujos planteado se entiende que será el dispositivo de coordinación el encargado de valorar si un usuario presenta algunas de las necesidades que contempladas en el conjunto de los programas en ejecución para en base a ello ser derivado a alguno de los programas en desarrollo. Es por ello que al llegar a la necesidad «C» no se plantea toma de decisión ya que si el usuario no ha sido acogido por ninguno de los programas anteriores obligatoriamente deberá de ser absorbido por el programa «C». Después de la exposición por un lado del proceso evolutivo general que sufre la estructuración del flujograma de una supuesta estructura de funcionamiento, unido por otra parte a las principales características definitorias que presentan los modelos sumativo y formativo expuestas anteriormente, consideramos necesario rechazar la disyuntiva excluyente de un planteamiento evaluativo sumativo o formativo por entender que éstos forman parte de un continuo en el que conforme se diseñan, ejecutan y organizan los distintos programas de intervención dentro de un flujograma de funcionamiento se evoluciona desde una perspectiva inicialmente sumativa en la que se realiza un estudio general del proceso desarrollado (enfatizándose las relaciones más globales y consecución de objetivos principalmente) para posteriormente ir desarrollando un análisis micro de las intervenciones analizadas a nivel global, remodelando el proceso en desarrollo con objeto de optimizar las actuaciones a ejecutar; consiguiendo con ello lo que denominaríamos una evaluación formativa. Todo el desarrollo de este planteamiento ha sido ejemplificado desde las figuras 1 y 2 en las que se observa como en un primer momento se realiza una evaluación general del proceso, estudiándose fundamentalmente si han sido satisfechas o no las necesidades planteadas; posteriormente conforme se van desarrollando y ejecutando distintos programas de intervención se plantea la necesidad, a un segundo nivel, de evaluar el proceso implicado en las intervenciones desarrolladas con el propósito de ir mejorando las actuaciones futuras y en ejecución. De esta forma en el supuesto flujograma de la figura 2, se muestra como el planteamiento de un diseño de evaluación formativo final (río lineal) puede ser perfectamente traducido a un esquema de funcionamiento en intervención real que permita la instauración de un sistema autoevaluativo de programas impuesto por la propia dinámica de trabajo diaria. Comentario final A modo de resumen se puede concluir que si bien en el ámbito de evaluación de programas de intervención nos enfrentamos ante un medio social cambiante en el que no existen unas directrices perfectamente delimitadas que nos indiquen de forma clara la actuación a desarrollar, no obstante las distintas aportaciones desarrolladas desde la diversidad de modelos existentes pueden ser sistematizadas en los siguientes apartados: 1. Perspectiva sobre la que se asientan (holística-ideográfica, inductiva-deductiva...), 2. Tipo de elementos/variables sobre las que intervienen, 3. Operativización de variables, 4. Utilización de diseños específicos (experimentales, cuasi-experimentales, selectivos, de confección propia), 5. Métodos de recogida de datos, 6. Metodología cualitativa/cuantitativa de análisis, 7. Técnicas de análisis empleadas, 8. Tipo de incidencia en el proceso evaluativo. Con todo lo expuesto se observa el claro trasfondo de recursos metodológico necesarios que conlleva todo el proceso evaluativo. Es por ello que el presente artículo ha pretendido exponer un planteamiento de diseño de evaluación general en el que enmarcar la secuenciación de una serie de fases que sirvan de punto de referencia en el establecimiento de unas pautas de actuación dentro del proceso evaluativo que a menudo no son percibidas con claridad desde la intervención real –sin entrar a valorar qué desarrollos teóricos óptimos pueden fundamentar la intervención sobre determinados elementos/variables o qué aportaciones metodológicas favorecen de mejor forma del proceso evaluativo, al considerar que tal enjuiciamiento está mediado por 1a casuística concreta del ámbito de intervención –. Por último sólo reseñar que el objetivo de cualquier programa de evaluación es el de aportar una información lo más útil posible (válida y fiable) para la optimización de los escasos recursos con los que a menudo se cuenta en intervención social. No obstante se ha de tener presente en todo momento la doble vertiente del problema que nos atañe: “Desde el ámbito de actuación profesional, no caer en el rigor estricto de la «cientificidad» es decir, aunque se persiga estructurar racionalmente nuestro ámbito de estudio ejerciendo el mayor grado de control posible en las intervenciones ejecutadas, no se puede obviar que se actúa sobre en un medio de trabajo con casuísticas concretas y al mismo tiempo inestable por lo que se ha de tender al difícil equilibrio rigor científico-praxis sin considerar ambas perspectivas como antagónicas por naturaleza.” (Cook, 1981). Desde el contexto en el que se produce, nos estamos refiriendo a un ámbito de intervención en el que la decisión política juega un importante papel en la continuidad que pueda tener una determinada actuación, desde esta circunstancia y sin olvidar que se persigue la obtención de unos resultados lo más rigurosos posibles, se han de tratar de resaltar los aspectos positivos que implicará el desarrollo del programa de evaluación, como por ejemplo la optimización de recursos, el poner de manifiesto la buena gestión realizada por el equipo 118 S. Chacón Moscoso, J. López Ruiz y J. A. Pérez Gil Metodología de la evaluación de programas en servicios sociales Apuntes de Psicología, 2012, Vol. 30 (1-3), 30 años de Apuntes de Psicología, págs. 111-118. administrativo...) en base a los cuales poder acceder a aspectos no tan favorables del mismo, entendiéndolos como aspectos concretos que enfatizarían aun más los logros alcanzados y no como resultados negativos directos del desarrollo del programa. Estos aspectos han sido tratados por Palumbo y Nachmias (1983) planteando una coordinación de lo que ellos denominan evaluación política y evaluación sinóptica. Esta problemática podrían ser solucionada si meditamos en el esquema de flujograma de servicio presentado en la figura 2 en el que aparece la casilla de coordinación interprogramas compuesta por los representantes de las distintas partes integrantes en el proceso de intervención, lo que supone una óptima situación de discusión y consenso de las actuaciones a desarrollar. Referencias Alvira, F. (1985). La investigación evaluativa: una perspectiva experimentalista. Revista Española de Investigaciones Sociológicas, 29, 129-141. Anguera, M.T. (1989). Innovaciones en la metodología de evaluación de programas, Anales de la Psicología (número monográfico), 5, 13-42. Blanco, A., & Chacón, F. (1985). Evaluación de la calidad de vida. En J.F. Morales, A. Blanco, C. Huici, & J.M.Fernández (Eds.), Psicología social aplicada (pp. 183-210). Bilbao: Descleé de Brouwer. Bloom, B.S., Hastings, J.T., & Madaus,G.F. (1971). Handbook of Formative and Summative Evaluationof Student Learning. Nueva York: McGraw-Hill. Campbell, D.T. (1982). Can we be scientifics in applied social science? Comunicación presentada en The Annual Meeting Educational Research Association. (Reimpreso en R.F. Conner, D.G. Altman, & C. Jackson (1984), Evaluation Studies Review Annual, 9, 26-48. Campbell, D., & Stanley, J. (1966). Experimental and Quasi- Experimental Designs for Research. Chicago: Rand Mcnally Company. Clemente Díaz, M. (1989). Metodología de investigación de los problemas psicosociales: la investigación sobre evaluación de las intervenciones psicosociales. Revista de Psicología Social, 1, 85-109. Cook, T.D. (1981). Dilemmas inevaluation of social programs. En M.B. Brewer, & B.E. Collins (Eds.), Scientific Inquiry and the Social Sciences. A volumen in honor of Donald T. Campbell (pp. 257-287). San Francisco: Josey-Bass. Cook, T. D. (1988). Theories of Program Evaluation: A Short History. Psychological Assesment, 4 (1), 3-29. Cook, T.D., & Campbell, D. (1979). Quasi Experimentation. Desings and Analyses Uses for Fields Settings. Boston: Houghton Mifflin. Cronbach, L. (1982). Designing Evaluations of Educational and Social Programs. San Francisco: Jossey-Bass. Chacón, F., Barrón, A., & Lozano, M.P. (1988). Evaluación de necesidades. En A. Martín, F. Chacón, & M. Martínez (Eds.), Psicología comunitaria (pp. 109-139). Madrid: Visor. Fernández-Ballesteros, R. (1987). Ciencia, ideología y política en evaluación de programas. Revista de Psicología Social, 3, 159-181. Fernández-Ballesteros, R. (1989). Evaluación en servicios sociales. Papeles del psicólogo. Revista del Colegio Oficial de Psicólogos, 41/42, 83-90. García, G. (1988). Los centros de servicios sociales. Madrid: Consejo General del Colegio Oficial de Diplomados en Trabajo Social y Asistentes Sociales. Guba, E., & Lincoln, Y. (1985). Effective Evaluation. San Francisco: Jossey-Bass. Herman, L. (Ed.), (1987). Program Evaluation Kit (2ª Edic.). Beverly Hills: Sage Publications. Ketiner, P., Moroney, R.M., & Martin L.L. (1990). Designing and Managing Programs: An Effective Approach. Londres: Sage Publications. MacDonald, B. (1971). The Evaluation of the Humanities Curriculum Project: A Holistic Approach. Theory into Practice, 10 (3), 163-167. Madaus, G., & Stufflebeam, D. (Comps.), (1989). Educational Evaluation, Classic Works of R. W . Tyler. Boston: Kluwer Academic. Palumbo, D.J., & Nachmias, D. (1983). The Preconditions for Successful Evaluation: Is there an Ideal Paradigm? Policy Sciences, 16, 67-79. (Reimpreso en R.F. Conner, D.G. Altman, & C. Jackson (Eds.), (1984), Evaluation Studies Review Annual, 9, 102-114). Rossi, P.H., & Freeman, H.E. (1985). Evaluation: A Systematic Approach (3ª Ed.). Beverly Hills: Sage Publications. Scriven, M. (1974). Pros and Cons about Goal-Free Evaluation. Evaluation Comment, 3, 1-4. Scriven, M. (1983). Evaluation Ideologies. En G. Madaus (Ed.), Evaluation Models: Viewpoints on Educational and Human Services Evaluation (pp. 229-260). Boston: Kluwer-Nijhoff Publishing. Stake, R. (1975). Evaluating the Arts in Education: A Responsive Approach. Ohio: Merril-Palmer. Stern, N.B. (1982). Diagrama de flujo: Manual de lógica para computadoras. Mexico: Limusa. Stufflebeam, D. (1985). Stufflebeam’s Improvement Oriented Evaluation. En D. Stufflebeam, & A. Shinkfield (Eds.), Systematic Evaluation (pp. 151-207). Boston: Kluwer Academic. Stufflebeam, D., & Webster, W. (1980). An Analysis of Alternative Approaches to Evaluation. Educational Evaluatíon and Policy Analysis, 3 (2), 5-19. Wolf, R. (1979). The Use of judicial Evaluation Methods in the Formulation of Education Policy. Educational Evaluation and Policy Analysis, 2 (2), 19-28.