Validez de la evaluación en intervención psicosocial: un análisis metodológico

Intervención Psicosocial, 1998, Vol. 7, N.° 3 - Págs. 407-425 I N T E RVENCION PSICOSOCIAL 4 0 7 Validez de la evaluación en intervención psicosocial: Un análisis metodológico. Evaluation validity in psychosocial intervention: a methodological analysis. Salvador CHACON MOSCOSO José LOPEZ RUIZ Universidad de Sevilla RESUMEN En el presente trabajo se justifica la limitación que supone entender la validez como pro - ducto derivado de la perspectiva experimentalista de diseño en el ámbito de la evaluación de programas. Por contra, se plantea la noción de validez como un proceso de interre l a c i ó n e n t re programa de intervención y planes de evaluación, donde se precisa un re f e rente claro de intervención enmarcado en un contexto y con la implicación directa de todos los partici - pantes en el proceso evaluativo. Una aplicación de esta concepción de validez se describe esquemáticamente en el proceso de evaluación seguido en el Servicio de Infancia y Familia de la Diputación Provincial de Sevilla. En la misma, y con objeto de potenciar la utilidad-vali - dez del proceso evaluativo, a través de replicaciones sucesivas se logró estructurar un pro - grama de intervención-global válido para el conjunto de las comunidades infantiles que com - ponían el Servicio. PALABRAS CLAVE Validez, programa de intervención, evaluación de programas. ABSTRACT This study justifies the limitation to apply the definition of validity as a product of the experimental perspective of design in the context of program evaluation. Instead, this paper introduces the notion of validity as an interrelational process between the intervention pro - gram and the evaluation plans. The necessity to define a clear referent of the intervention program and its context, and to foster practitioners involvement is also enhaced. An appli - cation of this validity notion in the evaluation process of an Infant Service is briefly descri - INVESTIGACIONES APLICADAS Al revisar las distintas concepciones existentes sobre evaluación de programas en intervención psicosocial nos encontramos con una amplia diversidad de planteamient o s ; a pesar de ello, como factor común se observa un énfasis en la necesidad de obtener una información de calidad y útil s o b re un determinado programa de intervención para estimar el mérito o valor de dicho programa (Aguilar y Ande-Egg, 1992; Cohen y Franco, 1992; Ve d u n g , 1993; Fernández del Valle, 1996). Un proceso evaluativo válido consiste pre c i s amente en cómo obtener una inform a c i ó n de calidad sobre el programa de intervención, y si se puede ampliar o extrapolar dicha información más allá de la situación en la que se desarrolla la intervención. Desde esta situación, con objeto de aportar una visión comprehensiva del estado de la cuestión, en este trabajo se p r esenta un análisis metodológico de la evaluación centrado fundamentalmente en la necesidad de obtener inform a c i ó n válida a lo largo de todo el proceso evaluativo en intervención psicosocial. Es decir, la línea directriz de este trabajo es que mediante un programa de evaluación se persigue obtener información de calidad s o b re un determinado programa de intervención psicosocial. La idea de obtener información de calidad sobre un determinado objeto ha de ser traducida a datos sistemáticos y válidos obtenidos desde la metodología científica. En síntesis, al evaluar se habrá de plantear la recogida de información de una serie de variables previamente delimitadas y medibles, a partir de lo cual poder lograr los efectos deseados; por ejemplo, no sería planteable la evaluación del impacto de un determinado programa de atención a personas de la tercera edad sin tener delimitadas las variables sobre las que hemos actuado y los resultados que esperamos obtener (Medina, 1996). Mediante el análisis metodológico que a continuación se presenta se especificarán aquellos elementos que consideramos relevantes para el logro de la validez en la información evaluativa obtenida a lo largo de todo el proceso de intervención psicosocial. El objetivo final es aportar referentes para el profesional en intervención a la hora de optar por las distintas variantes que se le presentan en el continuo proceso de toma de decisiones característico del medio social. Con todo ello, se plantearán las implicaciones sustantivas que este marco de análisis metodológico de la validez evaluativa ha tenido en el desarrollo de un programa de atención a la infancia, desarrollado en los Servicios de Infancia y Familia de la Diputación Provincial de Sevilla. Validez de la evaluación en Intervención Psicosocial: Un análisis metodológico. 4 0 8 I N T E RVENCION PSICOSOCIAL bed. The aim of this application was to allow a valid and useful evaluation process. At the end, after sucessive replications, a valid intervention and evaluation program was desig - ned for the whole infant communities of the Service. KEY WORDS Validity, intervention program, evaluation program. Validez y evaluación de programas En este primer apartado nos centraremos en los planteamientos de los pre c u rs o r es y autores más influyentes en el concepto de validez aplicado a la evaluación de programas de intervención como son Campbell y Stanley (1966), Cook y Campbell (1979), y Cronbach (1982). A partir del trabajo original de Campbell y Stanley (op.cit.) se introdujo la distinción e n t re validez interna y externa, base en la que se sustentaban los modelos objetivistas de los sesenta en los que se interpre t a - ba cómo la implantación de un pro g r a m a de intervención provocaría un determ i n a d o impacto social (validez interna), así como la generalización de tales impactos causados por tales programas a otros contextos de intervención (validez extern a ) . P o s t e r i o rmente Cook y Campbell (1979) s u b d i v i d i e ron las dos clases de validez planteando que se realizan distintos tipos de juicios; de esta forma al estudiar si dos variables covarían tal y como fueron operacionalizadas se estaría planteando la denominada validez de conclusión estadística; por otra parte, si dicha covariación es causal haría re f e rencia a la validez interna; al referirse a la manera en que deberían etiquetarse las variables de tratamiento y resultados operacionalizadas, se plantearía la validez de constructo; y finalmente a qué personas, contextos y momentos se generalizan las relaciones estudiadas haría re f e rencia la validez externa. Es decir, los a u t o res llamaron la atención sobre la necesidad de distinguir entre el plano formal del análisis y el sustantivo de las teorías o planteamientos que se usan para decidir sobre qué variables incidir en los p rogramas de intervención. Por tanto además de conocer si un programa ha tenido un determinado impacto (validez interna) y si este impacto puede generalizarse o extrapolarse a otras situaciones (validez externa), es necesario tener certeza de que efectivamente se ha dado esa relación entre las variables estudiadas (nivel formal de análisis) y de que además se han elegido dichas variables desde d e t e rminados planteamientos (nivel conceptual) para poder extrapolar los re s u l t ados a situaciones similare s . P o s t e r i o rmente, Cronbach (1982) propuso un esquema de validez altern a t i v o basado en los elementos que constituyen la inferencia que el investigador desea extraer del estudio. El autor distingue e n t re unidades, tratamientos, operaciones de observación, y contexto espacio-tempo- ral (con sus iniciales forma el acrónimo “utos”). Cada uno de estos elementos los d i f e rencia en tres niveles distintos, UTOS -población re f e rente de dichos elementos-, utos -muestra de dicha población-, y UTOS*-UTOS diferenciales a los que se p retende generalizar los resultados del e s t u d i o - . En este esquema Cronbach concibe la validez interna, de forma similar a la validez externa de Cook y Campbell, es decir las transferencias de los utos a los UTOS. Por otra parte entiende la validez extern a como las implicaciones que se puedan extraer acerca de los *UTOS. El autor da mucha mayor importancia, en este caso, a la validez externa ya que enfatiza que el p ropósito primario de la evaluación es servir a las necesidades de los re s p o n s a b l e s de las tomas de decisión, más que a los i n v e s t i g a d o res encargados de realizar el estudio (Cronbach, 1982; Shapiro, 1982). A partir de estos planteamientos iniciales nos encontramos con otros desarro l l o s en los que se intentaban presentar una perspectiva más global de la pro b l e m á t i c a (Campbell 1986; Cook, Campbell y Perrachio, 1990; Cook y Shadish, 1994). En esta misma línea, en un intento de sintetizar las distintas tipologías de validez en una serie de “atributos integradores” han a p a recido trabajos como los de Brinberg y McGrath (1982) o el de Mark (1986) donde plantean como los tipos de validez enfatizan el predominio de unos determ i n a d o s Salvador Chacón Moscoso y José Lopéz Ruiz. I N T E RVENCION PSICOSOCIAL 4 0 9 principios comunes -similitud, corre s p o ndencia, robustez, valor y explicitación-. Sería prolijo detallar el significado de cada uno de los términos anteriores y en principio, debe bastar conocer que son elementos de validez que pueden y deben estar p r esentes en el contexto de una intervención y por tanto, elementos de evaluación de la validez. Esta multiplicidad de variantes re sponden a una realidad en la se ha dado una dicotomización entre los estudios experimentales rigurosos (basada fundamentalmente en el principio de manipulación de los agentes causales; Cook y Campbell, 1986) y otros tipos de estudios de supuesto menor rigor. Ello ha p rovocado un énfasis en la validez interna de los estudios experimentales fundamentalmente con infravaloración de la validez externa, para destacar en cambio esta última forma de validez en el re s t o de estudios donde se enmarcaría la evaluación de programas de intervención, en los que las amenazas de validez interna son más frecuentes al carecer del c o n t rol que brinda la manipulación e x p e r i m e n t a l . Este énfasis en un tipo u otro de validez ha provocado posiblemente que los pro f esionales de los distintos ámbitos en intervención psicosocial centraran su pre o c u - pación en determinados “clichés” al re f erirse a la validez evaluativa, lo que ha impedido avanzar suficientemente en el d e s a r rollo de la validez evaluativa como p r oceso único. En el presente trabajo enfatizamos cómo las características del proceso de evaluación de programas nos han de llevar a manejar conjuntamente los atributos globales mencionados anteriorm e n - te, de tal forma que no se planteen los distintos tipos de validez como inamovibles, sino más bien que se de una interacción de dicha diversidad conforme se vaya desarrollando el proceso de evaluac i ó n . Elementos definitorios de la validez en evaluación de programas En este apartado pre s e n t a r emos los elementos que sirvan de punto de re f e re n c i a para el logro de la validez en el desarro l l o de un programa de evaluación, intentando fundamentalmente no relegar a un segundo término los estudios no experimentales, y poniendo de manifiesto como los objetos de estudio evaluativo pueden ser tanto conceptos relacionales como variables aisladas. Un objeto de estudio puede existir al m a rgen del investigador/evaluador, pero no puede ser conocido al margen de éste; de ahí que re f e r i rnos a las características de los objetos de estudio de los investigad o re s / e v a l u a d o res equivale a hacerlo de lo que éstos consideran como tales. Lo que o c u r re en la realidad social no es descriptible sino según los conceptos determ i n ados, como los de los sociólogos, pedagogos, economistas, educadores sociales, psicólogos, etc, de ahí que en una misma situación puedan existir diferentes interp r etaciones, tantas como conceptos re f erentes utilicemos. Al tratar el tema de la validez nos hemos estado refiriendo a la característica fundamental de la ciencia que es la selección de conceptos con el mayor grado de corre cción posible, es decir con validez. En términos globales el “macroconcepto de validez científica” se re f i e re, por tanto, a la medida en que se de una corre s p o n d e n c i a de similitud entre las características del concepto planteado y los datos obtenidos s o b re dicho concepto. Dicha corre s p o ndencia en el caso ideal sería de identidad ( M o reno, Martínez y Chacón, 1995). Evaluar con validez la eficacia de un p r ograma de atención a disminuidos psíquicos o de integración social de inmigrantes norte-africanos, implicará tener delimitado con claridad el re f e rente conceptual utilizado por los pro f e s i o n a l e s implicados en ambos programas de inter- Validez de la evaluación en Intervención Psicosocial: Un análisis metodológico. 4 1 0 I N T E RVENCION PSICOSOCIAL vención psicosocial, para a partir de dichos re f e rentes recoger datos de los ámbitos de intervención y analizar si se da identidad o semejanza entre dichos datos y el re f e rente planteado. Con el planteamiento de validez re a l i z ado se considera que la validez de un concepto está relacionada con los datos o evidencias utilizadas, o viceversa. De esta f o rma, no puede ser considerada al margen de la correspondencia planteada. Los conceptos de re f e rencia y las evidencias no son válidos por sí mismos. Por tanto la validez de unas evidencias dependerán del re f e rente conceptual que utilicemos, de ahí que dicha validez dependa dire c t amente del nivel de especificación al que se haya llegado en la definición del concepto re f e re n t e . La línea argumental desarrollada nos p e r mite entender la frecuente re c o m e n d ación en ciencia de que para obtener datos válidos ha de delimitarse adecuadamente lo que se desea estudiar. Es decir, tal y como lo hemos planteado, que las evidencias obtenidas sean re p resentativas (validez externa) y no presenten confusiones (validez interna) con respecto a los elementos definitorios del concepto de re f e re n c i a . No obstante, dada la complejidad de la mayoría de conceptos planteados, es lógico entender que no se pueda dar seguridad absoluta a la validez de un estudio por la p r opia definición relativa del térm i n o . Llegados a este punto nos encontramos ante un bucle cerrado, es decir empezamos enfatizando la necesidad de obtener i n f o rmación válida para acabar matizando que esas garantías de validez no pueden establecerse a no ser que se establezca con nitidez el re f e rente conceptual, y a su vez la validez de dicho re f e rente vendrá dada por su correspondencia con la información obtenida. Este proceso nos lleva al modelo en que se enfatiza como la evaluación ha de estar guiada desde la teoría (Chen y Rossi, 1987; Lipsey y Pollard , 1989; Chen, 1990). El logro de la validez en evaluación de programas Al evaluar un programa de intervención hacemos re f e r encia al proceso de obtención de información válida sobre un determinado programa de acción social, para el l o g ro de los efectos que se estimen oportunos. Básicamente, un programa de intervención psicosocial re p resenta un modelo en el que, tras haberse estudiado la re a l i d a d objeto de intervención, se han de clarificar las posibles relaciones existentes entre un conjunto de actividades y el logro de unos resultados predefinidos, considerando unos medios disponibles (tanto humanos como materiales), según el punto de vista de las personas implicadas (ya sean políticos, profesionales, usuarios, ..., o un conjunto de ellos), en el contexto de intervención estudiado y dentro del marco de algún planteamiento teórico -explícito o no- (Struening y Bre w e r, 1983; Rossi y F reeman, 1985; Herman, Morris y Fitz- Gibbon, 1987). En realidad, explicitar en la mayor medida posible la “lógica” del programa se traduce en el estudio inicial de los supuestos que gobiernan la determinación de una serie de objetivos a cubrir mediante una serie de actividades con unos antecedentes, recursos materiales y humanos determ i n ados, es decir su fundamentos teóricos. Este hecho ha sido planteado por algunos autores como la valoración de la evaluabilidad del programa (Rutman, 1980; Wholey, 1987), es decir los requisitos mínimos a cumplir por un programa de intervención para poder ser evaluado. Por lo tanto, tal y como señala Bickman (1987) se hace necesario el tener unos objetivos definidos y medibles, así como la traducción del modelo de intervención a una base lógica que justifique esperar determinados efectos de una serie de actividades pre p ro g r a m a d a s . En definitiva para poder llegar a establecer si un programa ha logrado los efectos perseguidos se habrá de tener claro a qué pro- Salvador Chacón Moscoso y José Lopéz Ruiz. I N T E RVENCION PSICOSOCIAL 4 1 1 grama nos estamos refiriendo (McClintoch, 1 9 8 7 ) . Hasta este momento estamos enfatizando la necesidad de describir un pro g r a m a de intervención-concepto de re f e re n c i a - complejo, tanto en la variedad de tipos de variables que contiene (de sujetos, de medio o de factores utilizados para re a l i z a r la evaluación), como en la variedad de posibles relaciones que se dan entre ellas. Además, para llegar a la delimitación deseada del re f e rente conceptual es necesario considerar el complejo contexto sociopolítico que lo delimita. De ahí que al re f e r i r nos a un p r ograma de intervención, habremos de definir de igual forma el contexto en el que se enmarca, ya que no es posible entender un programa al margen del mismo (Cordray, 1989; Patton, 1989; Shapiro, 1989). Considerar un contexto u otro implicaría como resultado un programa de intervención u otro (se definirían variables distintas, aplicadas sobre distintos sujetos, en distintas estructuras org a n i z a c i o n a l e s , mediante otros procedimientos de implementación adaptados al medio, etc.); por todo esto, como concepto de re f e rencia se debe contemplar no sólo al programa en sí, sino también a su contexto delimitador, de ahí que el concepto de re f e rencia en un p r ograma de evaluación ha de ser traducido a un todo, integrado por el pro g r a m a de intervención y el contexto en el que se i n s e r t a . Llegados a este punto consideramos relevante resaltar cómo, en tanto que un p rograma de evaluación consiste en el diseño de una serie de estrategias dirigidas a la obtención de información válida acerca de un programa de intervención enmarcado en su contexto delimitador, es necesario tener certeza de que efectivamente dicho re f e rente conceptual (pro g r a m a - c o n - texto) está siendo implementado tal cual ha sido conceptuado, ya que de otra form a no habría seguridad alguna de que la i n f o rmación recogida re p resente a dicho p rograma de intervención re f e r ente (Scheire r, 1987; Shalock y Thornton, 1988; Chacón, López Ruiz y Pérez Gil, 1995). Ello pretende poner de manifiesto cómo el equilibrio pretendido entre el pro g r a m a diseñado y el programa realmente ejecutado e implementado se centra básicamente en los sujetos o implicados en la re a l i z a - ción, diseño e implementación del pro g r ama desde el momento inicial en que se empieza a plantear el programa de interv e n c i ó n . Por tanto, y de acuerdo con lo planteado respecto a la delimitación del “pro g r a m a - contexto”, además de lograr una delimitación conceptual clara del programa de intervención, se ha de potenciar que todos los participantes en dicho programa (en tanto elementos implicados tanto en el programa) asumen el diseño planteado, para con ello facilitar en la mayor medida posible la válida implementación de lo pro g r amado. Este último argumento es el que lleva de una forma bastante general a asumir que toda evaluación debe tener pre s e nte los distintos agentes relevantes en el programa de intervención, lo cual se puede traducir a la utilización que se realiza de los resultados (Vedung, 1993; 1995). En síntesis y antes de pasar a describir las implicaciones que este análisis metodológico de la validez ha tenido en una aplicación concreta, conviene enfatizar la idea d e s a r r ollada anteriormente de que la validez debe conceptualizarse como proceso en la i n t e r relación entre programas de intervención y planes de evaluación donde se tenga una delimitación conceptual clara de lo que se estudia, de las operaciones del diseño y de la implicación de los participantes. VALIDEZ DE LA EVALUACIÓN DE UN SERVICIO DE ATENCIÓN A LA INFANCIA DESDE UN MARCO METODOLÓGICO DE ANÁLISIS Seguidamente, tal y como se anunció en la introducción del trabajo, se plantearán Validez de la evaluación en Intervención Psicosocial: Un análisis metodológico. 4 1 2 I N T E RVENCION PSICOSOCIAL las implicaciones sustantivas que el análisis metodológico de validez en el pro c e s o evaluativo ha tenido en el desarrollo de un p r ograma de atención a la infancia en los Servicios de Infancia y Familia de la Diputación Provincial de Sevilla. Este trabajo de campo se realizó en el marco de un Convenio de Colaboración establecido e n t re la Diputación Provincial de Sevilla y la Universidad de Sevilla. Una breve descripción del Servicio. En términos generales, el Servicio de Infancia podría describirse como un servicio social especializado dependiente de la Diputación Provincial dedicado al acogimiento y atención de niños sin hogar f a m i l i a r. Este servicio cuenta con un conjunto de comunidades infantiles distribuidas por distintos pueblos de la pro v i n c i a de Sevilla. Además del personal administrativo, el servicio de infancia cuentan con una dirección, encargada fundamentalmente de establecer las directrices de trabajo emanadas desde la Diputación Provincial, que posteriormente ejecuta el “ c o o rdinador” de comunidades infantiles, e n c a rgado de organizar las actuaciones de las comunidades siguiendo tales dire c t r ices, y por último un grupo de técnicos (una pedagoga, tres psicólogos, dos trabaj a d o res sociales) encargados de asesorar y apoyar el trabajo de las comunidades. Las comunidades infantiles podrían definirse como pequeños núcleos de convivencia para menores con una pro b l e m ática socio-familiar grave y con unas perspectiva de estancia prolongada en el tiempo (Peral, 1994). El objetivo general que se persigue en las comunidades es la vuelta del menor a su medio, dotándole de re c u rsos para su desarrollo y autonomía personal, potenciándose con ello una adecuada integración social, e incluso la autonomía personal si se diera el caso. La pro c e d e ncia de los menores, con “necesidad de protección” por parte de la administración pública, acogidos por el Servicio de Infancia es principalmente la provincia de Sevilla y provincias colindantes. Cada comunidad infantil se compone de un grupo de e d u c a d o res y amas de hogar coord i n a d o s por un responsable de la unidad, encarg ado de las comunicaciones Co m u n i d a d - Servicio de infancia, además de la coord i - nación intracomunidad. Fases del proceso evaluativo d e s a r ro l l a d o Delimitación de los objetivos evaluativos ( re f e r ente conceptual) En el primer contacto con el servicio de infancia, al solicitar documentación sobre las intervenciones en ejecución, nos encontramos con que no existía inform a - ción formalmente estructurada de los programas de intervención en desarrollo en las distintas comunidades infantiles. Siguiendo los criterios desde los que se establece la evaluabilidad de un pro g r a m a (Rutman, 1980; Wholey, 1987, Fern á n d e z B a l l e s t e ros, 1995) se debería haber desistido del intento de evaluar el Servicio, al no disponerse del mínimo indispensable, es decir un programa de intervención sistemático previamente planificado que haya sido implementado siguiendo ese diseño previo. Este plantemiento de falta de evaluabilidad es aplicable a un tipo de evaluación final o de resultados. Lógicamente esa sería la situación ideal en cualquier ámbito de intervención comunitaria, pero el caso descrito no impide necesariamente desarro l l a r una evaluación con validez en tanto que, la evaluación no ha de ser entendida de form a exclusiva como la fase final de recogida de una serie de datos para valorar los re s u l t a - dos obtenidos por el programa implementado. Más bien el proceso evaluativo supone un desarrollo paralelo al programa de intervención que lo complementa y optimiza mediante el aporte continuo de una información válida durante el proceso mismo de intervención (Conner, 1984; Chacón y López Ruiz, 1993, 1995). Por todo ello, la Salvador Chacón Moscoso y José Lopéz Ruiz. I N T E RVENCION PSICOSOCIAL 4 1 3 casuística descrita se puede contemplar como una de las posibles existentes en el p r oceso evaluativo, es decir la evaluación de la conceptualización y diseño de un programa. Desde esta realidad, el objetivo plantea - do en el trabajo fue el desarrollo de una evaluación de la conceptualización y del diseño de un programa de intervención glo - bal válido para el conjunto de comunidades infantiles, y por tanto que respondiera a las actuaciones ya en ejecución en las dis - tintas comunidades, con objeto de poten - ciar la utilidad-validez del proceso evaluati - vo, siguiendo el modelo de participación de los implicados de Vedung (1993) (conocido a veces como el modelo sueco de evalua - c i ó n ) . Con objeto de potenciar la participación de todos los implicados en la delimitación del re f e rente evaluativo planteamos dos t a reas. Por un lado, recoger y analizar i n f o rmación en dos protocolos, de tipo abierto, acerca de distintas áreas globales de trabajo; y por otro lado se conformó un grupo nominal de trabajo, en el que se debatiera y consensuaran los elementos comunes de los programas de trabajo en d e s a r rollo en las distintas comunidades desde los criterios de dichos pro f e s i o n a l e s . El empezar a delimitar los objetivos evaluativos desde la información recogida en tales re g i s t r os se basa en el principio de utilidad-validez planteado anteriorm e n t e . Es decir, el fomento de la participación de los implicados en el proceso de intervención-evaluación parte del conocimiento de cuáles son las actuaciones realmente en ejecución en el Servicio. Este dato es de gran interés ya que aunque se fomente la participación de todos los implicados, con objeto de lograr una efectiva implementación de lo programado, esta participación se vuelve más comprometida al disponerse de información re f e r ente de las intervenciones realmente en ejecución, de tal f o rma que se facilita el diseño de un programa de intervención-evaluación ajustado a la realidad y no un mero documento f o rmal más que se ha de cumplimentar. Una vez analizada la información sobre las áreas globales de intervención, se conf o r mó un grupo nominal de trabajo en el que se consensuaran los elementos comunes de los programas de trabajo en desar r ollo en las distintas comunidades del servicio (El grupo nominal es un “método para estructurar pequeños grupos de trabajo que permite una efectiva agrupación de juicios individuales y que se suele utilizar en situaciones en las que se da un alto grado de incertidumbre o desacuerdo acerca de la naturaleza de un problema y sus posibles soluciones”; Moore, 1987; p.24). Dicho grupo estuvo compuesto por los c o o rd i n a d o r es de las distintas comunidades infantiles y los técnicos del Servicio central, moderado por el primer autor del p resente trabajo. Se decidió dar esta conf o rmación a los grupos de trabajo debido a que estas personas re p resentaban los elementos dinamizadores de posibles cambios en la estructura de funcionamiento del Servicio, y al mismo tiempo disponían de información fidedigna de las actuaciones re a lmente desarrolladas en las comunidades, funcionando como portavoces de las posibles necesidades existentes en los distintos ámbitos de actuación del Servicio. En esta primera fase por tanto, se enfatizó a los miembros responsables del Servicio cómo la validez de dicho pro g r a m a global de intervención se sustenta en la participación de los implicados en el proceso de intervención (Weiss, 1983; Brandon, Newton y Harman, 1993); en definitiva los resultados obtenidos serán válidos en tanto útiles en las intervenciones en ejecución (Patton, 1989; Vedung, 1995). Una vez planteado y consensuado dicho objetivo general, cada uno de los miemb r os del grupo hacía una exposición del trabajo que se venía desarrollando en su comunidad concreta, para posteriorm e n t e pasar a debatir y consensuar en el grupo los elementos comunes de los pro g r a m a s Validez de la evaluación en Intervención Psicosocial: Un análisis metodológico. 4 1 4 I N T E RVENCION PSICOSOCIAL de trabajo en desarrollo en las distintas comunidades, que al mismo tiempo se considerasen relevantes en una primera a p roximación al mencionado programa de intervención global válido para el Servicio en su conjunto. Como resultado de estas sesiones de trabajo se plantearon una serie de objetivos globales y específicos a contemplar en el programa marco de intervención para el Servicio al completo, y que sería tomado como re f e rente para el diseño de las intervenciones particulare s con cada menor. Antes de pasar a describir la evaluación de la validez de dicho programa marc o m e r ece la pena realizar una serie de comentarios previos. En primer lugar resaltar que el diseño de los objetivos del p r ograma se basa en la práctica que un grupo de profesionales venía re a l i z a n d o antes de plantearse el proceso de evaluación (al llegar al servicio no existía información formal de las actuaciones en desar rollo). El modelo teórico en el que se basa el diseño del programa de evaluación es el modelo de evaluación basado en la participación de los implicados (Vedung, 1993), a c o rde con el trabajo de Brandon, Newton y Harman (1993). El planteamiento diseñado se basa en los principios de validez expuestos. Esto es, antes de plantear una alteración en las actuaciones ya implementadas de acuerdo con algún modelo teórico determinado, es necesario evaluar con el mayor grado de validez posible lo que se esté implementando, y para ello se hace necesario la participación de los implicados, en tanto son concocedores de las actuaciones que realmente se llevan a c a b o . Evaluación de la validez del pro g r a m a m a rco de intervención en las distintas comunidades infantiles. El estudio de la validez del pro g r a m a m a rco diseñado suponía estudiar en cada comunidad si efectivamente dicho pro g r ama de intervención recogía todos los elementos globales de sus intervenciones, y si además había sido conceptualizado de la misma manera. Por otra parte, se hacía necesaria la elaboración de algún sistema de re g i s t r o re p r esentativo de dicho pro g r a - ma global, en tanto se pretendía disponer de datos referidos a la implementación del p rograma en cada comunidad que pudiesen ser agrupados y comparados (en tanto re f e rentes a un mismo programa de intervención, permitiéndose con ello una posible triangulación cruzada en los datos). En este sentido, nuestro diseño de evaluación partió de una concepción no normativa de diseño evaluativo (Anguera, 1992, 1995) al ser entendido como el proceso global de intervención-evaluación y no como algunas partes concretas de dicho p r oceso, de ahí que planteemos el concepto de evaluación como un continuo, es decir, un proceso recursivo de diseño/implementación del programa y recogida continua de datos que lo modula. Tomando como re f e rente la evaluación de la conceptualización y diseño del programa marco, el presente trabajo también a b o rdó el problema de la evaluación de la implementación coordinada de dicho programa global en las distintas comunidades (en tanto puedan integrarse las actuaciones particulares de cada comunidad en dicha estructura global de intervención), así como una evaluación del logro de los objetivos globales predefinidos (re s u l t a d o s obtenidos), mediante sistemas de re g i s t ro s válidos a nivel del Servicio en su conjunto ( C o n n e r, 1984). Antes de pasar a describir y arg u m e n t a r las fases del diseño ejecutadas, consideramos relevante resaltar que la finalidad del trabajo, como logro de validez, se basaba en el consenso tanto en la delimitación de los objetivos globales y específicos de trabajo en distintos contextos de intervención (distintas comunidades infantiles ubicadas en distintos pueblos de la provincia de Sevilla), como en su corre s p o n - Salvador Chacón Moscoso y José Lopéz Ruiz. I N T E RVENCION PSICOSOCIAL 4 1 5 Validez de la evaluación en Intervención Psicosocial: Un análisis metodológico. 4 2 2 I N T E RVENCION PSICOSOCIAL 44. Salvador Chacón Moscoso y José Lopéz Ruiz. I N T E RVENCION PSICOSOCIAL 4 2 3 ANEXO 3. Niveles globales alcanzados en los programas y subprogramas diseñados por el servicio en su conjunto Validez de la evaluación en Intervención Psicosocial: Un análisis metodológico. 4 2 4 I N T E RVENCION PSICOSOCIAL Aguilar, M.J. y Ander-Egg, E. (1992). E v a l u a c i ó n de servicios y programas sociales. Madrid: Siglo X X I . Anguera, M.T. (1992). Diseños diacrónicos en programas de intervención. Bordón, 43 (4), 421- 429. Anguera, M.T. (1995). Diseños. En R. Fernández Ballesteros (Ed.) Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud (pp.149-172). Madrid: Síntesis. Bickman, L. (1987). The functions of program theory. En L. Bickman (Ed.) Using program theory ( p p . 5 - 1 9 ) . San Francisco: Jossey-Bass. Brandon, P.R.; Newton, B.J. y Harman, J.W. (1993). Enhancing validity through beneficiaries’ equitable involvement in identifying and prioritizing homeless children’s educational problems. Evaluation and Pro - gram Planning, 6, 287-293. Brinberg, D. y Mcgrath, J.E. (1982). A network of validity concepts within the research process. En D. Brinberg y L.H. Kidder (Eds.) Forms of validity rese - a r c h (pp. 5-21). San Francisco: Jossey-Bass. Campbell, D.T. (1986). Relabeling internal and external validity for applied social scientists. In W. Trochim (Eds.) Advances in quasi-experimental design and analysis (pp. 67-78). San Francisco: Jossey- B a s s . Campbell, D. y Stanley, J. (1966). Experimental and quasi-experimental designs for research. Chicago: Rand Mcnally Company. Chacón Moscoso, S. y López Ruiz, J. (1993). Metodología de la evaluación de programas de intervención: una aplicación en centros asistenciales infantiles. Apuntes de Psicología, 37, 41-60. Chacón Moscoso, S. y López Ruiz, J. (1995). Metodología de la evaluación de programas de intervención: una aplicación en centros asistenciales infantiles (II). Apuntes de Psicología, 45, 69-89. Chacón Moscoso, S., López Ruiz, J y Pérez Gil, J.A. (1995, Abril) Validez de la evaluación en intervención s o c i a l. Trabajo presentado al IV Symposium de Metodología de las Ciencias del Comportamiento. La Manga del Mar Menor. Murcia. Chen, H. (1990). Theory-driven evaluations. London: S a g e . Chen, H. y Rossi, P.H. (1987). The Theory-driven approach to validity. Evaluation and Programm Plan - n i n g, 10, 95-103. Cohen, E. y Franco, R. (1993). Evaluación de proyec - tos sociales. Madrid: Siglo XXI. Conner, R.F. (1984). The art of implementation. En L. Rutman (Ed.), Evaluation research methods: a basic guide (pp.191-218). Beverly Hills, California: Sage. Cook, T. y Campbell, D. (1979). Q u a s i - e x p e r i m e n t a - tion. Desings and analyses uses for fields settings. Boston: Houghton Mifflin. Cook, T. & Campbell, D. (1986). The causal assumptions of quasi-experimental practice. S y n t h e s e, 28, 1 4 1 - 1 8 0 . Cook, T.D., Campbell, D. & Peracchio, L. (1990). Quasi-experimentation. In M.D. Dunnette, L.M. Hough (Eds.) Handbook of Industrial and organizatio - nal psychology (pp.491-576). Palo Alto, CA: Consult. Psychol. Press. Cook, T.D. & Shadish, W.R. (1994). Social experimentes: some developments over the past fifteen years. Annual Review of Psychology, 45, 545-580. Cordray, D.S. (1989). Optimizing validity in program research: an elaboration of the Chen and Rossi’s theory-driven approach. Evaluation and Program Plan - n i n g, 12, 379-385. Cronbach, L. (1982). Designing evaluations of educatio - nal and social programs. San Francisco: Jossey-Bass. Fernández-Ballesteros, R. (Ed.) (1995). Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud. Madrid: Síntesis. Fernández del Valle, L. (1996). Roles y estrategias en evaluación de programas. Intervención Psicosocial, 14, 9 - 2 1 . Herman, J.L; Morris, L.L. y Fitz-Gibbon, C.T. (Eds.). (1987). Program evaluation kit (2ª Edic.). Beverly Hills: Sage Publications. (9 Vols.). Lipsey, M.W. y Pollard, J.A. (1989). Driving toward theory in program evaluation: more models to choose from. Evaluation and Program Planning, 12, 317- 328. Mark, M.M. (1986). Validity typologies and the logic and practice of quasi-experimentation. En M.K. Trochim (Ed.). Advances in quasi-experimental design and analysis (pp. 47-67). San Francisco: Jossey- Bass. McClintock, C. (1987). Conceptual and action heuristics: tools for the evaluator. En L. Bickman (Ed.) Using program theory(pp.43-58). San Francisco: Joss e y - B a s s . BIBLIOGRAFIA Medina Tornero, M.E. (1996). Evaluación de la calidad asistencial en servicios sociales. Intervención Psi - c o s o c i a l , 14, 9-21. Moreno Rodríguez, R.; Martínez Cervantes, R.J. y Chacón Moscoso, S. (1995). Fundamentos de metodo - logía científica. Apuntes de clase no publicados. Moore, C.M. (1987). group techniques for idea building. Newburry Park, C.A.: Sage Palumbo, D.J. (Ed.) (1987). The politics of program e v a l u a t i o n. London: Sage. Patton, M.Q. (1989). A context and boundaries for a theory-driven approach to validity. Evaluation and Program Planning, 12, 375-377. Peral, R. (1994). Las comunidades infantiles: un recurso socio-educativo para menores en dificultad social. Los Servicios Sociales en la Provincia de Sevilla. Revista informativa del Area de Asuntos Sociales de la Diputación Provincial de Sevilla, 2 , 8 - 1 3 . Rossi, P.H. y Freeman, H.E. (1985). Evaluation: a sys - tematic approach (3ª Edic.). Beverly Hills: Sage Public a t i o n s . Rutman, L. (Ed.) (1980). Evaluation research met - hods: a basic guide. Beverly Hills, California: S a g e . Scheirer, M.A. (1987). Program theory and implementation theory: implications for evaluators. En L. Bickman (Ed.) Using program theory (pp.59-76). San Francisco: Jossey-Bass. Shadish, W.R.; Cook, T. y Levinton, L. (1991). F o u n - dations of program evaluation. New York: Sage Public a t i o n . Shapiro, J.Z. (1982). Evaluation as theory testing: an example from head start. Educational Evaluation and Policy Analysis, 4, 341-353. Shapiro, J.Z. (1989). Contextual limits on validity attainment: an artificial science perspective on program evaluation. Evaluation and Program Planning, 1 2, 367-374. Sechrest, L. y Figueredo, A.J. (1993). Program evaluation. Annual Review of Psychology, 44, 645-674. Struening, E.L. y Brewer, M.B. (Eds.)(1983). H a n d b o - ok of evaluation research. London: Sage. Vedung, E. (1993). Utilización de la evaluación. R e v i s - ta de Servicios Sociales y Política Social,2, 69-80. Vedung, E. (1995). Utilización de la evaluación de programas. En R. Fernández Ballesteros (Ed.) E v a l u a - ción de programas. Una guía práctica en ámbitos sociales, educativos y de salud. (pp.321-338). Madrid: S í n t e s i s . Weiss, C.H. (1983). The stakeholder approach to evaluation: origins and promise. En A.S. Bryk (Ed.) St a - keholder-based evaluation (pp. 3-14). San Francisco: J o s s e y - B a s s . Wholey, J.S. (1987). Evaluability assessment: developing program theory. En L. Bickman (Ed.) Using program theory (pp. 77-93). San Francisco: Jossey- Bass. Salvador Chacón Moscoso y José Lopéz Ruiz. I N T E RVENCION PSICOSOCIAL 4 2 5