Diseños de evaluación de programas: bases metodológicas

La evaluación de programas en sus distintos aspectos, sigue las reglas del método científico, aunque la investigación evaluativa no se reduce a éstas, constituyendo hoy un área específica y separada de la anterior. Esta separación y la formación de un «corpus» propio, se debe a las peculiaridades de la investigación evaluativa, derivadas en primer lugar de su insistencia en los aspectos de valor de los programas (Scriven, 1980); en segundo lugar, la investigación evaluativa se diferencia por su aplicabilidad, tanto desde el punto de vista formativo, proporcionando feedback a los programadores y administradores de los programas (Vedung, 1993, 1996), como en la toma de decisiones sobre los resultados de éstos, su continuidad, modificabilidad, etc. (Weiss, 1983; Wholey, 1987; Martínez–Arias, 1996). Desde este planteamiento entendemos que la evaluación de programas se desarrolla a lo largo de un proceso lógico que sustancialmente no difiere del proceso de investigación en un ámbito aplicado. Se cuenta con una realidad compleja, pero tangible, con programas en que se implementan acciones que a veces no se ajustan al calendario, o que no se ejecutan por igual en todos los sujetos, pero en los cuales el qué, el cómo y el cuándo son registrables. El sector en que se ubica la necesidad, las características del entorno en que se enclava, y la propia naturaleza de la carencia condicionan la amplia casuística de programas, y sobre todo, les imponen fuertes limitaciones que chocan frontalmente con los requisitos que impone el rigor del método científico (Anguera y Chacón, en prensa, a). De fo rma ilustrat iva, podemos pensar en la selección de sujetos. En los manuales metodológicos, y simplificando mu cho, se insiste en la práctica —prácticamente se fuerza a su opción— del mu e s - t reo pro b abilístico si se opta por una vía deductiva, y por tanto, s i e m p re que nos situemos bajo la cobert u ra de un marco teóri c o consolidado. Este mu e s t reo pro b abilístico, por ser equipro b a bl e, además de rep re s e n t at ivo, ¿ga rantizaría el componente de equidad en los potenciales usuarios? En el momento en que bajamos a la a rena de lo cotidiano en evaluación de programas, si tenemos que evaluar un programa domiciliario de atención ge ri á t rica se descarta de entrada una respuesta afi rm at iva, ya que serán los pro p i o s u s u a rios, o sus allegados, o los re s p o n s ables de Servicios Sociales de la zona, los que tratarán de re c abar la adscripción al progra m a . Aquí no cabe de plano el mu e s t reo pro b abilístico (los distintos casos no son equipro bl ables, ni se eligen al azar, y ni siquiera se puede afi rm a r , al menos de fo rma ge n e ral, que sean rep re s e n t at ivos del c o l e c t ivo afectado por la necesidad), independientemente de que exista o no un determinado marco teórico re l at i vo al pro blema y a su pro b able intervención, e independientemente también de que existan suficientes re c u rsos (humanos, temporales, económicos, e t c.) para que todos ellos sean atendidos. En consecuencia, no podemos hablar de equidad desde el mismo momento en que se plantease una selección mediante mu e s t reo pro b abilístico de usuari o s . Siguiendo con la selección de sujetos, si se plantea la cuestión desde la vía inductiva de forma obligada o deseada, sea porque no Diseños de evaluación de programas: bases metodológicas Salvador Chacón Moscoso, Mª Teresa Anguera Argilaga* y José López Ruiz Universidad de Sevilla y * Universidad de Barcelona Las circunstancias inestables que caracterizan el contexto en el que se realiza la evaluación de programas de intervención hacen que sea prácticamente imposible plantear diseños de evaluación estándares. El objetivo de este trabajo es describir una serie de dimensiones estructurales de diseños de evaluación que se puedan implementar de una manera flexible en los contextos de intervención. Desde estos referentes de diseño de evaluación se intentará potenciar la obtención de información con el mayor grado de validez científica, sin arraigar la idea de una lista de diseños que pueden aplicarse ante determinadas situaciones estándares. El esquema de análisis de partida lo estructuramos en tres grandes dimensiones estructurales de diseño: Usuarios del programa, naturaleza de los datos, y momento temporal de registro. A partir de la combinación de estos ejes se justificarán el uso de un tipo de diseños u otros. Program evaluation designs: methodological issues. Unstable circumstances of program evaluation contexts make impossible a systematization of program evaluation designs. The main objective of this paper is to describe the structural dimensions of program evaluation designs in order to implement them in a flexible way in different evaluation contexts. These dimensions will try to enhance scientific validity in evaluative data, not offering the conception of standard design structures for evaluations. The structural dimensions are: clients of the program, type of data, and recording moments. The combination of these dimensions will justify different evaluative designs. Correspondencia: Salvador Chacón Moscoso Facultad de Psicología Universidad de Sevilla 41005 Sevilla (Spain) E-mail: [email protected] Psicothema ISSN 0214 - 9915 CODEN PSOTEG 2000. Vol. 12, Supl. nº 2, pp. 127-131 Copyright © 2000 Psicothema SALVADOR CHACÓN MOSCOSO, Mª TERESA ANGUERA ARGILAGA Y JOSÉ LÓPEZ RUIZ 128 existe un determinado marco teórico de referencia, o porque no nos interesan los que hayan, deberá seleccionarse un caso único inicial al que le sigue una progresiva acumulación de casos afines, con el fin de llegar a encontrar regularidades en el comportamiento de todos estos casos y que se pueda ir trazando un esquema de funcionamiento del caso general. Yendo a la realidad del profesional, y desde la mayor flexibilidad que permite el planteamiento inductivo, si bien se establecerán criterios para la inclusión en el programa en función de las características técnicas de la necesidad y las condiciones físicas, personales, económicas, familiares, etc., del potencial usuario, es constatable que no siempre se tratará de casos afines, al menos en el sentido restrictivo del término. Consecuentemente, tampoco se llevaría a cabo la selección de sujetos de forma metodológicamente correcta, además de seguir cuestionándonos el concepto de equidad en los potenciales usuarios. Pero podemos pensar en otros tipos de programas, como los institucionales relativos a preservar la capa de ozono o mantener limpia una ciudad o una superficie; o los sanitarios sobre hábitos higiénicos, o la deshabituación al tabaco o a drogas diversas; o los de educación vial. En todos ellos existen componentes que escapan —por la propia complejidad de la realidad— a la norma científica, lo cual da lugar a dos alternativas por las que entendemos que es fácil optar: se flexibiliza la norma, o se está al margen de toda norma. La segunda posibilidad dejaría a la evaluación de programas fuera de un ámbito fo rmal de estudio por disciplinas como la Psicología, Sociología, Medicina, Educación, etc. Se podrían describir c a - s o s aislados, como se ha hecho desde determinadas corrientes ra d icales de metodología cualitat iva —ve r, por ejemplo, Smith y Cant l ey (1985), o el número monogr á fico de Q u a l i t at ive Health Rese - a rch editado por Engel (1992), o el de Q u a l i t at ive Inquiry e d i t a d o por Reason y Lincoln (1996)—, pero es indudable que masiva m e nte interesa ajustarnos a la lógica del procedimiento científi c o . Esta lógica, sin embargo, que responde a los principios del positivismo científico, debe ser sensible a las específicas características individuales, situacionales, del programa, de los recursos disponibles, etc. La casuística es amplísima, y no es fácil lograr el equilibrio entre el rigor imprescindible y la flexibilidad adaptativa respecto al programa a evaluar. Todas estas circunstancias inestables que caracterizan el contexto en el que se realizan las evaluaciones de programa de intervención hacen que sea prácticamente imposible plantear estructuras estándares de diseño apriorísticas. En este sentido el objetivo de este trabajo es describir una serie de dimensiones estructurales de diseño que puedan implementarse de una manera flexible en los contextos de intervención particulares. Desde estos referentes de diseño de evaluación se intentará potenciar la obtención de información con el mayor grado de validez científica, sin arraigar la idea de una serie de estructuras de diseño rígidas que sólo pueden aplicarse en situaciones estándares (Shadish, Cook y Campbell, en preparación). Dimensiones estructurales de diseños de evaluación En la literatura se proponen distintas formas de clasificar los diseños que podrían aplicarse a la evaluación de programas (podemos referirnos a algunos autores, como Arnau, Anguera y Gómez, 1990; Ato, 1991; Judd y Kenny, 1981; Kazdin, 1980; Kish, 1987; Owen y Rogers, 1999). A pesar de ello resulta difícil encajar estas clasificaciones en la práctica profesional de la evaluación de programas. Esta situación se da fundamentalmente porque en el contexto de la evaluación de las intervenciones es complejo encontrar modelos o referentes teóricos a partir de los cuales disponer de criterios con los que desarrollar un modelo de selección de los distintos componentes que tendría que analizar un programa de evaluación. Tengamos presente que no sólo nos referimos a la selección de usuarios del programa a evaluar, tal y como planteábamos en el ejemplo del apartado anterior; es decir, a qué población de sujetos nos referimos exactamente; también hemos de tener en cuenta cuáles son los distintos tipos de intervenciones teóricas que podrían utilizarse en cada casuística, cuáles son las variables que vamos a medir, cuál es la delimitación realizada del contexto de intervención, en qué momento o momentos concretos y con qué recursos vamos a registrar los datos… A estos interrogantes, que aunque aparentemente simples son de hondo calado, se les une el problema de conseguir una alta fiabilidad en las medidas (por ejemplo, para evaluar el impacto de un programa). Todas estas circunstancias hacen que nos estemos re fi riendo a un ámbito de trabajo en el que impera una filosofía fa l s a c i o n i s t a , ya que el grado de conocimiento previo y de control sobre el objeto de evaluación es reducido. En este sentido se habrán de prever cuáles pueden ser las principales amenazas a la validez, tanto de rep re s e n t at ividad como de control, que puede pre s e n t a r nu e s t r a evaluación part i c u l a r. El pro blema de esta situación es la d i ficultad de disponer de teorías sobre las posibles intera c c i o n e s e n t re las va ri ables en los contextos de intervención part i c u l a r ; más aún cuando unas mismas va ri ables pueden interactuar de m a n e ra distinta en un mismo contexto en momentos tempora l e s d i s t i n t o s . En el marco de esta realidad descrita ab o gamos por justifi c a r el desarrollo de un diseño de evaluación desde unos re fe re n t e s dimensionales que se combinarán de distintas fo rmas dep e n d i e ndo del contexto de intervención particular donde se implementen. El esquema de partida lo estru c t u r amos en tres grandes dimensiones: u s u a rios del programa, nat u raleza de los dat o s , y momento tempora l ( A n g u e ra y Chacón, en prensa, b). Pa ra establ e c e r las hemos partido de una idea ori ginal de Cattell (1952), que ya a mitad de siglo empezó a producir sus frutos. Utilizab a un para l e l epípedo en el que las aristas rep re s e n t aban pers o n a s , va ri ables de medida y ocasiones de medida para poder ilustra r los datos en estudios de cova riación. De esta fo r ma, cada cara del p a ra l e l epípedo permite obtener una mat riz bidimensional de puntuaciones, ya que la definen dos aristas, y la terc e ra cara no se mu e s t rea, pero se fija. Muchos años después, Nessealroade y H e rs h b e rger (1993), en sus estudios sobre población, la adap t a n p a ra explicar la va ri abilidad intra i n d i vidual (Nesselro a d e, 1988, 1991) utilizando las mismas dimensiones de personas, va ri abl e s de medida y ocasiones de medida. En evaluación de programas consideramos que existen tres referentes desde una perspectiva metodológica: A) a quiénes va dirigido el programa, ya que de lo contrario éste perdería su razón de ser, motivo por el que los usuarios ocupan el primer lugar. B) tipo de información que se obtiene, habitualmente de carácter cambiante a lo largo del proceso de implementación y en función de las diversas acciones que se llevan a cabo, por lo que la naturale - za de los datos es un referente obligado. C) El carácter sincrónico o diacrónico del proceso de evaluación, dependiendo de si nos situamos en la evaluación sumativa o formativa, respectivamente (siguiendo con los presupuestos del modelo lineal vs. no lineal de Veney y Kaluzny –1984). Configuración de diseños de evaluación De acuerdo con el complejo marco en el que se desarrolla un programa de evaluación hemos justificado la dificultad de poder establecer una relación de diseños estándares de evaluación. Esta situación justifica la necesidad de configurar los diseños evaluativos de acuerdo con las necesidades y características del programa concreto, y por tanto desde una combinación de las dimensiones de diseño anteriormente señaladas. El esquema básico resultante de la consideración conjunta de todos los referentes comentados lo podemos configurar a partir del cruce de las dimensiones de usuarios y temporalidad, en combinación con el grado de intervención o dominio que se tenga sobre el contexto de evaluación (Fig. 1): Figura 1. Esquema básico para la configuración de diseños de evaluación de programas (Anguera, 1995b) A. Carácter ideográfico vs. Nomotético (eje vertical) El eje ve rtical se re fi e re al carácter idiogr á fico o nomotético en función de los usuarios del programa de intervención. No siempre a d q u i e re la misma re l evancia, pero plantea importantes cuestiones a nivel metodológico (Po s avac y Carey, 1985) según se trat e de sujetos individualmente considerados o de una colectividad (o mu e s t ra rep re s e n t at iva de ella), si atendemos a la propuesta cl á s ica de Allport (1942) en relación a los términos i d i ogr á fico vs. no - m o t é t i c o. Ahora bien, a tal propuesta se han incorporado variantes adaptativas a las diversas situaciones evaluativas: a) Se considerarán también como idiogr á ficos estudios que amplían o re s t ri n gen la propuesta clásica consistente en un individuo. Por una part e, entre los pri m e r os se hallarán todos aquellos casos en que los usuarios son va rios individuos entre los cuales existe un cri t e rio de afi n i d a d, agrupación, o reglas del juego a seguir; por ejemplo, un programa de intervención fa m i l i a r, ind e pendientemente de cuántas personas componen aquella unidad familiar y de cuantos niveles de respuesta se regi s t ren. Y, por otra p a rt e , los que re s t ri n gen el concepto clásico de idiogr á fico se c e n t r an en un solo nivel de respuesta, sea de un individuo único, o de va rios; por ejemplo, si consideramos únicamente el nivel de conducta verbal, y evaluamos la resolución de un conflicto entre m i e m b ros de una familia a partir de la discusión de los re s p e c t ivos puntos de vista y balance entre pros y contras de cada opción de solución. b) Nomotéticas serán también aquellas va riantes en que, independientemente de que tengamos un usuario o un grupo de usuarios, interesan va rios niveles de respuesta. Así, en un programa de atención psicológica a enfe rmos infa rtados y sus fa m i l i a res interesan los niveles de respuesta verbal y no verbal. Luego, nomotéticos serán todos aquellos diseños eva l u at ivos en que se confi g ura un elemento de pluralidad de unidades, sean individuos (propuesta clásica) o niveles de respuesta (va riante posteri o rmente int roducida). Una vez delimitado el número de participantes en un estudio evaluativo (individuos sobre los que se interviene), el evaluador deberá decidir si todos deberán formar parte o no de la correspondiente evaluación, o incluso vincular esta decisión a distintas fases del proceso. Los principales argumentos a favor de la inclusión del colect ivo completo o de una mu e s t r a rep re s e n t at iva del mismo son de índole metodológica (análisis de los efectos en toda la cobert u ra re l at iva a personal), pero también ética, y, en ocasiones, política. Así, si un centro hospitalario ofrece una unidad de atención psic o l ó gica a enfe rmos infa rtados por segunda vez, y es mayor la demanda que el número de plazas que puede cubrir el serv i c i o , ¿se podría hablar de un cri t e rio más «ético» que otros?, ¿cab e, desde los principios éticos, ex t raer una mu e s t r a rep re s e n t at iva cuando todo el colectivo presenta un mismo tipo de necesidad d e m a n d a d a ? No faltan tampoco argumentos para el estudio eva l u at ivo de los efectos de un programa en fases dife renciadas, de fo rma que a un primer análisis efectuado de fo rma nomotética le sigue un s egundo basado en el estudio de sujetos individuales. La persp e c t iva idiogr á fica, desde la expansión e incidencia actual de la P s i c o l ogía de las dife r encias individuales, está alcanzando una gran re l evancia en la implementación y evaluación de progra m a s sociales y sanitarios. Cada vez los pro fesionales son más sensibles a la consideración dife rencial de sujetos que por su traye ct o ria vivida (circunstancias personales, «eve n t - l i fe», ra s gos de p e rs o n a l i d a d, etc.), re q u i e ren un análisis específico e indiv i d u alizado de los efectos de un determinado programa de interve nción. Pensemos en niños con tra n s t o rnos comportamentales en el aula y con historias de vida absolutamente distintas (Herre ro , 1989), o en enfe rmos con repetidos infa rtos que tenían muy dife rente nivel de calidad de vida (Tuset, 1990), o en internos pen i t e n c i a rios que cumplen una condena de igual duración a part i r de un historial personal y delictivo completamente distinto (Redondo, 1992), o en dep o rtistas que presentan determ i n a d a s p e c u l i a ridades en sus tácticas de juego (Hernández Mendo y Ang u e ra, 1998). B. Temporalidad del registro (eje horizontal) La configuración básica de los diseños permite distinguir entre registro puntual yseguimiento. El registro puntual permitirá realizar un análisis de la situación en un momento dado en el tiempo, mientras que el seguimiento implica disponer de un determinado número de sesiones a lo largo del período de implementación del programa. El criterio de temporalidad en el registro permite tener también en cuenta el punto de partida (previo, durante, o después de la apliDISEÑOS DE EVALUACIÓN DE PROGRAMAS: BASES METODOLÓGICAS 129 Puntual Seguimiento Idiográfico Nomotético cación de la intervención, o, expresado en otros términos, de la implementación del programa), y el periodo de cobertura en la recogida de datos (hasta el fin de la intervención, seguimientos puntuales periódicos hasta un determinado momento, idem con un seguimiento continuo, etc.). Es muy fácil de argumentar cuál es el óptimo o ideal, partiendo del presupuesto de la existencia de recursos suficientes. Evidentemente, desde antes del inicio de la intervención, durante el tiempo que implique su puesta en práctica, y efectuando un seguimiento posterior a medio o largo plazo que posibilite un análisis riguroso de los efectos del programa. Ahora bien, las distintas posibilidades que implica el barajar estos elementos, la necesidad de adecuarse a recursos generalmente limitados (Fienberg y Tanur, 1987), y la propia naturaleza de la intervención, deben dar lugar a las decisiones relativas al registro (cómo, desde cuándo, hasta cuándo, con qué periodicidad, con qué garantías en la formación del personal que participa en la evaluación, etc.), en el más amplio sentido del término (Blanco y Anguera, 1991). Fi n a l m e n t e, será conveniente distinguir, en este cri t e r io re l at ivo al carácter continuo o discreto del regi s t ro a lo largo del tiempo, entre la re c ogida de datos actuales (Plewis, 1985), y los re t ro s p e c t ivos (Holland y Rubin, 1988), como por ejemplo los re fe ridos a mat e rial de arch ivo, tanto si se trata de datos censales o estadísticos, como de protocolos o info rmes personales (autob i ogr á ficos o realizados por terc e ras personas), siempre que se m a n t e n ga la homogeneidad de los cri t e rios seguidos en su re c ogida y, en su caso, codificación (como cat egorías en un análisis de contenido de autoinfo rmes), y no entorpezca su utilización el tan frecuente pro b lema de los «missing data» (Little y Rubin, 1 9 8 7 ) . C. Grado de intervención o dominio sobre el contexto de evaluación (recuadro interior vs. exterior del recuadro). A estas dos dimensiones se ha de incorp o rar el re fe rente del grado de intervención sobre la situación. Hemos intentado simbolizar esta dimensión presentando un re c u a d ro interior en los ejes de la fi g u ra 1. Se pretende rep resentar una superposición de dos planos distintos, de mayor a menor intervención re s p e c t ivam e n t e, dependiendo de si se está más hacia el centro o hacia el ex t e rior de dicho re c u a d ro interi o r. Con el término interve n c i ó n en la situación hacemos re fe rencia a la nat u r alidad de la situación, es decir el grado en que la relación de los sujetos, usuari o s del programa, modifican sus interacciones nat u rales con el medio. Por ejemplo, en un programa de natación en la terc e ra edad en que los participantes realizan habitualmente ésta u otras actividades dep o rt ivas nos estaríamos re fi riendo a un diseño de evaluación de baja intervención (este programa estaría rep re s e n t a d o en la parte ex t e rior del re c u a d ro). En cambio si nos interesase un diseño en el que un grupo de familias marginales de una gra n ciudad han sido seleccionadas al azar y asignadas posteri o rm e nte a pueblos con bajo número de habitantes de otras prov i n c i a s , p a ra con ello disminuir la pro b abilidad de que los hijos de estas familias realicen conductas delictivas, se trataría de un tipo de p rograma con un alto grado de intervención (este programa estaría rep resentado más hacia el interior del re c u a d ro central de la fi g u ra 1). El concepto de intervención no es dicotómico, no podemos est ablecer que haya o no intervención, se trata de un concepto de grado. De hecho no tendría sentido plantear la no existencia de int e rvención en tanto que el propio hecho de desarrollar una evaluación (con sistemas de regi s t ro, instrucciones a los usuarios en su caso,…) supone una intervención en sí misma. Los niveles de i n t e rvención se pueden desglosar de dive rsas fo rmas. La opción que defendemos en este trabajo distingue entre diseños de intervención baja y diseños de intervención media-alta (parte ex t e ri o r o interi o r, re s p e c t iv m e n t e , en el re c u a d ro central de la fi g u ra 1). Se opta por esta dicotomización de la gradación en el nivel de int e rvención porque parece cl a r o cuáles pueden ser los ex t remos de este eje bipolar, las denominadas metodologías nat u ralistas y exp e rimentales, pero una vez que nos adentramos en ese teóri c o c o n t i nuo es difícil establecer cri t e rios que nos delimiten los límetes a partir de los cuales re fe rimos a un tipo de metodología u o t ra. Más aún cuando en el ámbito de la intervención real suelen ser va rios los procedimientos utilizados en un mismo progra m a de evaluación. Desde esta argumentación, y obviando que en la práctica eva l u at iva se suelen utilizar conjuntamente distintos tipos de p r ocedimientos, de una fo rma simplificada incluiríamos en los denominados diseños eva l u at ivos de intervención baja a los diseños observacionales (diacrónicos, sincrónicos y mixtos), e incluiríamos en los diseños eva l u at i vos de interve n c i ó n media-alta a los diseños de grupo control no equiva l e n t e , de d i s c o n t i n uidad en la regresión y de series temporales interru m p i d a s . A pesar de que hemos acabado desembocando en una interesante discusión, que sin duda re q u i e re una mayor extensión en su tratamiento, consideramos que la cuestión no radica tanto en poder delimitar con precisión el grado en que se está interv i - niendo, sino más bien en tenerlo presente y estudiado en lo pos i bl e. Con ello se intentará conocer que posibles fuentes de variación estamos incorp o rando en los datos regi s t rados. A part i r de este análisis detallado podremos disponer de más elementos de juicio a partir de los cuales va l o rar el grado de validez de la i n fo r mación regi s t rada, y a partir de la cual se van a tomar decisiones que en la mayoría de los casos tienen una import a n t e rep e rcusión social. A modo de reflexión final En este trabajo se ha querido enfatizar que para el diseño de la evaluación de un programa nos basamos más en un cri t e rio de «plausibilidad» del conocimiento de la mayor parte posible de va ri ables que puedan implicar amenazas a la validez de la info rmación. De ahí que los elementos de diseños planteados se basen por una parte en estudiar que posibles amenazas de validez ex i sten en el contexto de evaluación, y por otra en intentar neutra l izar o al menos minimizar sus efectos en la mayor medida posibl e. Esta circunstancia hace que la calidad de los diseños eva l u at ivos dependa de los estudios previos existentes y de la sistematización de las posibles amenazas a la validez con las que nos podemos encontrar en los distintos ámbitos de intervención. En la m ayor parte de los diseños de evaluación no existe un mecanismo ómnibus como la asignación aleat o ria que pueda neutra l i z a r las amenazas a la validez de una manera directa. Por tanto los c o n t roles se han de basar en los re c u rsos de los diseños planificados directamente ligados a la ro bustez de las teorías y medidas u t i l i z a d a s . SALVADOR CHACÓN MOSCOSO, Mª TERESA ANGUERA ARGILAGA Y JOSÉ LÓPEZ RUIZ 130 DISEÑOS DE EVALUACIÓN DE PROGRAMAS: BASES METODOLÓGICAS 131 R e fe re n c i a s Allport, G.W. (1942). The use of personal documents in psychological science. Nueva York: Social Science Research. Anguera, M.T. y Chacón, S. (en prensa, a). Bases Metodológicas. En Anguera Argilaga, M.T. (Dir.). Evaluación de programas sociales y sani - tarios: Un abordaje metodológico. Madrid: Síntesis. Anguera, M.T. y Chacón, S. (en prensa, b). Dimensiones estructurales de diseño para la evaluación de programas. Apuntes de Psicología. Arnau, J.; Anguera, M.T. y Gómez, J. (1990). Metodología de la inves - tigación en ciencias del comportamiento. Murcia: Servicio de publicaciones de la Universidad de Murcia. Ato, M. (1991). Investigación en ciencias del comportamiento. I: Fun - damentos. Barcelona: P.P.U. Blanco, A. y Anguera, M.T. (1991). Sistemas de codificación. En M.T. Anguera (Ed.), Metodología observacional en la investigación psicológica (pp. 193-239). Barcelona: P.P.U., Vol. I. C attell, R.B. (1952). The three basic factor analytic re s e a rch designs – their interre l ationships and derivat ives. P s y ch o l ogical Bulletin, 49,4 9 9 - 5 2 0 . Engel, J.D. (Ed.) (1992). Issues of methodology in qualitative inquiry [monographic number]. Qualitative Health Research, 2 (4), número completo. Fienberg, S.B. y Tanur, J. (1987). The design and analysis of longitudinal surveys: Controversies and issues of costs and continuity. En R.F. Boruch y R.W. Pearson (Eds.), Designing research with scarce resources. Nueva York: Springer-Verlag. Hernández Mendo, A. y Anguera, M.T. (1998). Análisis de coordenadas polares en el estudio de las diferencias individuales de la acción de juego. En M.P. Sánchez y M.A. Quiroga (Coords.), Perspectivas actuales en la investigación psicológica de las diferencias individuales (pp. 84-88). Madrid: Centro de Estudios Ramón Areces. Herrero, M.L. (1989). Incidencias de la historia personal en el com - portamiento en el aula: Estudio observacional analítico. Tesis Doctoral no publicada. Barcelona: Universidad de Barcelona. Holland, P.W. y Rubin, D.B. (1988). Causal inference in retrospective studies.Evaluation Review, 12 (3), 203-231. Judd, C. y Kenny, D. (1981). Estimating the impact of social interven - tions. Cambridge M.A.: Cambridge University Press. Kazdin, A. E. (1980). Research design in clinical psychology. Nueva York: Harper y Row. Kish, L. (1987). Survey sampling. Nueva York: John Wiley Little, R.J. y Rubin, D.B. (1987). Statistical analysis with missing da - ta. Nueva York: Wiley Nesselroade, J.R. (1988). Sampling and generalizability: Adult development and aging research issues examined within the general methodological framework of selection. In K.W. Schaie, R.T. Campbell, W. Meredith & S.C. Rawlings (Eds.), Methodological issues in aging research (pp. 13-42). New York: Springer. Nesselroade, J.R. (1991). Interindividual differences in intraindividual changes. In J.L. Horn & L. Collins (Eds.), Best methods for measuring change. Washington: American Psychological Association. Nesselroade, J.R. y Hershberger, S.L. (1993). Intraindividual variability: Methodological issues for population health research. In K. Dean (Ed.), Population health research. Linking theory and methods(pp. 74-94). Londres: Sage. Owen, J.M. y Rogers, P.J. (1999). Program evaluation. Forms and ap - proaches. Londres: Sage. Plewis, I. (1985). Analysing change. Measurement and explanation using longitudinal data. Nueva York: Wiley. Posavac, E.J. y Carey, R.G. (1985). Program evaluation. Methods and case studies. Nueva York: Prentice-Hall. Reason, P. y Lincoln, Y.S. (Eds.) (1996). Quality in Human Inquiry (Special issue). Qualitative Inquiry, 2 (1), whole number. Redondo, S. (1992). Evaluar e intervenir en prisiones. Barcelona: P.P.U. Smith, G. & Cantley, C. (1985). Policy evaluation: The use of varied data in a study of a psychogeriatric service. In R. Walker (Ed.), Applied qualitative research (pp. 156-174). Aldershot: Gower. Tuset, A. (1990). Análisis de las respuestas al test de Rorschach de un grupo de sujetos afectados de un primer infarto de miocardio. Tesis Doctoral no publicada. Barcelona: Universidad de Barcelona. Veney, J.E. y Kaluzny, A.D. (1984). Evaluation and decision making for health services program. Englewood Cliff, N.J: Prentice Hall.