In e ención Psicosocial, 1998, Vol. 7, N.° 3 - Págs. 407-425
I N T E RVENCION PSICOSOCIAL
4 0 7
Validez de la e aluación en in e ención psicosocial:
Un análisis me odológico.
E alua ion alidi y in psychosocial in e en ion:
a me hodological analysis.
Sal ado CHACON MOSCOSO
José LOPEZ RUIZ
Uni e sidad de Se illa
RESUMEN
En el p esen e abajo se jus i ica la limi ación que supone en ende la alidez como p o -
duc o de i ado de la pe spec i a expe imen alis a de diseño en el ámbi o de la e aluación
de p og amas. Po con a, se plan ea la noción de alidez como un p oceso de in e e l a c i ó n
e n e p og ama de in e ención y planes de e aluación, donde se p ecisa un e e en e cla o
de in e ención enma cado en un con ex o y con la implicación di ec a de odos los pa ici -
pan es en el p oceso e alua i o. Una aplicación de es a concepción de alidez se desc ibe
esquemá icamen e en el p oceso de e aluación seguido en el Se icio de In ancia y Familia
de la Dipu ación P o incial de Se illa. En la misma, y con obje o de po encia la u ilidad- ali -
dez del p oceso e alua i o, a a és de eplicaciones sucesi as se log ó es uc u a un p o -
g ama de in e ención-global álido pa a el conjun o de las comunidades in an iles que com -
ponían el Se icio.
PALABRAS CLAVE
Validez, p og ama de in e ención, e aluación de p og amas.
ABSTRACT
This s udy jus i ies he limi a ion o apply he de ini ion o alidi y as a p oduc o he
expe imen al pe spec i e o design in he con ex o p og am e alua ion. Ins ead, his pape
in oduces he no ion o alidi y as an in e ela ional p ocess be ween he in e en ion p o -
g am and he e alua ion plans. The necessi y o de ine a clea e e en o he in e en ion
p og am and i s con ex , and o os e p ac i ione s in ol emen is also enhaced. An appli -
ca ion o his alidi y no ion in he e alua ion p ocess o an In an Se ice is b ie ly desc i -
INVESTIGACIONES APLICADAS
Al e isa las dis in as concepciones exis-
en es sob e e aluación de p og amas en
in e ención psicosocial nos encon amos
con una amplia di e sidad de plan eamien-
o s ; a pesa de ello, como ac o común se
obse a un én asis en la necesidad de
ob ene una in o mación de calidad y ú il
s o b e un de e minado p og ama de in e -
ención pa a es ima el mé i o o alo de
dicho p og ama (Aguila y Ande-Egg,
1992; Cohen y F anco, 1992; Ve d u n g ,
1993; Fe nández del Valle, 1996). Un p o-
ceso e alua i o álido consis e p e c i s a-
men e en cómo ob ene una in o m a c i ó n
de calidad sob e el p og ama de in e en-
ción, y si se puede amplia o ex apola
dicha in o mación más allá de la si uación
en la que se desa olla la in e ención.
Desde es a si uación, con obje o de
apo a una isión comp ehensi a del
es ado de la cues ión, en es e abajo se
p esen a un análisis me odológico de la
e aluación cen ado undamen almen e
en la necesidad de ob ene in o m a c i ó n
álida a lo la go de odo el p oceso e alua-
i o en in e ención psicosocial. Es deci ,
la línea di ec iz de es e abajo es que
median e un p og ama de e aluación se
pe sigue ob ene in o mación de calidad
s o b e un de e minado p og ama de in e -
ención psicosocial.
La idea de ob ene in o mación de cali-
dad sob e un de e minado obje o ha de
se aducida a da os sis emá icos y áli-
dos ob enidos desde la me odología cien-
í ica. En sín esis, al e alua se hab á de
plan ea la ecogida de in o mación de
una se ie de a iables p e iamen e deli-
mi adas y medibles, a pa i de lo cual
pode log a los e ec os deseados; po
ejemplo, no se ía plan eable la e alua-
ción del impac o de un de e minado p o-
g ama de a ención a pe sonas de la e -
ce a edad sin ene delimi adas las a ia-
bles sob e las que hemos ac uado y los
esul ados que espe amos ob ene (Medi-
na, 1996).
Median e el análisis me odológico que
a con inuación se p esen a se especi ica-
án aquellos elemen os que conside a-
mos ele an es pa a el log o de la alidez
en la in o mación e alua i a ob enida a
lo la go de odo el p oceso de in e en-
ción psicosocial. El obje i o inal es apo -
a e e en es pa a el p o esional en
in e ención a la ho a de op a po las
dis in as a ian es que se le p esen an
en el con inuo p oceso de oma de deci-
siones ca ac e ís ico del medio social.
Con odo ello, se plan ea án las implica-
ciones sus an i as que es e ma co de
análisis me odológico de la alidez e a-
lua i a ha enido en el desa ollo de un
p og ama de a ención a la in ancia, desa-
ollado en los Se icios de In ancia y
Familia de la Dipu ación P o incial de
Se illa.
Validez de la e aluación en In e ención Psicosocial: Un análisis me odológico.
4 0 8
I N T E RVENCION PSICOSOCIAL
bed. The aim o his applica ion was o allow a alid and use ul e alua ion p ocess. A he
end, a e sucessi e eplica ions, a alid in e en ion and e alua ion p og am was desig -
ned o he whole in an communi ies o he Se ice.
KEY WORDS
Validi y, in e en ion p og am, e alua ion p og am.
Validez y e aluación de p og amas
En es e p ime apa ado nos cen a e-
mos en los plan eamien os de los p e c u -
s o es y au o es más in luyen es en el con-
cep o de alidez aplicado a la e aluación
de p og amas de in e ención como son
Campbell y S anley (1966), Cook y Camp-
bell (1979), y C onbach (1982).
A pa i del abajo o iginal de Campbell
y S anley (op.ci .) se in odujo la dis inción
e n e alidez in e na y ex e na, base en la
que se sus en aban los modelos obje i is-
as de los sesen a en los que se in e p e a -
ba cómo la implan ación de un p o g a m a
de in e ención p o oca ía un de e m i n a d o
impac o social ( alidez in e na), así como
la gene alización de ales impac os causa-
dos po ales p og amas a o os con ex os
de in e ención ( alidez ex e n a ) .
P o s e i o men e Cook y Campbell (1979)
s u b d i i d i e on las dos clases de alidez
plan eando que se ealizan dis in os ipos
de juicios; de es a o ma al es udia si dos
a iables co a ían al y como ue on ope a-
cionalizadas se es a ía plan eando la deno-
minada alidez de conclusión es adís ica;
po o a pa e, si dicha co a iación es cau-
sal ha ía e e encia a la alidez in e na; al
e e i se a la mane a en que debe ían e i-
que a se las a iables de a amien o y
esul ados ope acionalizadas, se plan ea ía
la alidez de cons uc o; y inalmen e a
qué pe sonas, con ex os y momen os se
gene alizan las elaciones es udiadas ha ía
e e encia la alidez ex e na. Es deci , los
a u o es llama on la a ención sob e la
necesidad de dis ingui en e el plano o -
mal del análisis y el sus an i o de las eo í-
as o plan eamien os que se usan pa a
decidi sob e qué a iables incidi en los
p og amas de in e ención.
Po an o además de conoce si un p o-
g ama ha enido un de e minado impac o
( alidez in e na) y si es e impac o puede
gene aliza se o ex apola se a o as si ua-
ciones ( alidez ex e na), es necesa io ene
ce eza de que e ec i amen e se ha dado
esa elación en e las a iables es udiadas
(ni el o mal de análisis) y de que además
se han elegido dichas a iables desde
d e e minados plan eamien os (ni el con-
cep ual) pa a pode ex apola los e s u l a-
dos a si uaciones simila e s .
P o s e i o men e, C onbach (1982) p o-
puso un esquema de alidez al e n a i o
basado en los elemen os que cons i uyen
la in e encia que el in es igado desea
ex ae del es udio. El au o dis ingue
e n e unidades, a amien os, ope aciones
de obse ación, y con ex o espacio- empo-
al (con sus iniciales o ma el ac ónimo
“u os”). Cada uno de es os elemen os los
d i e encia en es ni eles dis in os, UTOS
-población e e en e de dichos elemen os-,
u os -mues a de dicha población-, y
UTOS*-UTOS di e enciales a los que se
p e ende gene aliza los esul ados del
e s u d i o - .
En es e esquema C onbach concibe la
alidez in e na, de o ma simila a la ali-
dez ex e na de Cook y Campbell, es deci
las ans e encias de los u os a los UTOS.
Po o a pa e en iende la alidez ex e n a
como las implicaciones que se puedan
ex ae ace ca de los *UTOS. El au o da
mucha mayo impo ancia, en es e caso, a
la alidez ex e na ya que en a iza que el
p opósi o p ima io de la e aluación es se -
i a las necesidades de los e s p o n s a b l e s
de las omas de decisión, más que a los
i n e s i g a d o es enca gados de ealiza el
es udio (C onbach, 1982; Shapi o, 1982).
A pa i de es os plan eamien os inicia-
les nos encon amos con o os desa o l l o s
en los que se in en aban p esen a una
pe spec i a más global de la p o b l e m á i c a
(Campbell 1986; Cook, Campbell y Pe a-
chio, 1990; Cook y Shadish, 1994). En
es a misma línea, en un in en o de sin e i-
za las dis in as ipologías de alidez en
una se ie de “a ibu os in eg ado es” han
a p a ecido abajos como los de B inbe g y
McG a h (1982) o el de Ma k (1986) donde
plan ean como los ipos de alidez en a i-
zan el p edominio de unos de e m i n a d o s
Sal ado Chacón Moscoso y José Lopéz Ruiz.
I N T E RVENCION PSICOSOCIAL
4 0 9
p incipios comunes -simili ud, co e s p o n-
dencia, obus ez, alo y explici ación-.
Se ía p olijo de alla el signi icado de cada
uno de los é minos an e io es y en p inci-
pio, debe bas a conoce que son elemen-
os de alidez que pueden y deben es a
p esen es en el con ex o de una in e en-
ción y po an o, elemen os de e aluación
de la alidez.
Es a mul iplicidad de a ian es e s-
ponden a una ealidad en la se ha dado
una dico omización en e los es udios
expe imen ales igu osos (basada unda-
men almen e en el p incipio de manipu-
lación de los agen es causales; Cook y
Campbell, 1986) y o os ipos de es u-
dios de supues o meno igo . Ello ha
p o ocado un én asis en la alidez in e -
na de los es udios expe imen ales unda-
men almen e con in a alo ación de la
alidez ex e na, pa a des aca en cambio
es a úl ima o ma de alidez en el e s o
de es udios donde se enma ca ía la e a-
luación de p og amas de in e ención,
en los que las amenazas de alidez in e -
na son más ecuen es al ca ece del
c o n ol que b inda la manipulación
e x p e i m e n a l .
Es e én asis en un ipo u o o de alidez
ha p o ocado posiblemen e que los p o e-
sionales de los dis in os ámbi os en in e -
ención psicosocial cen a an su p e o c u -
pación en de e minados “clichés” al e e-
i se a la alidez e alua i a, lo que ha
impedido a anza su icien emen e en el
d e s a ollo de la alidez e alua i a como
p oceso único.
En el p esen e abajo en a izamos
cómo las ca ac e ís icas del p oceso de
e aluación de p og amas nos han de lle-
a a maneja conjun amen e los a ibu-
os globales mencionados an e io m e n -
e, de al o ma que no se plan een los
dis in os ipos de alidez como inamo i-
bles, sino más bien que se de una in e-
acción de dicha di e sidad con o me se
aya desa ollando el p oceso de e alua-
c i ó n .
Elemen os de ini o ios de la alidez en
e aluación de p og amas
En es e apa ado p e s e n a emos los ele-
men os que si an de pun o de e e e n c i a
pa a el log o de la alidez en el desa o l l o
de un p og ama de e aluación, in en ando
undamen almen e no elega a un segun-
do é mino los es udios no expe imen a-
les, y poniendo de mani ies o como los
obje os de es udio e alua i o pueden se
an o concep os elacionales como a ia-
bles aisladas.
Un obje o de es udio puede exis i al
m a gen del in es igado /e aluado , pe o
no puede se conocido al ma gen de és e;
de ahí que e e i nos a las ca ac e ís icas
de los obje os de es udio de los in es iga-
d o e s / e a l u a d o es equi ale a hace lo de lo
que és os conside an como ales. Lo que
o c u e en la ealidad social no es desc ip-
ible sino según los concep os de e m i n a-
dos, como los de los sociólogos, pedago-
gos, economis as, educado es sociales,
psicólogos, e c, de ahí que en una misma
si uación puedan exis i di e en es in e -
p e aciones, an as como concep os e e-
en es u ilicemos.
Al a a el ema de la alidez nos hemos
es ado e i iendo a la ca ac e ís ica unda-
men al de la ciencia que es la selección de
concep os con el mayo g ado de co e c-
ción posible, es deci con alidez. En é -
minos globales el “mac oconcep o de ali-
dez cien í ica” se e i e e, po an o, a la
medida en que se de una co e s p o n d e n c i a
de simili ud en e las ca ac e ís icas del
concep o plan eado y los da os ob enidos
s o b e dicho concep o. Dicha co e s p o n-
dencia en el caso ideal se ía de iden idad
( M o eno, Ma ínez y Chacón, 1995).
E alua con alidez la e icacia de un
p og ama de a ención a disminuidos psí-
quicos o de in eg ación social de inmi-
g an es no e-a icanos, implica á ene
delimi ado con cla idad el e e en e con-
cep ual u ilizado po los p o e s i o n a l e s
implicados en ambos p og amas de in e -
Validez de la e aluación en In e ención Psicosocial: Un análisis me odológico.
4 1 0
I N T E RVENCION PSICOSOCIAL
ención psicosocial, pa a a pa i de
dichos e e en es ecoge da os de los
ámbi os de in e ención y analiza si se da
iden idad o semejanza en e dichos da os
y el e e en e plan eado.
Con el plan eamien o de alidez e a l i z a-
do se conside a que la alidez de un con-
cep o es á elacionada con los da os o e i-
dencias u ilizadas, o ice e sa. De es a
o ma, no puede se conside ada al ma -
gen de la co espondencia plan eada. Los
concep os de e e encia y las e idencias
no son álidos po sí mismos. Po an o la
alidez de unas e idencias depende án del
e e en e concep ual que u ilicemos, de
ahí que dicha alidez dependa di e c a-
men e del ni el de especi icación al que se
haya llegado en la de inición del concep o
e e e n e .
La línea a gumen al desa ollada nos
p e mi e en ende la ecuen e e c o m e n d a-
ción en ciencia de que pa a ob ene da os
álidos ha de delimi a se adecuadamen e
lo que se desea es udia . Es deci , al y
como lo hemos plan eado, que las e iden-
cias ob enidas sean e p esen a i as ( ali-
dez ex e na) y no p esen en con usiones
( alidez in e na) con espec o a los elemen-
os de ini o ios del concep o de e e e n c i a .
No obs an e, dada la complejidad de la
mayo ía de concep os plan eados, es lógico
en ende que no se pueda da segu idad
absolu a a la alidez de un es udio po la
p opia de inición ela i a del é m i n o .
Llegados a es e pun o nos encon amos
an e un bucle ce ado, es deci empeza-
mos en a izando la necesidad de ob ene
i n o mación álida pa a acaba ma izando
que esas ga an ías de alidez no pueden
es ablece se a no se que se es ablezca
con ni idez el e e en e concep ual, y a su
ez la alidez de dicho e e en e end á
dada po su co espondencia con la in o -
mación ob enida. Es e p oceso nos lle a al
modelo en que se en a iza como la e alua-
ción ha de es a guiada desde la eo ía
(Chen y Rossi, 1987; Lipsey y Polla d ,
1989; Chen, 1990).
El log o de la alidez en e aluación de
p og amas
Al e alua un p og ama de in e ención
hacemos e e encia al p oceso de ob en-
ción de in o mación álida sob e un de e -
minado p og ama de acción social, pa a el
l o g o de los e ec os que se es imen opo u-
nos.
Básicamen e, un p og ama de in e en-
ción psicosocial e p esen a un modelo en
el que, as habe se es udiado la e a l i d a d
obje o de in e ención, se han de cla i ica
las posibles elaciones exis en es en e un
conjun o de ac i idades y el log o de unos
esul ados p ede inidos, conside ando
unos medios disponibles ( an o humanos
como ma e iales), según el pun o de is a
de las pe sonas implicadas (ya sean polí i-
cos, p o esionales, usua ios, ..., o un con-
jun o de ellos), en el con ex o de in e en-
ción es udiado y den o del ma co de
algún plan eamien o eó ico -explíci o o
no- (S uening y B e w e , 1983; Rossi y
F eeman, 1985; He man, Mo is y Fi z-
Gibbon, 1987).
En ealidad, explici a en la mayo medi-
da posible la “lógica” del p og ama se a-
duce en el es udio inicial de los supues os
que gobie nan la de e minación de una
se ie de obje i os a cub i median e una
se ie de ac i idades con unos an eceden es,
ecu sos ma e iales y humanos de e m i n a-
dos, es deci su undamen os eó icos. Es e
hecho ha sido plan eado po algunos au o-
es como la alo ación de la e aluabilidad
del p og ama (Ru man, 1980; Wholey,
1987), es deci los equisi os mínimos a
cumpli po un p og ama de in e ención
pa a pode se e aluado. Po lo an o, al y
como señala Bickman (1987) se hace nece-
sa io el ene unos obje i os de inidos y
medibles, así como la aducción del mode-
lo de in e ención a una base lógica que
jus i ique espe a de e minados e ec os de
una se ie de ac i idades p e p o g a m a d a s .
En de ini i a pa a pode llega a es ablece
si un p og ama ha log ado los e ec os pe -
seguidos se hab á de ene cla o a qué p o-
Sal ado Chacón Moscoso y José Lopéz Ruiz.
I N T E RVENCION PSICOSOCIAL
4 1 1

g ama nos es amos e i iendo (McClin och,
1 9 8 7 ) .
Has a es e momen o es amos en a izan-
do la necesidad de desc ibi un p o g a m a
de in e ención-concep o de e e e n c i a -
complejo, an o en la a iedad de ipos de
a iables que con iene (de suje os, de
medio o de ac o es u ilizados pa a e a l i z a
la e aluación), como en la a iedad de posi-
bles elaciones que se dan en e ellas. Ade-
más, pa a llega a la delimi ación deseada
del e e en e concep ual es necesa io consi-
de a el complejo con ex o sociopolí ico que
lo delimi a. De ahí que al e e i nos a un
p og ama de in e ención, hab emos de
de ini de igual o ma el con ex o en el que
se enma ca, ya que no es posible en ende
un p og ama al ma gen del mismo (Co -
d ay, 1989; Pa on, 1989; Shapi o, 1989).
Conside a un con ex o u o o implica-
ía como esul ado un p og ama de in e -
ención u o o (se de ini ían a iables dis-
in as, aplicadas sob e dis in os suje os,
en dis in as es uc u as o g a n i z a c i o n a l e s ,
median e o os p ocedimien os de imple-
men ación adap ados al medio, e c.); po
odo es o, como concep o de e e encia se
debe con empla no sólo al p og ama en
sí, sino ambién a su con ex o delimi ado ,
de ahí que el concep o de e e encia en un
p og ama de e aluación ha de se aduci-
do a un odo, in eg ado po el p o g a m a
de in e ención y el con ex o en el que se
i n s e a .
Llegados a es e pun o conside amos
ele an e esal a cómo, en an o que un
p og ama de e aluación consis e en el
diseño de una se ie de es a egias di igidas
a la ob ención de in o mación álida ace -
ca de un p og ama de in e ención enma -
cado en su con ex o delimi ado , es nece-
sa io ene ce eza de que e ec i amen e
dicho e e en e concep ual (p o g a m a - c o n -
ex o) es á siendo implemen ado al cual
ha sido concep uado, ya que de o a o m a
no hab ía segu idad alguna de que la
i n o mación ecogida e p esen e a dicho
p og ama de in e ención e e en e (Schei-
e , 1987; Shalock y Tho n on, 1988; Cha-
cón, López Ruiz y Pé ez Gil, 1995).
Ello p e ende pone de mani ies o cómo
el equilib io p e endido en e el p o g a m a
diseñado y el p og ama ealmen e ejecu a-
do e implemen ado se cen a básicamen e
en los suje os o implicados en la e a l i z a -
ción, diseño e implemen ación del p o g a-
ma desde el momen o inicial en que se
empieza a plan ea el p og ama de in e -
e n c i ó n .
Po an o, y de acue do con lo plan eado
espec o a la delimi ación del “p o g a m a -
con ex o”, además de log a una delimi a-
ción concep ual cla a del p og ama de
in e ención, se ha de po encia que odos
los pa icipan es en dicho p og ama (en
an o elemen os implicados an o en el p o-
g ama) asumen el diseño plan eado, pa a
con ello acili a en la mayo medida posi-
ble la álida implemen ación de lo p o g a-
mado. Es e úl imo a gumen o es el que
lle a de una o ma bas an e gene al a asu-
mi que oda e aluación debe ene p e s e n-
e los dis in os agen es ele an es en el p o-
g ama de in e ención, lo cual se puede
aduci a la u ilización que se ealiza de
los esul ados (Vedung, 1993; 1995).
En sín esis y an es de pasa a desc ibi
las implicaciones que es e análisis me odo-
lógico de la alidez ha enido en una aplica-
ción conc e a, con iene en a iza la idea
d e s a ollada an e io men e de que la alidez
debe concep ualiza se como p oceso en la
i n e elación en e p og amas de in e en-
ción y planes de e aluación donde se enga
una delimi ación concep ual cla a de lo que
se es udia, de las ope aciones del diseño y
de la implicación de los pa icipan es.
VALIDEZ DE LA EVALUACIÓN DE UN
SERVICIO DE ATENCIÓN A LA
INFANCIA DESDE UN MARCO
METODOLÓGICO DE ANÁLISIS
Seguidamen e, al y como se anunció en
la in oducción del abajo, se plan ea án
Validez de la e aluación en In e ención Psicosocial: Un análisis me odológico.
4 1 2
I N T E RVENCION PSICOSOCIAL
las implicaciones sus an i as que el análi-
sis me odológico de alidez en el p o c e s o
e alua i o ha enido en el desa ollo de un
p og ama de a ención a la in ancia en los
Se icios de In ancia y Familia de la Dipu-
ación P o incial de Se illa. Es e abajo
de campo se ealizó en el ma co de un
Con enio de Colabo ación es ablecido
e n e la Dipu ación P o incial de Se illa y
la Uni e sidad de Se illa.
Una b e e desc ipción del Se icio.
En é minos gene ales, el Se icio de
In ancia pod ía desc ibi se como un se i-
cio social especializado dependien e de la
Dipu ación P o incial dedicado al acogi-
mien o y a ención de niños sin hoga
a m i l i a . Es e se icio cuen a con un con-
jun o de comunidades in an iles dis ibui-
das po dis in os pueblos de la p o i n c i a
de Se illa. Además del pe sonal adminis-
a i o, el se icio de in ancia cuen an con
una di ección, enca gada undamen al-
men e de es ablece las di ec ices de a-
bajo emanadas desde la Dipu ación P o-
incial, que pos e io men e ejecu a el
“ c o o dinado ” de comunidades in an iles,
e n c a gado de o ganiza las ac uaciones de
las comunidades siguiendo ales di e c i-
ces, y po úl imo un g upo de écnicos
(una pedagoga, es psicólogos, dos aba-
j a d o es sociales) enca gados de aseso a y
apoya el abajo de las comunidades.
Las comunidades in an iles pod ían
de ini se como pequeños núcleos de con-
i encia pa a meno es con una p o b l e m á-
ica socio- amilia g a e y con unas pe s-
pec i a de es ancia p olongada en el iem-
po (Pe al, 1994). El obje i o gene al que se
pe sigue en las comunidades es la uel a
del meno a su medio, do ándole de e c u -
sos pa a su desa ollo y au onomía pe so-
nal, po enciándose con ello una adecuada
in eg ación social, e incluso la au onomía
pe sonal si se die a el caso. La p o c e d e n-
cia de los meno es, con “necesidad de p o-
ección” po pa e de la adminis ación
pública, acogidos po el Se icio de In an-
cia es p incipalmen e la p o incia de Se i-
lla y p o incias colindan es. Cada comuni-
dad in an il se compone de un g upo de
e d u c a d o es y amas de hoga coo d i n a d o s
po un esponsable de la unidad, enca g a-
do de las comunicaciones Co m u n i d a d -
Se icio de in ancia, además de la coo d i -
nación in acomunidad.
Fases del p oceso e alua i o
d e s a o l l a d o
Delimi ación de los obje i os e alua i os
( e e en e concep ual)
En el p ime con ac o con el se icio de
in ancia, al solici a documen ación sob e
las in e enciones en ejecución, nos
encon amos con que no exis ía in o m a -
ción o malmen e es uc u ada de los p o-
g amas de in e ención en desa ollo en
las dis in as comunidades in an iles.
Siguiendo los c i e ios desde los que se
es ablece la e aluabilidad de un p o g a m a
(Ru man, 1980; Wholey, 1987, Fe n á n d e z
B a l l e s e os, 1995) se debe ía habe desis-
ido del in en o de e alua el Se icio, al
no dispone se del mínimo indispensable,
es deci un p og ama de in e ención sis-
emá ico p e iamen e plani icado que
haya sido implemen ado siguiendo ese
diseño p e io.
Es e plan emien o de al a de e aluabili-
dad es aplicable a un ipo de e aluación
inal o de esul ados. Lógicamen e esa se ía
la si uación ideal en cualquie ámbi o de
in e ención comuni a ia, pe o el caso des-
c i o no impide necesa iamen e desa o l l a
una e aluación con alidez en an o que, la
e aluación no ha de se en endida de o m a
exclusi a como la ase inal de ecogida de
una se ie de da os pa a alo a los e s u l a -
dos ob enidos po el p og ama implemen a-
do. Más bien el p oceso e alua i o supone
un desa ollo pa alelo al p og ama de in e -
ención que lo complemen a y op imiza
median e el apo e con inuo de una in o -
mación álida du an e el p oceso mismo de
in e ención (Conne , 1984; Chacón y
López Ruiz, 1993, 1995). Po odo ello, la
Sal ado Chacón Moscoso y José Lopéz Ruiz.
I N T E RVENCION PSICOSOCIAL
4 1 3
casuís ica desc i a se puede con empla
como una de las posibles exis en es en el
p oceso e alua i o, es deci la e aluación
de la concep ualización y diseño de un p o-
g ama.
Desde es a ealidad, el obje i o plan ea -
do en el abajo ue el desa ollo de una
e aluación de la concep ualización y del
diseño de un p og ama de in e ención glo -
bal álido pa a el conjun o de comunidades
in an iles, y po an o que espondie a a
las ac uaciones ya en ejecución en las dis -
in as comunidades, con obje o de po en -
cia la u ilidad- alidez del p oceso e alua i -
o, siguiendo el modelo de pa icipación de
los implicados de Vedung (1993) (conocido
a eces como el modelo sueco de e alua -
c i ó n ) .
Con obje o de po encia la pa icipación
de odos los implicados en la delimi ación
del e e en e e alua i o plan eamos dos
a eas. Po un lado, ecoge y analiza
i n o mación en dos p o ocolos, de ipo
abie o, ace ca de dis in as á eas globales
de abajo; y po o o lado se con o mó un
g upo nominal de abajo, en el que se
deba ie a y consensua an los elemen os
comunes de los p og amas de abajo en
d e s a ollo en las dis in as comunidades
desde los c i e ios de dichos p o e s i o n a l e s .
El empeza a delimi a los obje i os e a-
lua i os desde la in o mación ecogida en
ales e g i s os se basa en el p incipio de
u ilidad- alidez plan eado an e io m e n e .
Es deci , el omen o de la pa icipación de
los implicados en el p oceso de in e en-
ción-e aluación pa e del conocimien o de
cuáles son las ac uaciones ealmen e en
ejecución en el Se icio. Es e da o es de
g an in e és ya que aunque se omen e la
pa icipación de odos los implicados, con
obje o de log a una e ec i a implemen a-
ción de lo p og amado, es a pa icipación
se uel e más comp ome ida al dispone -
se de in o mación e e en e de las in e -
enciones ealmen e en ejecución, de al
o ma que se acili a el diseño de un p o-
g ama de in e ención-e aluación ajus a-
do a la ealidad y no un me o documen o
o mal más que se ha de cumplimen a .
Una ez analizada la in o mación sob e
las á eas globales de in e ención, se con-
o mó un g upo nominal de abajo en el
que se consensua an los elemen os comu-
nes de los p og amas de abajo en desa-
ollo en las dis in as comunidades del se -
icio (El g upo nominal es un “mé odo
pa a es uc u a pequeños g upos de a-
bajo que pe mi e una e ec i a ag upación
de juicios indi iduales y que se suele u ili-
za en si uaciones en las que se da un al o
g ado de ince idumb e o desacue do ace -
ca de la na u aleza de un p oblema y sus
posibles soluciones”; Moo e, 1987; p.24).
Dicho g upo es u o compues o po los
c o o d i n a d o es de las dis in as comunida-
des in an iles y los écnicos del Se icio
cen al, mode ado po el p ime au o del
p esen e abajo. Se decidió da es a con-
o mación a los g upos de abajo debido a
que es as pe sonas e p esen aban los ele-
men os dinamizado es de posibles cambios
en la es uc u a de uncionamien o del Se -
icio, y al mismo iempo disponían de in o -
mación idedigna de las ac uaciones e a l-
men e desa olladas en las comunidades,
uncionando como po a oces de las posi-
bles necesidades exis en es en los dis in os
ámbi os de ac uación del Se icio.
En es a p ime a ase po an o, se en a-
izó a los miemb os esponsables del Se -
icio cómo la alidez de dicho p o g a m a
global de in e ención se sus en a en la
pa icipación de los implicados en el p o-
ceso de in e ención (Weiss, 1983; B an-
don, New on y Ha man, 1993); en de ini i-
a los esul ados ob enidos se án álidos
en an o ú iles en las in e enciones en
ejecución (Pa on, 1989; Vedung, 1995).
Una ez plan eado y consensuado dicho
obje i o gene al, cada uno de los miem-
b os del g upo hacía una exposición del
abajo que se enía desa ollando en su
comunidad conc e a, pa a pos e io m e n e
pasa a deba i y consensua en el g upo
los elemen os comunes de los p o g a m a s
Validez de la e aluación en In e ención Psicosocial: Un análisis me odológico.
4 1 4
I N T E RVENCION PSICOSOCIAL
de abajo en desa ollo en las dis in as
comunidades, que al mismo iempo se
conside asen ele an es en una p ime a
a p oximación al mencionado p og ama de
in e ención global álido pa a el Se icio
en su conjun o. Como esul ado de es as
sesiones de abajo se plan ea on una
se ie de obje i os globales y especí icos a
con empla en el p og ama ma co de
in e ención pa a el Se icio al comple o,
y que se ía omado como e e en e pa a el
diseño de las in e enciones pa icula e s
con cada meno .
An es de pasa a desc ibi la e aluación
de la alidez de dicho p og ama ma c o
m e ece la pena ealiza una se ie de
comen a ios p e ios. En p ime luga
esal a que el diseño de los obje i os del
p og ama se basa en la p ác ica que un
g upo de p o esionales enía e a l i z a n d o
an es de plan ea se el p oceso de e alua-
ción (al llega al se icio no exis ía in o -
mación o mal de las ac uaciones en desa-
ollo). El modelo eó ico en el que se basa
el diseño del p og ama de e aluación es el
modelo de e aluación basado en la pa ici-
pación de los implicados (Vedung, 1993),
a c o de con el abajo de B andon, New on
y Ha man (1993). El plan eamien o dise-
ñado se basa en los p incipios de alidez
expues os. Es o es, an es de plan ea una
al e ación en las ac uaciones ya imple-
men adas de acue do con algún modelo
eó ico de e minado, es necesa io e alua
con el mayo g ado de alidez posible lo
que se es é implemen ando, y pa a ello se
hace necesa io la pa icipación de los
implicados, en an o son concocedo es de
las ac uaciones que ealmen e se lle an a
c a b o .
E aluación de la alidez del p o g a m a
m a co de in e ención en las dis in as
comunidades in an iles.
El es udio de la alidez del p o g a m a
m a co diseñado suponía es udia en cada
comunidad si e ec i amen e dicho p o g a-
ma de in e ención ecogía odos los ele-
men os globales de sus in e enciones, y
si además había sido concep ualizado de
la misma mane a. Po o a pa e, se hacía
necesa ia la elabo ación de algún sis ema
de e g i s o e p esen a i o de dicho p o g a -
ma global, en an o se p e endía dispone
de da os e e idos a la implemen ación del
p og ama en cada comunidad que pudie-
sen se ag upados y compa ados (en an o
e e en es a un mismo p og ama de in e -
ención, pe mi iéndose con ello una posi-
ble iangulación c uzada en los da os).
En es e sen ido, nues o diseño de e a-
luación pa ió de una concepción no no -
ma i a de diseño e alua i o (Angue a,
1992, 1995) al se en endido como el p o-
ceso global de in e ención-e aluación y no
como algunas pa es conc e as de dicho
p oceso, de ahí que plan eemos el concep o
de e aluación como un con inuo, es deci ,
un p oceso ecu si o de diseño/implemen-
ación del p og ama y ecogida con inua de
da os que lo modula.
Tomando como e e en e la e aluación
de la concep ualización y diseño del p o-
g ama ma co, el p esen e abajo ambién
a b o dó el p oblema de la e aluación de la
implemen ación coo dinada de dicho p o-
g ama global en las dis in as comunida-
des (en an o puedan in eg a se las ac ua-
ciones pa icula es de cada comunidad en
dicha es uc u a global de in e ención),
así como una e aluación del log o de los
obje i os globales p ede inidos ( e s u l a d o s
ob enidos), median e sis emas de e g i s o s
álidos a ni el del Se icio en su conjun o
( C o n n e , 1984).
An es de pasa a desc ibi y a g u m e n a
las ases del diseño ejecu adas, conside a-
mos ele an e esal a que la inalidad del
abajo, como log o de alidez, se basaba
en el consenso an o en la delimi ación de
los obje i os globales y especí icos de a-
bajo en dis in os con ex os de in e en-
ción (dis in as comunidades in an iles
ubicadas en dis in os pueblos de la p o-
incia de Se illa), como en su co e s p o n -
Sal ado Chacón Moscoso y José Lopéz Ruiz.
I N T E RVENCION PSICOSOCIAL
4 1 5
Validez de la e aluación en In e ención Psicosocial: Un análisis me odológico.
4 2 2
I N T E RVENCION PSICOSOCIAL
44.

Sal ado Chacón Moscoso y José Lopéz Ruiz.
I N T E RVENCION PSICOSOCIAL
4 2 3
ANEXO 3. Ni eles globales alcanzados en los p og amas y
subp og amas diseñados po el se icio en su conjun o
Validez de la e aluación en In e ención Psicosocial: Un análisis me odológico.
4 2 4
I N T E RVENCION PSICOSOCIAL
Aguila , M.J. y Ande -Egg, E. (1992). E a l u a c i ó n
de se icios y p og amas sociales. Mad id: Siglo
X X I .
Angue a, M.T. (1992). Diseños diac ónicos en p o-
g amas de in e ención. Bo dón, 43 (4), 421- 429.
Angue a, M.T. (1995). Diseños. En R. Fe nández
Balles e os (Ed.) E aluación de p og amas. Una guía
p ác ica en ámbi os sociales, educa i os y de salud
(pp.149-172). Mad id: Sín esis.
Bickman, L. (1987). The unc ions o p og am heo y.
En L. Bickman (Ed.) Using p og am heo y ( p p . 5 - 1 9 ) .
San F ancisco: Jossey-Bass.
B andon, P.R.; New on, B.J. y Ha man, J.W. (1993).
Enhancing alidi y h ough bene icia ies’ equi able
in ol emen in iden i ying and p io i izing homeless
child en’s educa ional p oblems. E alua ion and P o -
g am Planning, 6, 287-293.
B inbe g, D. y Mcg a h, J.E. (1982). A ne wo k o
alidi y concep s wi hin he esea ch p ocess. En D.
B inbe g y L.H. Kidde (Eds.) Fo ms o alidi y ese -
a c h (pp. 5-21). San F ancisco: Jossey-Bass.
Campbell, D.T. (1986). Relabeling in e nal and ex e -
nal alidi y o applied social scien is s. In W. T o-
chim (Eds.) Ad ances in quasi-expe imen al design
and analysis (pp. 67-78). San F ancisco: Jossey-
B a s s .
Campbell, D. y S anley, J. (1966). Expe imen al and
quasi-expe imen al designs o esea ch. Chicago:
Rand Mcnally Company.
Chacón Moscoso, S. y López Ruiz, J. (1993). Me odo-
logía de la e aluación de p og amas de in e ención:
una aplicación en cen os asis enciales in an iles.
Apun es de Psicología, 37, 41-60.
Chacón Moscoso, S. y López Ruiz, J. (1995). Me odo-
logía de la e aluación de p og amas de in e ención:
una aplicación en cen os asis enciales in an iles (II).
Apun es de Psicología, 45, 69-89.
Chacón Moscoso, S., López Ruiz, J y Pé ez Gil, J.A.
(1995, Ab il) Validez de la e aluación en in e ención
s o c i a l. T abajo p esen ado al IV Symposium de Me o-
dología de las Ciencias del Compo amien o. La
Manga del Ma Meno . Mu cia.
Chen, H. (1990). Theo y-d i en e alua ions. London:
S a g e .
Chen, H. y Rossi, P.H. (1987). The Theo y-d i en
app oach o alidi y. E alua ion and P og amm Plan -
n i n g, 10, 95-103.
Cohen, E. y F anco, R. (1993). E aluación de p oyec -
os sociales. Mad id: Siglo XXI.
Conne , R.F. (1984). The a o implemen a ion. En
L. Ru man (Ed.), E alua ion esea ch me hods: a
basic guide (pp.191-218). Be e ly Hills, Cali o nia:
Sage.
Cook, T. y Campbell, D. (1979). Q u a s i - e x p e i m e n a -
ion. Desings and analyses uses o ields se ings.
Bos on: Hough on Mi lin.
Cook, T. & Campbell, D. (1986). The causal assump-
ions o quasi-expe imen al p ac ice. S y n h e s e, 28,
1 4 1 - 1 8 0 .
Cook, T.D., Campbell, D. & Pe acchio, L. (1990).
Quasi-expe imen a ion. In M.D. Dunne e, L.M.
Hough (Eds.) Handbook o Indus ial and o ganiza io -
nal psychology (pp.491-576). Palo Al o, CA: Consul .
Psychol. P ess.
Cook, T.D. & Shadish, W.R. (1994). Social expe imen-
es: some de elopmen s o e he pas i een yea s.
Annual Re iew o Psychology, 45, 545-580.
Co d ay, D.S. (1989). Op imizing alidi y in p og am
esea ch: an elabo a ion o he Chen and Rossi’s he-
o y-d i en app oach. E alua ion and P og am Plan -
n i n g, 12, 379-385.
C onbach, L. (1982). Designing e alua ions o educa io -
nal and social p og ams. San F ancisco: Jossey-Bass.
Fe nández-Balles e os, R. (Ed.) (1995). E aluación de
p og amas. Una guía p ác ica en ámbi os sociales,
educa i os y de salud. Mad id: Sín esis.
Fe nández del Valle, L. (1996). Roles y es a egias en
e aluación de p og amas. In e ención Psicosocial, 14,
9 - 2 1 .
He man, J.L; Mo is, L.L. y Fi z-Gibbon, C.T. (Eds.).
(1987). P og am e alua ion ki (2ª Edic.). Be e ly Hills:
Sage Publica ions. (9 Vols.).
Lipsey, M.W. y Polla d, J.A. (1989). D i ing owa d
heo y in p og am e alua ion: mo e models o choo-
se om. E alua ion and P og am Planning, 12, 317-
328.
Ma k, M.M. (1986). Validi y ypologies and he logic
and p ac ice o quasi-expe imen a ion. En M.K. T o-
chim (Ed.). Ad ances in quasi-expe imen al design
and analysis (pp. 47-67). San F ancisco: Jossey-
Bass.
McClin ock, C. (1987). Concep ual and ac ion heu is-
ics: ools o he e alua o . En L. Bickman (Ed.)
Using p og am heo y(pp.43-58). San F ancisco: Jos-
s e y - B a s s .
BIBLIOGRAFIA
Medina To ne o, M.E. (1996). E aluación de la cali-
dad asis encial en se icios sociales. In e ención Psi -
c o s o c i a l , 14, 9-21.
Mo eno Rod íguez, R.; Ma ínez Ce an es, R.J. y
Chacón Moscoso, S. (1995). Fundamen os de me odo -
logía cien í ica. Apun es de clase no publicados.
Moo e, C.M. (1987). g oup echniques o idea buil-
ding. Newbu y Pa k, C.A.: Sage
Palumbo, D.J. (Ed.) (1987). The poli ics o p og am
e a l u a i o n. London: Sage.
Pa on, M.Q. (1989). A con ex and bounda ies o a
heo y-d i en app oach o alidi y. E alua ion and
P og am Planning, 12, 375-377.
Pe al, R. (1994). Las comunidades in an iles: un
ecu so socio-educa i o pa a meno es en di icul-
ad social. Los Se icios Sociales en la P o incia de
Se illa. Re is a in o ma i a del A ea de Asun os
Sociales de la Dipu ación P o incial de Se illa, 2 ,
8 - 1 3 .
Rossi, P.H. y F eeman, H.E. (1985). E alua ion: a sys -
ema ic app oach (3ª Edic.). Be e ly Hills: Sage Publi-
c a i o n s .
Ru man, L. (Ed.) (1980). E alua ion esea ch me -
hods: a basic guide. Be e ly Hills, Cali o nia:
S a g e .
Schei e , M.A. (1987). P og am heo y and implemen-
a ion heo y: implica ions o e alua o s. En L. Bick-
man (Ed.) Using p og am heo y (pp.59-76). San
F ancisco: Jossey-Bass.
Shadish, W.R.; Cook, T. y Le in on, L. (1991). F o u n -
da ions o p og am e alua ion. New Yo k: Sage Publi-
c a i o n .
Shapi o, J.Z. (1982). E alua ion as heo y es ing: an
example om head s a . Educa ional E alua ion and
Policy Analysis, 4, 341-353.
Shapi o, J.Z. (1989). Con ex ual limi s on alidi y
a ainmen : an a i icial science pe spec i e on p o-
g am e alua ion. E alua ion and P og am Planning,
1 2, 367-374.
Sech es , L. y Figue edo, A.J. (1993). P og am e a-
lua ion. Annual Re iew o Psychology, 44, 645-674.
S uening, E.L. y B ewe , M.B. (Eds.)(1983). H a n d b o -
ok o e alua ion esea ch. London: Sage.
Vedung, E. (1993). U ilización de la e aluación. R e i s -
a de Se icios Sociales y Polí ica Social,2, 69-80.
Vedung, E. (1995). U ilización de la e aluación de
p og amas. En R. Fe nández Balles e os (Ed.) E a l u a -
ción de p og amas. Una guía p ác ica en ámbi os
sociales, educa i os y de salud. (pp.321-338). Mad id:
S í n e s i s .
Weiss, C.H. (1983). The s akeholde app oach o e a-
lua ion: o igins and p omise. En A.S. B yk (Ed.) S a -
keholde -based e alua ion (pp. 3-14). San F ancisco:
J o s s e y - B a s s .
Wholey, J.S. (1987). E aluabili y assessmen : de e-
loping p og am heo y. En L. Bickman (Ed.) Using
p og am heo y (pp. 77-93). San F ancisco: Jossey-
Bass.
Sal ado Chacón Moscoso y José Lopéz Ruiz.
I N T E RVENCION PSICOSOCIAL
4 2 5