Análisis de la implementación del “Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía”. Valoración de las y los profesionales

127 127 Apuntes de Psicología (ISSN 0213-3334) Colegio Oficial de Psicología de Andalucía Occidental, 2022, Vol. 40, número 3, págs. 127-138. Universidad de Cádiz, Universidad de Córdoba, DOI: 10.55414/ap.v40i3.1415 Universidad de Huelva, Universidad de Sevilla Análisis de la implementación del “Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía”. Valoración de las y los profesionales Dirección para correspondencia: Pilar Ridao Ramírez, Facultad de Ciencias de la Educación. c/ Pirotecnia, s/n. 41013 Sevilla. Correo electrónico: [email protected] Financiación: el proyecto se ha llevado a cabo en el marco de una Subvención excepcional otorgada por la Consejería de Igualdad, Políticas Sociales y Conciliación de la Junta de Andalucía a la Fundación de Investigación de la Universidad de Sevilla (código del proyecto PRJ202003773). Recibido: julio de 2022. Aceptado:septiembre de 2022. Isabel LÓPEZ-VERDUGO Universidad de Sevilla (España) https://orcid.org/0000-0002-2770-1961 Reyes CASARES ORDÓÑEZ Ayuntamiento de Sevilla (España) Laura JIMÉNEZ GARCÍA Universidad de Sevilla (España) Pilar RIDAO Universidad de Sevilla (España) https://orcid.org/0000-0001-8714-8734 Francisco MIELGO GARCÍA Universidad de Granada (España) Lucía JIMÉNEZ Universidad de Sevilla (España) https://orcid.org/0000-0003-2223-7263 Resumen Se presentan los resultados de la valoración de las/os profesionales del Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía a partir de la información de las/os 479 profesionales que componen los 147 Equipos de Tratamiento Familiar. Se analizó la fidelidad al programa, algunas dimensiones actitudinales relacionadas con esta (motivación, percepción de utilidad y eficacia, satisfacción con el equipo de trabajo) y la relación de dichas variables con los años de experiencia y el perfil profesional. Además, se examinaron las propuestas de cambio dirigidas a mejorar el programa. Se combinó el análisis cualitativo y cuantitativo de la información a partir de un cuestionario con preguntas abiertas y cerradas. Los resultados evidenciaron una valoración positiva del programa por parte de las/os profesionales, tanto en términos generales como atendiendo a distintas dimensiones específicas. Además, la voz de las/os profesionales puso de manifiesto aspectos, tanto internos como externos al programa, susceptibles de mejora. Entre los aspectos internos destacó la modificación del manual del programa, la temporalización, la revisión de los perfiles profesionales y la formación continua. A nivel externo, señalaron la necesidad de mejorar los canales de coordinación y comunicación, y los procesos de supervisión. Palabras clave: tratamiento familiar, evaluación de programas, protección infantil, implementación, estándares de calidad, fidelidad, perfil profesional. Abstract This study covers the implementation analysis of the Programme for Families involved in the Andalusian Child Welfare System from the perspective of a sample of 479 front-line practitioners from 147 family treatment services. Firstly, the fidelity to the programme, some related attitudinal variables (motivation, perception of utility and effectiveness, satisfaction with the teamwork), as well as the relationship of these variables with both practitioners’ experience and professional profile were analysed. Secondly, proposals for change suggested by the practitioners in order to improve the functioning of the programme were described. A combination of qualitative and quantitative analyses of the infor- 128 Apuntes de Psicología, 2022, Vol. 40, número 3, págs. 127-138. I. López-Verdugo y otros Valoración del Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía mation from a questionnaire that included both open- and closed-ended questions was followed. The results showed that practitioners positively rated the programme, both in general terms and in specific implementation variables. They also highlighted several aspects that could be improved, including both program-related aspects included (as the modification of the program manual, the timing, the professional profiles and an ongoing training) and other aspects external to the program (as the need to improve and facilitate coordination and communication channels, and supervision processes). Key words: family treatment; program evaluation; child welfare; implementation; quality standards; fidelity; professional profile. (Casares Ordóñez, 2017): (a) apoyar a las familias para que proporcionen a los niños, niñas y adolescentes un entorno que garantice su desarrollo; (b) preservar la integridad de las familias evitando la separación de sus miembros mediante una intervención específica, integradora y capacitadora y (c) posibilitar la reunificación familiar, siempre que sea posible, en aquellos casos de niños, niñas y adolescentes retirados de su medio familiar. Tal y como queda establecido en el manual técnico (Dirección General de Infancia y Familias, 2007), el programa es llevado a cabo por los Equipos de Tratamiento Familiar (ETF), integrados por tres profesionales pertenecientes al ámbito del trabajo social, la psicología y la educación social. Desde una fundamentación ecológico-sistémica y este marco interdisciplinar, los y las profesionales desarrollan su trabajo incorporando funciones comunes, y otras específicas para cada perfil profesional. Estos equipos guían los procesos de análisis y valoración, diagnóstico, intervención y evaluación de las familias, mediante colaboración, coordinación y trabajo en red con otras instituciones y con los diferentes agentes intervinientes del Sistema Público de Atención y Protección de Menores, manteniendo una corresponsabilidad compartida. La implementación como aspecto clave de la calidad de las intervenciones Desde el marco de las prácticas y programas basados en la evidencia, se enfatiza la relevancia de una implementación de calidad en las intervenciones familiares. Estas deben contar con un sólido marco conceptual, un diseño adecuado y una puesta en práctica eficiente, ganando así protagonismo el análisis de su implementación (Flay, Biglan, Boruch et al., 2005; Jiménez e Hidalgo, 2016; Walsh, Rolls-Reutz y Williams, 2015). Los programas de apoyo e intervención familiar de calidad deben contar con un alto grado de sistematización, incorporando actividades claramente estructuradas, objetivos bien definidos y métodos que permitan implementar la intervención apropiadamente (National Academy for Parenting Practitioners, 2009). La implementación no debe tenerse en cuenta solo durante la fase de diseño, sino que también es relevante en el proceso de evaluación. Según los estándares de calidad en materia de evaluación de programas, la evaluación de la implementación ha de ser un objetivo prioritario, constituyendo una fuente de información de gran utilidad para su optimización. A pesar de este Las actuaciones en materia de intervención y apoyo familiar encaminadas a atender las necesidades de los padres y las madres en relación con la educación de sus hijos e hijas se insertan en nuestro país en los tres niveles de la administración en función del grado de responsabilidad y de las competencias asumidas por las instituciones implicadas. En un primer nivel, la administración estatal es responsable de las políticas de apoyo familiar, estableciendo el marco legislativo y cubriendo parte de la financiación. En un segundo nivel, los gobiernos autonómicos se ocupan de los reglamentos legislativos, la cofinanciación y la organización general de los servicios en su ámbito geográfico. Y en un tercer nivel, la implementación de las diferentes actuaciones recae fundamentalmente en las administraciones locales, implicando agencias y organizaciones públicas, privadas o del tercer sector (Rodrigo, Hidalgo, Byrne, et al., en prensa). El Programa de tratamiento a familias con menores, cuya evaluación es objeto de este trabajo, constituye una prestación garantizada dentro del Sistema Público de Servicios Sociales de Andalucía, cuyo desarrollo depende a nivel autonómico de la Consejería competente en materia de infancia, y a nivel local de las Diputaciones Provinciales y de los Ayuntamientos de municipios de más de veinte mil habitantes (Consejería de Igualdad, Políticas Sociales y Conciliación, Decreto 100/2022). El Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía Este programa constituye un recurso especializado del Sistema de Protección a la Infancia en Andalucía. Su finalidad principal es la promoción del desarrollo integral de los y las personas menores de edad mediante el fortalecimiento de competencias parentales y estrategias de preservación familiar (Consejería de Igualdad y Políticas Sociales, Decreto 494/2015). A lo largo de los 20 años de existencia de este programa, 147 equipos dependientes de las administraciones locales y coordinados desde la Consejería competente han atendido a más de 75.000 familias y unos 150.000 niños y niñas. Con la reciente aprobación del Decreto 100/2022, la Consejería de Igualdad, Políticas Sociales y Conciliación ha otorgado estabilidad al programa, proporcionándole una base sólida y duradera, asegurando su continuidad y convirtiéndolo en una prestación garantizada del Sistema Público de Servicios Sociales. Desde un enfoque preventivo y con una atención personalizada, se persiguen tres objetivos fundamentales Apuntes de Psicología, 2022, Vol. 40, número 3, págs. 127-138. 129 I. López-Verdugo y otros Valoración del Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía consenso, no se dispone de un modelo único que establezca los criterios de evaluación de la implementación. La mayoría de los estudios se centran en programas concretos y en unos criterios de análisis, desestimando otros. Ello es comprensible dada la diversidad tanto de aproximaciones conceptuales como de programas existentes dirigidos a poblaciones con necesidades distintas, en contextos diferentes y con recursos muy variados (Berkel, Mauricio, Schoenfelder y Sandler, 2011; Máiquez, Rodrigo y Byrne, 2015; Hidalgo, Jiménez, López-Verdugo et al., 2016). Aunque el desarrollo de modelos consensuados que permitan un análisis sistemático y compartido en las investigaciones sobre implementación es una asignatura pendiente (Özdemir, Vastamäki, Leijten y Sampaio, en prensa), sí se dispone de resultados empíricos acerca de los factores del proceso de implementación que actúan como moderadores de la eficacia de las intervenciones (Asmussen, 2011; Walsh et al., 2015). Existe un cierto acuerdo en considerar cuatro estándares de calidad relacionados con la implementación; aspectos que deben considerarse en la fase de diseño y sistematizarse para garantizar tanto la diseminación del programa como su validez ecológica (Hidalgo et al., 2016; Rodrigo et al., en prensa): a. Fidelidad (Durlak y DuPre, 2008). b. Adaptabilidad (Barrera, Berkel y González Castro, 2017; Özdemir et al., en prensa). c. Formación (Meyers, Durlak y Wandersman, 2012). d. Apoyo y cobertura institucional (Casillas, Fauchier, Derkash y Garrido, 2016; Fixsen, Blasé, Naoom y Wallace, 2009). La fidelidad hace referencia a la adherencia a los principios y supuestos originales del programa y a la identificación con su filosofía, tanto en lo referido al modelo de cambio como al uso de las estrategias y técnicas de intervención (Baumann, Kohl, Proctor y Powell, 2016; Berkel et al., 2011; Álvarez, Padilla y Máiquez, 2016). No obstante, es necesario lograr un equilibrio adecuado entre fidelidad y flexibilidad en función de las características y necesidades de los destinatarios. Para alcanzar un buen grado de adaptabilidad se deben aclarar cuáles son los componentes centrales que hay que respetar y cuáles pueden ser adaptados sin comprometer la eficacia de la intervención (Barrera et al., 2017; Durlak y DuPre, 2008; Fixsen et al., 2009; Oats, Cross, Mason et al., 2014; Rodrigo et al., en prensa). La formación de las y los profesionales ha de considerar aspectos referidos al cuándo, cómo y sobre qué contenidos debe realizarse; incorporando tanto las bases teóricas y metodológicas, como herramientas que promuevan la comunicación, el trabajo en equipo, y valores y actitudes positivas hacia la intervención (Herrera, León y Medina, 2007; Máiquez et al., 2015; Sánchez Prieto, Pascual Barrio, Orte Socias y Ballester Brage, 2020). Además, la formación debe ser continua, iniciándose antes de la implementación, y aportando apoyo y asesoramiento durante todo el proceso (Acquah y Thévenon, 2020; Meyers et al., 2012; Small, Cooney y O’Connor, 2009). Por último, las intervenciones más eficaces son aquellas que cuentan con suficiente apoyo y cobertura institucional (Casillas et al., 2016; Fixsen et al., 2009). Un buen número de intervenciones dirigidas a familias tienen un claro carácter intersectorial y multidisciplinar. Este tipo de acciones requieren la colaboración de los diferentes agentes locales e institucionales implicados, y precisan de un liderazgo que aúne intereses, favorezca alianzas, dé continuidad y estabilidad al programa, y facilite su reconocimiento institucional (Meyers et al., 2012). Fidelidad e identificación con el programa La fidelidad constituye uno de los estándares de calidad relevantes en la implementación de los programas, moderando los resultados de eficacia. A su vez, la fidelidad depende del grado de sistematización del programa, así como de variables relacionadas con los y las profesionales que lo implementan. Respecto a lo primero, los estudios sobre evaluación de eficacia indican que obtienen mejores resultados aquellos programas con un buen grado de sistematización y que, por tanto, facilitan una aplicación más fiel a los supuestos del programa (Hidalgo et al., 2016; Sanders, Prinz y Shapiro, 2009). En cuanto a los y las profesionales, es fundamental para facilitar la fidelidad al programa que se sientan comprometidos e identificados con la filosofía de la intervención (Hidalgo et al., 2016; Rodrigo, Byrne y Álvarez, 2012). Alcanzar un buen nivel de compromiso por parte de los y las profesionales depende de la formación recibida sobre los supuestos teóricos, metodológicos y prácticos que sustentan al programa (Casillas et al., 2016; Máiquez et al., 2015; Meyers et al., 2012), así como de ciertas dimensiones actitudinales (Baumann et al., 2016; Fixsen et al., 2009; Hidalgo et al., 2016; Rodrigo et al., 2012). Este trabajo se centra en algunas de estas dimensiones que se consideran necesarias para identificarse con el programa e implementarlo fielmente. En concreto, se analiza la valoración que hacen los y las profesionales del programa, la motivación para llevarlo a cabo, la percepción de eficacia y utilidad del programa y la satisfacción con el trabajo en equipo. Las investigaciones sobre eficacia de programas indican que se alcanzan mejores resultados cuando las actuaciones son llevadas a cabo por profesionales que las valoran positivamente, las perciben útiles y se sienten motivados para llevarlas a cabo (Hidalgo et al., 2016; Shklarski, 2021). Cuando las intervenciones son desarrolladas por equipos multidisciplinares, como es el caso del Programa de tratamiento familiar de Andalucía, el trabajo en equipo 130 Apuntes de Psicología, 2022, Vol. 40, número 3, págs. 127-138. I. López-Verdugo y otros Valoración del Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía se convierte en una competencia profesional esencial. La cooperación y la colaboración constituyen las principales dimensiones que sustentan la labor profesional, concretándose en la comunicación, la capacidad de intercambiar información y las emociones como elementos fundamentales para lograr confianza y apoyo mutuo (Conejero-Pérez, López-Verdugo e Hidalgo, 2022; Sánchez Prieto et al., 2020). Una buena relación de confianza, la convicción intrínseca de poder hacerlo mejor si se aúnan esfuerzos y la motivación para aplicar el programa son elementos esenciales para trabajar de forma satisfactoria y cohesionada (Navarro, Quijano, Berger y Meneses, 2011; Torrelles Nadal, Paris Mañas, Sabrià Bernadó y Alsinet Mora, 2015). En este artículo se da voz a los y las profesionales de los ETF con la finalidad de llevar a cabo una valoración del programa con una perspectiva orientada a la toma de decisiones de mejora basadas en la evidencia. Desde este planteamiento general, se proponen tres objetivos: 1. Conocer la valoración que los y las profesionales hacen del programa, así como del proceso de implementación a partir de los siguientes componentes: a. Identificación con la filosofía del programa y grado de fidelidad. b. Dimensiones actitudinales de los y las profesionales que facilitan la fidelidad: motivación, percepción de eficacia y utilidad, satisfacción con el grado de cohesión del equipo. 2. Analizar la valoración del programa y el proceso de implementación en función de los años de experiencia y el perfil profesional. 3. Analizar las aportaciones de los y las profesionales para la mejora del programa. El presente trabajo forma parte del proyecto de Evaluación del Programa de Tratamiento a Familias con Menores de Andalucía. Un Estudio del Proceso de Implementación y Análisis de su Eficacia y Eficiencia (PRJ202003773). El diseño de la investigación se ha llevado a cabo en tres fases (inicial, seguimiento y final), y se ha planteado con la finalidad de evaluar la cobertura, el proceso de implementación, la eficacia y la eficiencia del programa, así como la valoración que hacen los y las profesionales del programa y del manual de referencia. Se presentan resultados referidos a este último bloque a partir de la información aportada durante las fases inicial y de seguimiento y en el marco del análisis de su implementación. Método Participantes La muestra estuvo compuesta por profesionales de todos los ETF de Andalucía en activo durante el desarrollo de la investigación. Participaron 479 profesionales de los 147 ETF, con la siguiente distribución por provincias: 8’99% de Almería, 14’19% de Cádiz, 8’79% de Córdoba, 10’59% de Granada, 8’79% de Huelva, 9’10% de Jaén, 18’18% de Málaga y 21’30% de Sevilla. La tabla 1 muestra el perfil sociodemográfico de la muestra para cada provincia, atendiendo a la distribución de las variables sexo, edad, años de experiencia profesional previa en ETF y perfil profesional. Instrumentos Como parte de la evaluación de la implementación se aplicó el instrumento, elaborado ad hoc, denominado Perfil de los y las profesionales y Valoración del programa (PV). A través de este instrumento los y las profesionales informaron acerca de: (1) su grado de identificación con la filosofía del programa; (2) el nivel de motivación para aplicarlo; (3) la eficacia y utilidad percibida; (4) la fidelidad en la implementación; (5) la satisfacción con la cohesión del equipo; (6) la valoración general del programa; (7) la necesidad de realizar cambios; (8) y, en caso afirmativo, las propuestas de mejora. El instrumento aportó información de naturaleza numérica y textual. Dentro de la primera categoría se hallaban las variables identificación con la filosofía del programa, motivación para su aplicación, eficacia y utilidad del Tabla 1. Sexo, edad, experiencia previa, perfil profesional y formación específica en intervención familiar por provincias. Sexo Media de años Perfil profesional Mujer Hombre Edad Experiencia Psicólogo/a Educador/a social Trabajador/a social Almería 86.05% 13.95% 41.82 6.90 32.56% 32.56% 34.88% Cádiz 76.47% 23.53% 45.60 12.27 39.71% 30.88% 29.41% Córdoba 85.71% 14.29% 45.84 13.52 33.33% 35.71% 30.95% Granada 80.39% 19.61% 47.92 11.86 31.37% 37.25% 31.37% Huelva 85.71% 14.29% 44.84 11.06 35.71% 30.95% 33.33% Jaén 70.45% 29.55% 45.93 10.37 29.55% 40.91% 29.55% Málaga 86.21% 13.79% 47.88 13.12 37.93% 25.29% 36.78% Sevilla 76.47% 23.53% 46.94 9.12 35.29% 30.39% 34.31% Apuntes de Psicología, 2022, Vol. 40, número 3, págs. 127-138. 131 I. López-Verdugo y otros Valoración del Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía programa, fidelidad en la implementación y satisfacción con la cohesión del equipo con respuesta en escala tipo Likert de 1 a 4 puntos (Nada/ Poco/Bastante/Mucho) (por ejemplo, “¿En qué medida eres fiel en la implementación del programa según lo establecido en el Manual?”). También eran de naturaleza numérica la valoración del programa y la necesidad de modificación, con escala tipo Likert de 1 a 4 puntos (Mala/Regular/Bastante buena/Muy buena) y dicotómica (Sí/No), respectivamente (por ejemplo, “¿Cuál es tu valoración sobre el Programa de Tratamiento a Familias en este momento?”). Los cambios considerados necesarios para la mejora del programa se evaluaron mediante una pregunta abierta ( “Indica los cambios que consideres necesarios realizar para la mejora del Programa”). Procedimiento Durante el período de ejecución del proyecto se solicitó la colaboración de todos los y las profesionales de los ETF de Andalucía. Un miembro del equipo de investigación en cada provincia solicitó a los y las profesionales de la zona la cumplimentación del instrumento de evaluación, que fue remitido por correo electrónico. Los y las participantes recibieron información acerca de los objetivos de la investigación y de su carácter voluntario, de acuerdo con los estándares recogidos en la normativa vigente al respecto sobre la protección de datos. La investigación cuenta con el dictamen favorable emitido por el Comité Ético de Investigación regional competente (MVH_ETF–C.I.1482-N-18). Plan de análisis Para las variables de naturaleza numérica se calcularon los principales estadísticos descriptivos. Se llevaron a cabo análisis correlacionales empleando el estadístico de Pearson, con los siguientes valores de referencia como tamaño del efecto: despreciable si resultaba < 0’10, pequeño si >0’10 y < 0’30, medio si >0’ 30 y <0’50 y grande si > 0’50 (Cohen, 1988). Se realizaron también análisis de contraste a través de análisis de varianza, examinando la hp 2 como indicador del tamaño del efecto, de acuerdo con los siguientes valores: despreciable si < 0’01, pequeño entre > 0’01 y < 0’06, medio entre > 0’06 y < 0’14 y grande si > 0’14 (Cohen, 1988). En ambos análisis el nivel de confiabilidad fue del 95% (p < 0’05). Se utilizó el software SPSS v-21. Para las variables de naturaleza textual se realizó un análisis de contenido dirigido a determinar patrones y frecuencias de respuesta (Ngulube, 2015) y ordenar la información en categorías, identificando similitudes, diferencias y relaciones entre ellas (Kleinheksel, Rockich-Winston, Tawfik y Wyatt, 2020). Se llevó a cabo un proceso inductivo de creación del sistema de categorías por parte de un miembro del grupo de investigación, bajo la supervisión de otros dos miembros con experiencia en análisis de datos cualitativos, siguiendo el proceso recomendado por Moreno (2017). La información contenida en el sistema de categorías fue tratada con el software Nvivo v-11, permitiendo representar gráficamente el sistema de categorías, realizar análisis de frecuencias y generar nubes de palabras. Para la creación de dichas nubes se fijó una longitud mínima de cuatro letras y se eliminaron aquellas palabras carentes de significado. Resultados Se presentan los resultados de la valoración que realizaron los y las profesionales de los ETF sobre el Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía. Concretamente, se ha analizado la valoración general del programa, el proceso de implementación a partir de ciertas dimensiones actitudinales, así como la relación de estas variables con los años de experiencia y el perfil profesional de los miembros de los equipos. Además, se describen las propuestas de cambio que los y las profesionales plantearon para mejorar el programa. Valoración del programa y del proceso de implementación En la tabla 2 se presenta la valoración del programa por parte de las y los profesionales y de las distintas dimensiones analizadas del proceso de implementación. Como puede observarse en dicha tabla, la puntuación media obtenida en todas las dimensiones analizadas se situó por encima del tres, correspondiente a la etiqueta bastante. En la tabla 3 se presentan las interrelaciones entre los distintos aspectos evaluados. Los resultados encontrados han puesto de manifiesto relaciones estadísticamente significativas entre las distintas dimensiones, con tamaños del efecto medianos y grandes. Así, las y los profesionales que mejor valoraban el programa y mostraban un mayor nivel de identificación y fidelidad, eran también quienes presentaban mejores puntuaciones en las dimensiones actitudinales evaluadas: motivación, eficacia y utilidad y satisfacción con la cohesión del equipo. Tabla 2. Valoración del programa y del proceso de implementación: estadísticos descriptivos. M DT Identificación con la filosofía del programa 3.55 .51 Fidelidad en la implementación 3.07 .56 Motivación para su aplicación 3.47 .51 Eficacia y utilidad del programa 3.22 .51 Satisfacción con la cohesión del equipo 3.28 .80 Valoración global del programa 3.11 .56 132 Apuntes de Psicología, 2022, Vol. 40, número 3, págs. 127-138. I. López-Verdugo y otros Valoración del Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía Valoración del programa y del proceso de implementación en función de la experiencia laboral y el perfil profesional En la tabla 4 se presentan los resultados del análisis de correlaciones de todas las dimensiones evaluadas con los años de experiencia profesional. Los resultados obtenidos solo han mostrado relaciones estadísticamente significativas en sentido positivo y con un tamaño del efecto pequeño entre los años de experiencia y la identificación con la filosofía del programa. En la tabla 5 se presentan los resultados relativos a la valoración del programa y el proceso de implementación en función del perfil de las y los profesionales que integraban los equipos. Como puede observarse, no se han hallado diferencias estadísticamente significativas en ninguna de las dimensiones analizadas. Tabla 3. Valoración del programa y del proceso de implementación: análisis correlacionales. 23456 rprprprprp 1. Identificación .22 < .001 .56 < .001 .45 < .001 .10 .097 .41 < .001 2. Fidelidad - - .27 < .001 .32 < .001 .11 .065 .38 < .001 3. Motivación - - .43 < .001 .16 .008 .45 < .001 4. Eficacia y utilidad - - .11 .090 .56 < .001 5. Satisfacción - - .18 .004 6. Valoración general - - Tabla 4. Valoración del programa y del proceso de implementación en función de los años de experiencia en ETF: análisis correlacionales. Experiencia r p Identificación con la filosofía del programa .16 .001 Fidelidad en la implementación .00 .981 Motivación para su aplicación .01 .814 Eficacia y utilidad del programa .03 .485 Satisfacción con la cohesión del equipo -.04 .534 Valoración global del programa .08 .096 Tabla 5. Valoración del programa y del proceso de implementación: estadísticos descriptivos y contraste en función del perfil profesional. Psicólogo/a M (DT) Educador/a social M (DT) Trabajador/a social M (DT) F p hp 2 Identificación con la filosofía del programa 3.58 (0.52) 3.55 (0.50) 3.52 (0.50) 0.35 .705 .00 Fidelidad en la implementación 3.00 (0.47) 3.18 (0.49) 3.04 (0.55) 2.95 .054 .02 Motivación para su aplicación 3.45 (0.60) 3.51 (0.53) 3.45 (0.57) 0.30 .744 .00 Eficacia y utilidad del programa 3.23 (0.54) 3.27 (0.54) 3.16 (0.43) 0.10 .338 .01 Satisfacción con la cohesión del equipo 3.30 (0.81) 3.29 (0.78) 3.24 (0.80) 0.13 .877 .00 Valoración global del programa 3.08 (0.56) 3.21 (0.56) 3.05 (0.52) 2.17 .116 .02 Propuestas de mejora al programa El 76’60% de los y las profesionales aportaron alguna propuesta de mejora referida, al menos, a un aspecto del programa. En la tabla 6 se presentan y definen las 11 supracategorías que conforman el sistema de categorías en el que se ordenaron las propuestas de mejora y se indica el porcentaje correspondiente a cada una de ellas sobre el total de respuestas. La supracategoría más frecuente fue Manual, seguida por las supracategorías Características de la intervención, Reciclaje y actualización, Proceso de intervención y Coordinación y supervisión. A continuación, se enumeran las categorías agrupadas dentro cada supracategoría de propuestas de mejora, aportando su definición y porcentaje de aparición dentro de la misma (entre paréntesis). Además, en cada supracategoría se ofrece un ejemplo de narrativa a modo ilustrativo. 1. Condiciones laborales (por ejemplo, «Estabilidad laboral de los y las profesionales de los equipos»): 1.1. Estabilidad laboral: continuidad de los trabajadores y las trabajadoras en el puesto desempeñado (46’77%). 1.2. Dispersión geográfica: amplitud en las zonas de trabajo asignadas a los ETF (40’32%). 1.3. Otras condiciones laborales: otras condiciones de los profesionales, más allá de la continuidad en el puesto y de la dispersión geográfica (12’90%). Apuntes de Psicología, 2022, Vol. 40, número 3, págs. 127-138. 133 I. López-Verdugo y otros Valoración del Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía 2. Funciones y roles profesionales (por ejemplo, «Las funciones y tareas comunes del equipo y específicas de cada profesional»): 2.1. Ajuste y definición del rol profesional: demandas relacionadas con la delimitación de tareas y de roles dentro de los equipos (37’50%). 2.2. Perfiles profesionales: demandas relacionadas con la delimitación de los perfiles profesionales específicos dentro los equipos (47’50%). 2.3. Relación con la familia: dificultades para compaginar la relación de ayuda y el rol de control con las familias (15’00%) 3. Coordinación y supervisión (por ejemplo, «Mejorar el trabajo en red»): 3.1. Coordinación y trabajo en red: necesidad de llevar a cabo procesos conjuntos y de colaboración entre profesionales (68’64%). 3.2. Figura de coordinación: demandas relacionadas con el desempeño conjunto y la facilitación del trabajo en equipo (8’47%) 3.3. Supervisión: revisión técnica externa del proceso de intervención desarrollado por los y las profesionales del ETF (11’01%). 3.4. Comisiones técnicas: aspectos relativos a este órgano de coordinación y supervisión (11’86%). 4. Provisión de recursos (por ejemplo, «Facilitar nuevos instrumentos y herramientas para el trabajo con familias»): 4.1. Personales: demandas relacionadas con la contratación de personal (15’85%). 4.2. Materiales y equipamiento: demandas relacionadas con la dotación de herramientas y equipos técnicos para el desempeño profesional (39’02%). 4.3. Genéricos: demandas inespecíficas o diversas (45’12%). Tabla 6. Supracategorías relativas a las propuestas de mejora: definiciones. Supracategoría Definición % 1. Condiciones laborales Cuestiones reguladoras del ámbito laboral 5.95% 2. Funciones y roles profesionales Acciones que regulan el desempeño profesional en la práctica 3.83% 3. Coordinación y supervisión Colaboración referida a cualquiera de los niveles de la intervención: entre profesionales, entre equipos, entre instancias... 11.32% 4. Provisión de recursos Facilitación de herramientas y activos que faciliten la práctica profesional 7.86% 5. Reciclaje y actualización Actuaciones dirigidas a la renovación necesaria para su aplicación 12.47% 6. Condiciones del programa Aspectos relacionados con el cumplimiento de los requisitos y condiciones del programa 9.98% 7. Manual Aspectos referidos a la necesidad de modificar el documento de referencia actual 19.76% 8. Características de la intervención Aspectos relacionados con el desarrollo de la práctica profesional 12.66% 9. Proceso de intervención Actuaciones referidas a la facilitación del proceso de intervención 11.90% 10. Reconocimiento del programa Aspectos relativos a la proyección del programa 1.43% 11. Evaluación Actuaciones dirigidas a la valoración del proceso de intervención que se lleva a cabo con las familias y del programa 2.78% 5. Reciclaje y actualización (por ejemplo, «Formación continua obligatoria para el continuo reciclado de los y las profesionales»): 5.1. Formación: necesidad de actualización y aprendizaje de aspectos específicos necesarios para el desempeño profesional (85’38%). 5.2. Intercambios profesionales: necesidad de crear espacios de encuentro para compartir experiencias profesionales (14’61%). 6. Condiciones del programa (por ejemplo, «Ratio de casos en activo menor para atender mejor a las familias»): 6.1. Sobrecarga administrativa: exceso de tareas burocráticas y/o de gestión que limitan el tiempo destinado a la intervención (31’73%). 6.2. Digitalización: demanda de transformar determinados procesos a sistemas digitales (16’34%). 6.3. Número de equipos: demandas relacionadas con el número de ETF (9’61%). 6.4. Ratio de casos: demandas relativas al volumen de casos atendidos por equipo (33’65%). 6.5. Soporte jurídico: necesidad de contar con respaldo legal en la práctica profesional (8’65%). 7. Manual (por ejemplo, «Revisar el manual con los y las profesionales de los equipos desde su experiencia»): 7.1. Revisión: actualización y ajuste del documento (35’92%). 7.2. Protocolos: establecimiento de pautas y/o procesos en relación a la intervención (15’53%). 7.3. Documentación: elaboración de modelos de informes y otros documentos necesarios (17’47%). 7.4. Memoria: registro de actuaciones (4’36%). 7.5. Perfil de las familias participantes: ajuste entre el perfil de las familias y las características del programa (21’84%). 134 Apuntes de Psicología, 2022, Vol. 40, número 3, págs. 127-138. I. López-Verdugo y otros Valoración del Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía 7.6. Criterios de inclusión: requisitos a cumplir para participación en el programa (4’85%). 8. Características de la intervención (por ejemplo, «Modificar y ampliar plazos de tratamiento»): 8.1. Carácter voluntario: argumentos relativos a la voluntariedad-obligatoriedad de las familias a participar en la intervención (6’81%). 8.2. Adherencia: dificultades asociadas a la participación de las familias en el programa (7’57%). 8.3. Tiempo de intervención: demandas relacionadas con la duración de la intervención y/o su temporalización (85’60%). 9. Proceso de intervención (por ejemplo, «Revisión criterios/requisitos de derivación en los dos subprogramas»): 9.1. Derivación de casos: demandas relacionadas con el funcionamiento de los procesos de derivación (44’35%). 9.2. Valoración de la gravedad del caso: demandas acerca de las herramientas para la valoración de la gravedad de las situaciones de riesgo, desprotección y desamparo en la infancia (6,45%). 9.3. Enfoques de intervención: necesidades relativas a la revisión de los enfoques teóricos y metodológicos para el abordaje del proceso de intervención (23’38%). 9.4. Criterios de intervención unificados: establecimien- to de acuerdos que permitan desarrollar el proceso de intervención de forma compartida y consensuada (7’25%). 9.5. Situaciones de especial dificultad: aspectos relacionados con el proceso de intervención en casos particularmente complejos (18’54%). 10.Reconocimiento del programa (por ejemplo, «Aumentar la conciencia para la detección de posibles situaciones de desprotección»): 10.1. Institucionalización: necesidad de garantizar la estabilidad y continuidad del programa (20’68%). 10.2. Difusión: necesidad de dar a conocer el programa entre otros profesionales y la población general (27’58%). 10.3. Sensibilización hacia la problemática: necesidad de crear conciencia social sobre distintos aspectos del programa (31’03%). 10.4. Apoyo institucional: aspectos relacionados con el apoyo y la relación con las instituciones de las que depende el programa (20’68%). 11. Evaluación (por ejemplo, «Programa debe ser evaluado a más corto plazo»): 11.1. Evaluación del caso: demandas relacionadas con la valoración de la evolución de la familia para observar resultados obtenidos gracias al proceso de intervención (40.00%). 11.2. Evaluación del programa: necesidad de disponer de estrategias relacionadas con las evidencias de efectividad de la intervención (60’00%). En la figura 1 se presenta la nube de palabras con las unidades de significado más frecuentes del sistema de categorías elaborado a partir de las respuestas de las y los profesionales. Destacan las siguientes: familias, programa, profesionales, intervención y casos. Discusión Las valoraciones de las y los profesionales acerca de los programas que ellos implementan constituyen una herramienta fundamental de cara tanto a la investigación como para la mejora de los programas, además de dar legitimación a los diferentes roles profesionales en el marco de la intervención familiar (Orte, Amer, Pascual y Vaqué, 2014; Turner, Sanders y Hodge, 2014). En esta línea, en este trabajo se ha dado voz a los y las profesionales del Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía, con el objetivo de analizar la valoración que ellos y ellas hacen del programa en general, así como de ciertos componentes del proceso de implementación. Como ya se ha indicado, los resultados se enmarcan en un estudio más amplio de evaluación de la efectividad del recurso, y la información se ha analizado con una orientación aplicada hacia la mejora del programa desde el rigor y la evidencia científica. Figura 1. Nube de palabras relativa a las narrativas expresadas por los y las profesionales en la pregunta abierta del cuestionario. Apuntes de Psicología, 2022, Vol. 40, número 3, págs. 127-138. 135 I. López-Verdugo y otros Valoración del Programa de tratamiento a familias con menores en situación de riesgo o desprotección en Andalucía Los resultados hallados indican que las y los profesionales valoran de manera positiva el programa de tratamiento familiar que se desarrolla en Andalucía. Destaca la valoración en ciertos aspectos relacionados con el proceso de implementación: identificación con la filosofía del programa, motivación para su aplicación y satisfacción con el nivel de cohesión existente en los equipos de trabajo. En términos generales, esta valoración positiva fue similar para los diferentes perfiles profesionales. En relación con los años de experiencia, el grado de identificación fue mayor para las y los profesionales que llevaban más tiempo implementando el programa. Como se ha señalado en la introducción, los estudios sobre evaluación de la implementación de programas (Hidalgo et al., 2016; Meyers et al., 2012; Sanders et al., 2009) y la literatura científica sobre estándares de calidad (Özdemir et al., en prensa; Walsh et al., 2015) coinciden en destacar la valoración positiva de los y las profesionales como un criterio esencial para asegurar la identificación y fidelidad al mismo. Además, destacan el importante papel que determinadas dimensiones actitudinales de los y las profesionales desempeñan a la hora de identificarse con el programa y ser fiel en su implementación (Baumann et al., 2016; Fixsen et al., 2009). Acorde con estos planteamientos, los resultados mostraron que los y las profesionales que más se identificaban, eran más fieles en la aplicación del programa y hacían una mejor valoración general del mismo, fueron aquellos que manifestaron mayor nivel de motivación, mayor percepción de eficacia y utilidad del programa, y más satisfacción con la cohesión del equipo. A pesar de esta valoración positiva, la gran mayoría de las y los profesionales de los ETF señalaron la necesidad de modificar diferentes aspectos del programa. En este sentido, el análisis cualitativo de las propuestas de mejora de las y los profesionales reveló la necesidad de mejorar el manual de referencia, las condiciones de implementación del programa, el reciclaje y actualización de los y las profesionales y los procesos de coordinación y supervisión. Concretamente, respecto al manual, se destacó la importancia de una revisión y actualización de los distintos contenidos que lo integran. En cuanto a las condiciones de implementación, se hizo hincapié en la modificación de la duración de la intervención y de los protocolos de derivación; además, los y las profesionales expresaron su desaliento en referencia a la ratio de casos por equipo y a la sobrecarga de gestión administrativa. En lo relativo al reciclaje y actualización, se recalcó la necesidad de formación de los y las profesionales. Finalmente, en relación a la coordinación y supervisión, se manifestó la necesidad de mejorar la coordinación y el trabajo en red, así como contar con supervisión externa. Las implicaciones de los resultados encontrados son de gran interés para la práctica profesional. Como indican los estándares de calidad, las intervenciones mejoran su calidad cuando son llevadas a cabo por profesionales que las valoran positivamente, las perciben útiles y se sienten motivados para su aplicación (Hidalgo et al., 2016; Shklarski, 2021). Por tanto, se hace imprescindible apostar por un desarrollo de una práctica profesional de calidad que conlleva cuidar no solo el ejercicio de los y las profesionales, sino también atender sus necesidades de formación y supervisión para facilitar la fidelización en la implementación de las intervenciones. La formación ha de plantearse como reto no solo facilitar conocimientos, sino también actitudes y valores que garanticen la aplicación rigurosa de las intervenciones (Sánchez Prieto et al., 2020; Shapiro et al., 2012). Esta aplicación rigurosa se ve facilitada por la supervisión continuada de la implementación del programa, mejorando su calidad y repercutiendo en la efectividad de las intervenciones (De Paúl, Arruabarrena e Indias, 2015). Entre las limitaciones de este estudio hay que señalar que las medidas de valoración del programa se han tomado en una sola ocasión. Puesto que la participación de los y las profesionales ha sido continuada a lo largo de los tres años de duración del estudio, habría sido interesante valorar estas medidas en diferentes momentos para comprobar la estabilidad y coherencia en los resultados hallados, especialmente en el caso de los y las profesionales de reciente incorporación. Igualmente, los resultados se verían enriquecidos con la valoración de los y las responsables de los equipos a nivel municipal, provincial y autonómico puesto que, como se ha indicado en la introducción, la cobertura y el apoyo institucional constituye un criterio de calidad de la implementación de programas (Casillas et al., 2016; Fixsen et al., 2009). Los resultados obtenidos en el marco de la investigación en la que se inserta este artículo abren varias líneas de trabajo futuras entre las que destacan dos. Por un lado, la relación entre la valoración de los y las profesionales con la satisfacción y percepción de cambio de las familias tras la intervención, con el objetivo de avalar la relevancia del compromiso e identificación de los y las profesionales para el logro de la efectividad de la intervención. Por otro lado, y como principal reto para el futuro, se plantea el proceso de actualización del manual de referencia de los ETF. Se trata de un desafío impulsado desde la Dirección General de Infancia de la Junta de Andalucía, y refrendado por los resultados de la investigación realizada para la evaluación del programa. Se cuenta con el apoyo institucional y con la motivación de los y las profesionales, y queda pendiente articular el procedimiento para afrontar este importante desafío que va más allá de la elaboración de un documento con rigor y consensuado, puesto que constituye una herramienta fundamental para asegurar la calidad de las actuaciones de preservación familiar que se llevan a cabo con las familias andaluzas en situación de riesgo y/o vulnerabilidad.