Test situacional para el diagnóstico de competencias socioemocionales

102 TEST SITUACIONAL PARA EL DIAGNÓSTICO DE COMPETENCIAS SOCIOEMOCIONALES JOSEFINA SALA ROCA Universidad Autónoma de Barcelona SARA RODRÍGUEZ PÉREZ Universidad Autónoma de Barcelona Resumen En la presente comunicación se recoge el proceso de validación, en concreto la fiabilidad a partir de la prueba psicométrica Test-retest, del Test Situacional de Competencias Socioemocionales, creado por el grupo de investigación Grup de Recerca en Infància i Adolescència en Risc Social (IARS) (Sala, Filella, Oriol, Ros, Secanilla y Rodríguez, 2015). Este test permite medir seis competencias socioemocionales en jóvenes entre 12 y 18 años (autoestima, asertividad, comprensión de sí mismo, autorregulación, empatía y regulación emocionales de los demás), a través de sus respuestas a una serie de situaciones presentadas en 5 historias breves. Para la comprobación de la estabilidad temporal se cuenta con una muestra de 106 alumnos y alumnas de la Facultad de Educación de la Universidad Autónoma de Barcelona. Los resultados muestran correlación entre todos los componentes de la escala, así como en los resultados de la escala global. Se detectan algunas dificultades en el componente asertividad que hacen necesaria la continuación del trabajo en la validación del test. Palabras clave Competencias, socioemocionales, test situacional, fiabilidad, adolescentes 1. Introducción Los instrumentos psicométricos elaborados hasta el momento para la evaluación de habilidades emocionales presentan dos dificultades: 1) La mayoría son test de tipo autoinforme con escasa validez predictiva, 2) Suponen un elevado coste por cada unidad administrada, lo cual hace imposible para muchos profesionales acceder a su uso. Analizada esta dificultad, se propone como objetivo construir un test de competencias socioemocionales valido, fiable y accesible para cualquier profesional que lo desee. A lo largo de esta comunicación se presenta el proceso de validación del Test Situacional de Competencias Socioemocionales, que pretende dar continuidad a la línea 103 de investigación iniciada en proyectos anteriores a partir de los cuales se identificó que el éxito en la transición a la vida adulta de chicos y chicas tutelados estaba fundamentalmente vinculado a sus competencias socioemocionales y de empleabilidad (Sala-Roca; Villalba; Jariot y Rodríguez, 2009). 2. Marco teórico El desarrollo de competencias emocionales requiere una rigurosa evaluación, que permita identificar el nivel de partida de los destinatarios y decidir acerca de las estrategias, objetivos y contenidos más apropiados a tener en cuenta en el diseño de la intervención. Asimismo, para constatar los progresos o resultados atribuibles a la educación emocional también es preciso contar con instrumentos evaluativos útiles, apropiados a cada contexto, adaptados para diferentes edades, validos, fiables y sensibles a los cambios (Bisquerra y Pérez-Escoda, 2015). Esta es una tarea de gran complejidad puesto que la medición de fenómenos psicopedagógicos ha sido controvertida y criticada desde diversos ámbitos (Álvarez, 2001). En este sentido, existe consenso por parte de los expertos en cuanto a que la evaluación de la inteligencia emocional supone una alta dificultad (Álvarez et al., 2000; Extremera, Fernández- Berrocal, Mestre y Guil, 2004; Extremera y Fernández-Berrocal, 2007; Mestre y Guil, 2006; Pena y Repetto, 2008; Pérez-González, 2008 y 2012, Lizeretti, 2012). Se han desarrollado diferentes instrumentos hasta el momento como el MSCEIT de Salovey y Mayer (Mayer, Salovey, & Caruso, 2002) o el EQ-i (Bar On, 2007). No obstante, tienen precios muy elevados para ser costeados en el ámbito educativo y más en las entidades del tercer sector. La mayoría de los test que se han elaborado hasta el momento son test tipo autoinforme, como el EQ-i, o de prueba, como el MSCEIT. Sin embargo, en la última década los test que mayor impacto están teniendo son los test situacionales puesto que tienen mayor validez criterial e incremental que los test cognitivos o de personalidad (Lievens, Peeters & Schollaert (2008). La construcción del Test de Competencias Socioemocionales se ha llevado a cabo en las siguientes fases: En un primer momento se diseñan 5 historias breves en las que los jóvenes deben usar sus competencias socioemocionales para resolverlas. Estas situaciones se plantearon en una entrevista individual a 119 jóvenes preguntándoles que harían o pensarían en esas situaciones. Tras esto, se analizaron las respuestas mediante un proceso de análisis de contenido para seleccionar cinco opciones de respuesta que se correspondieran a diferentes niveles de dominio de las competencias evaluada (Sala et al., 2015). En un segundo paso, el test se sometió a la validación de contenido con la ayuda de 7 expertos en habilidades socioemocionales. Para esto: 104 El cuestionario se envió a los siete expertos pidiéndoles para valorar la pertinencia de las situaciones y preguntas para valorar si las diferentes situaciones y respuestas eran representativas de las competencias que se pretendían valorar. Los jueces estuvieron de acuerdo en todas las situaciones, a excepción de dos que se reconfiguraron para ajustarse a la competencia que se pretendía evaluar. Se solicitó a seis de los jueces que discutieran y consensuaran las puntuaciones. se pidió que ponderasen las respuestas asignando la puntuación a cada respuesta en función del criterio de mayor o menor dominio de la competencia que evalúa. Las puntuaciones posibles tenían que ser discretas de 0 a 5. El tercer paso fue aplicar el test a una muestra piloto de 36 casos a partir de los cuales se comprobó la variabilidad de las respuestas, el ajuste de duración y la adecuación del lenguaje, entre otros. Se pasó a una muestra de 259 jóvenes procedentes de cuatro centros educativos de Educación Secundaria para analizar si la estructura factorial se corroboraba: como era esperable no se corroboró la estructura factorial. Sin embargo, los datos eran concordantes con lo esperable según la literatura: mejores habilidades de las chicas y peores dificultades con jóvenes con problemas de conducta. Los jóvenes mostraron buena recepción del test. El quinto pasó corresponde a la elaboración de tres preguntas para valorar el nivel de discordancia en las respuestas, de cara a valorar la sinceridad en las respuestas y/o aleatoriedad. Estas eran replicadas: el enunciado era equivalente y las posibles respuestas idénticas, pero en orden distinto. En el sexto paso se adaptó el modelo para jóvenes tutelados y se pidió a dos CRAEs (Centres Residencials d'Acció Educativa) que lo aplicaran los chicos y chicas de sus centros. Con esto, se modificaron algunas preguntas para facilitar la comprensión en función de lo que informaron los centros. El séptimo paso, del que damos cuenta en esta comunicación, trata de corroborar la fiabilidad Test-retest. 3. Método Instrumento: El instrumento utilizado es el Test de Competencias Socioemocionales elaborado por el grupo IARS (Sala, Filella, Oriol, Ros, Secanilla y Rodríguez, 2015), del cual se analiza la fiabilidad estabilidad temporal Test-retest. Este test se es un instrumento para el diagnóstico de competencias emocionales en menores de entre 12 y 18 años. En concreto, el instrumento tiene en cuenta: 1) la autoestima, 2) la asertividad, 3) la comprensión de las emociones propias, 4) la comprensión de las emociones de las 105 demás personas, 5) la regulación de las propias emociones, 6) la regulación de las emociones de las demás personas. El test se estructura en cinco situaciones de la vida cotidiana (historietas) que contienen diferentes preguntas. Las situaciones cotidianas son: 1) "¿Dónde vamos de excursión de final de curso?", 2) "El trabajo en grupo", 3) He cambiado de ciudad y busco nuevos amigos", 4) "La fiesta" y 5) "No me compran el que he pedido". Ante cada situación se plantean 6 preguntas a las que se pueden dar cinco respuestas diferentes (hay que seleccionar una entre las propuestas). El estudiantado se tiene que poner a la piel del personaje y responder con sinceridad según cómo cree que reaccionarían en la situación propuesta. Se muestra, a continuación, como ejemplo la historieta “¿Dónde vamos de excursión de final de curso?” 7 : Estamos en junio y has quedado con tus amigos para acordar dónde iréis de excursión de final de curso. Entras en el bar donde habéis quedado y la mayor parte del grupo ya está allí. Saludas, pero tus compañeros no te hacen ni caso. ¿Qué piensas? - Pasan de mí. - Me están haciendo una broma. - No quieren que vaya con ellos de vacaciones. - Están tan entusiasmados que no me han oído. - Quizás no me quieren en el grupo. Una de las chicas del grupo propone ir a la playa. Dice que sus tíos tienen una casa y que nos la dejarían durante una semana. Tú propones ir de camping a la montaña. La chica que había propuesto ir a la playa te dice, despectivamente: «¡Que propuesta más penosa!». ¿Qué le respondes? Uno de tus compañeros le dice a la chica en cuestión que hay cosas mejores para hacer que ir a lucir o a ligar. ¿Cómo piensas que se debe sentir la chica? Otro chico del grupo dice que a él le parece bien la idea de pasar unos días de playa, fiesta y ligar. Empieza a producirse una discusión que sube de tono. ¿Cómo te sientes? ¿Y qué haces? Al final, como que no hay acuerdo, decidís separaros en dos grupos. Sales del bar hablando con Juan. Él está muy alterado, muy enfadado y dolido que el grupo se haya acabado separando. ¿Qué le dices? 7 Se muestran tan solo las respuestas a elegir en la primera de las preguntas de la historieta por no alargar el trabajo. Todas las preguntas tienen cinco opciones de respuesta orientadas de forma similar, aunque adaptadas a la propia pregunta. 106 Procedimiento: La recogida de información se realizó en la Facultad de Ciencias de la Educación de la Universidad Autónoma de Barcelona. Concretamente, se contó con alumnado los siguientes estudios: Grado en Educación Infantil, Grado en Educación Primaria y Grado en Educación Social. Para ello, se administró el test en formato digital, esto es, a través de Google Docs. En concreto: Se solicitó la colaboración de distintas profesoras con docencia en los grados de la Facultad de Educación. Las docentes hicieron llegar al alumnado las instrucciones para completar el test. En estas se señalaba que debían cumplimentar el test durante la semana de envió y una vez pasadas tres semanas (se les recordaría vía email). Los test fueron cumplimentados entre los meses de febrero y mayo de 2017. Muestra: Se contó con alumnado los siguientes estudios: Grado en Educación Infantil, Grado en Educación Primaria y Grado en Educación Social. La muestra inicial fue de 164 jóvenes, de los que 144 (87.80%) son chicas y 20 (12.19%) son chicos. Una vez analizadas las preguntas de veracidad, se descargaron 58 personas, por lo que la muestra final queda compuesta por 106 sujetos. 4. Resultados En primer lugar, se realizó la prueba de Kolmogórov-Smirnov (K-S), a partir de la cual se mostró que tan solo la escala global cumplía el criterio de normalidad, por lo que en las pruebas de correlación de aplicó el coeficiente de correlación de Spearman (r2). Al aplicar esta prueba estadística, podemos observar que todos los resultados de las competencias incluidas correlacionan entre la pasación del test y la del retest (ver Tabla 1). Así, obtenemos correlaciones moderadas en los casos de competencia de comprensión de uno mismo (r2=.474; p < .01), en la de regulación de uno mismo (r2=.556; p < .01), en la de comprensión del otro (r2=.435; p < .01) y en la de regulación del otro (r2=.506; p < .01); por su parte, la correlación en la competencia de autoestima es buena (r2=.737; p < .01). Por último, la correlación de la escala global de competencia socioemocional es moderada (r2=.567; p < .01). Sin embargo, la correlación de la competencia asertividad obtiene un valor muy bajo (r2=.282; p < .01). Por esto, se analizó las concordancias de respuestas entre el test y el retest de los ítems incluidos en la competencia de asertividad y se detectó que en la sexta pregunta de la historieta de "El trabajo en grupo" era donde se producían más cambios entre las respuestas dadas en dos ítems que tenían puntuaciones muy dispares. Así, optamos por eliminar esta pregunta y realizar de nuevo los análisis de 107 correlación. Con esto, obtuvimos una mejora considerable en la competencia de asertividad pasando de r2=.282 a r2=.469, es decir, de correlación baja a moderada. 5. Conclusiones A modo de conclusión, cabe señalar que la prueba de fiabilidad Test-retest para el Test de Competencias Socioemocionales muestra una correlación moderada o buena en todos sus componentes, así como en la escala global, lo que muestra estabilidad temporal. Por otro lado, hemos de revisar el componente de asertividad, pues concretamente con la pregunta sexta hemos comprobado gran influencia en los resultados de las pruebas de correlación obtenidas. Así, nos proponemos continuar en el proceso de validación del test a partir de la revisión de cada uno de los componentes, completando los análisis del Test-retest con mayor muestra, así como con la revisión de la redacción de las preguntas del test. Aportaciones de la investigación: Entre las principales aportaciones del diseño del Test de Competencias Socioemocionales encontramos: Se dirige a jóvenes entre 12 y 18 años, franja de edad para la que existen muy pocos instrumentos que evalúen las competencias emocionales y menos aún que estén adaptados al contexto hispano, es decir, que tengan validez ecológica. El test será copy-left, es decir, cualquier profesional, ya sea de centros educativos o CRAEs, pueda hacer uso del mismo sin ningún coste. La evaluación de las competencias socioemocionales puede ofrecer a profesorado y educadores información de cara a planificar diferentes intervenciones en estas áreas de desarrollo humano que, tal como se ha visto, resultan de gran relevancia en la transición a la vida adulta de jóvenes tutelados. En definitiva, el instrumento que presentamos permitirá a los educadores de los centros poder realizar un diagnóstico compartido con el joven respecto a qué potencialidades tiene y qué competencias debe desarrollar, estableciendo de forma conjunta un plan de trabajo de carácter personalizado respecto a las competencias socioemocionales más deficitarias. Nota Este trabajo se enmarca en un proyecto de investigación financiado por el Ministerio de Economía y Competitividad (EDU2016-77284-R). 108 Bibliografía Álvarez, M.; Bisquerra, R.; Fita, E.; Martínez, F. & Pérez-Escoda, N. (2000). Evaluación de programas de educación emocional. Revista de Investigación Educativa (RIE), 18, 2, 587-599. Álvarez, M. (coord.); Bisquerra, R.; Filella, G.; Fita, E.; Martínez, F.; Pérez-Escoda, N. (2001). Diseño y evaluación de programas de educación emocional. Barcelona: Praxis. Bar-On, R. (1997). The Emotional Quotient Inventory (EQ-i): A test of emotional intelligence. Toronto, Canada: Multi-Health Systems, Inc. Bisquerra, R. & Pérez-Escoda, N. (2015). ¿Pueden las escalas Likert aumentar en sensibilidad? REIRE, Revista d’Innovació i Recerca en Educació, 8 (2), 129-147. DOI: 10.1344/reire2015.8.2.82. Extremera, N. & Fernández-Berrocal, P. (2007) Una guía práctica de los instrumentos actuales de evaluación de la inteligencia emocional. En: M. Mestre Y P. Fernández Berrocal (Eds.), Manual de Inteligencia emocional (pp.99-122). Madrid: Pirámide. Lievens, F., Peeters, H., & Schollaert, E. (2008). Situational judgment tests: A review of recent research. Personnel Review, 37(4), 426-441. Mayer, J.D., Salovey, P., & Caruso, D.R. (2002). Mayer-Salovey-Caruso Emotional Intelligence Test (MSCEIT) item booklet, Version 2.0. Toronto, Ontario, Canada: MHS Publishers. Mestre J. M. & Guil, R. (2006). Medidas de ejecución versus medidas de autoinformes de inteligencia emocional. Ansiedad y estrés, 12 (2-3), 413-425. P. Lizeretti, N. (2012). Terapia basada en inteligencia emocional. Barcelona: Milenio. Pena, M. & Repetto, E. (2008). The state of research on Emotional Intelligence in Spain. Electronic Journal of Research in Education Psychology, 15(6), 2. Pérez-González, J. C. (2008). Propuesta para la evaluación de programas de educación socioemocional. Electronic Journal of Research in Educational Psychology, 6(2), 523- 546. Sala, J.; Filella, G.; Oriol, X.; Ros, A.; Secanilla, E. & Rodríguez, M. (2015). Test de Competències Socioemocionals. Diposit digital UAB. Sala-Roca, J.; Villalba, A.; Jariot, M. & Rodríguez, M. (2009). Characteristics and sociolabour insertion of young people after residential foster. International Journal of Child y Family Welfare, 12(1), 22-34. 109 Tabla 1: Correlaciones Test-retest Autoestima Asertividad Comprensión de uno mismo Regulación de uno mismo Comprensión de otras Regulación de otras Competencia socioemocional Autoestima .737** .127 -.110 .281** .061 -.091 .377** Asertividad .136 .282** -.113 .009 -.113 -.003 .024 Comprensión de uno mismo -.108 -.089 .474** .016 .135 -.015 .134 Regulación de uno mismo .246* .141 -.093 .556** -.125 .181 .394** Comprensión de otras -.075 .149 .091 -.079 .435** .037 .272** Regulación de otras -.168 -.001 .050 .170 -.101 .502** .115 Competencia socioemocional .349** .206* .086 .387** .146 .205* .567** ** p < .01; * p < .05