Análisis de respuestas libres en los cuestionarios. El método de las especificidades

Revista Investigación Educativa - Vol. 14, n. o 1, págs. 129-147 ANÁLISIS DE RESPUESTAS LIBRES EN LOS CUESTIONARIOS. EL MÉTODO DE LAS ESPECIFICIDADES RESUMEN por Javier Gil Flores; Eduordo Gorda Jiménez y Gregario Rodríguez Gómez Área de Métodos de Investigación y Diagnóstico en Educación Universidad de Sevilla Frente a las cuestiones cerradas, el empleo de preguntas abiertas en los cuestionarios ofrece el problema de la dificultad en el análisis de las respuestas. Generalmente, el análisis que suele realizarse de éstas se basa en procesos de postcodificación, que conllevan un considerable coste en esfuerzo y tiempo, además de suponer una reducción de la información y estar afectados por la subjetividad del codificador. Como alternativa, en este artículo presentamos el método de las especificidades, una técnica enmarcada en el contexto de la estadística textual, que permite el análisis de respuestas libres de manera rápida y eficaz. Ilustramos este método aplicándolo al análisis de los datos obtenidos mediante un cuestionario en el que se incluía una pregunta abierta junto a varias cuestiones cerradas. ABSTRACT Faced to the closed questions, the use of open-end questions in the questionnaires show the problem of difficulty in the analysis of data. Generally, the analysis is based on postcodification process, wich imply an important cost on time and effort. It will also suppose a reduction of information and it could be affected by the analyst subjectivity. As alternative, we show the 130 Javier Gil Flores et al. calculation of lexical specifications. It is a technique included in the context of the textual statistics, jor processing answers to open-end questions in a fast and effective way. We apply this method to the analysis of the data obtained trough a questionnaire in which an open-end question follow-up to closed questions. INTRODUCCiÓN La técnica del cuestionario se encuentra, sin duda, entre las más utilizadas para la recogida de datos en el contexto de la investigación educativa. La administración de los cuestionarios no exige necesariamente la presencia de un encuestador, por lo que, frente a técnicas como la entrevista o la observación, cuentan con la ventaja de permitir el acceso a un amplio número de sujetos con un relativamente bajo coste económico, de tiempo y de esfuerzo. Generalmente, las preguntas incluidas en los cuestionarios van acompañadas de una serie de posibles respuestas, de forma que el encuestado únicamente debe elegir o indicar por el procedimiento establecido cuál es la que se corresponde con su situación u opinión en relación al objeto estudiado. La información obtenida de este modo resulta fácil de analizar, puesto que conduce a un número limitado y reducido de respuestas que ya se encuentran clasificadas en categorías. Sin embargo, este tipo de preguntas, denominado de respuestas cerradas o categorizadas, ha sido objeto de crítica, porque las opciones de respuesta proporcionadas por el investigador limitan la posibilidad de expresarse de los encuestados y conllevan el riesgo de no ser representativas de las respuestas que los sujetos darían si pudieran contestar libremente. El empleo de preguntas abiertas, en las cuales únicamente se formula la cuestión dejando al encuestado que responda con libertad, permite a éste construir su propia argumentación. En cambio, el principal inconveniente de las preguntas de respuesta libre es la dificultad que ofrecen a la hora del análisis, dado que el número de respuestas puede llegar a ser casi tan alto como el de sujetos encuestados. Por este motivo, es frecuente que se prefieran las preguntas cerradas, e incluso entre las reglas para la formulación de preguntas en los cuestionarios se llega a incluir la recomendación de que estén hechas de modo que requieran siempre una respuesta numérica, una afirmación o negación, o la elección de una categoría propuesta (Sierra Bravo, 1991). El papel de las preguntas abiertas se relega a preencuestas o estudios exploratorios que permitan precisar las posibles opiniones de la población, o el vocabulario usado al expresarlas, de cara a redactar las categorías de respuesta que se ofrecerán en las preguntas cerradas. N o obstante, este uso, aunque recomendado, no tiene demasiados seguidores, dado el coste que supone realizar un estudio previo lo suficientemente amplio. Para nosotros, las respuestas libres tienen un valor en sí mismas, debido al tipo de información al que nos permiten acceder. A pesar de los inconvenientes asociados a su utilización, consideramos que no pueden ser sustituidas por preguntas cerradas, pues éstas ofrecen necesariamente una información distinta a las preguntas abiertas. Sirva como ilustración el conocido ejemplo de Schuman y Presser (1981), al analizar las Análisis de respuestas libres en los cuestionarios. El método de las especificidades 131 respuestas a la pregunta: ¿cuál el es el principal problema al que deben hacer frente los Estados Unidos? Cuando la cuestión se formuló de modo abierto, el 16% de las respuestas se centraban en la violencia, mientras que cuando ésta formaba parte de las opciones de respuesta en una pregunta cerrada, el porcentaje se elevaba al 32%. El uso de cuestiones abiertas se hace necesario en situaciones diversas (Lebart, 1990). Por ejemplo, cuando queremos profundizar en las razones de una respuesta cerrada (es la clásica cuestión ¿por qué?), cuando pretendemos obtener información espontánea, o cuando nos interesa completar la información obtenida mediante una batería de preguntas cerradas y dejamos para ello una cuestión abierta final que permitirá al sujeto expresar cualquier opinión adicional no manifestada anteriormente. Teniendo en cuenta las ventajas que aporta la inclusión de preguntas abiertas en los cuestionarios, trataremos de mostrar vías económicas y eficaces para el análisis de la información contenida en las respuestas libres, ya que la dificultad y el coste de la explotación de los datos constituyen uno de los principales obstáculos limitadores de su uso. EL ANÁLISIS DE RESPUESTAS A PREGUNTAS ABIERTAS El modo habitual de analizar las respuestas libres a preguntas abiertasl consiste en poner en práctica alguna forma de postcodificación. Generalmente, se elabora un listado de temas o categorías extraídos del marco teórico de la investigación, de estudios anteriores o de un subconjunto de las propias respuestas emitidas por los sujetos. Este sistema de categorías suele conducir a una clasificación por temas del conjunto global de respuestas logradas. La obtención de la frecuencia alcanzada en cada una de las categorías de respuesta dará paso a un tratamiento estadístico similar al empleado con preguntas cerradas. Tanto si se lleva a cabo una codificación abierta como si se parte de un sistema de categorías rígido o se usa un procedimiento mixto, el resultado de este modo de operar viene a significar la traslación de la pregunta abierta a una o varias preguntas cerradas. Este tipo de práctica presenta una serie de inconvenientes. En primer lugar, supone un considerable esfuerzo y una importante inversión de tiempo. La codificación de las respuestas es una tarea compleja y recurrente, que obliga a menudo a revisar parte del material ya codificado para garantizar que los criterios de clasificación no se han ido modificando imperceptiblemente. En el caso de sistemas de categorías emergentes, a medida que avanzamos en la codificación, podríamos advertir la necesidad de crear una nueva categoría de respuestas; determinadas categorías resultan ser muy poco frecuentes y se hace recomendable su fusión, englobando en una sola categoría de respuestas aquéllas que aluden a tópicos afines; otras categorías, al contrario, podrían ser subdivididas dado el volumen y la cierta heterogeneidad de las respuestas clasifiHemos venido refiriéndonos a preguntas abiertas incluidas en cuestionarios, si bien las consideraciones que hagamos sobre su análisis y el método presentado en este trabajo son igualmente aplicables a preguntas abiertas formuladas al entrevistar a sujetos. 132 Javier Gil Flores et al. cadas en ellas. Todo este tipo de procesos obligan a releer y reconsiderar la ubicación de respuestas anteriormente codificadas. Un segundo inconveniente surge de la subjetividad del codificador, que se ve obligado a tomar numerosas decisiones en el curso de su trabajo. La ubicación de una respuesta en determinada categoría no siempre resulta indiscutible. Parece claro que distintos codificadores llegarían a resultados en cierto modo diferentes cuando codifican las respuestas a una pregunta abierta. Por otra parte, al realizar la postcodificación se cae con frecuencia en el error de ignorar las respuestas poco frecuentes, las cuales suelen ser agrupadas en categorías heterogéneas en las que se clasifican todas aquellas respuestas no identificadas claramente con ninguna de las categorías de mayor importancia. Sin embargo, respuestas poco frecuentes podrían proceder de individuos con determinadas características comunes, esto es, podrían resultar muy frecuentes entre cierto tipo de sujetos, lo cual les haría cobrar una especial importancia de cara a la interpretación. Finalmente, y quizás más importante, la postcodificación conlleva una pérdida sustancial del contenido de las respuestas. Al reducir una respuesta a una categoría, estamos ignorando la riqueza de significados que, entre otros rasgos, caracteriza a las respuestas libres, perdiendo la expresión literal con la que el sujeto exteriorizó su modo de pensar o actuar en relación al objeto de la pregunta. Precisamente el valor heurístico de las respuestas a preguntas abiertas reside en la libertad con la que los sujetos responden; el vocabulario que utilizan, el énfasis con que las presentan, etc. son elementos que se diluyen en el enunciado de un tema central que caracteriza a todo un grupo de respuestas singulares. Es posible salir al paso de todos estos inconvenientes cuando recurrimos a las técnicas lexicométricas o de la estadística textual (Lebart y Salem, 1988, 1994), que implican el recuento sistemático de las ocurrencias de unidades verbales elementales -palabras o secuencias de palabrasy la realización de algún tipo de análisis estadístico a partir de los resultados del recuent02• Basándonos en ellas, podremos hacer inferencias acerca del contenido de las respuestas libres emitidas por la globalidad de los sujetos o por colectivos diferenciados dentro de esa globalidad, sin que la subjetividad del codificador intervenga y, como veremos, sin perder la referencia a las respuestas literales de los sujetos. Además, la automatización del proceso, gracias a programas informáticos como SPAD.T (Lebart, Morineau y Bécue, 1993), de uso inexcusable para este tipo de técnicas, evita el coste de tiempo y esfuerzo asociado al análisis. Entre la diversidad de técnicas aplicadas en el contexto de la estadística textual, nos centraremos en el método de las especificidades, desarrollado por Lafon (1980), con el que se pretende la selección de elementos (palabras, grupos de palabras o respuestas completas) que resultan característicos de determinados subconjuntos del 2 Además de las obras fundamentales de Lebart y Salem, una introducción a los métodos de la estadística textual, en castellano, puede encontrarse en los trabajos de Gil y otros (1994) y Etxeberría y otros (1995). Aplicaciones de los mismos pueden ser revisadas en estudios realizados en nuestro contexto, como los de Corral y otros (1990), Gil (1993) o !barra y otros (1994), por citar algunos. Análisis de respuestas libres en los cuestionarios. El método de las especificidades 133 corpus global de datos. Aunque este método es aplicable a datos cualitativos obtenidos mediante diferentes técnicas o a partir de distintas fuentes (diarios, entrevistas, discusiones grupales, documentos oficiales, ... ), nosotros nos referiremos a su aplicación cuando analizamos respuestas libres a preguntas abiertas como las que se suelen incluir en cuestionarios. MÉTODO DE LAS ESPECIFICIDADES Al presentar aquÍ el método de las especificidades partiremos del supuesto de que el análisis de las preguntas abiertas se realiza por separado para cada una de ellas. Es decir, si el cuestionario que hemos utilizado consta de cuatro preguntas abiertas, lo más adecuado sería aplicar esta técnica en cuatro ocasiones, analizando cada vez las respuestas obtenidas a una de esas preguntas. Otro aspecto a tener en cuenta es el carácter comparativo de esta técnica de análisis, lo cual supondría considerar que el conjunto de respuestas obtenidas pueden ser agrupadas en función de alguna característica o variable de los sujetos encuestados, y que nos interesa llegar a conclusiones respecto al modo en que se diferencian entre sí los sujetos con distintas modalidades en esa variable. Por ejemplo, suponiendo que aplicáramos un cuestionario a los profesores no universitarios de una localidad y nos interesara caracterizar las respuestas según la titularidad de los centros a los que se adscriben los profesores, podríamos constituir tres grupos de respuestas con las emitidas respectivamente por profesores de centros privados, centros concertados y centros públicos; las especificidades para cada grupo nos indicarían qué ideas, opiniones, conductas, etc. singularizan a cada colectivo respecto a la globalidad de los sujetos. Como ya hemos avanzado, el método de las especificidades supondrá determinar elementos que resulten característicos de un determinado subconjunto de respuestas. Al conjunto de todas las respuestas lo denominaremos corpus global, mientras que cada subconjunto recibirá la denominación de subcorpus o texto. Suponiendo que tomamos las palabras como elementos, el carácter específico de una palabra para un texto concreto se determina por comparación con el corpus global que sirve como referencia. Mientras algunas palabras son empleadas de modo similar en todos los textos, otras cuentan con una elevada presencia en algunos de ellos y están prácticamente ausentes de otros. Estas palabras que resultan raras o sobreempleadas en los textos serán objeto de atención mediante el método de las especificidades. Las formas con especificidad positiva dentro de un subcorpus son las que se emplean por encima de lo que cabría esperar si las apariciones de ésta se distribuyeran aleatoriamente en todo el corpus. A las formas que están infrautilizadas en relación a su presencia en el corpus global, corresponderán las especificidades negativas. En definitiva, se trata de examinar la distribución del vocabulario empleado al responder, y determinar qué palabras son muy empleadas dentro de un texto en relación a como lo son en los restantes. Los significados que soporten esas palabras podremos considerarlos vinculados a las características particulares del grupo de sujetos emisores. La comparación directa de las frecuencias alcanzadas en cada sub corpus, por pala- 134 Javier Gil Flores et al. bras que encierran significados relevantes para el estudio, no basta para decidir sobre la mayor presencia de determinados vocablos, pues los textos podrían tener tamaños desiguales (distinto número de respuestas, o diferente tamaño de las mismas, en cada uno de ellos). De ahí que sea necesario tener en cuenta los tamaños de cada texto y calibrar probabilísticamente lo inusual, por elevada o reducida, que resulta la frecuencia alcanzada por una palabra en un texto. Frente a aproximaciones estadísticas basadas en distribuciones teóricas de probabilidad tales como la de chi-cuadrado, la ley normal o la ley de Poisson, el modelo hipergeométrico es el que se adapta con mayor exactitud a la población discreta de ocurrencias del vocabulario. Desde este enfoque, el cálculo de las especificidades consiste básicamente en comparar la frecuencia de los vocablos en un texto y en el corpus general. Supongamos que hemos diferenciado n grupos de respuestas (El' E2, ••• En) a una determinada cuestión abierta y que estamos interesados en conocer los términos característicos para cada uno de ellos. Comenzaremos construyendo una tabla formada por tantas filas como palabras distintas tiene el corpus y un número n de columnas correspondientes a cada grupo de respuestas (ver Tabla 1). TABLA 1 FORMATO DE LA TABLA DE FRECUENCIAS DE CADA PALABRA EN LOS TEXTOS E n k F t T Denotaremos por k el número de veces que aparece el vocablo Vi en el subcorpus Ey cuyo tamaño expresado en número de palabras es t. El valor F indica la frecuencia total de una palabra Vi en el corpus. El problema que nos ocupa podría expresarse del siguiente modo: ¿el vocablo Vi es significativamente más frecuente en el texto E. que en el corpus global de tamaño T? Para resolverlo, construiremos un modelo probabilístico que permita someter a prueba la hipótesis nula de que el vocablo Vi se distribuye al azar dentro del corpus. De acuerdo con esta hipótesis nula, las probabilidades de encontrar un vocablo Vi dentro de cualquiera de los textos serían similares, por lo que tendríamos que considerar que tal vocablo no resulta específico de ninguno de ellos. Ana1isis de respuestas libres en los cuestionarios. El método de las especificidades 135 Si consideramos el texto E. como una muestra del corpus, obtenida al extraer t J • vocablos de entre los T que lo componen, podemos deternunar de entre todas las muestras posibles de tamaño t, cuáles incluyen un número k de vocablos vi" De este modo, obtendríamos la probabilidad de que el vocablo Vi aparezca k veces dentro del texto E .. Definiendo la variable aleatoria X como la frecuencia de v. en una muestra (texto) Jextraída del corpus, los valores que puede adoptar X serí~ O, 1, 2, ... , k, ... ,F. Calcular la probabilidad de encontrar un número de veces k la forma considerada será equivalente, por tanto, a calcular la probabilidad de que la variable aleatoria X adopte el valor k. Mediante el cálculo combinatorio, podemos conocer el número total de muestras posibles y el número de muestras en que Vi aparece k veces. En el primer caso, se tratará de calcular las combinaciones de t elementos realizadas en un grupo de tamaño T: e t_(T)_ T! T -t - t! (Tt) ! En el segundo caso, tendremos en cuenta que cada una de las combinaciones posibles de k elementos constituidas a partir de F elementos (CFk) darán origen a una serie de muestras que responden a las que son objeto de cómputo, es decir, las que constan de k apariciones del vocablo Vi e incluyen también (t-k) vocablos diferentes a Vi. Para cada combinación que contenga k veces el vocablo Vi' hay tantas muestras válidas como combinaciones de (t-k) elementos formadas a partir de (T-F) vocablos. O sea, el número de muestras que cumplen la condición de contener k vocablos Vi y, al mismo tiempo, (t-k) vocablos distintos de Vi se obtendrá como el producto: En consecuencia, teniendo en cuenta que las muestras son equiprobables, la probabilidad de que Vi aparezca k veces dentro de una muestra de tamaño t, viene expresada por: (1 (T-1 Frob(X=k) = k· t-k (~ Es decir, la distribución de probabilidad correspondiente a la variable X sigue el modelo de una ley hipergeométrica de parámetros T, t Y F. Conociendo la distribución de probabilidad de la variable X, es posible asignar a cada valor Xi la probabilidad de hallar, en una muestra de tamaño t, un valor igualo superior a aquél: Prob (~xJ Este valor será la especificidad positiva del vocablo vi" Del mismo modo, podemos pensar en la probabilidad de hallar un valor igualo inferior a Xi' es decir Prob (~Xi)' que es la especificidad negativa del vocablo Vi. Con frecuencia, las especificidades se presentan 136 Javier Gil Flores et al. por medio de un valor-test, determinado para cada palabra como el valor que alcanzaría una variable normal estandarizada a la que se atribuyera una probabilidad igual a la probabilidad de que Vi aparezca al menos k veces en una muestra de tamaño t. La especificidad podría ser tomada como el error cometido al rechazar la hipótesis nula de reparto aleatorio de la frecuencia del vocablo entre los textos. Sin embargo, en lugar de utilizar este valor para llevar a cabo una decisión estadística inferencial, la especificidad es empleada con fines descriptivos, para ordenar las palabras presentes en cada texto en función de su mayor o menor especificidad dentro del mismo. Tanto el sobreempleo de determinados vocablos en un texto (especificidad positiva) como su infrautilización (especificidad negativa) traducen el modo de responder particular y característico de uno de los grupos de encuestados. No obstante, inducir las formas de responder de los encuestados a partir de meras palabras puede resultar en ocasiones arriesgado. Las palabras descontextualizadas pierden significado e impiden apreciar el sentido con que son empleadas. De ahí, que sea habitual la selección de respuestas características de los textos a partir de la especificidad de los vocablos que las constituyen. Así, para una respuesta constituida por n palabras, la especificidad media expresada a partir del valor test (VT), se calcularía como: siendo VT i el valor test correspondiente a cada palabra vi' La selección de respuestas con una especificidad media elevada en las palabras que la conforman, permite una vuelta a las respuestas reales, recuperando el contexto y el sentido en que son empleadas las formas de mayor especificidad. UN EJEMPLO DE APLICACiÓN: LA EVALUACiÓN DEL CURSO PARA LA OBTENCiÓN DEL CAP Como ilustración del método, recogemos el análisis realizado a partir de las respuestas a un cuestionario que se administró con el propósito de valorar distintos aspectos del curso para la obtención del Certificado de Aptitud Pedagógica (CAP), desarrollado en la Universidad de Sevilla en el año académico 1993-94. Los resultados y análisis recogidos aquí forman parte del trabajo de García y otros (1995). Hemos considerado las nueve cuestiones referidas a uno de los módulos del citado curso (el módulo de Psicología General), de las cuales ocho adoptaban el formato de preguntas cerradas y la restante el de pregunta abierta. Las ocho cuestiones cerradas pedían al alumno que valorara de 1 (opinión negativa) a 4 (opinión positiva) la claridad de los objetivos del curso, la bondad de la actuación del profesor, el interés despertado por los materiales utilizados, la adecuación del método de trabajo desarrollado, la cantidad de oportunidades ofrecidas al alumno para expresar sus dudas u opiniones personales, la altura del nivel de aprendizaje logrado, la adecuación del modo de evaluar a los alumnos y, finalmente, la utilidad del contenido del curso. La última de Ana1isis de respuestas libres en los cuestionarios. El método de las especificidades 137 las cuestiones, pedía a los alumnos respuestas libres en las que expresaran su opinión global sobre el curso en lo que respecta al módulo de Psicología General. El instrumento fue administrado a un total de 626 alumnos, una vez finalizado el curso. Las respuestas generaron una matriz de datos numéricos, correspondiente a las cuestiones cerradas, y un corpus de datos textuales resultante de las respuestas libres a la cuestión abierta. Focalizaremos nuestra atención en el análisis de las respuestas libres, aunque para ello precisaremos ciertos análisis previos de las respuestas cerradas. Todos los análisis que mostraremos se han llevado a cabo con el auxilio los programas SP AD.N y SP AD.T. Clasificación previa de los sujetos El análisis de un corpus textual como el obtenido de los alumnos del curso para la obtención del CAP, asume desde la perspectiva de la estadística textual un enfoque comparativo. Podríamos dividir el corpus en varios textos a partir de alguna de las características de los encuestados (edad, sexo, titulación,oo.) y llevar a cabo comparaciones entre las respuestas emitidas por los sujetos. Sin embargo, resultará más interesante para nosotros clasificar previamente a los alumnos en grupos de opinión respecto al curso, utilizando para ello la información que nos proporcionan las respuestas cerradas. De este modo, podremos seleccionar posteriormente elementos característicos de las respuestas libres para cada uno de los grupos de opinión que hayamos identificado, lo cual nos aportará argumentos y razones que justifiquen las posturas detectadas. Es decir, la información obtenida en las cuestiones abiertas completará, ilustrará y profundizará en lo ya conocido a partir de las cuestiones cerradas. Partiendo de las respuestas dadas a los ocho ítems cerrados, el conjunto de alumnos puede ser representado en el espacio euclídeo mediante una nube de puntos que someteremos a un análisis factorial de correspondencias. Las coordenadas de cada sujeto en el espacio factorial resultante serán tomadas como información de partida para el proceso de clasificación. La clasificación de los alumnos se ha llevado a cabo siguiendo un procedimiento mixto, en el que partimos de un algoritmo basado en centros móviles. El método de los centros móviles, repetido en dos ocasiones para conseguir identificar clases estables, nos ha llevado a obtener un total de 12 clases estables no vaáas, las cuales fueron sometidas a un posterior proceso de clasificación jerárquica ascendente, de acuerdo con el método de agregación según la varianza (método de Ward). El examen del dendograma que representa las agregaciones sucesivas de las 12 clases iniciales (ver Figura 1), nos muestra que el mayor descenso de la inercia interclases se produce al pasar de 4 clases a 3. Siguiendo la regla usual (Volle, 1985), hemos cortado el árbol transversalmente en una zona comprendida entre dos núcleos bien alejados (donde se produce un aumento importante de la inercia intraclases y un consiguiente descenso importante de la inercia interclases), resultando como partición óptima la formada por 3 clases de alumnos. La primera de las clases estaría integrada por las clases iniciales 1 a 7 de la Figura 1; la segunda clase estaría constituida por las clases iniciales 8 y 9 del dendo- 144 Javier Gil Flores et al. TABLA 7 PALABRAS y RESPUESTAS CARACTERtSTICAS PARA LA CLASE 3 -PORCENTAJEFRECUENCIA V.TEST ROBA FORMA GRÁFICA INTERNO GLOBAL INTERNA GLOBAL 1 muy 3.94 2.44 63. 209. 3.976 .000 2 aprendido 1.19 .55 19. 47. 3.332 .000 3 gustado . 75 .32 12. 27 . 2.898 .002 4 mucho 1.31 . 70 21. 60 . 2.876 .002 5 hemos 1.13 . 62 18. 53 . 2.519 .006 6 entender .31 . 09 5. 8 . 2.423 .008 7 interesado .31 . 09 5. 8 . 2.423 .008 8 también . 44 .18 7. 15 . 2.243 .012 9 antes .56 .26 9. 22 . 2.226 .013 10 vida .25 . 07 4. 6 . 2.219 .013 CRITERIO DE RESPUESTA O INDIVIDUO CARACTERfSTICO CLASIFICACIÓN 1.006 - . 994 - . 975 - . 764 - . 623 - .566 - .534 - .502 - .501 .450 1 2 3 4 5 6 7 8 desarrollo muy agradable, con mucha participación y actividades muy interesantes. Contenidos útiles. ha sido muy interesante . hemos aprendido a trabajar en grupo . Me ha gustado muchísimo y el profesor es muy bueno . Tenemos una profesora que nos motiva mucho . en general bien, muy ameno y un ambiente bastante relajado. Se han tocado temas muy interesantes y útiles a la hora de tenerlos en cuenta para dar clases. me ha parecido muy bien todo lo dado y aprendido, además, me ha gustado mucho la forma en que Ma José ha dado las clases. éste ha sido, a mi entender, el módulo más interesante. Las clases han sido muy amenas y participativas. Se ha llevado muy buen ritmo, en ningún momento monótono. Los contenidos han sido expuestos estupendamente, con claridad. 9 este módulo me ha encantado. Lo encuentro muy positivo en todos los sentidos. Todo lo que hemos aprendido podremos aplicarlo, no sólo en un aula sino también en nuestra vida personal (con nuestros hijos etc ... lo más positivo: a) hemos seguido una línea muy clara de trabajo, en ningún momento había duda de lo que se perseguía, los objetivos han sido muy claros. b) hemos realizado trabajos en grupos pequeños y luego debates o intercambios de opiniones en el grupo-clase y ninguno sabíamos trabajar así antes del curso. c) yo, en concreto, he visto en la práctica la utilidad de lo que hemos aprendido. d) las prácticas son muy acertadas. 10 muy estructurado, clases muy agradables e interesantes. Muy buena profesora, superinteresada por los alumnos. Hemos dado cosas que sabíamos pero no éramos capaces de encauzar. Una pena que no pudiera durar más ya que nos será muy útil cuando estemos frente a los alumnos. Ana1isis de respuestas libres en los cuestionarios. El método de las especificidades 145 Recordemos que este grupo se caracterizaba, a partir de las respuestas cerradas, por una valoración negativa del curso. Examinando las respuestas características para comprender el sentido en que son empleadas estas palabras dentro del grupo, encontramos opiniones negativas que consideran el curso aburrido y con un contenido poco interesante o demasiado teórico, abstracto. En algún caso, se descalifica la actuación del profesor encargado de impartirlo, que ha limitado la participación de los alumnos en el desarrollo de las clases. Por último, los 95 alumnos incluidos en la clase 3, caracterizada por una opinión muy positiva sobre el desarrollo del curso, se distinguen por el sobreempleo de términos como aprendido, gustado, mucho, entender o interesado (ver Tabla 7), que señalan valoraciones de signo positivo. A partir de estos términos se han determinado las respuestas más características del grupo, entre las que se alude a la claridad en los objetivos que se perseguían con el curso o a la claridad en la exposición de los contenidos, los cuales se estiman útiles de cara a la práctica. En cuanto a la metodología, se vierten valoraciones en el sentido de considerarla buena, destacando las actividades en grupo y la participación de los alumnos. El curso ha resultado ameno, nada monótono e interesante en lo que respecta a este módulo, hasta el punto de que se llega a firmar que es el más interesante de todos, o que su duración debería incrementarse. En varias de las respuestas específicas para esta clase, se elogia al profesorado del módulo, por considerarlo bueno, motivador, con una forma adecuada de dar las clases e interesado por los alumnos. DISCUSiÓN El método de las especificidades, que hemos presentado e ilustrado en este trabajo, permite sin duda un acercamiento al contenido de las respuestas libres, sorteando uno de los principales obstáculos para el uso de preguntas abiertas en los cuestionarios. En lugar de afrontar costosas operaciones basadas en la postcodificación del material textual, podemos apoyarnos en procedimientos estadísticos y automatizados gracias al uso del ordenador. Además de facilitar el trabajo de análisis, el método de las especificidades consigue niveles de objetividad no alcanzados en el tipo de análisis que habitualmente se ha venido haciendo de las respuestas libres. Por su automatismo y sistematización, el ordenador y el cálculo son los mejores creadores de distancia, los mejores garantes de descripciones y comparaciones objetivas (Tournier, 1989). La separación del conjunto de respuestas en distintos textos, el despiece de éstos en unidades elementales (palabras) y las técnicas estadísticas aplicadas suponen sustituir la lectura lineal de las respuestas por una lectura automática ayudada por el cálculo en la que el analista no interviene. A diferencia del análisis basado en la codificación, que obliga a tomar continuamente decisiones sobre el sentido de las respuestas, en la técnica presentada posponemos cualquier tipo de interpretación hasta el final del proceso. Por otra parte, la posibilidad de conectar los datos obtenidos mediante preguntas cerradas y preguntas abiertas de un mismo cuestionario añade una dimensión en la que resulta difícil avanzar sin el recurso a técnicas como la aquí tratada. El análisis 146 Javier Gil Flores et al. conjunto de datos numéricos y textuales, cuando las preguntas abiertas complementan la información obtenida a partir de ítems cerrados, permite profundizar en argumentos, razones, matices, etc. que explican las respuestas emitidas por subgrupos diferenciados de sujetos, conectando ciertas estructuras de significado presentes en las respuestas con los rasgos de los encuestados. Si bien la selección de palabras características supone una mutilación de la secuencia textual y conduce a destacar vocablos, cuyo sentido depende del contexto en que son usados, la selección de las respuestas características amortigua este inconveniente permitiéndonos acceder al significado exacto de los términos, cuando son usados en el modo que resulta más peculiar entre un grupo de sujetos. De alguna forma, se consigue preservar el sentido literal de lo expresado por los sujetos. Un inconveniente del método de las especificidades, cuando se aplica a la selección de respuestas, es que privilegia las respuestas cortas. Puesto que el criterio usado es el del valor test medio, calculado a partir del valor-test de cada una de las formas que la componen, las respuestas de menor extensión formadas por palabras de elevada especificidad serían las de mayor cuantía en este índice. A medida que el número de palabras en una respuesta crece, el valor test medio tiende a disminuir, ya que difícilmente todas las formas mantienen un alto nivel de especificidad. Con todo, a la vista de las posibilidades que abre esta técnica, pensamos que representa una ayuda válida y eficaz para el análisis de respuestas libres. Su dominio por parte de los investigadores educativos contribuirá sin duda a que seamos menos reticentes a la hora de incluir preguntas abiertas en los cuestionarios que utilizamos en nuestros estudios. REFERENCIAS BIBLIOGRÁFICAS CORRAL, N.; FERNÁNDEZ, S.; MARTÍNEZ, R. Y SAN FABIÁN, J.L. (1990). Opiniones de los alumnos de centros especiales sobre la escuela: una tipología basada en análisis de textos por ordenador, en Revista de Investigación Educativa, (8) 16, 527536. ETXEBERRíA, J.; GARCfA, E.; GIL, J. Y RODRíGUEZ, G. (1995). Análisis de datos y textos. Madrid: Rama. GARCfA, E. y otros (1995). Evaluación de la formación inicial del profesorado de Educación Secundaria. Sevilla: Informe de Evaluación inédito. GIL, J. (1993). Aproximación lexicométrica al discurso de los profesores sobre la reforma educativa, en Bordón, (45) 4, 419-433. GIL, J.; GARCfA, E.; RODRíGUEZ, G. Y CORRALES, A. (1994). Análisis estadístico de datos cualitativos textuales: el enfoque lexicométrico, en Revista de Investigación Educativa, 23, 510-514. GUILBAUD, G.Th. (1980). Zipf et les fréquences, en Mots, 1,97-126. IBARRA, M.S.; GIL, J. Y RODRíGUEZ, G. (1994). Elementos para la mejora de la educación superior a distancia, en Revista Iberoamericana de Educación Superior a Distancia, (IV) 3, 19-37. Ana1isis de respuestas libres en los cuestionarios. El método de las especificidades 147 LAFON, P. (1980). Sur la variabilité des fréquences des formes dans un corpus, en Mots, 1, 127-165. LEBART, L. (1990). Les questions ouvertes: outils de controle, d' évaluation, de valorisation, en Mots, 23, 76-91. LEBART, L.; MORINEAU, A. y BÉCUE, M. (1993). SPAD. T: Systeme Portable pour l'Analyse des Données Textuelles. Paris: CISIA. LEBART, L. Y SALEM, A. (1988). Analyse statistique des données textuelles. Questions ouvertes et lexicométrie. Paris: Bordas. LEBART, L. Y SALEM, A. (1994). Statistique Textuelle. Paris: Dunod. MORINEAU, A. (1984). Note sur la caractérisation statistique d'une classe et les valeurs-tests, en Bulletin Statistique Centre de Statistique et d'Informatique Appliquées, (2) 1-2, 20-27. SCHUMAN, H. y PRESSER, F. (1981). Question and answers in attitude surveys. New York: Academic Press. SIERRA BRAVO, R. (1991). Técnicas de investigación social. Madrid: Paraninfo. TOURNIER, M. (1993). Lexicometria. Lisboa: Universidade Aberta de Lisboa. VaLLE, M. (1985). Analyse des Données. Paris: Economica.