Problemas de representatividad en las encuestas con muestreos probabilísticos

Resumen En el presente trabajo se exponen diversas situaciones en las que no se respeta una de las especificaciones básicas del muestreo probabilístico, la selección basada en la equiprobabilidad, centrando nuestra atención en cómo este hecho influye en la capacidad de inferencia estadística de los resultados obtenidos en la investigación social mediante encuesta. Tras la exposición de los tipos de errores susceptibles de cometerse en la investigación mediante encuesta, centraremos nuestro análisis en la «no respuesta total», un fenómeno que altera la probabilidad de selección de los entrevistados y con una importancia creciente en los últimos años. El trabajo termina presentando un modelo de reducción de la no respuesta en la encuesta postal. Palabras clave: calidad en la encuesta, error de medida, error de cobertura, error muestral, error de no respuesta. Abstract. Nonsampling errors and survey quality This article provides a review of recent research on the quality of survey data. The paper reviews standard methodological treatments of survey errors and discusses the importance of developing population models for measurement errors. A model is presented which nests measurement errors within other non measurement survey errors: errors of coverage, sampling, and non response. The third and following section of the article focus the attention on non response. Key words: survey quality, measurement survey error, error of coverage, error of sampling, non response error. Papers 74, 2004 45-66 Problemas de representatividad en las encuestas con muestreos probabilísticos Vidal Díaz de Rada Universidad Pública de Navarra. Departamento de Sociología Campus Arrosadía, s/n. 31006 Pamplona [email protected] Sumario 1. Tipos de errores en la investigación social con encuesta 2. Problemas que genera la no respuesta 3. Presencia de sesgos en la selección muestral 4. Estrategias para reducir el efecto de la no respuesta 5. Reducción de la presencia de la no respuesta en una encuesta postal 6. A modo de conclusión Bibliografía Comenzaremos este trabajo con una breve exposición de los métodos muestrales, centrando nuestro análisis en la clasificación de los tipos de muestreo. Así, la primera y más importante división respecto al tipo de muestreo diferencia entre muestreo probabilístico y no probabilístico. El primero se caracteriza porque se conoce la probabilidad que tiene cada miembro del universo para salir seleccionado en la muestra y por utilizar un proceso de selección que respeta tales probabilidades (Manzano Arrondo, 1998: 65), aspectos que permiten realizar inferencias estadísticas estimando las características poblacionales de la muestra elaborada. En el muestreo no probabilístico no se conoce la probabilidad que tienen los miembros del universo de ser incluidos en la muestra, de modo que la inferencia de los resultados a la población presenta mayores dificultades. La elección entre un tipo de muestreo u otro está determinada, fundamentalmente, por los objetivos de la investigación, además de otros factores como los recursos disponibles, la realidad que se pretende analizar, el período de tiempo disponible para realizar la investigación, el grado de precisión con que el investigador (o el demandante de la misma) desea medir esta realidad, la existencia de un marco muestral e incluso la propia experiencia y preferencia del investigador (Ibáñez, 1989: 49). La diferencia entre ambos tipos de muestreo, volviendo a la información proporcionada dos párrafos más arriba, estriba fundamentalmente en el conocimiento de probabilidad de ser elegido, y en que el proceso de selección respeta tales probabilidades. En el muestreo probabilístico se conoce tal probabilidad —al menos en teoría— y se realiza el proceso de elección en función de esta probabilidad; aspectos que no son considerados en el muestreo no probabilístico. Si bien son éstos los elementos definitores del muestreo probabilístico, la práctica investigadora genera que en determinados momentos estos criterios no se cumplan tal y como propone la teoría muestral (Manzano Arrondo, 1998: 58). En el presente trabajo, se exponen diversas situaciones en las que no se respetan estas máximas del muestreo probabilístico, centrando nuestra atención en cómo este hecho influye en la capacidad de inferencia estadística de los resultados obtenidos en la investigación social mediante encuesta. Tras la exposición de los tipos de errores, centraremos nuestro análisis en la no respuesta, un fenómeno que altera la probabilidad de selección de los entrevistados y con una importancia creciente en los últimos años. El trabajo termina presentando un modelo de reducción de la no respuesta en la encuesta postal. 1. Tipos de errores en la investigación social con encuesta Siguiendo a Azorín y Sánchez Crespo, en la investigación social mediante encuesta, el error es definido como la diferencia entre el valor observado (obtenido) y el valor desconocido (real) de la población sobre la que se está realizando la investigación. Así, el error no es tanto una equivocación, sino un margen de incertidumbre (Azorín y Sánchez Crespo, 1992: 44). 46 Papers 74, 2004 Vidal Díaz de Rada Una primera distinción de los errores presentes en investigación social nos llevaría a diferenciar entre errores sistemáticos y aleatorios (Latiesa, 1994: 340341). Los errores sistemáticos siguen reglas fijas y son considerados como factores estables que afectan de la misma forma e intensidad cada vez que se hace una medición. A diferencia de éstos, los errores aleatorios son azarosos y resulta difícil su control, puesto que se desconoce cuando aparecen y como afectan a cada una de las mediciones realizadas. Estos errores pueden estar originados por factores coyunturales del entrevistado, del entrevistador, de la situación de la entrevista, etc. El gran problema es que no influyen en todos los fenómenos por igual, afectando así a las mediciones de forma variable. Algunos autores consideran que la repercusión final de los errores aleatorios es de poca importancia, puesto que, al estar repartidos de forma uniforme, su efecto global se compensa (entre éstos Villán y Bravo, 1990: 25). Ambos errores tienen distintos orígenes, y por ello deben ser corregidos de distintas formas. Así, Azorín y Sánchez Crespo señalan que «la reducción de los errores aleatorios requieren hacer “más de algo”, como por ejemplo la reducción del tamaño de la muestra, mientras que la reducción de los errores sistemáticos requieren hacer “algo más”, como por ejemplo una supervisión o un programa de control» (1992: 45). La clasificación sobre el error aleatorio y sistemático da cuenta de los tipos de error, pero no informa de las causas originarias del mismo, aspecto fundamental cuando el interés del investigador se centra en la reducción del error de su investigación. La única forma de reducir este nivel de incertidumbre entre el valor observado y el real será incidir en las causas que producen el error. Adoptando esta perspectiva, una de las mejores clasificaciones de los errores en investigación social es la síntesis que realizó Groves en 1989 basándose en la perspectiva de Leslie Kish (1965). Groves destaca la presencia de cuatro errores en la investigación social —error de muestreo, de cobertura, de medida y de no respuesta—, que a su vez incluyen diferentes tipos de errores. A continuación, se explica cada uno de éstos y su importancia en la calidad de la investigación social. 1.1. Error de muestreo Definido como el error ocasionado por entrevistar a una parte de la población objeto de estudio, y es un indicador de la precisión de las estimaciones realizadas. El nivel de precisión está muy relacionado con el tamaño de la muestra; de modo que, a medida que disminuye el tamaño de la muestra, disminuye también la precisión de las estimaciones y, por lo tanto, aumenta el error muestral. Cuando aumenta el tamaño de la muestra aumenta también la precisión de las estimaciones y disminuye el error de muestreo, aunque es preciso señalar que esta disminución del error no es proporcional al aumento de la muestra. De este modo, una elevada precisión de las estimaciones está reflejando una escasa dispersión de la distribución del estimador en la muestra seleccionada o, dicho de otro modo, está reflejando una concentración de los valores Problemas de representatividad en las encuestas con muestreos probabilísticos Papers 74, 2004 47 estimados cerca del valor real. Si los valores están muy concentrados, las desviaciones respecto de la media serán pequeñas. Como la precisión se mide por la varianza del estimador o su raíz cuadrada, que es la desviación típica, en los casos que las desviaciones respecto de la media sean pequeñas también lo será el error muestral (Manzano Arrondo, 1998: 78-79). El error de muestreo es un componente esencial de los muestreos probabilísticos y señala, en definitiva, la probabilidad de inferir correctamente los resultados obtenidos en los sujetos analizados. El error muestral se ha analizado en detalle en numerosos trabajos, y además no entra dentro de las situaciones referidas anteriormente y caracterizadas por el no cumplimiento de la equiprobabilidad, de modo que no dedicaremos más atención a este aspecto. 1.2. Error de cobertura El segundo error señalado por Groves es definido como error de cobertura, y se produce cuando no son incluidos determinados elementos de la población objeto de estudio en el proceso de selección muestral (Kish, 1965: 528). La falta de cobertura impide la cooperación de un número de unidades muestrales, puesto que determinados individuos no pueden ser seleccionados en la muestra, dificultando con ello la capacidad de inferencia de los hallazgos de la investigación. Este error produce una subestimación en los resultados, cuya amplitud depende de las características de las unidades omitidas. Un ejemplo de no cobertura en un estudio de mercado es la eliminación de los residentes en municipios menores de 500 habitantes en la definición del marco muestral, a fin de economizar costes. En la medida que estos municipios pequeños tengan unas pautas de consumo muy definidas, o si en ellos reside una gran cantidad de población, el error de cobertura será grande; mientras que si la pauta de consumo de éstos es similar al conjunto poblacional, o si en estos municipios viven pocas personas, el error de cobertura será muy pequeño. El problema es la dificultad para conocer, en el ejemplo propuesto, si estos individuos no incluidos en el estudio tienen pautas de consumo similares al conjunto de la población. Uno de los medios de recogida de información que más sufre los problemas derivados del error de cobertura son las encuestas telefónicas, todavía no muy utilizadas en nuestro país, pero con una gran presencia en otras naciones de nuestro entorno1. En nuestro país, y según datos del Estudio General de Medios de 1993 recogidos por J.I. Wert, la tasa de cobertura del teléfono en 1993 era del 80,6%, existiendo diferencias según diversas variables: el teléfono está presente en el 72,6% de los hogares de clase media-baja y baja, el 65,4% de los que viven en municipios menores de 2.000 habitantes y el 63,8% de los hogares en los que viven personas con menos de estudios primarios (Wert, 1994: 48 Papers 74, 2004 Vidal Díaz de Rada 1. En el año 2002, el 48% de las encuestas realizadas en nuestro país se realizaron a través del teléfono (Alós, 2003: 78). 178). Según datos del Estudio General de Medios, en noviembre de 1998 el 90,4% de los hogares principales disponen, al menos, de una línea de teléfono (AIMC, 1998). Azorín y Sánchez Crespo (1992: 46) señalan dos métodos para estimar el error de cobertura; que ellos denominan como el «método de re-enumeración» y el «método de las principales componentes demográficas»: — El primero consiste en volver a enumerar las unidades, en una submuestra de pequeñas áreas, utilizando agentes con una mayor cualificación y experiencia. La ventaja de este método es que permite desvelar la naturaleza del error de cobertura, mientras que entre sus inconvenientes destacan que esta re-enumeración puede producir nuevos errores de cobertura. — El método de las principales componentes demográficas consiste en una comparación entre los datos obtenidos por la investigación con los datos de toda la población. Uno de los problemas es que con este proceso estamos cuantificando no sólo los errores producidos por la falta de cobertura, sino también los generados por otros motivos, como el error de medida, los errores voluntarios e involuntarios producidos por el entrevistado, los errores provocados por el entrevistador, la fiabilidad de las preguntas, etc., de modo que es posible obtener grandes diferencias con los valores de las poblaciones, diferencias que pueden no tener su origen en la falta de cobertura (Groves, 1989: 187). Otro de los factores que dificultan tremendamente una correcta utilización de esta estrategia es la localización de documentos que reflejen con exactitud las características de la población objeto de estudio, la necesaria actualización de esta información y los escasos datos que suelen incluir estos documentos. Respecto a este último punto, en determinadas ocasiones tan sólo será posible comparar unas pocas variables, generalmente las sociodemográficas, que no permiten conocer adecuadamente la magnitud del problema. En otros momentos nos encontramos con que los documentos que utilizamos para realizar la comparación presentan grandes deficiencias. Así, respecto al censo de población, que es utilizado como marco muestral en una gran parte de las investigaciones que se realizan en nuestro país, De Miguel (1993: 37-40) considera que el censo de 1991 infraestima la población en medio millón de personas. 1.3. Error de medida El error de medida está originado por una inadecuación en las respuestas recogidas por el instrumento de medida. En palabras de Azorín y Sánchez Crespo, es definido como «la diferencia entre el valor observado y el valor “objetivo” de una determinada unidad» (1992: 46). Para Groves (1989), el error de medida puede estar originado por cuatro factores: errores producidos por los entrevistadores, por los entrevistados, errores debidos al cuestionario y errores producidos por el modo de recogida de datos y la situación de la Problemas de representatividad en las encuestas con muestreos probabilísticos Papers 74, 2004 49 entrevista. A estas cuatro situaciones añadimos una quinta, referida a los errores cometidos durante la preparación y el tratamiento de datos. 1.3.1. Errores producidos por los entrevistadores En primer lugar, se señalan los errores producidos por una mala actuación de las personas que realizan la recogida de datos, que puede tener su origen en una inadecuada selección, preparación o control de estas personas. A grandes rasgos, podríamos señalar cuatro grandes tipos de errores producidos por los entrevistadores: la cumplimentación de los cuestionarios por parte de los propios entrevistadores, realizar una mala selección de las personas a entrevistar, influir de alguna forma en la respuesta de los entrevistados y, por último, una mala recogida de las respuestas de éstos. Para reducir el peligro (o tentación) de la cumplimentación de los cuestionarios por los entrevistadores, es necesario dedicar recursos a la supervisión de las entrevistas, supervisión que debe realizarse con más intensidad al comienzo de la investigación, tal y como apuntan González Gómez y otros (1998b: 208). En relación con el segundo error, la realización de una mala selección de las personas a entrevistar, es preciso recordar que este trabajo comenzaba definiendo el muestreo probabilístico como aquél en el que se conoce la probabilidad que tiene una persona de ser elegida, y que sigue un proceso de selección que respeta tal probabilidad. Ello implica que las personas son seleccionadas por un criterio aleatorio, y no basado en las preferencias arbitrarias de los entrevistadores. No obstante, en numerosas ocasiones esta situación no se cumple en las últimas etapas del muestreo, desconsiderando así el criterio definitorio del muestreo probabilístico. Cuando el investigador tiene una lista detallada con los nombres y las direcciones de las personas que componen el marco muestral, para realizar el proceso de elección muestral basta con la selección de éstos con una tabla de números aleatorios o mediante un «bombo de lotería». Sin embargo, en la mayoría de los casos, los investigadores no disponen de un marco muestral tan detallado, y por ello utilizan diversos métodos para la selección de las «unidades últimas del muestreo». Entre éstos suelen distinguirse los métodos utilizados para la selección de la vivienda a entrevistar, generalmente sistemas de rutas aleatorias2, y los que se emplean para selección de la persona dentro del hogar. Existen una gran cantidad de métodos para la seleccionar la persona dentro del hogar3, aunque uno de los más utilizados en nuestro país es el método de cuotas. El método de cuotas fue diseñado en el primer tercio del siglo XX para asegurar que determinados individuos difíciles de localizar estuvieran bien representados en las muestras, y no será explicado aquí por considerar que es 50 Papers 74, 2004 Vidal Díaz de Rada 2. A los lectores desconocedores de este sistema, aconsejamos la consulta de Manzano Arrondo y otros (1996: 27-42), Manzano Arrondo y González Gómez (1998: 103-112) y Díaz de Rada (2005). 3. Método de Kish, del último o próximo cumpleaños, método de Trodahl y Carter, etc. (Díaz de Rada, 2001). suficientemente conocido en este foro (una excelente explicación puede verse en Manzano y González Gómez, 1998: 102). Si bien este método ha demostrado que consigue una adecuada representación de los estratos sociales más difíciles de localizar, el hecho que no «obligue» al entrevistador a realizar segundas visitas genera una mayor representación de las personas que se encuentran en casa en el momento de realizar la entrevista. Aunque las características de las personas a entrevistar sean muy precisas —por ejemplo, ser menor de 25 años, mujer, y trabajar fuera del hogar—, tendrán más probabilidad de ser elegidas aquellas personas que trabajan a tiempo parcial, tienen hijos o pasan más tiempo en casa. La no exigencia de una «segunda visita» trae como consecuencia una mayor probabilidad de elegir personas con unos rasgos determinados. El tercer error de los entrevistadores se produce por la influencia de éstos en la respuesta de los entrevistados, y se corrige —fundamentalmente— con una adecuada selección y formación de éstos, así como con una supervisión intensiva de las primeras entrevistas realizadas (Morton-Williams, 1991; González Gómez y otros, 1998a: 141-144). El entrevistador puede ser hombre o mujer, adoptar un estilo de vestir y realizar las preguntas de una determinada forma. Además, tiene una orientación ideológica, unos prejuicios, etc. que pueden «modificar» su forma de ver la realidad que está analizando. A este respecto, es preciso señalar las investigaciones realizadas por Catania y otros cuando demuestran, en una investigación sobre comportamiento sexual en los Estados Unidos, que las respuestas a las preguntas sobre comportamientos sexuales varían según la adecuación entre el sexo del entrevistador y el sexo del entrevistado: las mujeres muestran un alto índice de no respuesta parcial cuando el entrevistador es un hombre, tasa que se reduce notablemente cuando la mujer es entrevistada por otra mujer. En los hombres se produce el efecto opuesto; cuando son entrevistados por un hombre presentan una mayor no respuesta parcial que cuando el entrevistador es una mujer (Catania y otros, 1996: 356-357). Manzano y otros (1996: 57-61) presentan algunas estrategias para reducir la influencia de los entrevistadores mediante una guía de la entrevista, además de una serie de consejos prácticos y la respuesta a preguntas comunes. El cuarto error tiene su origen en una mala cumplimentación de los cuestionarios, y para atenuar su presencia es preciso repasar las respuestas del cuestionario lo antes posible, por si es necesario recurrir a la memoria del entrevistador ante la falta de determinadas preguntas, o si es preciso contactar de nuevo con el entrevistado para volver a preguntarle algunos aspectos. Para reducir este error, González Gómez y otros (1998b: 208) aconsejan la realización de las siguientes acciones: — Repasar lo escrito para detectar palabras poco legibles. — Repasar todas las preguntas y comprobar que no se olvidó ninguna. — Determinar si las preguntas filtro se realizaron correctamente. — Comprobar que los datos de identificación se recogieron adecuadamente. — Cualquier otra incidencia que se diera durante la entrevista. Problemas de representatividad en las encuestas con muestreos probabilísticos Papers 74, 2004 51 1.3.2. Errores generados por los entrevistados Los entrevistados son considerados como fuente de error cuando expresan respuestas que no desvelan sus conocimientos o percepciones sobre el tema objeto de estudio. Dentro de los errores de los entrevistados, Groves (1989: 407445) destaca la ausencia de conocimiento sobre los aspectos que son preguntados, la escasa (o nula) comprensión de las preguntas del cuestionario, fallos de memoria por preguntar aspectos demasiado lejanos en el tiempo, adopción del rol que se considere adecuado para una situación determinada, presencia de aquiescencia en las preguntas, etc. Latiesa (1994: 335-339) destaca también la pérdida en la calidad de la información originada cuando los entrevistados son persuadidos a colaborar, se sienten amenazados, etc. Es muy difícil la constatación de los errores de los entrevistados, y una de las formas más efectivas para mitigarlos es poner sumo cuidado en la elaboración del cuestionario. 1.3.3. Errores debidos al cuestionario Los errores producidos por el cuestionario se solucionan con una elaboración cuidadosa del mismo, cumpliendo una serie de requerimientos con el fin de realizar «buenas preguntas», definidas por Fowler como «aquélla que produce respuestas que proporcionan una información fiable y válida de algo que nosotros queremos describir» (1995: 2). No entraremos aquí en los requisitos necesarios para una correcta realización de las preguntas, puesto que supera el objetivo del presente trabajo, además de haber sido realizado por numerosos expertos (entre otros, Fowler, 1995; Padilla García y otros, 1998: 115-140). No obstante, consideramos conveniente destacar que de la gran cantidad de elementos que intervienen en la calidad de los datos de una investigación social, hay un acuerdo en que la mayor fuente de error es la formulación y elaboración del cuestionario (Fowler y Manglione, 1990; Groves, 1996), siendo —por otro lado— uno de los aspectos que es más fácil y menos costoso de solucionar. Es menos costoso elaborar un buen cuestionario que modificar el resto de los elementos (incrementar el tamaño de la muestra, imputar la no respuesta, etc.), tal y como pone de manifiesto Bolton cuando calcula el coste económico del pretest y lo estima en un 3% del coste total del estudio (1993: 301). De modo que no se trata únicamente de realizar cuidadosamente el cuestionario, sino que además es preciso realizar una prueba del mismo. 1.3.4. Errores producidos por el sistema de recogida de datos y por la situación de la entrevista El sistema de recogida de datos presenta en ocasiones una gran influencia en las respuestas de los entrevistados, aspecto que no analizaremos aquí, puesto que supondría alejarnos del tema principal de este trabajo, y por haber sido realizado en otra publicación del autor (Díaz de Rada, 2000a). En las encuestas personales y telefónicas, adquiere una importancia esencial en la calidad de los datos recogidos la situación social en la que se realiza la 52 Papers 74, 2004 Vidal Díaz de Rada entrevista. Así, una entrevista larga realizada a un ama de casa en la puerta de su vivienda mientras ella insiste que tiene prisa tiene una gran probabilidad de recoger la información con baja calidad. Asimismo, hay que evitar la realización de la entrevista en presencia de otras personas que puedan condicionar la respuesta del entrevistado. Dentro de las circunstancias generadas por la situación de la entrevista, Latiesa (1994: 339) distingue entre factores que influyen «debido a la situación en que la medición tiene lugar», y factores mecánicos. Dentro de los primeros, señala el ambiente relajado, tenso, presencia o ausencia de determinadas personas, etc. Los factores mecánicos hacen referencia a otros aspectos más triviales, como la falta de espacio para realizar la entrevista, la rotura de la vestimenta, la rotura de un lapicero, etc. 1.3.5. Errores generados durante el proceso de preparación y tratamiento de datos Cuando finaliza el proceso de recogida de información (trabajo de campo), llega el momento de revisar la información conseguida mediante el repaso de la entrevista y la cumplimentación correcta del cuestionario, realizar la codificación de los datos recogidos, su grabación y la preparación de éstos para el análisis; situaciones en las cuales pueden volver a cometerse errores. Este proceso ha sido contemplado en numerosos trabajos específicos sobre el tema4, de modo que no consideramos adecuado analizarlo aquí. Estos cinco aspectos componen el error de medida, sin duda uno de los más importantes y complejos dentro de la investigación social por la gran cantidad de factores que intervienen en su definición. 1.4. Error de no respuesta El último de los errores señalados por Groves es el error producido por la ausencia de respuesta. Comenzaremos con la definición del término «no respuesta», un término con muchas acepciones, al haber sido utilizado de muy diversas formas en libros sobre muestreo, sobre procesos estadísticos, sobre censos, etc. En este trabajo utilizaremos la definición realizada por la oficina del Censo de los Estados Unidos que define la no respuesta, en su acepción general, como el «fallo para obtener respuesta en las unidades de análisis (de una población o muestra) por varias razones como la ausencia de una persona en el hogar, rechazo, hogares vacíos, no devolución del cuestionario, omisión de una o mas anotaciones en un cuestionario, etc.» (US Bureau of the Census, 1975: 50). En esta definición aparecen dos tipos de no respuesta, la producida porque una persona no ha contestado ninguna pregunta del cuestionario, y la producida porque el entrevistado que estaba contestando el cuestionario ha decidido no responder a determinadas cuestiones. La primera de ellas recibe el Problemas de representatividad en las encuestas con muestreos probabilísticos Papers 74, 2004 53 4. Entre otros, Biemer y Caspar (1994: 307-326), Heady (1995: 3-7), Moon (1995: 7-10), Martin y otros (1995: 18-25), González Gómez y otros (1998: 207-213). trado Singer, VonThurn y Miller (1995), cuando la información recogida es sensible, la insistencia en la confidencialidad aumenta significativamente la respuesta, mientras que cuando la información es no sensible, la insistencia en la confidencialidad no suele aumentar la respuesta, llegando incluso a producir efectos negativos. b) La utilización de gratificaciones es otro procedimiento que no exige una gran dificultad, y que consigue una gran efectividad en función del tipo de gratificación (monetaria o no monetaria) y del momento de la entrega (antes de responder el cuestionario o después de responderlo). En otro trabajo (Díaz de Rada, 1998) ya demostramos que son más efectivas las gratificaciones monetarias entregadas antes de responder el cuestionario. c) Muestreo de preguntas, que consiste en la realización de una entrevista muy breve a los que no han contestado, con el fin de obtener la información fundamental del cuestionario. Una vez que se ha obtenido esta información, se comparan las respuestas de los que responden y de los que no lo hacen. Este procedimiento se basa en el hecho que los que rechazan responder todas las preguntas de un cuestionario suelen aceptar responder dos o cuatro cuestiones (Bethlehem y Kersten, 1985: 292). d) La estrategia con más nivel de dificultad se fundamenta en volver a entrevistar a las personas que han rechazado responder. El jefe de campo será el encargado de planificar las entrevistas a realizar, tras un análisis exhaustivo de las causas o la «fuerza» del rechazo. Estas entrevistas son llevadas a cabo por entrevistadores muy experimentados, y con rasgos «similares» a los del entrevistado: mismo género, edad, nivel socioeconómico, etc. En ocasiones se trata de entrevistar no a todos los «rechazos», sino a una muestra aleatoria de éstos. Por último, se propone una estrategia que es aplicada para reducir conjuntamente los dos tipos de no respuesta (no contactos y rechazos), y que se fundamenta en añadir a la muestra nuevos elementos que reemplacen a las unidades seleccionadas que no responden, cambiando los que no han respondido por individuos «reservas» que son similares a los seleccionados en un primer momento. 5. Reducción de la presencia de la no respuesta en una encuesta postal Las estrategias expuestas en el apartado anterior proporcionan excelentes resultados cuando se utilizan para reducir la no respuesta en encuestas personales y telefónicas, aunque su efectividad es menor cuando se aplican a encuestas postales. En las encuestas postales la ausencia de una interacción personal entre un «representante» de la investigación (el encuestador) y el entrevistado dificulta la utilización de algunas de las estrategias expuestas en el cuadro 1, además de la imposibilidad de diferenciar entre personas difíciles de contactar y rechazos. Por otro lado, un análisis de las estrategias para reducir la no respuesta en 60 Papers 74, 2004 Vidal Díaz de Rada encuestas postales precisa considerar el elemento característico de éstas: su distribución a través del correo. Algunas de las teorías empleadas para explicar la respuesta en las entrevistas postales han sido la norma de reciprocidad social de Gouldner (1960) y el principio de la justicia redistributiva propuesto por Homans (1961: 75). Nuestro interés es exponer aquí uno de los modelos más simples y efectivos sobre la cooperación en encuestas postales basado en la teoría de la disonancia cognoscitiva de Festinger. Este modelo fue propuesto por Furse y Steward en 1984 y plantea —básicamente— que, bajo condiciones de libertad de elección, un pequeño incentivo adjunto a un cuestionario crea una disonancia que el sujeto tratará de eliminar respondiendo el cuestionario5(Furse y Steward, 1984: 81-82). Desde el punto de vista de estos autores, la respuesta a un cuestionario no es una decisión simple, sino que más bien se trata de un grupo de decisiones secuenciales que precipitarán o no la respuesta del cuestionario. Así, la decisión de una persona de no responder puede ser inconsistente con la autoconcepción de sí mismo como persona servicial, llegando a producir un estado de disonancia entre lo que uno piensa de sí mismo y la acción que acaba de tomar. En la figura 1 se expone el «proceso de decisión de responder» a un cuestionario postal, tal y como es presentado por Furse y Steward (1984: 85). El proceso comienza con la recepción de una carta «inesperada» (no solicitada) en la casa del posible entrevistado. Cuando esta persona recoge el sobre con el cuestionario puede decidir abrirlo o no tras observar las características externas del sobre (no respuesta tipo 1). Es preciso tener en cuenta que esta decisión de no responder se toma tras observar el sobre y el tipo de envío, aspectos que será necesario considerar para incidir sobre este tipo de no respuesta. Si decide abrir el sobre, se encontrará con un cuestionario que puede rechazar (no respuesta tipo 2), o bien estimular su curiosidad de modo que opta por leer la carta de presentación y las instrucciones del cuestionario. Así, la no respuesta tipo 2 se toma tras abrir la carta y constatar que incluye el cuestionario, sin llegar a leer la carta de presentación y las instrucciones del cuestionario. Aquéllos que han abierto el sobre y han leído su contenido pueden optar por responder y enviar el cuestionario, dejar esta tarea para un momento posterior o decidir no responderlo (no respuesta tipo 4). Dentro de los que dejan esta tarea para un momento posterior, una parte responderá y enviará el cuestionario, mientras que otros no lo harán, constituyendo así la no respuesta tipo 3. Con el fin de reducir —o evitar— los tipos de no respuesta señalados en la figura 1, Furse y Steward proponen una serie de acciones que inciden en los procesos decisionales de cada etapa; señalados en la figura 1 con la letra D. La Problemas de representatividad en las encuestas con muestreos probabilísticos Papers 74, 2004 61 5. Es necesario precisar que estos autores realizan una extensa fundamentación de su modelo en la teoría de la disonancia cognoscitiva de Festinger, fundamentación que no recogemos aquí al centrarnos únicamente en los «aspectos más operativos» del mismo. El modelo propuesto por Furse y Steward es mucho más complejo que el breve resumen que realizamos aquí. gran cantidad de correo no solicitado que se recibe actualmente facilita que el posible entrevistado se desprenda del sobre rápidamente y sin proceder a su abertura, de modo que, en primer lugar, será necesario tratar que el destinatario proceda a la apertura del sobre. Para ello es preciso modificar aquellos aspectos que el posible entrevistado observa en el sobre: remite, calidad del papel, personalización del envío, tipo de correo utilizado (impresos, primera o segunda clase, etc.). El haber recibido anteriormente una prenotificación contribuirá también a su apertura. Sobre la efectividad de la prenotificación postal o telefónica, ver Díaz de Rada (1999: 225-226). El segundo proceso decisional tiene lugar cuando el destinatario abre el sobre y toma la decisión de leer la carta de presentación y las instrucciones del cuestionario u opta directamente por no responder. Incluir una gratificación junto al cuestionario, así como el empleo de una prenotificación, reducen la 62 Papers 74, 2004 Vidal Díaz de Rada Figura 1. Situaciones en las que se produce la no respuesta en encuestas postales. Recepción del cuestionario incluido en un sobre postal (D1) Decisión de no responder (sin abrir) Apertura del sobre (D2) Decisión de no responder Evaluación del requerimiento (D3) Respuesta y envío Decisión diferida Decisión de no responder (D4) Respuesta y envío (tardío) NR1 NR2 NR3 NR4 Definición de los tipos de no respuesta: NR1: realizada sin abrir el sobre. NR2: tomada tras abrir el sobre, pero sin proceder a leer la carta de presentación ni las instrucciones. NR3: leída la carta de presentación y las instrucciones. La no respuesta se produce por posponer la decisión de responder. NR4: leída la carta de presentación y las instrucciones, se decide no responder. Fuente: Furse y Steward, 1984: 85. posibilidad de no respuestas en esta etapa. Furse y Steward (1984: 87) consideran que la recepción de una gratificación (fundamentalmente monetaria) genera en el entrevistado un sentimiento de disonancia que le lleva —al menos— a prestar atención al material incluido en el sobre. Desde su punto de vista, quedarse con el dinero sin leer la carta es inconsistente con los valores de reciprocidad social, y esto producirá una disonancia en el individuo6. Tras la lectura de la carta de presentación y las instrucciones del cuestionario, se produce una evaluación de la solicitud de respuesta, evaluación en la que influyen aspectos diversos como el prestigio del organismo que promueve la investigación, la persona que firma la carta de presentación, rango de esta persona, sobre de respuesta y su tipo de franqueo (Díaz de Rada: 1999). En este momento, el tipo de gratificación utilizada incide en la rapidez de respuesta y envío del cuestionario (Furse y Steward, 1984: 87). Para aquéllos que retrasan la contestación y/o el envío del cuestionario cumplimentado, enviar una tarjeta de recuerdo o realizar un recordatorio telefónico unos días después proporciona excelentes resultados, reduciendo el tercer tipo de no respuesta. En numerosas ocasiones es aconsejable incluir un nuevo cuestionario en los sucesivos recordatorios postales, como ya señalamos en otro trabajo (Díaz de Rada, 1999: 227). 6. A modo de conclusión En este trabajo se han expuesto diversos errores presentes en la investigación social mediante encuesta, centrando la atención en las dificultades de cumplir fielmente el requerimiento básico del muestreo probabilístico: conocer la probabilidad que tiene cada miembro del universo para ser elegido en la muestra y seleccionarlo respetando tales probabilidades. Los errores susceptibles de cometerse en la investigación social han sido clasificados adoptando la clasificación de Groves, añadiendo a ésta una serie de errores producidos durante el proceso de preparación y tratamiento de datos. A la clasificación expuesta podrían haberse añadido otros errores «externos» a la investigación, como el hecho tener una noción equivocada de la investigación social, que lleva a que algunas personas tengan una falsa concepción del alcance de los servicios de la investigación. Una vez expuestos los errores presentes en la investigación social, este trabajo se ha centrado en el error de no respuesta total, un aspecto bastante olviProblemas de representatividad en las encuestas con muestreos probabilísticos Papers 74, 2004 63 6. Pese a la demostrada solidez de este modelo, las condiciones socioculturales de nuestro país le llevan al autor de este trabajo a dudar de la influencia de esta disonancia que aparece cuando una persona se queda con la gratificación sin leer el resto de documentos incluidos en la carta. Esta duda tiene su origen en la tradición picaresca de nuestro país. Algunas expresiones actuales de la vigencia de esta tradición aparecen diariamente en la portada de los periódicos, objetivada no sólo por los casos de corrupción política y económica, sino también por la observación de espectáculos tan bochornosos como el «timo de la estampita» y otros similares. Esperamos que futuras investigaciones desvelen la adecuación de esta teoría en nuestro país. dado en la investigación social de nuestro país, y que sin embargo es analizado cada vez con más preocupación por los investigadores de otros países. Tras señalar los problemas que genera la no respuesta, se ha mostrado una tipología de las personas que menos responden, a fin de conocer los colectivos mejor y peor representados en las investigaciones realizadas actualmente en nuestro país. Considerábamos que el problema de la no respuesta no está suficientemente tratado si no se proponen algunas de las estrategias utilizadas actualmente para reducir el efecto de la no respuesta en las encuestas, tanto si se trata de encuestas personales como telefónicas o postales. Bibliografía AIMC (1998). Segundo estudio de audiencia de Internet. http://www.aimc.es/aimc/ html/inter /net.html ALDERETE, J. (1996). «¿Utilizamos muestras representativas?». Investigación y Marketing, vol. 50, p. 32-35. ALÓS, J.S. (2003). «Industria de los Estudios de Mercado en España 1998». Investigación y Marketing, vol. 80, p. 76-78. AZORÍN, F.; SÁNCHEZ CRESPO, J.L. (1992). Métodos y aplicaciones del muestreo. Madrid: Alianza. BETHLEHEM, J.G.; KERSTEN, H.M.P. (1985). «On the Treatment of Nonresponse in Sample Surveys?». Journal of Official Statistics, vol. 1, p. 287-300. BIEMER, P.; CASPAR, R. (1994). «Continuous Quality Improvement for Survey Operations: Some General Principles and Applications». Journal of Official Statistics, vol. 10, nº 3, p. 307-326. BOLTON, R.N. (1993). «Pretesting Questionnaires: Content Analyses of Respondents’ Concurren Verbal Protocols». Marketing Science, vol. 12, p. 280-303. CATANIA, J.A. y otros (1996). «Effects of Interviewer Gender, Interviewer Choice, and Item Wording of Responses to Questions Concerning Sexual Behavior». Public Opinion Quarterly, vol. 60, p. 345-375. DÍAZ DE RADA, V. (1998) «¿Por qué contestar a una encuesta? ¿Comprendemos las razones que animan a los entrevistados a responder a nuestros requerimientos (de ser entrevistados)?». Comunicación presentada en el VI Congreso Español de Sociología, Federación Española de Sociología, La Coruña, septiembre de 1998. — (1999). «Factores que aumentan la eficiencia de las encuestas postales». Revista Española de Investigaciones Sociológicas, nº 85, p. 221-251. — (2000a). «Modos de entrar en relación para la toma de datos: entrevista personal, telefónica y postal». La investigación de mercados y el análisis de la información de la empresa y de las instituciones públicas, AEDEMO, Barcelona, en prensa. — (2000b). Problemas originados por la no respuesta en investigación social: Definición, control y tratamiento. — (2001). Organización y gestión de los trabajos de campo con encuestas personales y telefónicas. Barcelona: Ariel. — (2005). Manual de campo en la investigación mediante encuestas. Original sin publicar. FOWLER, F.J. (1995). Improving Survey Questions. Londres: Sage Publications. FOWLER, F.J.; MANGLIONE, T.W. (1990). Standarized Survey Interviewing. Newbury Park, CA: Sage. 64 Papers 74, 2004 Vidal Díaz de Rada FURSE, D.H.; STEWARD, D.W. (1984). «Manipulating Dissonance to Improve Mail Survey Response». Psychology and Marketing, vol. 1, nº 2, p. 79-94. GONZÁLEZ GÓMEZ, A.; PADILLA GARCÍA, J.L. (1998a). «La entrevista». En ROJAS, A.J.; FERNÁNDEZ PRADOS, J.S.; PÉREZ MELÉNDEZ, C. Investigar mediante encuestas. Madrid: Síntesis, p. 141-151. — (1998b). «La calidad en la encuesta». En ROJAS, A.J.; FERNÁNDEZ PRADOS, J.S.; PÉREZ MELÉNDEZ, C. Investigar mediante encuestas, Madrid: Síntesis, p. 199-215. GOULDNER, A. (1960). «The Norm of Reciprocity: A Preliminary Statement». American Sociological Review, vol. 25, p. 161-178. GOYDER, J. (1987). The Silent Minority. Cambridge: Polity Press. GROVES, R.M. (1996). «How Do We Know What We Think?». En SCHWARZ, N.; SUDMAN, S. (eds.), Answering Questions. San Francisco: Jossey-Bass. GROVES, R.M.; COUPER, M. (1998). Nonresponse in Household Interview Surveys. Nueva York: Wiley. HEADY, P. (1995). «Calibrating Measurement Error in the 1991 Census». Survey Methods Centre Newsletter, vol. 15, nº 2, p. 3-7. HOMANS, G.C. (1961). Social Behavior: Its Elementary Forms. Nueva York: Harcourt. IBÁÑEZ, J. (1989). «Perspectivas de la investigación social: el diseño en las tres perspectivas». En GARCÍA FERRANDO, M. y otros. El análisis de la realidad social. Madrid: Alianza Universidad, p. 49-84. JONES, C.; MCPHERSON, A. (1972). «Implications of Nonresponse to Postal Surveys for the Development of Nationally Based Data on Flows out of Educational Systems». Scottish Educations Studies, vol. 4, p. 28-38. KALTON, G. (1983). Compensating for Missing Survey Data. Survey Research Center, University of Michigan. KISH, L. (1965). Survey Sampling. Nueva York: Wiley. Versión española en 1965: Muestreo de encuestas, Méjico: Trillas. LATIESA, M. (1994). «Validez y fiabilidad de las investigaciones sociológicas». En GARCÍA FERRANDO, M. y otros. El análisis de la realidad social. Madrid: Alianza Universidad, p. 335-364. LYNN, P. (1996). «Weighting for Non-Response». En BANKS, R. (ed.). Survey and Statistical Computing 1996. Association for Survey Computing, Londres. MADOW, W.G.; OLKIN, I. (1983). «Annual survey of Manufactures». En MADOW, W.G.; NISSELSON, H.; OLKIN, I. Incomplete Data in Sample Surveys. Vol. I: Report and Case Studies. Academic, Nueva York, p. 237-268. MANZANO ARRONDO, V. (1998). «Selección de muestras». En ROJAS, A.J.; FERNÁNDEZ PRADOS, J.S.; PÉREZ MELÉNDEZ, C. Investigar mediante encuestas. Madrid: Síntesis, p. 51-97. MANZANO ARRONDO, V.; ROJAS TEJADA, A.J.; FERNÁNDEZ PRADOS, J.S. (1996). Manual para encuestadores. Madrid: Alianza. MARTIN, J.; BUSHNELL, D.; CAMPANELLI, P.; THOMAS, R. (1995). «A comparison of interviewer and office coding of occupations». Survey Methods Centre Newsletter, vol. 15, nº 2, p. 18-25. MIGUEL, A. de (1993). La Sociedad Española 1992-93. Madrid: Editorial Complutense. MOON, N. (1995). «Calibrating Survey Measurement Error due to Coding Variability». Survey Methods Centre Newsletter, vol. 15, nº 2, p. 7-10. MORTON-WILLIAMS, J. (1991). «Obtaining co-operation in surveys - the development of a social skills approach to interviewer training in introducing surveys». Joint Centre for Survey Methods, SCPR, Working Papers Series nº 3. Problemas de representatividad en las encuestas con muestreos probabilísticos Papers 74, 2004 65 PADILLA, J.L.; GONZÁLEZ GÓMEZ, A.; PÉREZ MELÉNDEZ, C. (1998). «Elaboración del cuestionario». En ROJAS, A.J.; FERNÁNDEZ PRADOS, J.S.; PÉREZ MELÉNDEZ, C. Investigar mediante encuestas. Madrid: Síntesis, p. 115-140. PLATEK, R. (1986). Metodología y tratamiento de la no-respuesta. Euskal Estatistika Erakundea-Insituto Vasco de Estadística, Gobierno Vasco, Vitoria. SINGER, E.; VON THURN, D.R.; MILLER, E.R. (1995). «Confidentiatily Assurances and Response: A Quantitative Review of the Experimental Literature». Public Opinion Quarterly, vol. 59, p. 66-77. US BUREAU OF THE CENSUS (1975). Course of Nonsampling Errors. International Statistical Program Center, Bureau of the Census, Washington DC. — (1976). Statistical Abstract of the United States, 1976, 97th ed, Bureau of the Census, US Department of Commerce, Washington DC. VILLAN CRAIDO, I.; BRAVO CABRIA, M.S. (1990). Procedimiento de depuración de datos estadísticos. Seminario Internacional de Estadística en Euskadi, EUSTAT, Vitoria 1990. WERT, J.I. (1994). «La Encuesta Telefónica». En IBAÑEZ, J.; ALVIRA, F.; GARCÍA FERRANDO, M. El análisis de la realidad social. Alianza Universidad Textos, Madrid, p. 177-188. 66 Papers 74, 2004 Vidal Díaz de Rada