Calibración en el muestreo

1 Facultad de Ciencias Trabajo Fin de Grado Grado en Estadística Título del Trabajo Calibración en el muestreo Autor: Gustavo Cano Posadas Tutor: Jesús A. Tapia 2 INDICE: Introducción 1. Descripción de la técnica de calibración 1.1. Formulación 1.2. Propiedades estadísticas de los estimadores de calibración 1.3. Calibración y falta de respuesta 1.4 Elección de la información de calibración 1.5 Motivos para usar calibración 1.6 Software de calibración 2. Métodos de calibración 2.1. Método lineal 2.2. Método exponencial 2.3. Método lineal logit y truncado 2.4. Elección del método de calibración 3. Aplicación de calibración 3.1 Técnicas de calibración en las encuestas de hogares en el INE 3.2 Ejemplo Simulado 3.3 Ejemplo con datos reales procedentes de la EPA 4. Conclusiones 5. Código control utilizado 6. Bibliografía 3 Introducción La calibración es una herramienta utilizada a menudo por los profesionales de los estudios sociales con encuesta para mejorar las estimaciones de los parámetros derivados de las preguntas (ítems) de una encuesta realizadas a una muestra de individuos, existiendo una información auxiliar sobre toda la población objetivo del estudio. La característica clave es la modificación de los factores de elevación (pesos) de los individuos de la muestra encuestada para estimar con la información muestral y la información auxiliar poblacional características poblacionales (parámetros), como totales de población y frecuencias de categoría de ítem de encuesta. Por ejemplo, en una población, la edad y el sexo son variables auxiliares naturales. La información de la edad y sexo de los individuos de una población está disponible en otras fuentes estadísticas, como un censo o un registro de la población (padrón) y mediante una modificación adecuada de los pesos de los individuos de la muestra, la estructura de la población en estas variables puede ser reproducida exactamente por la muestra. Si la variable de estudio, es decir, la variable respuesta está correlacionada con la información auxiliar, la mayor precisión en las estimaciones suele obtenerse mediante la aplicación de los nuevos pesos calibrados de los individuos. La calibración tiene su origen en los procedimientos introducidos por Deming y Stephan (1940). En años posteriores, la técnica de calibración ha recibido considerable atención por parte de las autoridades estadísticas oficiales, destacando:  Instituto Nacional de Estadística en Reino Unido.  Instituto Central de Estadística de Irlanda.  Instituto Nacional de Estadística de España.  Instituto Nacional de Estadística y Estudios de la Economía de Francia (INSEE).  Servicio Público Federal de Economía de Bélgica.  Servicio de Estadística de Canadá.  Servicio de Estadística de Holanda. El interés por el enfoque ha crecido ya que Deville y Särndal (1992) mostraron la equivalencia asintótica de la calibración para el estimador de regresión generalizada (Cassel, Särndal y Wretman, 1976), proporcionando así una forma de establecer las propiedades estadísticas de los estimadores calibrados. A continuación, se explican los principios teóricos que subyacen a los métodos de calibración. 4 1. Descripción de la técnica de calibración 1.1. Formulación Desde su incorporación en el muestreo, la información auxiliar se ha utilizado en la etapa de estimación con el objetivo de obtener estimaciones de mayor precisión. Por ejemplo, el estimador de regresión generalizada utiliza variables auxiliares con totales poblacionales conocidos procedentes de fuentes externas. Es bien sabido (Särndal, Swensson y Wretman, 1992) que cuanto más se correlacionen esas variables con la variable de estudio, mejor será la precisión del estimador de regresión generalizada. Consideremos una población finita U de N unidades distintas. Podemos denotar la variable de estudio por Y. Ahora supongamos que queremos estimar el total de la variable de estudio, Υ, utilizando una muestra s de tamaño n extraída de U según un determinado diseño muestral. Para estimar el total de la población en estas circunstancias, se utiliza un estimador lineal: (1) 𝚼 =∑dk∗yk 𝒌𝝐𝑺 Donde dk es el peso muestral (factor de elevación) del individuo k. Supongamos ahora que existen J variables auxiliares X1 ... Xj ... XJ, llamadas variables de calibración, con totales poblacionales conocidos (en el caso de variables numéricas) o recuentos marginales (en el caso de variables categóricas). Sin pérdida de generalidad, podemos suponer que todas las variables de calibración son numéricas (de lo contrario, consideramos las variables 0/1 para cada categoría). Buscamos nuevos pesos de muestreo ωk que estén "lo más cerca posible" (según lo determinado por una cierta función de distancia) a los pesos iniciales dk. Estos ωk están calibrados en los totales Xj de las variables auxiliares J; es decir, verifican las ecuaciones de calibración: (2) ∑𝛚k∗xjk𝑘𝜖𝑆 = Xj =∑xjk𝑘𝜖𝑈 , j=1..J Donde S es una muestra tomada de la población U. La solución a este problema viene dada por: (3) 𝛚k=dk∗𝑭(x'jk∗𝛌) 5 Donde:  x’jk = (x1k , .. , xjk ,..,xJk)  λ es el vector de J multiplicadores de Lagrange  F es la función de calibración cuyos términos dependen de la función de distancia que se utiliza. El vector 𝛌 está determinado por la solución al sistema no lineal de J ecuaciones con J incógnitas resultantes de las ecuaciones de calibración: (4) ∑𝐝k∗𝑭(x'jk∗𝛌)∗xjk 𝑘𝜖𝑆 = 𝐗j Donde:  Xj es el vector de dimensión (J, 1) que contiene los totales de las J variables auxiliares.  xjk es el vector de dimensión (J, k) que contiene los valores de las J variables auxiliares en la unidad muestral k. Finalmente, el estimador calibrado del total, Υ, para la variable de estudio Y es: (5) 𝚼 CAL =∑𝛚k∗yk 𝒌𝝐𝑺  Por ejemplo, si tomamos los Xj, totales conocidos de las J variables auxiliares, entonces calibramos construyendo pesos ωk tal que: (6) ∑𝛚k∗xjk 𝑘𝜖𝑆 = Xj Donde los nuevos pesos ωk están lo más cerca posible de los viejos pesos dk. Esto se puede hacer minimizando la siguiente distancia cuadrática Chicuadrado: (7) ∑(𝛚k−dk)2 dk 𝑖𝜖𝑆 Donde dk y ωk son los pesos descritos en (1) y (3), respectivamente. 6 1.2. Propiedades estadísticas de los estimadores de calibración. Deville y Särndal (1992) demostraron que bajo supuestos generales un estimador de calibración es asintóticamente equivalente al estimador de regresión generalizada (GREG) (donde las variables de calibración son las variables de "regresión"), en el sentido de que: (8) (𝚼 CAL −𝚼 GREG) 𝑵=𝑶(𝟏 𝒏) Por lo tanto, un estimador calibrado tiene un sesgo de orden 1/n, que es asintóticamente insignificante. Además, su varianza puede estimarse fácilmente sustituyendo la variable de estudio y con los residuos de regresión. En particular, si el modelo de regresión es bueno (es decir, las variables de calibración están correlacionadas con la variable de estudio), la varianza puede reducirse sustancialmente, a expensas de un sesgo muy pequeño. 1.3. Calibración y falta de respuesta. Aunque originalmente se introdujo como un método de reducción de varianza, la calibración se puede usar tanto para aumentar la precisión de las estimaciones como para reducir el sesgo de falta de respuesta. Contrariamente al enfoque clásico para tratar la falta de respuesta, que consiste en crear grupos de respuesta homogéneos 1 , las variables auxiliares deben conocerse únicamente para las unidades que responden. Sin embargo, sus totales de población también deben conocerse, lo cual es bastante restrictivo. Para resolver este problema de que los totales poblacionales de las variables auxiliares deban ser conocidos, se desarrolló una teoría de calibración "supergeneralizada" (Deville, 2000). La idea es calcular los pesos de la forma: (9) 𝛚k=dk∗𝑭(z'k∗𝛌) Donde: 1 Grupos de respuesta homogéneos: La muestra se divide en celdas donde se supone que la distribución de la respuesta es uniforme. Entonces, la tasa de respuesta dentro de una celda es una estimación (máximo verosímil) para esa distribución. 7 z'k = (z1k , .. , zjk,..,zJk) son las unidades que responden y son las únicas que es necesario conocer. Estos pesos deben satisfacer las ecuaciones de calibración basadas en las variables de calibración (X1 , .. , Xj, ..,XJ). (6) ∑𝛚jk∗xjk 𝑘𝜖𝑆 = Xj Siendo Xj el total de la variable auxiliar j. Por lo tanto, no es necesario conocer los totales poblacionales de las variables de falta de respuesta. En particular, las variables obtenidas de las encuestas pueden usarse directamente para corregir la falta de respuesta. Esto es interesante para las encuestas de estudios sociales en las que se espera que la falta de respuesta esté correlacionada con las variables objetivo de la encuesta. 1.4. Elección de la información de calibración. La elección de la información que se utilizará en la calibración no es tan fácil. Se ha asumido implícitamente en los apartados anteriores que tanto las variables de calibración como los totales de calibración son exactos, es decir, libres de errores. Por supuesto, en la práctica, esta suposición no se cumple. Los errores en la información auxiliar pueden dañar severamente los pesos calibrados, como se muestra en los dos ejemplos siguientes. Ejemplo 1: Supongamos que los valores de los pesos calibrados, obtenidos a partir de la información auxiliar recopilada durante la encuesta, están subestimados, generando una alta variabilidad. Esto podría suceder, por ejemplo, si la herramienta de medición que se utiliza es defectuosa o no se ajusta correctamente a lo que se quiere medir. Por otro lado, el total de calibración correspondiente, que proviene de una fuente externa, se supone que es exacto. Está claro que la consecuencia de usar dicha variable en la calibración es que los pesos calibrados serán sesgados (sobreestimados). Ejemplo 2: Supongamos ahora que calibramos los recuentos de frecuencia por estado de actividad. La encuesta recopila el estado de la actividad correspondiente al año de la encuesta. Por otro lado, los recuentos de frecuencia disponibles corresponden a un año anterior y se establecieron sobre la base de otra clasificación de estado de la actividad. La consecuencia del uso de información "inconsistente" sobre el estado de la actividad es que también hace que los pesos calibrados sean sesgados. En resumen, podemos decir que la calibración es una técnica poderosa para mejorar las propiedades estadísticas de precisión de los estimadores, siempre que se tome precaución con respecto a la información que se utiliza. 8 Otro caso práctico ocurre cuando los totales de calibración provienen de otra encuesta. Por ejemplo, la Oficina Central de Estadísticas de Irlanda utilizó estimaciones de la EPA (Encuesta de Población Activa) para calibrar los datos de EU-SILC (European Union Statistics on Income and Living Conditions). El EU-SILC proporciona datos sobre los indicadores sociales como la tasa de pobreza, inclusión social o pensiones entre otros. El uso de los estimadores de calibración, como el estimador del total, en lugar de los valores "exactos" generalmente es inofensivo, siempre que: - Estas estimaciones puedan considerarse (casi) imparciales y provengan de una muestra que tenga al menos el mismo tamaño. Si ese tamaño es mayor, se podría esperar una mejor precisión en las estimaciones. - Ambas encuestas midan la misma información. En otras palabras, que los datos recopilados en ambas encuestas sean "consistentes" (véase el ejemplo 2 anterior). 1.5 Motivos para usar calibración  Proporciona una forma sistemática de incorporación de información auxiliar disponible.  Es un medio de obtener estimaciones consistentes de los parámetros que se deseen estimar utilizando para ello variables auxiliares con totales conocidos. Sin embargo, estos objetivos también son abordados por otros métodos que también utilizan información auxiliar en las estimaciones. Es el caso de los métodos indirectos de regresión y de razón. A continuación, se procede a explicar las ventajas de utilizar el estimador de calibración frente a los estimadores de regresión y de razón. Cambios con el incremento y mejora de la información auxiliar El estimador de razón resultó útil cuando se disponía de una única variable auxiliar. Pero la presencia de más y mejor información obligó a seleccionar otro tipo de estimadores que, además de utilizar las nuevas variables auxiliares, permitieran superar algunos inconvenientes de tipo práctico que se resumen a continuación. Por un lado, es frecuente que se disponga de los totales poblacionales marginales de cada variable, pero no de los totales conjuntos. Por ejemplo, se puede disponer de los totales de población por grupos de edad y sexo, y también 9 de los totales de población española y extranjera. Pero puede ocurrir que no se disponga del cruce de nacionalidad por grupos de edad y sexo. El segundo problema es particular de aquellas encuestas en las que se seleccionan viviendas y, en una etapa posterior, se recoge información de todas las personas que residan en cada vivienda muestral. En este caso, el factor de elevación derivado de las probabilidades de selección, es el mismo para una vivienda y para las personas que habitan en ella, dado que en la vivienda no se realiza ningún proceso de selección. Este hecho resulta útil, pues hay tablas de viviendas y tablas de personas con celdas coincidentes, y si el factor de elevación es el mismo, las estimaciones también lo serán. El ejemplo tipo es el de la estimación del número de viviendas con una sola persona, y la del total de personas que viven solas. Sería útil emplear una técnica que permitiera realizar una reponderación de las personas de la muestra manteniendo el mismo factor para todas aquellas que residan en la misma vivienda. Los métodos de calibrado intentan superar los problemas señalados. Esta propuesta metodológica, amplió el campo de actuaciones de tipo práctico, basado en la descripción del estimador de regresión generalizada (GREG) de Särndal, Swensson y Wretman (1992). En resumen, la mejora en la calidad y facilidad de acceso a información auxiliar procedente de fuentes administrativas, unida al desarrollo de procedimientos informáticos, permite aplicar, de forma relativamente sencilla, técnicas de calibrado, que en general mejoran la precisión de las estimaciones de una encuesta, ayudan a corregir el sesgo introducido por la falta de respuesta, y proporcionan consistencia entre las cifras presentadas y las procedentes de otras fuentes. No obstante, es necesario mantener un control riguroso de la información auxiliar que se considere, para evitar posibles sesgos derivados de la utilización de datos externos inadecuados. 16 1º Paso: Simulación de una población artificial. El tamaño poblacional es N=100 y el tamaño de la muestra escogido es n=20. La información auxiliar va a estar recogida en tres variables, dos dicotómicas que valen 0 o 1 que contienen cada una un total de 100 valores y otra continua que vale 1, 2, ..., 100. X<- cbind(c(rep(1,50), rep(0,50)), c(rep(0,50), rep(1,50)), 1:100) El total poblacional de la información auxiliar por tanto es la suma de cada una de las tres variables. total<- apply(X, 2, "sum") 50 50 5050 Se crea a continuación una variable continua Z que va a determinar la probabilidad de inclusión en la muestra, y que toma los valores 150, 151, …, 249. Z<- 150:249 pik<- inclusionprobabilities(Z, 20) Así mismo se crea la matriz con las probabilidades de inclusión conjunta según el algoritmo de Tillé, desarrollado en 1994 y denominado como “Algoritmo del estrato móvil”, el cual está implementado en R en la función “UPtillepi2”. Este algoritmo devuelve una matriz NxN de la siguiente forma: la diagonal principal contiene las probabilidades de inclusión de primer orden para cada unidad k en la población; los elementos (k, l) son las probabilidades de inclusión conjunta de las unidades k y l, donde k no es igual a l. N es el tamaño de la población. pikl<- UPtillepi2(pik) Finalmente se crea la variable objeto de estudio o variable respuesta Y a partir de las variables ya creadas X y Z: 𝐘j=𝟓∗𝐙j∗(ɛj+∑Xij 𝟑 𝒊=𝟏 ), ɛj ~ 𝑵(𝟎,𝟏 𝟑),𝒋=𝟏,..,𝟏𝟎𝟎 Y<- 5*Z*(rnorm(100, 0, sqrt(1/3)) + apply(X, 1, "sum")) 17 2º Paso: Calcular las estimaciones mediante 10000 simulaciones. El estimador de calibración se va a calcular mediante el método lineal. Las simulaciones se llevan a cabo para calcular el estimador del total de calibración y los dos estimadores de varianza del estimador de calibración. Así mismo también se va a calcular el estimador del total de Horvitz-Thompson, cuya varianza se puede estimar y compararla con los resultados obtenidos mediante calibración. Dado que se va a emplear el método lineal, el estimador de calibración va a ser el estimador de regresión generalizada. Por lo tanto, se puede calcular una aproximación de la varianza poblacional y utilizarla en la estimación del sesgo de los estimadores de varianza. Se procede a ejecutar 10000 simulaciones para obtener resultados precisos: nsim<- 10000 c1=c2=c3=c4=c5=c6=numeric(nsim) for(i in 1:nsim) { Se crea la muestra de tamaño n=20. s<- UPtille(pik) Se calculan las probabilidades de inclusión en la muestra. piks<- pik[s==1] Se crea la matriz con la información auxiliar de la muestra. Xs<- X[s==1, ] Se calculan los g-weights mediante el método lineal según se explica en 2.1.1. g<- calib(Xs, d=1/piks,total,method="linear") Se selecciona la muestra de la variable de interés. Ys<- Y[s==1] 18 Se selecciona la muestra de las probabilidades de inclusión conjunta. pikls<- pikl[s==1, s==1] Se calcula el estimador de calibración y la estimación de la varianza del estimador de calibración mediante el método de los residuales, utilizando la función “calibev”, recogiendo estos estimadores en c1 y c2 respectivamente. cc<- calibev(Ys, Xs, total, pikls, d=1/piks, g, with=FALSE, EPS=1e-6) c1[i]<- cc$calest c2[i]<- cc$evar Se calcula el estimador de la varianza del estimador de calibración mediante el método de Deville, utilizando la función “varest”, recogiendo este estimador en c3. c3[i]<- varest(Ys, Xs, pik=piks, w=g/piks) Finalmente se calcula el estimador del total de Horvitz-Thompson, recogiendo este estimador en c4. c4[i]<- HTestimator(Ys, piks) Y el estimador de la varianza del estimador de Horvitz-Thompson, recogiendo este estimador en c5. c5[i]<- varHT(Ys, pikls, 2) 19 3º Paso: Comparación entre calibrar o no. Para concluir el ejemplo se procede a comprobar si la calibración mejora la estimación. Para ver cómo cambian los pesos al utilizar calibración, se muestran a continuación los pesos obtenidos sin y con calibración en una de las iteraciones: Observación Pesos sin calibrar Pesos calibrados 1 6,313291 9,156579 2 5,973054 7,683548 3 5,541667 5,815889 4 5,480769 5,552239 5 5,391892 5,167451 6 5,362903 5,041947 7 5,168394 4,199833 8 5,089286 3,857341 9 5,012563 3,525175 10 4,913793 6,912615 11 4,889706 6,789630 12 4,818841 6,427804 13 4,618056 5,402632 14 4,453125 4,560526 15 4,394273 4,260039 16 4,355895 4,064088 17 4,191176 3,223064 18 4,173640 3,133526 19 4,104938 2,782747 20 4,038462 2,443329 SUMA 98,28572 100 (13) En la Tabla (13) se observa cómo cambian los factores de elevación al usar calibración, así como que la suma de los pesos sin calibrar es 98,28572, mientras que al usar calibración la suma de los pesos es exactamente 100, el tamaño poblacional. Esto quiere decir que al no utilizar calibración la estimación final de la variable de interés no va a ser del todo correcta, ya que se está perdiendo información al ajustar mal los pesos, mientras que, al usar calibración, la estimación va a ser más exacta dado que no se pierde nada de información en el proceso de la construcción de los pesos. 20 El total poblacional es la suma de la variable respuesta Y. sum(Y) = 5565865 El estimador del total de Horvitz-Thompson y la diferencia de este estimador con respecto al total poblacional es: mean(c4) = 5558559 abs(sum(Y) - mean(c4)) = 7306.059 El estimador del total de calibración y la diferencia de este estimador con respecto al total poblacional es: mean(c1) = 5561741 abs(sum(Y) - mean(c1)) = 4124.222 Se puede comprobar como el estimador del total calibrado se encuentra más próximo al total poblacional que el estimador del total de Horvitz-Thompson. 0 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Sin Calibración Con Calibración 21 A continuación, se procede estimar la varianza del estimador calibrado. Estimador de la varianza del estimador de calibración mediante el método de los residuales, utilizando la función “calibev”: mean(c2) = 5904034353 Estimador de la varianza del estimador de calibración mediante el método de Deville, utilizando la función “varest”: mean(c3) = 5885447105 Estimador de la varianza del estimador de Horvitz-Thompson: mean(c5) = 320667778996 5554000 5556000 5558000 5560000 5562000 5564000 5566000 5568000 Calibrado Total poblacional Horvitz-Thompson 22 Se comprueba que la reducción de la varianza utilizando calibración es significativa con respecto a no usarla, la estimación de la varianza de Horvitz- Thomp es 320667778996, mientras que la estimación de la varianza por el método de los residuales y el método de Deville es significativamente más pequeña, 5904034353 y 5885447105. Por tanto, utilizar calibración reduce el error de estimación. De igual forma, y aunque en menor medida, dentro de la estimación de la varianza del estimador del total por calibración, es mejor el método de los residuales, que a diferencia del método de Deville, tiene en cuenta las probabilidades de inclusión conjunta en la muestra. 0 5E+10 1E+11 1,5E+11 2E+11 2,5E+11 3E+11 3,5E+11 Método residuales Método Deville Horvitz-Thompson 5,875E+09 5,88E+09 5,885E+09 5,89E+09 5,895E+09 5,9E+09 5,905E+09 5,91E+09 Método residuales Método Deville 23 Concluimos la simulación estimando, con y sin técnica de calibración, el parámetro total con un intervalo de confianza del 95%: I.C. del estimador de calibración mediante el método de los residuales: ic.c2<- mean(c1) + c(-1,1)*qnorm(0.975)*sqrt(mean(c2)) ic.c2 = [5411142, 5712340] I.C. del estimador de calibración mediante el método de Deville: ic.c3<- mean(c1) + c(-1,1)*qnorm(0.975)*sqrt(mean(c3)) ic.c3 = [5411379, 5712103] Extremo Inferior Total poblacional Extemo Superior 5350000 5450000 5550000 5650000 5750000 Método de los residuales Extremo Inferior Total poblacional Extemo Superior 5300000 5400000 5500000 5600000 5700000 5800000 Método de Deville 24 I.C. del estimador de Horvitz-Thompson: ic.c5<- mean(c4) + c(-1,1)*qnorm(0.975)*sqrt(mean(c5)) ic.c5 = [4448680, 6668439] Se observa como todos los intervalos contienen al verdadero valor del parámetro, total poblacional, siendo los dos intervalos obtenidos a partir del uso de calibración más precisos, menos amplios, que el obtenido sin utilizar calibración. Extremo Inferior Total poblacional Extremo Superior 4000000 4500000 5000000 5500000 6000000 6500000 7000000 Horvitz-Thompson 25 3.3 Ejemplo con datos reales procedentes de la EPA Para finalizar este trabajo se ha decidido aplicar los métodos de calibración explicados en una situación real. El objetivo es lograr la estimación del número de parados en Castilla y León utilizando calibración para establecer los factores de elevación. Para ello se han recogido los datos desde la página web del INE, http://www.ine.es/dyngs/INEbase/es/operacion.htm?c=Estadistica_C&cid=1254 736176918&menu=resultados&secc=1254736030639&idp=1254735976595, en particular de los microdatos que esta entidad pone a disposición de forma pública. En este ejemplo se utilizan los datos pertenecientes al 1º trimestre de 2018, siendo estos los más actuales disponibles a la fecha de la realización de este trabajo. Estos datos han sido recogidos por el INE mediante la EPA (Encuesta de Población Activa), la cual recoge un total de 73 variables. En este ejemplo solo se manejan 3 de ellas, que se definirán más adelante. Cabe decir que lo que se hace en este trabajo ya está hecho por el INE, el cual utiliza, como ya se ha dicho anteriormente, CALMAR. Por lo tanto, el objetivo de este trabajo es lograr una estimación del número de parados en Castilla y León lo más cercana posible a la estimada por el INE. No se puede lograr unos resultados tan exactos como los obtenidos por el INE dado que esta entidad utiliza un software más sofisticado que posee mayor capacidad computacional, ya que utilizan más variables auxiliares que las utilizadas en este estudio debido a la intensa carga computacional que esto supone. Para entender bien lo que se va a hacer es necesario explicar qué es la EPA y como es el diseño de la encuesta, a saber:  Objetivos que tiene la EPA  Ámbito de la Encuesta  Marco de la Encuesta  Diseño muestral utilizado  Estimadores utilizados 32 Obtención de los pesos calibrados y estimación del parámetro A continuación, se procede a obtener los factores de elevación calibrados, con el objetivo de estimar el número total de parados de Castilla y León. También se va a realizar la comparación del estimador de este parámetro con el estimador que se obtiene sin utilizar información auxiliar, utilizando para ello el estimador de Horvitz-Thompson. Esta comparación va a hacerse tomando el valor estimado por el INE del número de parados en Castilla y León como el valor “real”. Así mismo se va a acompañar este estudio con el código control utilizado en R, ayudándonos para ello de las funciones y la ayuda que R ofrece. Al igual que en el ejemplo explicado en el apartado 6, la librería que se va a utilizar es “sampling”, haciendo uso de las siguientes funciones: 1) calib: para obtener los factores de elevación calibrados. 2) calibev: para obtener el estimador del total calibrado y la estimación de la varianza del estimador del total calibrado mediante el método de los residuales (11). 3) HTestimator: para obtener el estimador del total de Horvitz-Thompson. 4) varHT: para obtener la estimación de la varianza del estimador del total de Horvitz-Thompson. 33 datos: fichero donde se encuentran todos los individuos, siendo: La 2º columna la variable de estudio Parados. La 3º columna la variable auxiliar Sexo. Las columnas 4 hasta la 9 las variables auxiliares de Grupo de Edad. Asignación de la variable de estudio, Ys, y las 7 variables auxiliares, Xs: Ys<- datos[,2] Xs<- datos[,3:9] Total de habitantes en Castilla y León de más de 16 años: 2.094.834 N<- 2094834 Tamaño de la muestra, los 10727 individuos: n<- dim(datos)[1] Totales de las variables auxiliares, descritos anteriormente: total<- c(1025382, 74655, 103631, 241436, 343505, 378507, 953100) Las probabilidades de inclusión utilizadas por el INE se describen en función del tamaño del hogar en el que vive cada individuo, sin embargo, ante la imposibilidad de incluir esta variable en el estudio, se han tomado las probabilidades de inclusión como si se tratase de muestreo aleatorio simple, teniendo de este modo cada individuo la misma probabilidad de inclusión en la muestra: n N . Al vector que contiene las probabilidades de inclusión en la muestra se lo denomina piks: piks<- rep(n/N, n) 34 Al fijar las probabilidades de inclusión como equiprobables, la matriz que contiene las probabilidades de inclusión conjuntas también va a tener probabilidades equiprobables, teniendo los valores n N en la diagonal y (𝑛 𝑁)2 en el resto de posiciones no diagonales. A esta matriz se la denota como pikls: pikls<- matrix(0, n, n) diagonal<- n/N resto<- (n/N)^2 for (i in 1:n) { for (j in 1:n) { if(i==j) { pikls[i, j]<- diagonal } else { pikls[i, j]<- resto } } } Por tanto, el vector con las probabilidades de inclusión y la matriz con las probabilidades de inclusión conjuntas tienen la siguiente forma: piks: [ n N, n N, n N,n N,… , n N ] pikls: Individuo 1 2 3 … 10.726 10.727 1 n N (𝑛 𝑁)2 (𝑛 𝑁)2 … (𝑛 𝑁)2 (𝑛 𝑁)2 2 (𝑛 𝑁)2 n N (𝑛 𝑁)2 … (𝑛 𝑁)2 (𝑛 𝑁)2 3 (𝑛 𝑁)2 (𝑛 𝑁)2 n N … (𝑛 𝑁)2 (𝑛 𝑁)2 … … … … … … … 10.726 (𝑛 𝑁)2 (𝑛 𝑁)2 … (𝑛 𝑁)2 n N (𝑛 𝑁)2 10.727 (𝑛 𝑁)2 (𝑛 𝑁)2 (𝑛 𝑁)2 … (𝑛 𝑁)2 n N 35 A continuación, se procede a la construcción de los pesos calibrados. El método utilizado por el INE es el lineal truncado, pero en este trabajo vamos a probar los cuatro métodos de calibración explicados en el apartado 2 para comparar cual funciona mejor: Método lineal: g<- calib(Xs, d=1/piks, total, method = "linear") Método exponencial: g<- calib(Xs, d=1/piks,total, method = "raking") Método lineal logit: g<- calib(Xs, d=1/piks, total, method = "logit") Método lineal truncado: g<- calib(Xs, d=1/piks, total, method = "truncated", bounds=c(low= 0, upp=10)) Para cada método de obtención de los pesos calibrados se va a estimar el total y la varianza del estimador del total, mediante calibrado, guardando estas estimaciones en c1 y c2, respectivamente: cc<- calibev(Ys, Xs, total, pikls, d=1/piks, g, with=FALSE, EPS=1e-6) c1<- cc$calest c2<- cc$evar De igual forma se va a obtener un intervalo de confianza con una confianza del 95% para cada método: IC<- c1 + c(-1, 1) * 1.96 * sqrt(c2) 36 Finalmente, también se va a calcular el estimador de Horvitz-Thompson y el estimador de la varianza del estimador de Horvitz-Thompson, guardando estas estimaciones en c4 y c5 respectivamente. Igualmente, se va a calcular también su correspondiente intervalo de confianza con una confianza del 95%. c4<- HTestimator(Ys, piks) c5<- varHT(Ys, pikls, 1) ICHT<- c4 + c(-1, 1) * 1.96 * sqrt(c5) Los resultados obtenidos de todas estimaciones son los siguientes: Método Estimador del total Estimador de la varianza del estimador del total Intervalo de confianza al 95% Lineal 173.244 29.551.506 [162.589, 183.898] Exponencial 173.240 29.552.644 [162.584, 183.894] Lineal logit 173.240 29.552.570 [162.585, 183.895] Lineal truncado 173.243 29.551.506 [162.589, 183.898] Horvitz-Thompson 180.444 35.057.830 [168.839, 192.049] Total de parados en Castilla y León según el INE: 154.800 Se puede observar que no hay diferencia significativa entre los cuatro métodos de calibración, dando todos unas estimaciones similares. Dado que se puede suponer que los cuatro métodos obtienen las mismas estimaciones, se comparará utilizando los resultados del método lineal truncado, que es el utilizado por el INE. La diferencia del estimador del total de calibración de parados en Castilla y León obtenido en este trabajo de la estimación publicada por el INE es de 18.443. Este valor dado por el INE no se encuentra dentro de nuestro intervalo de confianza, siendo la diferencia de este valor “real” con el extremo inferior del intervalo de confianza de 7.789. 37 Esta diferencia se debe a la exclusión en este trabajo de las ya mencionadas variables auxiliares de nacionalidad y tamaño del hogar. No obstante, se observa como el utilizar calibración mejora la estimación, ya que el estimador no calibrado del total de Horvitz-Thompson es 180.444, que difiere del valor dado por el INE en 25.644 individuos. Así mismo el estimador de la varianza del estimador del total obtenida mediante Horvitz-Thompson es 35.057.830, mientras que la obtenida mediante calibración es 29.551.506. Se puede observar una clara reducción en la estimación de la varianza al utilizar calibración, lo que supone un intervalo de confianza menos amplio. La diferencia del valor dado por el INE del total de parados en Castilla y León con respecto al extremo inferior del intervalo de confianza obtenido mediante Horvitz-Thompson es 14.039. 38 5. Conclusiones Se ha demostrado como mejora la calidad de las estimaciones haciendo uso de técnicas de calibrado, las cuales ayudan a corregir el sesgo introducido por la falta de respuesta, y proporcionan consistencia entre las cifras presentadas y las procedentes de otras fuentes. Así mismo se ha visto también la sencillez y facilidad de emplear estas técnicas, ya que, si bien es cierto que gran parte de las instituciones que utilizan técnicas de calibrado lo hacen mediante el software no gratuito CALMAR, perteneciente a SAS, también es posible utilizar estas técnicas de manera sencilla utilizando software libre como lo es R, y así se ha mostrado en este trabajo. El objetivo de este trabajo se ha visto cumplido, ya que se ha corroborado como la utilización de factores de elevación calibrados ha mejorado las estimaciones, obteniendo una estimación del total de parados en Castilla y León más cercana al valor dado por el INE, así como la reducción de la estimación varianza al utilizar calibración. Finalmente, y a forma de resumen, los pasos que han de llevarse a cabo si se pretende utilizar pesos calibrados son los siguientes: Definición del ámbito de la encuesta Definición del marco de la encuesta Definición del diseño muestral Definición de los parámetros a estimar Obtención de los pesos calibrados Estimación de los parámetros utilizando los pesos calibrados 39 6. Código control utilizado Ejemplo simulado X<- cbind(c(rep(1,50), rep(0,50)), c(rep(0,50), rep(1,50)), 1:100) total<- apply(X, 2, "sum") Z<- 150:249 pik<- inclusionprobabilities(Z, 20) pikl<- UPtillepi2(pik) Y<- 5*Z*(rnorm(100, 0, sqrt(1/3)) + apply(X, 1, "sum")) nsim<- 10000 c1=c2=c3=c4=c5=c6=numeric(nsim) for(i in 1:nsim) { s<- UPtille(pik) piks<- pik[s==1] Xs<- X[s==1, ] g<- calib(Xs, d=1/piks,total,method="linear") Ys<- Y[s==1] pikls<- pikl[s==1, s==1] cc<- calibev(Ys, Xs, total, pikls, d=1/piks, g, with=FALSE, EPS=1e-6) c1[i]<- cc$calest c2[i]<- cc$evar c3[i]<- varest(Ys, Xs, pik=piks, w=g/piks) c4[i]<- HTestimator(Ys, piks) c5[i]<- varHT(Ys, pikls, 2) } sum(Y) = 5565865 mean(c4) = 5558559 abs(sum(Y) - mean(c4)) = 7306.059 mean(c2) = 5904034353 mean(c3) = 5885447105 mean(c5) = 320667778996 ic.c2<- mean(c1) + c(-1,1)*qnorm(0.975)*sqrt(mean(c2)) ic.c2 = [5411142, 5712340] ic.c3<- mean(c1) + c(-1,1)*qnorm(0.975)*sqrt(mean(c3)) ic.c3 = [5411379, 5712103] ic.c5<- mean(c4) + c(-1,1)*qnorm(0.975)*sqrt(mean(c5)) ic.c5 = [4448680, 6668439] 40 Ejemplo con datos reales procedentes de la EPA Ys<- datos[,2] Xs<- datos[,3:9] N<- 2094834 n<- dim(datos)[1] total<- c(1025382, 74655, 103631, 241436, 343505, 378507, 953100) piks<- rep(n/N, n) pikls<- matrix(0, n, n) diagonal<- n/N resto<- (n/N)^2 for (i in 1:n) { for (j in 1:n) { if(i==j) { pikls[i, j]<- diagonal } else { pikls[i, j]<- resto } } } g<- calib(Xs, d=1/piks, total, method = "linear") g<- calib(Xs, d=1/piks,total, method = "raking") g<- calib(Xs, d=1/piks, total, method = "logit") g<- calib(Xs, d=1/piks, total, method = "truncated", bounds=c(low= 0, upp=10)) cc<- calibev(Ys, Xs, total, pikls, d=1/piks, g, with=FALSE, EPS=1e-6) c1<- cc$calest c2<- cc$evar IC<- c1 + c(-1, 1) * 1.96 * sqrt(c2) c4<- HTestimator(Ys, piks) c5<- varHT(Ys, pikls, 1) ICHT<- c4 + c(-1, 1) * 1.96 * sqrt(c5) 41 6. Bibliografía Claes M. Cassel, Carl E. Sarndal and Jan H. Wretman (1976). «Biometrika». COCHRAN, W.G. (1977) «Sampling Techniques». Wiley. SARNDAL, C.A. et al. (1991) «Model Assisted Survey Sampling». Springer. DEVILLE, J.C. and SANDARL, C.E. (1992) «Calibration Estimators in Survey S ampling». JASA. Deville, J.-C. (2000). «Note sur l’algorithme de Chen, Dempster et Liu». Jorge Saralegui Gil, INE, (2005). «Problemas de calidad de las encuestas de ho gares en presencia de flujos intensos de migraciones exteriores». Carlos Pérez Arriero (2012). «Calibrating a household survey by using the Calmar program». Felipe Jiménez (2014). «Tutorial de muestreo en R». Kevin McCormack (2015). «The calibration software CALMAR». Panos M. Pardalos, Anatoly Zhigljavsky, Julius Zilinskas (2016). «Advances in Stochastic and Deterministic Global Optimization». R-CRAN (2016). Calibration and generalized calibration. INE (2018). «Encuesta de Población Activa (EPA)».