Regresión sobre componentes principales

TRABAJO FIN DE GRADO REGRESIÓN SOBRE COMPONENTES PRINCIPALES Doble Grado en Matemáticas y Estadística Irene Deduy Guerra Sevilla, Junio de 2019 Índice general Resumen....................................... iii Abstract....................................... iv 1. INTRODUCCIÓN 1 2. REGRESIÓN SOBRE COMPONENTES PRINCIPALES 3 2.1. HipótesisPrevias ............................... 3 2.2. Análisis de Componentes Principales . . . . . . . . . . . . . . . . . . . . 5 2.3. Fundamento Teórico de la Regresión . . . . . . . . . . . . . . . . . . . . 6 2.4. Selección de Componentes Principales en el Modelo . . . . . . . . . . . . 8 2.5. Eliminación de Variables en Regresión usando Componentes Principales . 11 2.6. Ventajas y Desventajas de la Técnica . . . . . . . . . . . . . . . . . . . . 14 3. APLICABILIDAD DEL MÉTODO 17 3.1. Agricultura: Cambio Climático y Cultivos . . . . . . . . . . . . . . . . . 17 3.2. Dendrología: Datos “Pitprop” . . . . . . . . . . . . . . . . . . . . . . . . 19 3.3. Sociología: Desperdicio de Alimentos en el Hogar . . . . . . . . . . . . . 21 4. IMPLEMENTACIÓN EN R 23 4.1. Introducción.................................. 23 4.2. Ilustración................................... 25 4.2.1. Análisis de Regresión sobre Componentes Principales . . . . . . . 30 Bibliografía 41 i Resumen La presencia de multicolinealidad en los Modelos de Regresión Múltiple conduce a problemas en las estimaciones y resultados poco fiables. La aplicación de la Regresión sobre Componentes Principales puede evitar estos problemas, a la vez que lleva implícito un procedimiento de selección de variables, reduciendo la dimensión del espacio predictor. El objetivo de este trabajo es la descripción teórica y metodológica de la técnica estadística y su implementación en R, con una ilustración sobre datos reales. Además, con objeto de ilustrar la aplicabilidad del método, se incluye referencias sobre trabajos científicos recientes en los que se ha hecho uso de la misma. Palabras claves: Regresión Múltiple, Multicolinealidad, Componentes Principales. iii Abstract The existence of multicollinearity in Multiple Regression Models leads to problems in estimation and unreliable results. The application of Principal Components Regression can avoid these problems, while involving a variable selection procedure, reducing the dimension of the predictor space. The aim of this work is the theoretical and methodological description of the statistical technique and its implementation in R, with an illustration on real data. In addition, in order to illustrate the applicability of the method, references of recent scientific works in which it has been used are included. Key words: Multiple Regression, Multicollinearity, Principal Components. iv Capítulo 1 INTRODUCCIÓN En el Modelo de Regresión Lineal Múltiple, una de las hipótesis que deben cumplir las variables predictoras es la ausencia de relación lineal entre ellas. Sin embargo, en la práctica, es muy frecuente que se presenten ciertas relaciones aproximadamente lineales entre las variables predictoras del modelo, provocando la obtención de estimadores poco precisos e inestables. Además, la relación entre las variables dificulta cuantificar con precisión el efecto que cada variable ejerce sobre la dependiente, y como consecuencia las varianzas de los estimadores son elevadas. Esta fuerte correlación entre las variables explicativas del modelo se denomina “multicolinealidad”. La Regresión sobre Componentes Principales (RCP) es un método introducido por Kendall (1957) para combatir la multicolinealidad. Con este método, las variables originales se transforman en un nuevo conjunto de variables incorreladas llamadas componentes principales. Esta transformación clasifica las nuevas variables ortogonales por orden de importancia, es decir, según la contribución que ofrezcan en el modelo, y el procedimiento implica eliminar algunas de dichas componentes para lograr una reducción de la varianza. A continuación, se realiza un análisis de regresión múltiple de la variable dependiente en función del conjunto reducido de componentes principales utilizando la estimación de mínimos cuadrados ordinarios. Como las componentes principales son ortogonales, dicho método es apropiado. Finalmente, una vez calculados los coeficientes de regresión para el conjunto reducido de variables ortogonales, se transforman en un nuevo conjunto de coeficientes que corresponden al conjunto de variables inicial. En este Trabajo de Fin de Grado, se desarrolla el fundamento teórico de la Regresión sobre Componentes Principales y se presenta su implementación en R. Además, se ilustra la metodología con ejemplos de aplicaciones realizadas en ámbitos tan distintos como lo son la agricultura, la sociología y la dendrología (estudio de plantas arboladas). 1 Capítulo 2 REGRESIÓN SOBRE COMPONENTES PRINCIPALES 2.1. Hipótesis Previas Se considera el modelo de Regresión Lineal Y=Xβ +(1) donde Y : vector n− dimensional compuesto por las observaciones de la variable dependiente. X : matrix ( n×p )cuyo ( i, j )-ésimo elemento representa el valor de la j -ésima variable predictora en la i-ésima observación. β: vector p−dimensional de coeficientes de regresión a estimar.  : vector n− dimensional de errores aleatorios, considerados independientes e idénticamente distribuidos según N(0, σ2In). En primer lugar se estandarizan las variables, tanto la dependiente como las predictoras, restándole su media y dividiendo por su desviación típica. Este proceso es necesario pues las variables pueden estar medidas en diferentes unidades, lo cual podría ocasionar confusión en la interpretación del análisis. Se hace notar que, consecuentemente, los cálculos se basan en las variables estandarizadas, luego los coeficientes de regresión obtenidos del análisis deben ser posteriormente reajustados a la escala original. Por simplicidad de notación, en adelante se asume que las variables del modelo (1) están estandarizadas. Se utiliza el procedimiento de Mínimos Cuadrados Ordinarios para estimar las constantes desconocidas β mediante ˆ β de modo que minimicen la suma de cuadrados de los residuos. Si la matrix ( X0X )es no singular, el problema tiene solución y los coeficientes de regresión se estiman a través de: ˆ β= (X0X)−1X0Y 3 2.4. SELECCIÓN DE COMPONENTES PRINCIPALES EN EL MODELO Si por el contrario, el objetivo principal es conseguir una buena predicción de Y , entre los criterios propuestos destacan dos basados nuevamente en el error cuadrático medio. El criterio débil estipula elegir ˜ β en lugar de ˆ β si el valor esperado de la distancia euclídea entre X˜ β y Xβ es menor que entre Xˆ β y Xβ . Un criterio más fuerte sugiere usar el verdadero valor de Y en lugar de su valor esperado ( Xβ ). De esta forma, se elige ˜ β en lugar de ˆ β si el valor esperado de la distancia euclídea entre X˜ βeYes menor que para Xˆ βeY. Mediante validación cruzada también se puede comparar los valores observados y los ajustados de Y . El criterio propuesto por Mertens et al. (1995) es a través de Pn i=1 ( yi− ˆyM(i) ) 2 donde ˆyM(i) es el estimador de yi obtenido a través de regresión sobre componentes principales basado en un subconjunto M y usando la matrix X(i) , que es X eliminando su i−ésima fila. Otra consideración que tiene en cuenta la varianza y el sesgo, dada por Lott (1973), es mediante el cálculo del coeficiente múltiple ajustado de determinación, basado en el coeficiente de determinación usual R2 hallado para cada conjunto M de interés. De esta forma, se elige el subconjunto M que maximice ¯ R2= 1 −(n−1)(1 −R2) (n−p−1) Sin embargo, se ha demostrado que este procedimiento funciona de forma limitada. Se observa, tras lo expuesto, la complejidad en el intento de proporcionar una regla general para la elección del subconjunto de componentes principales M, pues no se puede basar la decisión únicamente en el tamaño de la varianza, pero tampoco priorizar el valor predictivo de las componentes si éstas tienen varianzas pequeñas. En la práctica, habitualmente se usan otros criterios como son: Eliminar las componentes del modelo asociadas a autovalores muy pequeños hasta que el resto de las CPs expliquen un determinado porcentaje del total de la varianza, generalmente un 80 %. El porcentaje de información que proporcionan las k ( k < p ) primeras componentes principales viene dado por: Pk i=1 λi Pp i=1 λi × 100. Este porcentaje varía en función del campo en que se trabaje, ya que por ejemplo en un estudio de ámbito social el porcentaje se encontraría sobre el 60 %, mientras que en un estudio de ámbito científico el porcentaje es más próximo a un 80%. Regla de Kaiser (1960): eliminar las componentes asociadas con autovalores de valores menor que 1, que es el valor típico para las matrices de correlación. Así se garantiza que las componentes seleccionadas explican más variabilidad que una variable original. 10 CAPÍTULO 2. REGRESIÓN SOBRE COMPONENTES PRINCIPALES 2.5. ELIMINACIÓN DE VARIABLES EN REGRESIÓN USANDO COMPONENTES PRINCIPALES 2.5. Eliminación de Variables en Regresión usando Componentes Principales Como ya se ha mencionado anteriormente, una alternativa para combatir la multicolinealidad es usar únicamente un subconjunto de variables predictoras. Suprimiendo adecuadamente variables del modelo se mejora la precisión de los parámetros estimados, aunque se introduce sesgo en los estimadores de los coeficientes de las variables predictoras y la variable dependiente. Sin embargo, el error cuadrático medio de los estimadores sesgados es menor que la varianza de los estimadores insesgados, es decir, la cantidad de sesgo introducido es menor que la reducción de la varianza. Existen muchos métodos de selección de variables basados en la búsqueda sobre todos los subconjuntos posibles de variables con objetivo de encontrar el mejor subconjunto de variables predictoras. Estos algoritmos suelen determinar buenos subconjuntos de variables aunque, a veces, son costosos computacionalmente debido a la cantidad de pasos que se deben realizar. Se procede a exponer algunos de estos métodos clásicos mencionados en Navarro (2009): Todas las regresiones posibles (TRP) La opción más natural, pero laboriosa, consiste en crear todos los posibles subconjuntos de variables predictoras y realizar todas las regresiones posibles. Posteriormente, se analiza la ganancia o pérdida de eficiencia de cada modelo con introducción de alguna variable. El problema con esta técnica se encuentra en el gran número de cálculos a realizar; si el número de variables predictoras es p, serían necesarias realizar 2p−1regresiones. Método de selección escalonada Estas técnicas de selección se basan en añadir o suprimir una única variable predictora en cada paso según ciertos criterios. Este proceso secuencial finaliza cuando se cumple una determinada regla de parada. Se trata de un proceso más sencillo en cálculo y eficiente que el anterior. Los tres algoritmos más usados son los siguientes: 1. Procedimiento de selección hacia delante: “Forward”. Se parte de un modelo muy sencillo y en cada paso se añade la variable más significativa según cierto criterio hasta una cierta regla de parada. Una vez que una variable ha sido añadida al modelo nunca se elimina. 2. Procedimiento de eliminación hacia atrás : “Backward”. Al contrario que en el anterior, en este método se parte de un modelo muy complejo, el que contiene todos los términos, y en cada etapa se desecha la variable menos significativa, hasta que se considere no suprimir ningún término más. Una vez eliminada, ninguna variable se puede volver a incorporarse al modelo. CAPÍTULO 2. REGRESIÓN SOBRE COMPONENTES PRINCIPALES 11 2.5. ELIMINACIÓN DE VARIABLES EN REGRESIÓN USANDO COMPONENTES PRINCIPALES 3. Método escalonado por pasos: “Stepwise”. Se trata de una combinación de las dos técnicas anteriores. Se parte de un modelo muy sencillo como en “forward”, en cada paso se introduce una variable y posteriormente se cuestiona si todas las variables introducidas deben permanecer en el modelo. Para estas técnicas se necesita establecer la condición para añadir o suprimir un término. Se suelen considerar el Criterio de Información de Akaike (Akaike, 1974), el Criterio de Información Bayesiano (Schwarz, 1978) o la significación de cada coeficiente. Sin embargo, la experiencia indica que estos algoritmos por pasos mencionados anteriormente tienden a no seleccionar buenos subconjuntos de variables predictoras cuando se presentan problemas de multicolinealidad. La Regresión sobre Componentes Principales también puede ser usada de forma iterativa para seleccionar variables. A continuación se muestran algunos procedimientos que utilizan componentes principales para proceder a la selección de variables. Considérese el problema de Regresión sobre Componentes Principales anterior tal que el estimador propuesto para βes ˜ β=X M λ−1 kaka0 kX0Y Se pretende estudiar si hay subconjuntos de elementos de ˜ β que sean significativamente distintos de cero, y aquellas variables cuyos coeficientes no resultan significativos pueden ser eliminados del modelo. Siempre que los verdaderos coeficientes de las CPs eliminadas sean cero y que los supuestos de normalidad sean válidos, el estadístico apropiado es el F-estadístico, usando t-estadísticos si sólo una variable es considerada a la vez. Este procedimiento se puede iterar de manera que el siguiente paso sería aplicar regresión sobre componentes principales en el subconjunto reducido de variables y observar si pueden ser eliminadas más variables de dicho subconjunto usando el mismo razonamiento anterior. Esto se repetiría hasta que no se eliminen más variables. Existen dos variaciones de este procedimiento descritas por Mansfield et al. (1977). La primera variación busca una única variable a eliminar. A continuación, el mejor par de variables a eliminar, siendo una de ellas la variable del primer paso. Luego, buscar el mejor trío de variables a eliminar, que incluiría el mejor par anterior... y así sucesivamente. La segunda variación sugiere eliminar sólo una variable en cada paso y luego se vuelve a calcular las CPs utilizando el conjunto reducido de variables, en lugar de permitir la eliminación de varias variables antes de que se vuelvan a calcular las CPs. 12 CAPÍTULO 2. REGRESIÓN SOBRE COMPONENTES PRINCIPALES 2.5. ELIMINACIÓN DE VARIABLES EN REGRESIÓN USANDO COMPONENTES PRINCIPALES Boneh y Mendieta (1994) propusieron un procedimiento iterativo diferente que resulta ser computacionalmente más eficiente. Siguiendo con la misma notación hasta el momento, el algoritmo se describe como sigue: 1. Selección de la primera variable Se realiza regresión sobre las componentes principales: Y=Zγ + Se elige un subconjunto M de CPs que se considere que contribuyen significativamente a la regresión. Dicha significación se basa en el uso de t-tests, aunque dado que se ha mostrado que los t-tests tienen una potencia reducida para las CPs con varianzas pequeñas (Mason y Gunst, 1985), se ha introducido una modificación para tales CPs. Si M = ∅ , el proceso de selección termina concluyendo que no se deben incluir variables predictoras en el modelo. En caso contrario, sean SSEi, i = 1 , ..., p las sumas de cuadrados del error cuando se hace la regresión de Xi sobre el subconjunto de CPs incluidas en M , se selecciona como primera variable Xi que tiene asociada SSE mínima. Sin pérdida de generalidad, se asume que la primera variable seleccionada es X1. 2. Selección de la segunda variable Se realiza regresión de Xksobre X1,k= 2, ..., p. Se obtienen las componentes principales ( Z0 2, ..., Z0 p ) de ( 2, ..., p ) siendo i, i = 2 , ..., p el vector de residuos estandarizados de la regresión de Xisobre X1. Se hace regresión de Y sobre ( Z0 2, ..., Z0 p ) y, siguiendo un criterio similar al anterior, se selecciona un subconjunto M0óptimo de (Z0 2, ...Z0 p) Sea M0 un subconjunto de Z0 2, ..., Z0 p ; si M0 = ∅ , el proceso de selección termina con la conclusión de que solo la variable X1 debe ser incluida en el modelo. En caso contrario, sean SSE0 i, i = 1 , ..., p las sumas de cuadrados del error cuando se hace la regresión de i en M0 , la segunda variable predictora seleccionada es aquella para la cual la SSE0 isea mínima. La selección de variables continúa de forma similar hasta obtener un subconjunto de componentes principales M∗que sea vacío. Además de estos pasos de selección hacia adelante, el procedimiento de Boneh y Mendieta incluye la opción de volver hacia atrás, ya que las variables seleccionadas previamente pueden eliminarse y nunca podrán volver a ser seleccionadas. La eliminación de una variable se produce si su contribución es suficientemente disminuida por la inclusión posterior de otras variables. Daling y Tamura (1970) propusieron otra forma de seleccionar variables basándose en una modificación de la idea de asociar una variable con cada una de las primeras (últimas) CAPÍTULO 2. REGRESIÓN SOBRE COMPONENTES PRINCIPALES 13 2.6. VENTAJAS Y DESVENTAJAS DE LA TÉCNICA componentes y luego retener (eliminar) aquellas variables asociadas con estas primeras (últimas) componentes. El método de Daling y Tamura sostiene eliminar primero las últimas CPs, luego rotar las CPs restantes usando varimax y finalmente seleccionando una variable asociada con cada CPs rotada que tenga una correlación significativa con la variable dependiente. La principal desventaja de este método se encuentra en el primer paso del mismo, ya que la eliminación de CPs con baja varianza puede hacer desaparecer información importante con respecto a la relación entre Yy las variables predictoras. 2.6. Ventajas y Desventajas de la Técnica Al aplicar el método de mínimos cuadrados para estimar γ en la ecuación Y = Zγ +  , el estimador de β calculado a través de ˆ β = Aˆγ es equivalente al obtenido aplicando directamente mínimos cuadrados a la ecuación Y = Xβ +  . Sin embargo, una de las ventajas de la regresión sobre componentes principales radica en la sencillez del cálculo; como las columnas de Z son ortogonales, calcular ˆγ de Y = Zγ +  es mucho más directo que hallar ˆ βde Y=Xβ +. En caso de incluir todas las componentes principales en el modelo de regresión, éste sería equivalente al obtenido por mínimos cuadrados, presentando multicolinealidad, cuya erradicación era el objetivo primordial de esta técnica. No obstante, en caso de eliminar componentes principales del modelo de regresión, los estimadores obtenidos serán sesgados, aunque reducen considerablemente las varianzas de los estimadores de los coeficientes de regresión provocados por la multicolinealidad. Además, si se aplica regresión a las componentes principales en lugar de las variables predictoras, las contribuciones de las variables transformadas en el modelo de regresión pueden ser interpretadas más fácilmente que las contribuciones de las variables originales. Más aún, la contribución y los coeficientes estimados de una componente principal no se ven afectados según las componentes principales que también sean incluidas en la regresión. Esto es debido a la incorrelación, ya que para las variables originales, tanto las contribuciones como los coeficientes pueden cambiar considerablemente cuando alguna otra variable es modificada en la ecuación. Es decir, si se considera el modelo de regresión Y sobre las CPs Z1, Z2, ..., Zp con coeficientes de regresión estimados ˆγ = [ ˆγ1, ..., ˆγp ] 0 y el modelo de regresión Y sobre las CPs Z1, Z2, ..., Zm con m<p y coeficientes de regresión estimados ˆγ∗= [ ˆ γ∗ 1, ..., ˆ γ∗ p]0entonces ˆ γ∗ j= ˆγj, j = 1, ..., m Incluso cuando la multicolinealidad no es un problema, aplicar regresión sobre las componentes principales en lugar de usar las variables originales, tiene ventajas en la interpretación y computación. 14 CAPÍTULO 2. REGRESIÓN SOBRE COMPONENTES PRINCIPALES 2.6. VENTAJAS Y DESVENTAJAS DE LA TÉCNICA Estos hechos se acentúan en presencia de multicolinealidad, siendo por tanto de gran ventaja el uso de la Regresión sobre Componentes Principales. En este caso, se obtiene un estimador de β mucho más estable eliminando un subconjunto de las componentes principales con menor varianza. CAPÍTULO 2. REGRESIÓN SOBRE COMPONENTES PRINCIPALES 15 Capítulo 3 APLICABILIDAD DEL MÉTODO 3.1. Agricultura: Cambio Climático y Cultivos Los factores climáticos juegan un papel muy importante a la hora de explicar determinados procesos. Estos factores son frecuentemente utilizados como variables independientes para explicar la variabilidad de ciertos procesos sin tener en cuenta la posibilidad de que algunos valores estén muy relacionados entre sí. Uno de los principales campos de estudio de los factores ambientales es la agricultura. Desde el punto de vista agronómico, las altas temperaturas afectan a los niveles de humedad del suelo, lo que podría disminuir los rendimientos de los cultivos si el suministro de agua para riego no es suficiente. Por otro lado, la precipitación mantiene la humedad del suelo necesaria para el crecimiento del cultivo. Diferentes temperaturas pueden cambiar la duración de la temporada de crecimiento induciendo variaciones en el rendimiento de los cultivos. Por ejemplo, las altas temperaturas tienden a acortar muchas temporadas de cultivo y los cultivos están expuestos a menos radiación solar necesaria para la fotosíntesis. Resumiendo, a largo plazo, el cambio de temperatura y precipitación puede alterar los patrones de cultivo. En 2011, la Universidad de Georgia publicó un estudio que surgió con el objetivo de comparar los efectos del cambio climático en los rendimientos de los cultivos en diferentes regiones de Estados Unidos (véase Cai et al. (2011)). Se pretendía estimar las relaciones entre el clima y los rendimientos de los cultivos de maíz, soja, algodón y cacahuetes para varios estados del norte (Minnesota, Nebraska, Indiana, Illinois y Iowa) y sur (Georgia, Alabama y Texas) de EE.UU., considerados los principales estados generadores de dichos productos. El estudio contempla el periodo 1960 − 2009 y se seleccionó la temperatura mensual y la precipitación durante la temporada de crecimiento como variables climáticas para el modelo de rendimiento. Para predecir el cambio climático futuro con escenarios alternativos de gases de efecto invernadero, los científicos han desarrollado muchos modelos de cambio 17 3.1. AGRICULTURA: CAMBIO CLIMÁTICO Y CULTIVOS climático. Los diferentes modelos proporcionan distintas proyecciones de cambio climático basadas en diferentes enfoques y escenarios posibles. En este estudio, se consideraron tres proyecciones de cambio climático (frío, cálido y medio). Una temporada de crecimiento típica es de siete u ocho meses, lo que supondría considerar alrededor de 14 a16 variables de predicción tanto para la temperatura como para la precipitación en el modelo, lo que llevó a plantear la necesidad de reducir variables. A lo largo de la historia, se han utilizado muchas metodologías para esto en el ámbito de la agricultura. Por ejemplo, en lugar de usar los meses del calendario, algunos investigadores dividen la temporada de crecimiento por las etapas del crecimiento de los cultivos. De esta forma, como la temporada de crecimiento activo para el maíz en el estado de Georgia es de abril a octubre, se consideran siete variables de temperatura mensuales. Al dividir la temporada de crecimiento por las cuatro etapas generales de crecimiento para el maíz, se podría reducir el número de variables de temperatura a cuatro. Desde el punto de vista agrícola, este método tiene más sentido que el uso de meses de calendario. Sin embargo, es difícil especificar el límite exacto entre dos etapas de crecimiento del cultivo, además de que el calendario de crecimiento del cultivo varía de un año a otro y de una región a otra. Alternativamente, se decidió usar técnicas de selección de variables estadísticas para reducir el número de meses como variables predictoras. Sin embargo, las variables meteorológicas están correlacionadas, luego un enfoque directo de selección de variables conduciría a resultados inestables. Para reducir el número de variables sin pérdida significativa de información y eliminar un posible problema grave de multicolinealidad, se aplicó la Regresión sobre Componentes Principales. De esta forma, cada componente principal contiene información sobre todas las variables meteorológicas y ningún mes de la temporada de crecimiento se omitirá por completo, independientemente de la técnica de selección de variables que se aplique. En lugar de simplemente tomar las primeras componentes principales como variables predictoras, se usaron técnicas de selección de variables estadísticas para seleccionar un subconjunto apropiado de CPs. A partir de un único conjunto de datos meteorológicos, se crearon tres modelos de regresión sobre componentes principales diferentes para pronosticar la respuesta del rendimiento del cultivo basados en tres conjuntos de datos de proyección del cambio climático y se generó un Índice de Impacto del Cambio Climático (CCII) que permitiese comparar los efectos del cambio climático en diferentes regiones. Las estimaciones de cambio climático de estos tres modelos climáticos proporcionan una proyección mensual de la temperatura y la precipitación hasta el año 2100. Como en general, a medida que aumenta el horizonte temporal, la predicción de la respuesta del rendimiento de los cultivos será menos confiable, sólo se usaron los datos del cambio 18 CAPÍTULO 3. APLICABILIDAD DEL MÉTODO 3.2. DENDROLOGÍA: DATOS “PITPROP” climático hasta el año 2050. Dado que el objetivo principal del análisis era el estudio de la predicción del rendimiento, no se hace mención sobre las cargas de las variables meteorológicas en las CP específicas y los coeficientes estimados en el modelo de regresión sobre componentes principales. Para proporcionar una evidencia más sólida, se replicaron análisis similares sobre los productos a nivel de condado para todos los condados disponibles en los ocho estados esudiados. Los resultados finales del estudio indicaron que el clima más cálido en el futuro tendrá un impacto negativo en los condados del sur de los EE.UU., mientras que tendrá un impacto insignificante en los condados del norte de los EE.UU. en las próximas cuatro décadas. Es decir, los resultados sugieren que los agricultores del sur podrían hacer frente al cambio climático cambiando a cultivos con mejor tolerancia al calor. 3.2. Dendrología: Datos “Pitprop” En esta sección se considera el conjunto de datos conocido como “ Pitprop ”, dado originalmente por Jeffers (1967) y el cual ha sido analizado por varios autores posteriormente. Se trata de un estudio de la fuerza de compresión de los puntales cortados a partir de madera cultivada, con el objetivo de determinar las características, o combinación de variables, que hacen que tales puntales sean lo suficientemente fuertes para su uso en minas. Los datos consisten en 180 tajos cortados de madera de pino corso del este de Anglia (Reino Unido) a los cuales se midieron las siguientes variables: X1:TOPDIAM −diámetro superior X2:LENGTH −longitud X3:MOIST −humedad X4:TESTSG −gravedad específica en el momento de la prueba X5:OV ENSG −gravedad específica secada al horno X6:RINGTOP −número de anillos anuales en la parte superior X7:RINGBUT −número de anillos anuales en la parte base X8:BOWMAX −arco máximo X9:BOWDIST −distancia del punto de arco máximo a lo alto del puntal X10 :WHORLS −número de espirales de nudo X11 :CLEAR −longitud del puntal claro desde la parte superior del puntal X12 :KNOTS −número medio de nudos por espiral CAPÍTULO 3. APLICABILIDAD DEL MÉTODO 19 4.2. ILUSTRACIÓN 3 0.02729 0 7.07 0 0.469 7.185 61.1 4.9671 2 242 17.8 4 0.03237 0 2.18 0 0.458 6.998 45.8 6.0622 3 222 18.7 5 0.06905 0 2.18 0 0.458 7.147 54.2 6.0622 3 222 18.7 ipn porcb medv 1 396.90 4.98 24.0 2 396.90 9.14 21.6 3 392.83 4.03 34.7 4 394.63 2.94 33.4 5 396.90 5.33 36.2 Para evitar confusiones y facilitar la interpretación, en primer lugar se estandarizan las variables. datos = as.data.frame(scale(datos)) Para poder evaluar la capacidad predictiva del modelo, se dividen las observaciones disponibles en dos grupos: uno de entrenamiento para ajustar el modelo (70% de los datos) y uno de test (30% de los datos). training<-datos[1:354,] test<-datos[355:506,] El Análisis de Regresión Clásico se realiza utilizando la función lm(). RegClas<- lm(formula = medv ~.+0, data = training) summary(RegClas) Call: lm(formula = medv ~ . + 0, data = training) Residuals: Min 1Q Median 3Q Max -0.8193 -0.1882 -0.0383 0.1914 1.3701 Coefficients: Estimate Std. Error t value Pr(>|t|) crim 0.21453 0.17568 1.221 0.22289 zresid 0.03089 0.02399 1.287 0.19880 indus 0.03550 0.03177 1.117 0.26462 jr 0.02480 0.01769 1.402 0.16178 nox -0.05971 0.04029 -1.482 0.13926 nmhv 0.70746 0.02939 24.068 < 2e-16 *** antig -0.13572 0.02968 -4.572 6.76e-06 *** 26 CAPÍTULO 4. IMPLEMENTACIÓN EN R 4.2. ILUSTRACIÓN dis -0.19682 0.03249 -6.057 3.66e-09 *** circunv 0.04531 0.10013 0.453 0.65115 tax -0.26538 0.05329 -4.980 1.01e-06 *** alprof -0.15975 0.02215 -7.213 3.57e-12 *** ipn 0.12605 0.04642 2.716 0.00695 ** porcb -0.07316 0.03768 -1.941 0.05304 . --- Signif. codes: 0 '***'0.001 '**'0.01 '*'0.05 '.'0.1 ' ' 1 Residual standard error: 0.3357 on 341 degrees of freedom Multiple R-squared: 0.8813, Adjusted R-squared: 0.8767 F-statistic: 194.7 on 13 and 341 DF, p-value: < 2.2e-16 Al estudiar el resumen del modelo, destaca el valor de R cuadrado 0 . 8767, indicando la obtención de un buen modelo. Sin embargo, analizando los coeficientes de regresión individuales se aprecia que muchas de las variables no son estadísticamente significativas a un nivel de significación del 0.05. La ecuación de regresión se obtiene a través de: Y= 0.21453 crim + 0.03089 zresid + 0.03550indus + 0.02480 jr −0.05971 nox + 0.70746 nmhv −0.13572 antig −0.19682 dis +0.04531 circunv −0.26538 tax −0.15975 alprof + 0.12605 ipn −0.07316 porcb Los intervalos de confianza de los coeficientes de regresión a un nivel del 95% se muestran a continuación: (ICClas<-confint(RegClas,level=0.95)) 2.5 % 97.5 % crim -0.131033202 0.5600922416 zresid -0.016300018 0.0780721589 indus -0.026988003 0.0979786878 jr -0.009988527 0.0595850425 nox -0.138963759 0.0195390415 nmhv 0.649641653 0.7652728838 antig -0.194111148 -0.0773387575 dis -0.260737133 -0.1329063371 circunv -0.151630198 0.2422579908 tax -0.370199659 -0.1605659906 alprof -0.203309319 -0.1161816309 ipn 0.034750786 0.2173485770 porcb -0.147283357 0.0009643296 CAPÍTULO 4. IMPLEMENTACIÓN EN R 27 4.2. ILUSTRACIÓN Todas las suposiciones para regresión simple (linealidad, homocedasticidad, independencia y normalidad) también se aplican para regresión múltiple con otra condición más; la ausencia de multicolinealidad en los datos. Se asumen las hipótesis básicas con objeto de centrar este trabajo en la detección y corrección de cierta dependencia entre algunas variables predictoras. Se procede, por tanto, a analizar la posible existencia de multicolinealidad: Gráficos de dispersión matricial para cada par de variables: par(mfrow = c(1,3)) plot(training$nmhv, training$medv, xlab="Nºmedio de hab. por vivienda", ylab="Valor medio de la vivienda",col="dark blue") abline(lm(training$medv ~training$nmhv)) plot(training$alprof, training$porcb, xlab="Profesores/alumno", ylab="% de pob. de clase baja",col="dark blue") abline(lm(training$porcb ~training$alprof)) plot(training$nmhv, training$porcb, xlab="Nºmedio de hab. por vivienda", ylab="% de pob. de clase baja",col="dark blue") abline(lm(training$porcb ~training$nmhv)) −2 −1 0 1 2 3 −1 0 1 2 3 Nº medio de hab. por vivienda Valor medio de la vivienda −2 −1 0 1 −1 0 1 2 3 Profesores/alumno % de pob. de clase baja −2 −1 0 1 2 3 −1 0 1 2 3 Nº medio de hab. por vivienda % de pob. de clase baja Figura 4.3: Gráficos de dispersión matricial De estos gráficos se puede extraer un primer indicio de presencia de multicolinealidad en los datos. 28 CAPÍTULO 4. IMPLEMENTACIÓN EN R 4.2. ILUSTRACIÓN Matriz de correlación R: R1=cor(training) library(corrplot) corrplot(R1) −1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1 crim zresid indus jr nox nmhv antig dis circunv tax alprof ipn porcb medv crim zresid indus jr nox nmhv antig dis circunv tax alprof ipn porcb medv Figura 4.4: Matriz de correlación En efecto, en la matriz R se observan valores próximos a ± 1fuera de la diagonal. Más aún, el determinante de la matriz de correlación de las variables predictoras es próximo a cero: R2=cor(training[,1:13]) det(R2) [1] 0.001806082 Cálculo del factor de inflación de la varianza: library(car) round(vif(RegClas),3) crim zresid indus jr nox nmhv antig dis circunv 14.076 2.308 3.005 1.074 4.720 2.571 3.038 3.505 11.780 tax alprof ipn porcb 4.445 1.755 1.775 3.471 CAPÍTULO 4. IMPLEMENTACIÓN EN R 29 4.2. ILUSTRACIÓN Estudiando los elementos de la diagonal de R−1 , o equivalentemente, los FIVi , se aprecian valores considerablemente altos ( > 10) para 2de las 13 variables predictoras, lo que indica alta multicolinealidad causada por dichas variables. Índice de Condición de la matriz R: autov= eigen(R2)$`values` round(sqrt(autov[1]/autov[13]),3) [1] 5.812 De nuevo se presentan indicios de multicolinealidad al obtener cond(R)>5. 4.2.1. Análisis de Regresión sobre Componentes Principales Para tratar de corregir el problema de la multicolinealidad en este conjunto de datos, se procede al análisis de Regresión sobre Componentes Principales de los mismos. Primero, se hallan las componentes principales y posteriormente se decide el número de ellas a mantener en el modelo: cps=princomp(~crim +zresid +indus +jr +nox +nmhv +antig +dis + circunv +tax +alprof +ipn +porcb, data = training,cor=TRUE) summary(cps) Importance of components: Comp.1 Comp.2 Comp.3 Comp.4 Standard deviation 2.2001514 1.3267248 1.12700070 1.04349281 Proportion of Variance 0.3723589 0.1353999 0.09770235 0.08375979 Cumulative Proportion 0.3723589 0.5077588 0.60546118 0.68922097 Comp.5 Comp.6 Comp.7 Comp.8 Standard deviation 0.96384547 0.85630483 0.81177267 0.69158815 Proportion of Variance 0.07146139 0.05640446 0.05069037 0.03679186 Cumulative Proportion 0.76068236 0.81708682 0.86777719 0.90456905 Comp.9 Comp.10 Comp.11 Comp.12 Standard deviation 0.5982098 0.56327294 0.48704562 0.43005766 Proportion of Variance 0.0275273 0.02440588 0.01824719 0.01422689 Cumulative Proportion 0.9320963 0.95650223 0.97474941 0.98897631 Comp.13 Standard deviation 0.37856046 Proportion of Variance 0.01102369 Cumulative Proportion 1.00000000 Las representaciones gráficas son de gran ayuda a la hora de proporcionar una idea 30 CAPÍTULO 4. IMPLEMENTACIÓN EN R 4.2. ILUSTRACIÓN sobre el comportamiento de las CPs. A continuación se muestran unos gráficos con esta finalidad. 37.2% 13.5% 9.8% 8.4% 7.1% 5.6% 5.1% 3.7% 2.8% 2.4% 0 10 20 30 12345678910 Componentes Porcentaje de varianza explicada Figura 4.5: Proporción de varianza explicada por componentes CAPÍTULO 4. IMPLEMENTACIÓN EN R 31 4.2. ILUSTRACIÓN 2 4 6 8 10 0 10 20 30 Componente principal Proporción de Varianza Explicada 2 4 6 8 10 40 50 60 70 80 90 100 Componente principal Proporción de Varianza Acumulada Figura 4.6: Proporción de varianza explicada y acumulada por componentes El estudio de la proporción de varianza explicada muestra que la primera componente recoge la mayor parte de la información (37 . 23%), decayendo drásticamente la varianza en las sucesivas componentes. Para tomar una decisión sobre las componentes a retener basándose en el porcentaje de información explicada, se plantea emplear las seis primeras componentes pues de esta forma se consigue que, en conjunto, expliquen al menos el 80 % de varianza. Acorde a la Regla de Kaiser, se aconseja mantener las cuatro primeras componentes pues son las asociadas a autovalores de valores mayor que 1, como se aprecia en el siguiente gráfico: 32 CAPÍTULO 4. IMPLEMENTACIÓN EN R 4.2. ILUSTRACIÓN 2 4 6 8 10 12 012345 Componentes Principales Autovalores Figura 4.7: Autovalores asociados a las CPs En la siguiente representación se visualiza la contribución de las variables en una determinada componente, es decir, la importancia de las variables para las componentes principales. La línea discontínua roja muestra el valor medio de contribución, de forma que una variable con una contribución que sobrepase esta línea puede considerarse importante a la hora de contribuir en la componente en cuestión. En este gráfico se muestran las 10 variables que más contribuyen en la primera CP, y en la tabla la carga de cada una de las variables en dicha CP. fviz_contrib(cps, choice = "var",axes = 1,top = 10) CAPÍTULO 4. IMPLEMENTACIÓN EN R 33 4.2. ILUSTRACIÓN 0 5 10 15 nox indus antig crim dis porcb zresid ipn tax nmhv Contributions (%) Contribution of variables to Dim−1 Figura 4.8: Contribuciones en la primera componente principal round(cps$loadings[,1:6],3) Comp.1 Comp.2 Comp.3 Comp.4 Comp.5 Comp.6 crim 0.349 -0.259 0.221 0.028 0.011 0.105 zresid -0.294 -0.228 0.417 0.101 -0.096 -0.259 indus 0.368 0.053 0.044 0.047 0.020 -0.218 jr 0.075 -0.208 -0.271 0.321 -0.830 -0.047 nox 0.401 -0.193 0.015 0.076 0.118 -0.044 nmhv -0.210 -0.477 -0.336 -0.047 0.265 -0.002 antig 0.354 -0.010 -0.257 0.069 0.131 -0.106 dis -0.347 0.099 0.367 -0.108 -0.249 0.038 circunv 0.074 -0.202 -0.252 -0.739 -0.310 0.143 tax 0.218 -0.101 0.343 -0.481 -0.055 -0.498 alprof 0.022 0.600 -0.152 -0.247 -0.051 0.193 ipn -0.218 0.206 -0.396 0.013 0.030 -0.737 porcb 0.316 0.326 0.164 0.140 -0.187 -0.092 Tanto de la representación gráfica como de la tabla, se observa que la variable con más peso en la primera componente es nox. De esta forma: Z1=0.349 crim −0.294 zresid + 0.368 indus + 0.075 jr + 0.401 nox 34 CAPÍTULO 4. IMPLEMENTACIÓN EN R 4.2. ILUSTRACIÓN −0.210 nmhv + 0.354 antig −0.347 dis + 0.074 circunv + 0.218 tax + 0.022 alprof −0.218 ipn −0.316 porcb El peso asignado en la quinta componente a la variable jr ( − 0 . 830) es considerablemente superior al asignado al resto de variables. Además, la variable circunv es la segunda con mayor peso en dicha componente ( − 0 . 310). Todo esto implica que la quinta componente recoge principalmente la información correspondiente a la ubicación de la vivienda. Sin embargo, la interpretación de las otras componentes no es tan clara. Finalmente, se procede a realizar Regresión sobre Componentes Principales, tomando únicamente las seis primeras CPs, que acumulan el 81.80% de la variabilidad: z1<- cps$scores[,1] z2<- cps$scores[,2] z3<- cps$scores[,3] z4<- cps$scores[,4] z5<- cps$scores[,5] z6<- cps$scores[,6] RegCP=lm(medv~z1+z2+z3+z4+z5+z6+0,data=training) summary(RegCP) Call: lm(formula = medv ~ z1 + z2 + z3 + z4 + z5 + z6 + 0, data = training) Residuals: Min 1Q Median 3Q Max -0.70958 -0.00093 0.25505 0.46807 1.84222 Coefficients: Estimate Std. Error t value Pr(>|t|) z1 -0.19030 0.01183 -16.093 < 2e-16 *** z2 -0.44842 0.01961 -22.866 < 2e-16 *** z3 -0.29431 0.02309 -12.749 < 2e-16 *** z4 0.05207 0.02493 2.088 0.0375 * z5 0.19836 0.02699 7.348 1.44e-12 *** z6 -0.01465 0.03038 -0.482 0.6299 --- Signif. codes: 0 '***'0.001 '**'0.01 '*'0.05 '.'0.1 ' ' 1 Residual standard error: 0.4895 on 348 degrees of freedom Multiple R-squared: 0.7424, Adjusted R-squared: 0.738 CAPÍTULO 4. IMPLEMENTACIÓN EN R 35 4.2. ILUSTRACIÓN Bibliografía Appl. Statist.,16, 225–236. Jolliffe, I.T. (2002). Principal component analysis. Springer-Verlag. Kaiser, H. (1960). The application of electronic computers to factor analysis. Educational and Psychological Measurement,20, 141–151. Kawano, S. (2016). spcr: Sparse Principal Component Regression. Kendall, M. (1957). A course in multivariate analysis. Griffin, London. Kleinbaum, D.G., Kupper, L.L., Muller, K.E. (1988). Applied regression analysis and other multivariable methods. PWS-Kent, Boston. Lott, W.F. (1973). The optimal set of principal component restrictions on a least squares regression. Commun. Statist.,2, 449–464. López-González, E. (1998). Tratamiento de la colinealidad en regresión múltiple. Psicothema,10(2), 491–507. Luque-Calvo, P.L. (2017). Escribir un trabajo fin de estudios con R markdown. Disponible en http://destio.us.es/calvo. Mansfield, E.R, Webster, J.T., Gunst, R.F. (1977). An analytic variable selection technique for principal component regression. Appl. Statist.,26, 34–40. Mardia, K.V., Kent, J.T., Bibby, J.M. (1979). Multivariate analysis. London: Academic Press. Mason, R.L., Gunst, R.F. (1985). Selecting principal components in regression. Stat. Prob. Lett.,3, 299–301. Mertens, B., Fearn, T., Thompson, M. (1995). The efficient cross-validation of principal components applied to principal component regression. Statist. Comput.,5, 227–235. Mevik, B.H., Wehrens, R. (2007). The pls package: principal component and partial least squares regression in R. Journal of Statistical Software,18(2), 1–23. Navarro, O. (2009). Selección de variables en regresión componentes principales. LACCEI. NCSS, LLC. Principal component regression. NCSS, LLC,34, 1–17. Novau, J.C., Zozaya, M.B. (1996). La multicolinealidad de los datos climáticos. La regresión en componentes principales. Instituto Pirenaico de Ecología. Qi, D., Roe, B.E. (2016). Household food waste: Multivariate regression and principal components analyses of awareness and attitudes among U.S. consumers. PLOS ONE, Public Library of Science,11(7), 1–19. R Core Team. (2018). R: A lenguage and environment for statistical computing. R 42 CAPÍTULO 4. IMPLEMENTACIÓN EN R Bibliografía 4.2. ILUSTRACIÓN Foundation for Statistical Computing, Austria. RStudio Team. (2015). RStudio: Integrated development environment for R. RStudio, Inc., Boston, MA. Schwarz, G. (1978). Estimating the dimension of a model. The Annals of Statistics, 6(2), 461–464. Vega-Vilca, J.C., Guzmán, J. (2011). Regresión PLS y PCA como solución al problema de multicolinealidad en regresión múltiple. Revista de matemática: Teoría y aplicaciones, 18(1), 9–20. Venables, W.N., Ripley, B.D. (2002). Modern applied statistics with S. Springer, New York. Vervloet, M., Kiers, H.A.L., Van den Noortgate, W., Ceulemans, E. (2015). PCovR : An R package for principal covariates regression. Journal of Statistical Software, 65 , 1–14. Zumel, N. (2016). Principal components regression: Picking the number of components. R - Win-Vector blog. CAPÍTULO 4. IMPLEMENTACIÓN EN R 43