FACULTAD DE MATEM´
ATICAS
ESTAD´
ISTICA E INVESTIGACI´
ON OPERATIVA
T abajo Fin de G ado
T´ecnicas de Selecci´on de Va iables en
Mine ´ıa Es ad´ıs ica de Da os
Ad i´an Gue a de la Co e
Di igido po :
D˜na. Inmaculada Ba anco Chamo o
Se illa, Junio 2016.
Abs ac
A common p oblem in da a mining, when s a is ical eg ession models
a e used, is o choose p ope ly he a iables o be included in he model.
Th oughou his wo k he main s a is ical echniques o he selec ion and
egula iza ion o a iables will be e iewed. Also applica ions o hese ech-
niques will be pe o med by using R.
The wo k is di ided in o ou chap e s. In Chap e 1, we e iew he linea
eg ession model, and he di e en co ela ion coe icien s. In his way we
in oduce he basic ools o s udy me hods o selec ion and egula iza ion o
a iables in linea eg ession models.
In Chap e 2, we will see he mos common c i e ia used o he selec ion o
a iables in classical linea models. So, we will deal wi h: Adjus ed coe icien
o de e mina ion,Mallow’s Coe icien ,C oss Valida ion me hod,Akaike In-
o ma ion C i e ion (AIC) and Bayesian In o ma ion C i e ion (BIC). The-
se c i e ia will be compa ed be ween hem. Also, he main p oblems we may
ha e in p ac ice when using mul iple linea eg ession echniques a e s udied.
An applica ion in Rhas been included o illus a e he pe o mance o he
di e en me hods.
In Chap e 3, we ocus on he so-called heu is ic me hods, which a e a i s
app oach o he p oblem o selec ion o a iables when we ha e a e y la ge
numbe o eg esso s. So, selec ion echniques such as o wa d, backwa d and
s ep by s ep a e s udied. Thei use is again illus a ed wi h an applica ion.
In Chap e 4, we discuss he egula iza ion echniques. We ocus on idge
eg ession and LASSO eg ession. In his con ex , we show ha by applying
egula iza ion echniques he p oblem becomes manageable, since a se o es-
ic ions is imposed on he se o admissible solu ions. As well, he geome ic
p ope ies o he es ima o s a e s udied. As be o e, an applica ion is included
o illus a e he use o he discussed echniques in he ield o medecine.
Finally, he wo k is comple ed by an appendix, which con ains he Rand
Ma hema ica codes implemen ed o he de elopmen o he igu es, as well
as he packages o Rused, and he li e a u e consul ed.
III
IV
Resumen
Al u iliza modelos de eg esi´on en Mine ´ıa Es ad´ıs ica de Da os, un p o-
blema com´un es elegi de o ma adecuada las a iables a inclui en el modelo.
A lo la go de es e abajo se e isa ´an las ´ecnicas es ad´ıs icas que exis en
pa a la selecci´on y egula izaci´on de a iables. As´ı mismo se ealiza ´an apli-
caciones de dichas ´ecnicas, b´asicamen e con el so wa e R.
El abajo se es uc u a en cua o cap´ı ulos. En el Cap´ı ulo 1, e isamos el
modelo de eg esi´on lineal, as´ı como los di e en es coe icien es de co elaci´on.
De es a o ma in oducimos las he amien as b´asicas pa a abo da el es udio
de los m´e odos de selecci´on y egula izaci´on de a iables en los modelos de
eg esi´on lineal.
En el Cap´ı ulo 2, e emos los c i e ios m´as usados pa a la selecci´on de a-
iables en modelos lineales cl´asicos. Se ecogen as´ı: el coe icien e de de e -
minaci´on co egido o ajus ado, el coe icien e Cpde Mallows, el m´e odo de
alidaci´on c uzada, el c i e io de in o maci´on de Akaike (AIC) y el c i e io
de in o maci´on bayesiana (BIC). Se ealizan compa aciones en e ellos, y se
ecogen los p incipales p oblemas que se nos pueden p esen a en la p ´ac ica
al u iliza las ´ecnicas de eg esi´on lineal m´ul iple. As´ı mismo, cabe des aca
que se ha ilus ado el uso de las dis in as ´ecnicas expues as con una aplica-
ci´on ealizada con R.
En el Cap´ı ulo 3, nos cen a emos en los llamados m´e odos heu ´ıs icos, los
cuales son una p ime a ap oximaci´on al p oblema de selecci´on de a iables
cuando enemos un n´ume o muy g ande de a iables eg eso as. Se ecogen
las denominadas ´ecnicas de selecci´on hacia adelan e, hacia a ´as y paso a
paso. Su uso se ilus a de nue o con una aplicaci´on.
En el Cap´ı ulo 4, a a emos las ´ecnicas de egula izaci´on, p incipalmen e
el modelo de eg esi´on con a´ıda ( idge eg ession) y el modelo de eg esi´on
LASSO (LASSO eg ession). Es as ´ecnicas pe mi en sol en a las di icul-
ades que su gen cuando se p esen an p oblemas de colinealidad o soluciones
num´e icas ines ables. En es e con ex o, mos amos que egula iza signi ica,
hace el p oblema a able, imponiendo una se ie de es icciones al conjun o
de soluciones admisibles. Adem´as se es udian las p opiedades geom´e icas de
V

los es imado es ob enidos. De nue o se incluye una aplicaci´on, en el campo
de la Medicina, que ilus a el uso de las ´ecnicas expues as.
Finalmen e, el abajo se comple a con un anexo, en el que se ecogen los
c´odigos Ry de Ma hema ica implemen ados pa a la elabo aci´on de las igu-
as, as´ı como los paque es de Ru ilizados, y la bibliog a ´ıa consul ada.
VI
´
Indice gene al
Abs ac III
Resumen V
1. Concep os p e ios 1
1.1. Modelo de eg esi´on lineal simple . . . . . . . . . . . . . . . . 1
1.1.1. C´alculo de los es imado es . . . . . . . . . . . . . . . . 2
1.2. Modelo de eg esi´on lineal m´ul iple . . . . . . . . . . . . . . . 4
1.2.1. C´alculo de los es imado es . . . . . . . . . . . . . . . . 5
1.2.2. In ep e aci´on de los coe icien es en un modelo de e-
g esi´on lineal m´ul iple . . . . . . . . . . . . . . . . . . 8
1.2.3. Con as es......................... 8
1.3. Coe icien es de co elaci´on . . . . . . . . . . . . . . . . . . . . 9
1.3.1. Relaci´on en e las co elaciones pa ciales y la m´ul iple . 12
2. T´ecnicas de selecci´on de a iables en modelos lineales cl´asi-
cos 15
2.1. Coe icien e de de e minaci´on co egido o ajus ado . . . . . . . 16
2.1.1. Aplicaci´on......................... 17
2.2. Coe icien e CpdeMallows .................... 22
2.2.1. Aplicaci´on......................... 23
2.3. Validaci´on c uzada . . . . . . . . . . . . . . . . . . . . . . . . 25
2.3.1. Validaci´on c uzada en i e aciones . . . . . . . . . . . 25
2.3.2. Validaci´on c udada dejando uno ue a . . . . . . . . . . 25
2.3.3. Aplicaci´on......................... 26
2.4. C i e io de In o maci´on de Akaike . . . . . . . . . . . . . . . . 29
2.4.1. Aplicaci´on......................... 31
2.5. C i e io de In o maci´on Bayesiana . . . . . . . . . . . . . . . . 33
2.5.1. Aplicaci´on......................... 34
2.6. Compa aci´on de c i e ios . . . . . . . . . . . . . . . . . . . . . 35
2.7. P oblemas en la eg esi´on m´ul iple . . . . . . . . . . . . . . . 36
VII
2.7.1. E o de especi icaci´on . . . . . . . . . . . . . . . . . . 36
2.7.2. Hip´o esis de no malidad . . . . . . . . . . . . . . . . . 37
2.7.3. Robus ez.......................... 39
2.7.4. He e ocedas icidad . . . . . . . . . . . . . . . . . . . . 41
2.7.5. Mul icolinealidad . . . . . . . . . . . . . . . . . . . . . 44
3. M´e odos heu ´ıs icos pa a la selecci´on de a iables 51
3.1. Selecci´on hacia delan e . . . . . . . . . . . . . . . . . . . . . . 52
3.1.1. Aplicaci´on......................... 52
3.2. Selecci´on hacia a ´as . . . . . . . . . . . . . . . . . . . . . . . 54
3.2.1. Aplicaci´on......................... 55
3.3. Selecci´on paso a paso . . . . . . . . . . . . . . . . . . . . . . . 56
3.3.1. Aplicaci´on......................... 56
4. T´ecnicas de egula izaci´on 59
4.1. Reg esi´on con a´ıda . . . . . . . . . . . . . . . . . . . . . . . . 60
4.1.1. Aplicaci´on......................... 62
4.2. Reg esi´on LASSO . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.2.1. Aplicaci´on......................... 68
4.3. P opiedades geom´e icas de los es imado es egula izados . . . 71
A. Anexo 76
A.1. Comandos en Rdelasg ´a icas.................. 76
A.1.1.Figu a2.1......................... 76
A.1.2.Figu a2.2......................... 76
A.1.3.Figu a4.1......................... 76
A.2. Comandos en Ma hema ica de las g ´a icas . . . . . . . . . . . 77
A.2.1.Figu a4.3......................... 77
A.3. Paque es de R........................... 78
VIII
Cap´ı ulo 1
Concep os p e ios
En es e cap´ı ulo explica emos los esul ados b´asicos a la ho a de in o-
duci y comp ende el es udio de m´e odos pa a la selecci´on adecuada de las
a iables a inclui en un modelo de eg esi´on lineal, simple y m´ul iple, as´ı co-
mo las ´ecnicas de egula izaci´on de dichas a iables. Di idi emos el cap´ı ulo
en 3 secciones: eg esi´on lineal simple, eg esi´on lineal m´ul iple y coe icien es
de co elaci´on. Es a ´ul ima secci´on end ´a especial ele ancia en el siguien e
cap´ı ulo.
1.1. Modelo de eg esi´on lineal simple
Comenza emos con el modelo de eg esi´on lineal simple, que consis e en
exp esa la dependencia lineal de la a iable obje i o o dependien e, y, es-
pec o a o as dos a iables: la a iable independien e, explica i a o co a iable,
x, y el ´e mino e o o pe u baci´on del modelo, uas´ı
yi=β0+β1xi+ui,con (xi, yi) a iables num´e icas
donde yiyuison a iables alea o ias, xies una a iable conocida una ez
obse ada yi, y β0yβ1son pa ´ame os desconocidos del modelo.
Las hip´o esis del modelo pueden o mula se en ´e minos de la a iable pe -
u baci´on, ui, o de o ma equi alen e en ´e minos de la a iable dependien e,
y. As´ı podemos es ablece las siguien es hip´o esis:
La pe u baci´on debe ene espe anza nula, es deci
E(ui) = 0 ⇔E(yi) = β0+β1xi.
1
1.2.2. In ep e aci´on de los coe icien es en un modelo
de eg esi´on lineal m´ul iple
El coe icien e de eg esi´on es imado pa a una a iable xien el modelo de
eg esi´on lineal m´ul iple, ˆ
βi, ep esen a el e ec o sob e la a iable obje i o
cuando la a iable xiaumen a en una unidad y las dem´as a iables explica-
i as p emanecen cons an es. Puede in e p e a se como el e ec o di e encial
de es a a iable cuando eliminamos o con olamos los e ec os de las dem´as.
Debemos dis ingui dos si uaciones a la ho a de in e p e a los coe icien es,
cuando las a iables explica i as es ´an inco eladas y cuando no lo es ´an:
Cuando odas las a iables explica i as es ´an inco eladas se calcula de
la misma mane a que en la eg esi´on simple. Pues en es e caso, el e ec o
di e encial de la a iable, medido po la eg esi´on m´ul iple, es igual al
e ec o o al medido po la eg esi´on simple.
Cuando las a iables es ´an co eladas, el coe icien e de eg esi´on de xi
se puede exp esa ambi´en como el cocien e en e una co a ianza y una
a ianza. Con la sal edad de que en la eg esi´on simple se u iliza la
co a ianza en e la a iable obje i o y xi, y en la m´ul iple se u iliza la
co a ianza en e la a iable obje i o y la pa e di e encial de xio no
co elada con el es o de a iables explica i as. La pa e di e encial de
xies ´a de inida po los esiduos de una eg esi´on en e la a iable xi
y el es o de a iables explica i as en la ecuaci´on de eg esi´on. Es os
esiduos se ´an ei,R. Luego, ˆ
βi=Co (y, ei,R)/V a (ei,R), donde no se usa
la a iable xicomo en la eg esi´on simple, sino la pa e di e encial de
ella, ei,R.
En el caso de que es a a iable s´ı es ´e inco elada, xi=ei,R y el coe i-
cien e de la eg esi´on m´ul iple es igual al de la eg esi´on simple.
1.2.3. Con as es
A la ho a de calcula un modelo de eg esi´on lineal, los con as es son
una he amien a impo an e.
En es a secci´on habla emos de los dos con as es que usa emos en es e a-
bajo, el con as e global de eg esi´on y el con as e indi idual de la .
Con as e global de eg esi´on
El con as e es el siguien e:
H0:β1=... =βk= 0.
8

H1: alg´un βi6= 0, i = 1, ..., k.
Y el es ad´ıs ico esul an e se deno a po Fy se calcula
F=SCE/k
SCR/n −k−1=ˆs2
expl
ˆs2
.
Bajo la hip´o esis H0,F∼Fk,n−k−1.
Dicho con as e se aduce en
Si acep o H0⇒ninguna de las a iables explica i as conside adas
in luyen linealmen e en la a iable espues a.
Si echazo H0⇒alguna o odas las a iables explica i as conside a-
das in luyen linealmen e en la a iable espues a.
Con as e indi idual de la
Pa a cada a iable se plan ea el siguien e con as e:
H0:βi= 0.
H1:βi6= 0.
El es ad´ıs ico que esul a del con as e es ´a basado en el es ad´ıs ico de Wald
y se de ine como sigue
i=ˆ
βi
bs √qii
siendo ˆ
βiel es ad´ıs ico de Wald yqii el ´e mino (ii) de la ma iz (X0X)−1.
´
Es e, bajo H0, sigue una dis ibuci´on n−k−1.
Como es usual, en con as es de hip´o esis, se echaza H0, si el p- alo ob enido
es meno o igual que el ni el de signi icaci´on del con as e, α. En es e caso
pod emos supone que βi6= 0. Si no se echaza H0, pod emos supone que
βi= 0.
1.3. Coe icien es de co elaci´on
En es a secci´on se de inen y es udian las p opiedades de los coe icien es
de co elaci´on lineal simple, coe icien e de de e minaci´on, coe icien e de co-
elaci´on m´ul iple ypa cial, as´ı como las elaciones exis en es en e ellos.
Una medida de la elaci´on lineal en e dos a iables cualesquie a es el coe i-
cien e de co elaci´on lineal simple.
9
De inici´on 1.3.1. Dadas dos a iables xey, se denomina coe icien e de
co elaci´on lineal simple, xy, a
xy =Co (x, y)
sxsy
donde sxysyson las des iaciones ´ıpicas mues ales de las a iables xey,
espec i amen e.
Dicho coe icien e se puede exp esa en unci´on de la a ianza esidual
2
xy =SCE(x, y)
SCT(y)= 1 −SCR(x, y)
SCT(y).
De inici´on 1.3.2. De inimos el coe icien e de de e minaci´on,R2, de un
modelo, pa a e alua la bondad de ajus e de una ec a de eg esi´on (simple
o m´u iple) con una p opo ci´on de la a iaci´on explicada con la siguien e
exp esi´on
R2=SCE
SCT =P(ˆyi−y)2
P(yi−y)2,0≤R2≤1.
Siendo √R2el coe icien e de co elaci´on m´ul iple.
De inici´on 1.3.3. Dado un conjun o de a iables explica i as (x1, ..., xk), el
coe icien e de co elaci´on pa cial, deno ado po ij,1,...,i−1,i+1,...,j−1,j+1,...,k,
en e dos cualesquie a de ellas, xiyxj, mide la elaci´on lineal en e xiyxj
una ez eliminados los e ec os de las dem´as sob e ellas. Se deno a ´a po
12,34...k.
La mane a de calcula lo es ´u ilizando la siguien e exp esi´on:
e1,34..k =ˆ
βe2,34..k +u
donde e1,34..k ye2,34..k son los esiduos de la eg esi´on m´ul iple de x1yx2 es-
pec o a las dem´as a iables (x3, ..., xk), de es a mane a ob end ´ıamos 12,34..k.
C´alculo del coe icien e de co elaci´on pa cial
A con inuaci´on se deduce la ´o mula de la co elaci´on pa cial de dos a-
iables (x, y) cuando se man iene cons an e una e ce a a iable z.
10
P oposici´on 1.3.1. El coe icien e de co elaci´on pa cial en e xyyman e-
niendo cons an e z, iene dado po
xy.z = xy − xz yz
√(1− 2
xz)(1− 2
yz).(1.3)
donde xy, ..., yz son los coe icien es de co elaci´on lineal simple en e las
a iables implicadas.
Demos aci´on. Supond emos que las es a iables ienen media ce o pa a
simplica la exposici´on, es o no al e a el esul ado.
Sean las ec as ˆx=az, ˆy=bz cuyos coe icien es son, po de inici´on:
a=Pxizi
Pz2
i
b=Pyizi
Pz2
i
.
Pues o que la co elaci´on pa cial en e xey, ijada z, es la co elaci´on en e
los esiduos de es as eg esiones, enemos que:
Co elaci´on[(x−ˆx)(y−ˆy)] = Co (x, y)
pV a (x−ˆx)V a (y−ˆy)= xy.z.
Pasemos a calcula el nume ado :
n Co (x, y) = X(xi−ˆxi)(yi−ˆyi) = X(xi−azi)(yi−bzi)
=Xxiyi−aXziyi−bXzixi+ab Xz2
i.
Sus i uyendo ayben la exp esi´on an e io , llegamos a:
n Co (x, y) = Xxiyi−(Pxizi)(Pziyi)
Pz2
i−(Pyizi)(Pxizi)
Pz2
i
+(Pxizi)(Pyizi)
Pz2
i
=Xxiyi−(Pxizi)(Pziyi)
Pz2
i
.
Si in oducimos aho a los coe icien es de co elaci´on simples, nos queda:
n Co [(x−ˆx)(y−ˆy)] = xyqXx2
iXy2
i− xz yzqXx2
iXy2
i
= ( xy − xz yz)qXx2
iXy2
i.
11
Con eso enemos calculado el nume ado , pasemos a halla denominado :
n V a (x−ˆx) = X(xi−azi)2=Xx2
i−(Pxizi)2
Pz2
i
n V a (y−ˆy) = X(yi−bzi)2=Xy2
i−(Pyizi)2
Pz2
i
.
Sus i uyendo en las a ianzas de los esiduos los coe icien es de co elaci´on
simples, se iene:
n V a (x−ˆx) = Xx2
i(1 − 2
xz)
n V a (y−ˆy) = Xy2
i(1 − 2
yz).
Po lo que inalmen e llegamos a la exp esi´on 1.3.

Es e coe icien e al cuad ado iene la misma in e p e aci´on que el coe icien-
e de co elaci´on simple. Es deci , 2
xy.z ep esen a la p opo ci´on de a iaci´on
explicada espec o a la a iaci´on no explicada po o a eg esi´on p e ia.
1.3.1. Relaci´on en e las co elaciones pa ciales y la
m´ul iple
Supongamos, po simpli ica , que enemos nada m´as dos a iables expli-
ca i as, x1yx2. Sea yx1el coe icien e de co elaci´on simple en e la a iable
obje i o y x1. Que po lo is o an e io men e es:
2
yx1=SCE(y, x1)
SCT(y)= 1 −SCR(y, x1)
SCT(y)
donde SCE(y, x1) es la a iaci´on explicada en la eg esi´on de y espec o a
x1. Luego:
SCR(y, x1) = SCT(y)(1 − 2
yx1).
Aho a debemos de e mina la pa e di e encial de la segunda a iable, e2,1, los
cuales calculamos haciendo la eg esi´on x2=ˆ
bx1+e2,1. Una ez calculados,
los elacionamos con la pa e de la a iable obje i o que no es ´a explicada
po x1, que se ´an los esiduos ey.x1de la eg esi´on simple de y espec o a
x1. La elaci´on de ambos esiduos es ´a dada po el coe icien e de co elaci´on
pa cial, el cual nos p opo ciona los esiduos de la eg esi´on m´ul iple.
La es imaci´on se ´a ey.x1=ˆ
βe2,1+ey,12, po an o:
2
y2,1= 1 −SCR(ey,12)
SCT(ey.x1)= 1 −SCR(ey,12)
SCR(y, x1).
12
Y como ey,12 son los esiduos de la eg esi´on m´ul iple con ambas a iables:
R2= 1 −SCR(ey,12)
SCT(y)
luego
1−R2= (1 − 2
yx1)(1 − 2
y2,1).
Que se in e p e a como la p opo ci´on de la a iabilidad no explicada en la
eg esi´on m´ul iple es el p oduc o de:
la p opo ci´on no explicada en la eg esi´on simple de la a iable obje i o
yx1.
la p opo ci´on no explicada en la eg esi´on de la a iable obje i o y x2
con x1 ija.
Dicho esul ado se puede ex ende pa a k eg eso es:
1−R2= (1 − 2
y1)(1 − 2
y2,1)(1 − 2
y3,12)...(1 − 2
yk,12...k−1).
Con es a idea ambi´en podemos elaciona los coe icien es de co elaci´on
m´ul iple con kyk−1 a iables, en unci´on del coe icien e de co elaci´on
pa cial de la a iable no incluida, xh. Llamando R2
kyR2
k−1a los coe icien es
de co elaci´on m´ul iple con kyk−1 a iables, espec i amen e, llegamos a
1−R2
k= (1 −R2
k−1)(1 − 2
yh,12..k).
lo que es lo mismo que:
R2
k−R2
k−1= 2
yh,12..k(1 −R2
k−1).
El ´e mino de la izquie da ep esen a el inc emen o de a iaci´on explicada
en e la eg esi´on que incluye a la a iable y la que no la incluye. El ´e mino de
la de echa es el p oduc o del po cen aje de a iaci´on explicada po xh espec o
a la a iaci´on no explicada po las es an es a iables y del po cen aje de
a iaci´on no explicada po las es an es a iables, x1, ..., xk espec o al o al.
Es a exp esi´on nos pe mi e calcula los coe icien es de co elaci´on pa cial de
cada a iable a pa i de un p og ama que nos calcule la eg esi´on.
En gene al, la ´o mula an e io puede esc ibi se de al mane a que, no ando
(¯
h), po el modelo que no incluye a xh, y po (h) al modelo que s´ı la incluye:
∆SCE(h)
SCT =∆SCE(h)
SCR(¯
h)·SCR(¯
h)
SCT
13

donde ∆SCE(h) = SCE( odas)−SCE(¯
h).
Po ´ul imo, u ilizando el es ad´ıs ico mencionado en la Secci´on 1.2.3 pa a
con as a la hip´o esis de βh= 0, llegamos a:
2
yh,12...k = 2
h
2
h+n−(k+ 1)
lo cual nos pe mi e calcula el coe icien e de co elaci´on pa cial si sabemos
el es ad´ıs ico pa a ese coe icien e.
14
Cap´ı ulo 2
T´ecnicas de selecci´on de
a iables en modelos lineales
cl´asicos
A la ho a de cons ui un modelo enemos di e en es posibilidades, las
cuales se ajus an mejo o peo a la ealidad. En es e cap´ı ulo nos cen a emos
en los c i e ios m´as usados pa a la selecci´on de a iables en modelos lineales,
que son:
Coe icien e de de e minaci´on co egido o ajus ado: Es un coe icien e que
mide la in ensidad de la elaci´on lineal en e la a iable obje i o y las
p edic o as.
Coe icien e Cpde Mallows: C i e io que ecibe el nomb e del es ad´ıs i-
co b i ´anico Colin Lingwood Mallows. Es e c i e io selecciona el mo-
delo que iene mayo capacidad de p edicci´on en ez del que es ´a mejo
ajus ado. La capacidad de p edicci´on se mide con el e o cuad ´a ico
medio (ECM).
Validaci´on c uzada: E oluci´on del llamado holdou me hod que se basa
en la pa ici´on del conjun o de da os en dos, uno nos pe mi e es ima
los pa ´ame os del modelo, y el o o e alua la capacidad p edic i a
de ´es e. De es a o ma se selecciona el modelo alo ando su bondad de
ajus e y capacidad de p edicci´on.
C i e io de In o macion de Akaike (AIC): C i e io p opues o po el es-
ad´ıs ico japon´es Hi o ugu Akaike y que es ´a basado en la eo ´ıa de la
in o maci´on. Es ´a de inido de o ma que boni ica la bondad de ajus e
y penaliza la inclusi´on de pa ´ame os a es ima , lo que ayuda a e i a
el en´omeno del sob eajus e.
15
C i e io de In o maci´on Bayesiana (BIC): El p o eso Gideon E.Schwa z
p opuso es e c i e io bajo un en oque bayesiano que se basa en las p o-
babilidades a pos e io i de los modelos. Es, jun o al AIC, el m´as usado.
2.1. Coe icien e de de e minaci´on co egido
o ajus ado
El coe icien e de de e minaci´on R2es una medida de bondad de ajus e
de un modelo a unos da os. Reco demos que R2nos da la p opo ci´on de la
a iabilidad de Yaplicada po el modelo, es deci ,
R2=SCExplicada
SCT =Pn
i=1(ˆyi−y)2
Pn
i=1(yi−y)2= 1 −SCResidual
SCT
y adem´as 0 ⩽R2⩽1. Cuan o m´as ce cano es ´e a 1, mejo ajus ado es ´a el
modelo.
R2no nos si e pa a compa a modelos di e en es, pues o que siemp e au-
men a cuando se a˜naden nue as a iables explica i as al modelo, lo que nos
lle a ´ıa a oma modelos con innume ables a iables supe luas. Po eso su ge
el coe icien e de de e minaci´on co egido o ajus ado, que si e pa a sol en a
es e p oblema pues o que incluye un ´e mino de co ecci´on po el n´ume o de
pa ´ame os en el modelo.
b
R2
aj,k = 1 −n−1
n−k(1 −R2
k).
b
R2
aj es muy popula y iene inco po ado en los p og amas es ad´ıs icos y e-
sul a de especial in e ´es en si uaciones en las que el n´ume o de a iables
explica i as es ´a ce cano al n´ume o de obse aciones de la mues a.
Teo ema 2.1.1. El es ad´ıs ico b
R2
aj,k aumen a al in oduci un nue o pa ´ame-
o, βk+1, en la ecuaci´on de eg esi´on si el es ad´ıs ico Qhasociado al con as e
de signi icaci´on de dicho pa ´ame o es mayo que 1. Qhse de ine como:
Qh=SCRk−SCRk+1
SCRk+1 ×n−k−1
1
donde SCRkes la suma de cuad ados de los esiduos en el modelo con k
co a iables.
16
Demos aci´on. Pa a hace el con as e del (k+1)-´esimo pa ´ame o emplea e-
mos el es ad´ıs ico Qh, que se de ini´o como:
Qh=SCRk−SCRk+1
SCRk+1 ×n−k−1
1
=R2
k+1 −R2
k
1−R2
k+1 ×n−k−1
1
po an o:
(1 −R2
k+1)Qh= (R2
k+1 −R2
p)(n−k−1)
Qh−QhR2
k+1 = (n−k−1)R2
k+1 −(n−k−1)R2
k
Qh+ (n−k−1)R2
k=R2
k+1[(n−k−1) + Qh]
despejando R2
k+1:
R2
k+1 =Qh+ (n−k−1)R2
k
(n−k−1) + Qh
=
1
n−k−1Qh+R2
k
1 + 1
n−k−1Qh
.
Sus i uyendo es a exp esi´on en la de inici´on de b
R2
aj,k+1, enemos:
b
R2
aj,k+1 = 1 −(1 −R2
k+1)n−1
n−k−1= 1 −1−R2
k
n−k−1+Qh
n−k−1×n−1
n−k−1
= 1 −(1 −R2
k)n−1
n−k−1 + Qh
= 1 −(1 −R2
k)n−1
n−k
| {z }
b
R2
aj,k
×n−k
n−k−1 + Qh
| {z }
de lo que se deduce que b
R2
aj,k+1 ≥b
R2
ksi Qh>1.

2.1.1. Aplicaci´on
A con inuaci´on se ecoge un ejemplo que ilus a el uso del coe icien e de
de e minaci´on co egido o ajus ado. U iliza emos el conjun o de da os que
nos p opo ciona Fah mei , L. e al. [1].
En p ime luga se ca ga ´a el conjun o de da os.
> gol <- ead. able("gol ull. x ", heade =TRUE)
> a ach(gol )
17
Call:
mle.cp( o mula = p ice ~ kilome e + age + ex as1 + ex as2 +
TIA, da a = gol )
Mallows Cp:
(In e cep ) kilome e age ex as1 ex as2 TIA cp
[1,] 1 1 1 1 0 0 2.422
[2,] 1 1 1 1 0 1 4.005
[3,] 1 1 1 1 1 0 4.407
[4,] 1 1 1 1 1 1 6.000
P in ed he i s 4 bes models
En nues o caso, como enemos que selecciona los modelos cuyas a iables
age ykilome e es ´en p esen es, hemos enido que hace alguna modi icaci´on
> mis es<- subse (cp$cp, cp$cp[,2]==1 & cp$cp[,3]==1)
> head(mis es)
(In e cep ) kilome e age ex as1 ex as2 TIA cp
[1,] 0 1 1 0 0 0 622.527918
[2,] 1 1 1 0 0 0 3.551917
[3,] 0 1 1 1 0 0 590.044015
[4,] 1 1 1 1 0 0 2.422241
[5,] 0 1 1 0 1 0 608.241325
[6,] 1 1 1 0 1 0 5.505495
Vemos que los modelos que manejamos con ienen a las a iables deseadas.
Aho a debemos escoge el que enga meno cp, con lo que amos a o dena los:
> o denado<-mis es[ o de (mis es[,7]), ]
> head(o denado)
(In e cep ) kilome e age ex as1 ex as2 TIA cp
[1,] 1 1 1 1 0 0 2.422241
[2,] 1 1 1 0 0 0 3.551917
[3,] 1 1 1 1 0 1 4.005040
[4,] 1 1 1 1 1 0 4.406582
[5,] 1 1 1 0 0 1 5.401711
[6,] 1 1 1 0 1 0 5.505495
En es a abla se mues an los 6 mejo es modelos, seg´un es e c i e io, que
ienen las a iables explica i as impues as po noso os.
Luego el mejo modelo se ´a: p ice ∼in e cep +kilome e +age +ex as1.
24

2.3. Validaci´on c uzada
El p ime paso y com´un a odos los ipos de alidaciones c uzadas es
di idi el conjun o de da os que enemos en dos ipos de conjun os:
Un ipo de conjun o que nos si e pa a es ima los pa ´ame os del
modelo, llamado aining se .
Un ipo de conjun o de alidaci´on que si e pa a alo a la capacidad
p edic i a del modelo, llamado es ing se .
Pasemos a e las dos alidaciones c uzadas m´as usadas.
2.3.1. Validaci´on c uzada en i e aciones
La alidacion c uzada en i e aciones ( - old c oss alida ion) comienza
ag upando los da os en subconjun os de ama˜no simila . Uno se u iliza pa a
alida , y los es an es ( −1) se conside an como conjun os de es imaci´on.
Repe i emos es e p oceso eces, una ez con cada uno de los subconjun os
de alidaci´on. Nos quedamos con el modelo en el que la suma de los e o es
de p edicci´on al cuad ado sea m´as peque˜no, es deci :
m´ın{CV }dondeCV =1
n
n
X
i=1
(yi−ˆyiM )2}.
No malmen e se suele u iliza el 10- old c oss alida ion ´o 5- old c oss
alida ion, dependiendo del ama˜no de da os que engamos.
2.3.2. Validaci´on c udada dejando uno ue a
Un caso impo an e del an e io , que cabe des aca , es la alidaci´on c u-
zada dejando una sola obse aci´on ue a (lea e-one-ou c oss alida ion).
En es e caso, el e o es muy peque˜no, en cambio, el cos e compu acional es
ele ado, pues hay que calcula ni e aciones y analiza pa a cada i e aci´on
los da os de ambos conjun os. El es ad´ıs ico pa a decidi en es e caso es:
CV =1
n
n
X
i=1
(yi−ˆy−i
iM )2
donde, ˆy−i
iM ≡es imaci´on cuando se ha eliminado la obse aci´on i-´esima.
Se iene una exp esi´on sencilla pa a es e coe icien e, sin ene que ehace
odos los c´alculos, bas´andonos en los ˆyiM o iginales:
CV =1
n
n
X
i=1 yi−ˆyiM
1−hiiM 2
25
donde 1 −hii,M son los elemen os diagonales de la ma iz ha .
Es impo an e des aca que ambos ipos de alidaci´on ienen cie as limi a-
ciones:
El aining se y el es ing se deben se ex a´ıdos de la misma pobla-
ci´on, en caso de no se lo, la alidaci´on no p oduci ´ıa esul ados signi i-
ca i os.
Es a he amien a no es ´alida cuando enemos un sis ema que e olu-
ciona con el iempo, pues pod ´ıa da se el caso de que ambos conjun os
mencionados an e io men e su ie an cambios sis em´a icos, po ejem-
plo: si enemos un modelo que u ilizamos pa a p edeci el alo de las
acciones, el cual ha sido calculado en un aining se en un pe iodo de
iempo de e minado, ´es e no se ´a e icien e a la ho a de p edeci el alo
de la misma poblaci´on en el siguien e pe iodo de iempo.
Es impo an e no a que en los da os del aining se debemos e i a
que haya alg´un da o que es ´e ambi´en en el es ing se .
2.3.3. Aplicaci´on
Pa a ilus a es e m´e odo p ocede emos inicialmen e de mane a simila a
como se hizo en 2.1.1 y eniendo en cuen a el es udio p e io ealizado en ´el,
amos a calcula los dis in os modelos pa a e c´ual iene meno CV .
Pa a calcula los dis in os CV usa emos el paque e la ice, necesa io pa a el
paque e DAAG, el cual con iene a la unci´on CV lm. Dicha unci´on ealiza
las m- old c oss alida ion seg´un el alo que le asignemos a m.
Comencemos leyendo los da os, de iniendo los modelos y ca gando los paque-
es necesa ios:
> gol <- ead. able("gol ull. x ", heade =TRUE)
> a ach(gol )
> mod1 <- lm(p ice~kilome e +age, da a=gol )
> mod2 <- lm(p ice~kilome e +age+ex as1, da a=gol )
> mod3 <- lm(p ice~kilome e +age+ex as2, da a=gol )
> mod4 <- lm(p ice~kilome e +age+TIA, da a=gol )
> mod5 <- lm(p ice~kilome e +age+ex as1+ex as2, da a=gol )
> mod6 <- lm(p ice~kilome e +age+ex as1+TIA, da a=gol )
> mod7 <- lm(p ice~kilome e +age+ex as2+TIA, da a=gol )
> mod8 <- lm(p ice~kilome e +age+ex as1+ex as2+TIA, da a=gol )
> lib a y(la ice)
> lib a y(DAAG)
26
Una ez que hemos esc i o los a gumen os en la unci´on, ´es a nos mues a la
abla con el an´alisis de la a ianza, los esul ados de cada old, y al inal la
suma de los e o es al cuad ado (MS).
> RES1<-CVlm(da a=gol , o m.lm=mod1, m=10)
Analysis o Va iance Table
Response: p ice
D Sum Sq Mean Sq F alue P (>F)
kilome e 1 88.1 88.1 146 <2e-16 ***
age 1 75.2 75.2 124 <2e-16 ***
Residuals 169 102.2 0.6
---
Signi . codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
old 1
Obse a ions in es se : 17
9 11 16 45 50 55 62 64 73
P edic ed 4.93 4.502 4.557 4.17 2.96 4.12 5.12 4.88 3.756
c p ed 4.92 4.488 4.544 4.16 2.95 4.11 5.12 4.88 3.746
p ice 6.35 3.823 4.950 2.90 4.20 3.99 6.15 4.50 3.000
CV esidual 1.43 -0.665 0.406 -1.26 1.25 -0.12 1.03 -0.38 -0.746
85 101 118 125 148 150 155 164
P edic ed 3.5638 4.31 2.827 3.8879 2.210 2.749 3.22 2.721
c p ed 3.5542 4.31 2.817 3.8861 2.202 2.744 3.22 2.721
p ice 3.6500 3.20 3.800 3.9500 1.900 3.100 4.20 2.400
CV esidual 0.0958 -1.11 0.983 0.0639 -0.302 0.356 0.98 -0.321
Sum o squa es = 11.1 Mean squa e = 0.65 n = 17
.
.
.
old 10
Obse a ions in es se : 17
5 10 13 20 31 32 34 40 43
P edic ed 5.19 5.383 4.94 3.88 3.405 3.89 4.445 4.558 5.49
c p ed 5.11 5.274 4.87 3.90 3.444 3.88 4.391 4.489 5.34
27
p ice 6.20 5.900 5.55 2.50 3.250 2.40 4.600 5.450 7.00
CV esidual 1.09 0.626 0.69 -1.40 -0.194 -1.48 0.209 0.961 1.66
44 76 83 110 117 119 133 137
P edic ed 3.33 3.690 3.185 3.766 2.7887 2.334 3.0203 2.594
c p ed 3.37 3.676 3.211 3.722 2.8252 2.411 3.0215 2.632
p ice 3.70 2.800 2.600 3.900 2.9000 1.450 2.9990 1.950
CV esidual 0.33 -0.876 -0.611 0.178 0.0748 -0.961 -0.0225 -0.682
Sum o squa es = 12.7 Mean squa e = 0.75 n = 17
O e all (Sum o e all 17 olds)
ms
0.617
23456
2 3 4 5 6 7
P edic ed ( i o all da a)
p ice
Small symbols show c oss− alida ion p edic ed alues
Fold 1
Fold 2
Fold 3
Fold 4
Fold 5
Fold 6
Fold 7
Fold 8
Fold 9
Fold 10
Fold 1
Fold 2
Fold 3
Fold 4
Fold 5
Fold 6
Fold 7
Fold 8
Fold 9
Fold 10
Fold 1
Fold 2
Fold 3
Fold 4
Fold 5
Fold 6
Fold 7
Fold 8
Fold 9
Fold 10
Fold 1
Fold 2
Fold 3
Fold 4
Fold 5
Fold 6
Fold 7
Fold 8
Fold 9
Fold 10
Fold 1
Fold 2
Fold 3
Fold 4
Fold 5
Fold 6
Fold 7
Fold 8
Fold 9
Fold 10
Fold 1
Fold 2
Fold 3
Fold 4
Fold 5
Fold 6
Fold 7
Fold 8
Fold 9
Fold 10
Fold 1
Fold 2
Fold 3
Fold 4
Fold 5
Fold 6
Fold 7
Fold 8
Fold 9
Fold 10
Fold 1
Fold 2
Fold 3
Fold 4
Fold 5
Fold 6
Fold 7
Fold 8
Fold 9
Fold 10
Fold 1
Fold 2
Fold 3
Fold 4
Fold 5
Fold 6
Fold 7
Fold 8
Fold 9
Fold 10
Fold 1
Fold 2
Fold 3
Fold 4
Fold 5
Fold 6
Fold 7
Fold 8
Fold 9
Fold 10
Figu a 2.3: Cada ec a de eg esi´on es ´a calculada a pa i del subconjun o
de en enamien o de la base de da os que asignamos con la CV .
Realizamos la misma ope aci´on pa a los es an es 7 modelos, y colocamos en
una ma iz la suma de los e o es de p edicci´on al cuad ado, que es lo que
nos in e esa:
28
> n <- 8
> nc <- 1
> esCV <- ma ix(n ow=n , ncol=nc, by ow=TRUE)
> ownames( esCV)<-c("mod1","mod2","mod3", "mod4",
+ "mod5", "mod6", "mod7", "mod8")
> colnames( esCV)<-c("ms")
> esCV[,1] <- c(a (RES1, "ms"),
+ a (RES2, "ms"),
+ a (RES3, "ms"),
+ a (RES4, "ms"),
+ a (RES5, "ms"),
+ a (RES6, "ms"),
+ a (RES7, "ms"),
+ a (RES8, "ms"))
> esCV
ms
mod1 0.617
mod2 0.615
mod3 0.624
mod4 0.628
mod5 0.620
mod6 0.627
mod7 0.634
mod8 0.632
Po lo que el mejo modelo seg´un la alidaci´on c uzada ealizada es: modelo 2,
p ice ∼kilome e +age +ex a1.
2.4. C i e io de In o maci´on de Akaike
El c i e io de in o maci´on de Akaike, AIC, es un c i e io elacionado
con el c i e io Cpde Mallows, aunque m´as gene al. La idea p incipal del
AIC es maximiza la log- e osimili ud espe ada de un modelo de e minado,
a a ´es del EMV . El hecho de que se denomine c i e io de in o maci´on es
po que es ´a ´ın imamen e elacionado con la llamada in o maci´on de Kullback
- Leible . Es e c i e io no busca encon a el mejo modelo, sino encon a el
modelo, de en e los que compi en, que mejo se ajus e a los da os con los
que abajamos.
Es ´a de inido po :
AIC(M) = −2ln L(ˆ
βM,ˆσ2) + 2(|M|+ 1) (2.1)
29

donde ln L(ˆ
βM,ˆσ2) es el m´aximo alo del loga i mo de la unci´on e osimi-
li ud e aluado en ˆ
βM, donde ˆ
βMes el EMV del modelo M, ˆσ2=P(yi−ˆ
yi)2
n
es el EMV de σ2, y (|M|+ 1) el n´ume o o al de pa ´ame os en el modelo
incluyendo σ2.
El p ime ´e mino de la exp esi´on 2.1 es una medida de bondad de ajus e,
pues disminuye al aumen a ˆ
βM, y el segundo ´e mino es una penalizaci´on
po el n´ume o de pa ´ame os, exac amen e igual que los ´e minos del Cpde
Mallows.
La gene alidad que iene el c i e io AIC, iene del hecho de que podemos
calcula lo siemp e que engamos una unci´on de e osimili ud.
En e los modelos que compi en, es mejo el que enga el meno AIC.
P oposici´on 2.4.1. Si se iene no malidad y σ2es conocida en onces el
c i e io Cpes equi alen e al c i e io AIC.
Demos aci´on. Comencemos eesc ibiendo la exp esi´on del AIC dada en 2.1:
ln L(ˆ
yi,ˆ
β,ˆσ2) = −n
2ln(2π)−n
2ln(ˆσ2)−n
2P(yi−ˆ
yi)2(yi−Xβ)0(yi−Xβ)
=−n
2ln(2π)−n
2ln(ˆσ2)−n
2
y excluyendo ´e minos que no dependen del n´ume o de pa ´ame os pllegamos
a:
−2ln L+ 2(|M|+ 1) = n ln(ˆσ2
p)+2p
con p= (|M|+ 1).
Aho a, suponiendo conocida σ2, obse amos que minimiza el AIC es an´alogo
a minimiza :
n ln ˆσ2
p
σ2+ 2p
que puede esc ibi se, suponiendo no malidad (ˆσ2
p≃σ2)
n ln 1 + ˆσ2
p−σ2
σ2+ 2p≃
|{z}
ln(1+x)≃xpa a x peque˜nos
nˆσ2
p
σ2−n+ 2p.
Luego, sus i uyendo σ2po un es imado , qued´andonos con los ´e minos que
dependen del n´ume o de pa ´ame os pe igno ando las cons an es adi i as en
las que no apa ece p, pues s´olo dependen de n, llegamos a:
AIC ≃Pe2
(p)
ˆσ2+ 2p=Cp
30
donde Pe2
(p)es la suma de cuad ados de los esiduos del modelo con p
pa ´ame os.

Como consecuencia de la P oposici´on 2.4.1, se ob ienen exp esiones m´as
sencillas del AIC.
Co ola io 2.4.1. En el modelo lineal con e o es gaussianos:
−2ln L(ˆ
βM,ˆσ2) = nlog(ˆσ2) + 1
ˆσ2(y−XMˆ
βM)0(y−XMˆ
βM)
=nlog(ˆσ2) + nˆσ2
ˆσ2=nlog(ˆσ2) + n
donde ˆσ2es el EMV de σ2.
Podemos igno a la cons an e n, pues no depende de p, y esc ibi :
AIC =nlog(ˆσ2) + 2(|M|+ 1).
donde ˆσ2no es el es imado insesgado de σ2.
No a 2.4.1. Las p incipales en ajas que iene el c i e io AIC, po lo cual
es an p ´ac ico son:
No equie e de ninguna abla pa a e el co espondien e alo .
Tiene una ´acil implemen aci´on.
No necesi a un ni el de signi icaci´on a bi a io pa a elegi en e dos
modelos.
No a 2.4.2. El ´e mino de penalizaci´on no depende del ama˜no de la mues-
a, es deci , que el n´ume o de pa ´ame os que seleccionamos con es e c i e-
io, es el mismo an o pa a una mues a peque˜na como pa a una g ande. Lo
que hace que AIC no sea consis en e, es deci , que no se ap oxima al modelo
co ec o con o me aumen a la mues a, como cab ´ıa espe a .
2.4.1. Aplicaci´on
Pa imos de los mismos modelos expues os en el Ejemplo 2.1.1. A di e-
encia de o os m´e odos, pa a usa el AIC no necesi amos ninguna lib e ´ıa
ex a de R, pues o que ya iene implemen ado en la unci´on AIC.
Lo ´unico que end emos que hace es ca ga la base de da os y los modelos:
31
> gol <- ead. able("gol ull. x ", heade =TRUE)
> a ach(gol )
> mod1 <- lm(p ice~kilome e +age, da a=gol )
> mod2 <- lm(p ice~kilome e +age+ex as1, da a=gol )
> mod3 <- lm(p ice~kilome e +age+ex as2, da a=gol )
> mod4 <- lm(p ice~kilome e +age+TIA, da a=gol )
> mod5 <- lm(p ice~kilome e +age+ex as1+ex as2, da a=gol )
> mod6 <- lm(p ice~kilome e +age+ex as1+TIA, da a=gol )
> mod7 <- lm(p ice~kilome e +age+ex as2+TIA, da a=gol )
> mod8 <- lm(p ice~kilome e +age+ex as1+ex as2+TIA, da a=gol )
Y aho a, bas a con calcula los AIC de los modelos y compa a los pa a e
cual es el mayo .
Coloca emos los esul ados en una ma iz como en ejemplos an e io es pa a
e lo mejo :
> n <- 8
> nc <- 1
> esAIC <- ma ix(n ow=n , ncol=nc, by ow=TRUE)
> ownames( esAIC)<-c("mod1","mod2","mod3", "mod4",
+ "mod5", "mod6", "mod7", "mod8")
> colnames( esAIC)<-c("AIC")
> esAIC[,1] <- c(AIC(mod1),
+ AIC(mod2),
+ AIC(mod3),
+ AIC(mod4),
+ AIC(mod5),
+ AIC(mod6),
+ AIC(mod7),
+ AIC(mod8))
> esAIC
AIC
mod1 406.5904
mod2 405.3859
mod3 408.5433
mod4 408.4380
mod5 407.3697
mod6 406.9542
mod7 410.4026
mod8 408.9490
Po lo que el mejo modelo seg´un es e c i e io se ´ıa el modelo 2, p ice ∼
kilome e +age +ex a1.
32
2.5. C i e io de In o maci´on Bayesiana
Schwa z (1978) ide´o el c i e io de in o maci´on bayesiana, BIC, a a´ız
de la inconsis encia del es imado AIC, en ´es e se conside a el ama˜no de la
mues a nen el ´e mino de penalizaci´on. Po lo an o, ue dise˜nado con el
obje i o de se consis en e, es deci , que a medida que el ama˜no mues al
aumen a, el c i e io iende a selecciona el e dade o modelo que gene a los
da os.
BIC se basa en es udia el compo amien o de la p obabilidad a pos e io i
del modelo j-´esimo. Suponiendo cie as hip´o esis de las dis ibuciones a p io i
de los pa ´ame os, enemos:
ln (X|Mj) = Lj(ˆ
βj|X) + ln P(ˆ
βj|Mj) + pj
2ln(2π)−pj
2ln(n) + 1
2ln|Rj|
donde (X|Mj) es la e osimili ud ma ginal de los da os en el modelo Mj,
Lj(ˆ
βj|X) es la unci´on de e osimili ud del modelo Mj, que iene como
EMV de βjaˆ
βj,P(ˆ
βj|Mj) es la p obabilidad a p io i de los pa ´ame os,
pjes el n´ume o de pa ame os es imados y Rjes igual a nSj, siendo Sjla
ma iz de co a ianzas de ˆ
βj.
Haciendo ende na in ini o, se puede ap oxima
ln (X|Mj)≃Lj(ˆ
βj|X)−pj
2ln(n)
que es equi alen e a:
BIC(Mj) = −2ln Lj(ˆ
βj|X) + ln(n)(pj).
Con lo que inalmen e llegamos a la exp esi´on siguien e:
BIC(M) = −2ln L(ˆ
β|M|+1) + ln(n)(|M|+ 1).(2.2)
Seg´un es e c i e io, se ob iene el mejo modelo calculando los dis in os BIC
y qued´andonos con el que enga el meno .
No emos que si a˜nadimos m´as pa ´ame os en el modelo, el ajus e se e ´a in-
c emen ado, pues el p ime ´e mino mide la des iaci´on del modelo es imado
con el modelo sa u ado (con odas las a iables), pe o es e e ec o se compen-
sa con el segundo ´e mino pe a e i a el sob eajus e.
Co ola io 2.5.1. Bajo el supues o de e o es gaussianos, la exp esi´on 2.2
se educe a:
BIC(M) = nlog(ˆσ2) + log(n)(|M|+ 1).
33
Conside a emos un da o como a ´ıpico cuando no se gene e po el mismo
p ocedimien o que el es o de la mues a. Po ejemplo, cuando haya un e o
de medida o si esa obse aci´on iene un alo di e en e del es o pa a una
a iable explica i a ele an e omi ida en el modelo. En ese caso, el modelo
pa a esa obse aci´on se ´ıa: yi=x0
iβ+ω+ui, donde ωes el e o de medida o
el e ec o de la a iable explica i a omi ida. Podemos modeliza el da o a ´ıpico
como un desplazamien o en la media de la dis ibuci´on. O al e na i amen e,
como un desplazamien o en la a ianza, de mane a que la obse aci´on se
gene a con nues o modelo, pe o la a ianza en ese pun o se ´a c2σ2con c >>
1. Ambos modelos son equi alen es, pues con un s´olo da o no es posible
sabe si la media o la a ianza ha cambiado. Un da o a ´ıpico puede o no se
in luyen e, y ice e sa.
Pa a busca los alo es a ´ıpicos se calculan los esiduos es uden izados, ˆ
j,
en odos los pun os. Pues el es ad´ıs ico asociado a ˆωes p ecisamen e ˆ
j.
De inici´on 2.7.2. Se de ine el esiduo es uden izado como:
ˆ
i=ei
ˆs i√1−hii
Pa a e si exis en alo es a ´ıpicos se oma el m´aximo de los esiduos es u-
den izados con H0: odos los da os han sido gene ados po el mismo modelo,
´es e segui ´a la dis ibuci´on del m´aximo de una a iable de S uden , que de-
pende de los g ados de libe ad de y es ´a abulada.
O o m´e odo pa a e ´es o es el m´e odo de Bon e oni y u iliza con as-
es m´ul iples. Dicho p ocedimien o es simple y gene al, pe o no es siemp e
´op imo. Se basa en la desigualdad de Bon e oni. Y se u iliza de la o ma
siguien e:
Sea cel n´ume o de compa aciones que cons uimos, sea Aiel suceso: acep a
µi6=µjcuando ealmen e µi=µj. Supongamos que hacemos las compa a-
ciones de medias con un ni el de signi icaci´on α:
P(Ai) = α.
Sea B=A1+A2+... +Ac. Los sucesos Aino son mu uamen e excluyen es,
po an o:
P(B) = P(A1+A2+... +Ac)≤XP(Ai) = cα.
El m´e odo p e ende ga an iza un e o de ipo I o al pa a el conjun o de
con as es, αT, po lo que P(B)≤αT.´
Es o se consigue calculando cada
con as e indi idual a un ni el αde mane a que:
α=αT
c.
40

Lo que nos lle a a un p ocedimien o de ap oximaci´on bas an e ´u il en la
p ´ac ica.
Cuando ces g ande, se necesi an ni eles de signi icaci´on muy peque˜nos, an o
que no es ´an abulados, po lo que se u iliza la ap oximaci´on:
α
ν≃1−zα+ 1
4ν−1
donde νson los g ados de libe ad de yzαel alo de la dis ibuci´on no mal
es ´anda (0,1) al que P(z≥zα) = α.
Aunque si enemos en nues a mues a un g upo de da os a ´ıpicos pueden
no de ec a se con los p ocemien os is os has a aho a. A pesa de elimina
uno de los pun os, al habe o os pa ecidos hace que el pun o eliminado no
pa ezca in luyen e. Es e en´omeno se llama enmasca amien o y se esuel e
con la es imaci´on obus a y ´ecnicas m´as a anzadas.
2.7.4. He e ocedas icidad
Decimos que exis e he e ocedas icidad en las pe u baciones uicuando
no se puede aplica la hip´o esis:
V a (ui) = σ2, i = 1, .., n
con lo que inclumplimos una de las hip´o esis b´asicas donde se asien a la e-
g esi´on lineal.
En es e caso las obse aciones con la a ianza baja son impo an es, pues
son m´as iables a la ho a de es ima la ec a de eg esi´on que las obse a-
ciones con a ianza al a (en gene al, cuan o meno es su a ianza, menos se
des ´ıan del alo medio que que emos es ima ), y debe ´ıan ene m´as peso.
Pe o el m´e odo de m´ınimos cuad ados no iene en cuen a es o, po lo que los
es imado es calculados con es e p ocedimien o dejan de se e icien es y las
´o mulas deducidas pa a calcula las a ianzas de los es imado es ya no son
co ec as, po lo an o, los con as es basados en ellas dejan de se ´alidos.
La p´e dida de e iciencia de los es imado es depende de la magni ud de he-
e ocedas icidad. Podemos medi la calculando el cocien e en e la a ianza
m´axima y la m´ınima de las obse aciones, Bloch y Moses, (1988) ecomien-
dan que cuando el cocien e es meno que dos, podemos segui u iliz´andolos
pues o que la p´e dida de e iciencia es peque˜na. Cuando es mayo que dos, la
p´e dida de e iciencia es g ande.
Si adem´as de he e ocedas icidad enemos obse aciones con al o e ec o pa-
lanca, las consecuencias se ag a an, pues ambi´en es m´as complicado es ima
las pe u baciones del modelo, con lo que es m´as di ´ıcil es ima la a ianza
41
de la mues a.
Pa a econoce la he e ocedas icidad bas a con analiza los esiduos. Me-
dian e el g ´a ico de ei= (ˆyi) se puede de ec a , y pa a iden i ica si la
he e ogeneidad en la a iabilidad es debida a alguna a iable explica i a po-
demos usa ei= (xi).
Uno de los con as es pa a la he e ocedas icidad es el de la az´on de e osi-
mili udes. Pa a aplica es e con as e, di idimos los esiduos, eien gg upos,
cada uno de un ama˜no niy es imamos la a ianza en cada uno de ellos. Sea
ˆσ2
ila es imaci´on de la a ianza del g upo i, y σ2
iel EMV de la a ianza de
los esiduos. En onces enemos el con as e:
H0:ei∼N(0, σ)
H1:ei∼N(0, σi),con g alo es dis in os de σi
luego el loga i mo de la az´on de e osimili udes de ambas hip´o esis es:
log(λ) = −
g
X
i=1
ni
2log(ˆσ2
i)−
g
X
i=1
ni
2−−n
2log(ˆσ2)−n
2
po an o,
2log(λ) = nlog(ˆσ2)−
g
X
i=1
nilog(ˆσ2
i)
cuya dis ibuci´on asin ´o ica es χ2
g−1.
El con as e an e io no iene en cuen a la posibilidad de que los esiduos sean
sesgados po la he e ocedas icidad. Pa a ealiza un con as e m´as exac o en
mues as peque˜nas, enemos el siguien e es :
H0:yi=x0
iβ+ui, ui∼N(0, σ)
H1:yi=x0
iβ+ui, ui∼N(0, σi)
que hace que las eg esiones sean calculadas po sepa ado en cada g upo
al es ima las a ianzas, ˆσ2
i. Una ez de inido es e con as e, se p ocede de
mane a an´aloga al an e io .
El p oblema m´as b´asico que p oduce la he e ocedas icidad es la o mulaci´on
e ´onea del modelo. Po ejemplo, si nues o modelo ue a:
y=kxα1
1·... ·xαk
k·u
donde usigue una dis ibuci´on log-no mal de media 1 y a ianza desconocida.
Es imamos po un modelo lineal ˆy=ˆ
β0+ˆ
β1x1+...+ˆ
βkxk, los esiduos end ´an
al a de no malidad, al a de linealidad y he e ocedas icidad, aumen ando
la a ianza de los e o es con o me aumen an los alo es de las a iables
explica i as. En es e caso, debe ´ıamos ans o ma la a iable obje i o, y,
con loga i mos. La he e ocedas icidad m´as ecuen e es que a ianza aumen e
linealmen e con el alo de y. Aqu´ı ambi´en se esuel e usando los loga i mos.
42
Si es amos en el caso donde la he e ocedas icidad iene po una a iable
explica i a, xk, y la des iaci´on ´ıpica aumen a linealmen e con dicha a iable,
el p ocedimien o a segui es ajus a el siguien e modelo:
ˆy
xk
=ˆ
β0
xk
+ˆ
β1
x1
xk
+ˆ
βk+u
xk
donde la pe u baci´on aho a s´ı iene a ianza cons an e.
O a he amien a ´u il pa a soluciona los p oblemas de he e ocedas icidad es
la de m´ınimos cuad ados gene alizados.
Pa amos de un modelo con he e ocedas icidad en el que suponemos que:
E[UU0] = σ2G
donde Ges una ma iz sim´e ica y de inida posi i a. En el caso que nos
ocupa, pa a que las pe u baciones sean he e oced´as icas, se supone que G
es una ma iz diagonal.
Aho a enemos que di e encia dos casos, cuando Gsea conocida y cuando
no.
1.- Si Ges conocida en onces, Y∼Nn(Xβ, σ2G) y pod emos es ima los
pa ´ame os po el m´e odo de m´axima e osimili ud. Que es equi alen e a
hace una ans o maci´on de las a iables con el in de que cumplan las
hip´o esis del modelo de eg esi´on y luego aplica los esul ados ya dados.
Como Gse supone conocida y de inida posi i a, podemos ob ene una ma iz
sim´e ica, no singula , A al que G=AA. Es a Ase denomina ma iz
a´ız cuad ada de Gy en nues o caso, su diagonal son los ´e minos σi/σ.
Mul iplicando po la in e sa de Anues o sis ema, enemos que:
A−1Y=A−1Xβ +A−1U.
Es a exp esi´on puede eesc ibi se como:
Y∗=X∗β+U∗
con Y∗=A−1Y,X∗=A−1XyU∗=A−1U. Obse amos que es a nue as
a iables es ´an elacionadas en e ellas con el mismo β.
Luego la nue a ma iz de co a ianzas es:
E[U∗U∗0] = A−1E[UU0]A−1=σ2I.
Con lo que queda a eglado el p oblema de la he e ocedas icidad, pues el mo-
delo Y∗=X∗β+U∗, es homoced´as ico, y ya pod ´ıamos aplica el m´e odo
43
de m´ınimos cuad ados (que coincide con el de m´axima e osimili ud) pa a
calcula un es imado de β, que se ´a:
ˆ
βG= (X∗0X∗)−1X∗0Y∗= (X0G−1X)−1X0G−1Y
| {z }
G−1=A−1A−1
y se denomina es imado de m´ınimos cuad ados gene alizados oMCG y
iene como ma iz de co a ianzas:
V a (ˆ
βG) = σ2(X∗0X∗)−1=σ2(X0G−1X)−1.
2.- Veamos aho a el caso donde Ges desconocida.
En gene al, no es posible esol e el caso en que odos los alo es de la ma iz
Gson desconocidos.
Lo habi ual es supone alguna es uc u a pa a G, modeliza es a ma iz
in oduciendo pa ´ame os desconocidos adicionales de o ma que el p oblema
plan eado sea a able y u iliza m´e odos i e a i os de es imaci´on pa a el
ec o de pa ´ame os βy los nue os pa ´ame os u ilizados pa a modeliza la
es uc u a de G. De alles adicionales pueden e se en Pe˜na, D. [2] (Cap. 9).
2.7.5. Mul icolinealidad
La mul icolinealidad se da cuando las a iables explica i as ienen una
dependencia en e ellas ue e, po an o, es muy di ´ıcil e el e ec o que ie-
ne cada una indi idualmen e en la a iable espues a.
Es e p oblema iene del hecho de in en a ex ae m´as in o maci´on de los
da os que lo que con ienen, po lo que dicho p oblema eside en la base de
da os y no en el modelo.
En los modelos de eg esi´on m´ul iple, pa a es ima el e ec o de una a iable
explica i a debemos ija nos en la pa e de la a iable que no es ´a elacionada
linealmen e con las dem´as del modelo. En el caso de que s´ı lo es u ie a no
se ´ıa posible es ima su e ec o, a es o se le llama el p oblema de la mul ico-
linealidad.
Cuando nos disponemos a es ima los pa ´ame os de los modelos de eg esi´on,
es necesa io in e i la ma iz X0X. Si enemos una a iable linealmen e de-
pendien e con el es o, la ma iz X end ´a un ango meno que k+1, que es el
n´ume o de pa ´ame os, el de e minan e de X0Xse ´a 0, po lo que la ma iz
no end ´a in e sa y el sis ema de ecuaciones de e minado po los pa ´ame os
del modelo end ´a in ini as soluciones.
Puede da se ambi´en que las a iables es ´en al amen e co eladas, sin se
exac amen e combinaci´on lineal de ninguna, en ese caso hab ´a una mul i-
colinealidad al a, po ejemplo, en el caso de que u ie amos dos a iables
44
explica i as en nues o modelo, x1, x2con medias nulas, al que:
X0X=Px2
1Px1x2
Px1x2Px2
2=ns2
1s12
s12 s2
2
in i iendo la ma iz y u ilizando que s12 = s1s2y|X0X|=s2
1s2
2(1 − 2),
enemos:
(X0X)−1=1
n"1
s2
1(1− 2)
−
s1s2(1− 2)
−
s1s2(1− 2)
1
s2
2(1− 2)#.
Luego las a ianzas de los es imado es se ´an:
V a (ˆ
βi) = σ2
ns2
i(1 − 2), i = 1,2
po an o, cuando 2∼1 la a ianza de los coe icien es es imados se ´a muy
al a. Adem´as, las es imaciones end ´an una g an dependencia en e ellas,
pues:
Co (ˆ
β1,ˆ
β2) = − σ2
ns1s2(1 − 2).
El coe icien e de co elacion en e ˆ
β1yˆ
β2se ´a igual en alo absolu o, pe o
de signo con a io, a la co elaci´on en e las a iables explica i as, es deci
(ˆ
β1,ˆ
β2) = Co (ˆ
β1,ˆ
β2)
qV a (ˆ
β1)qV a (ˆ
β2)
=− .
Luego, las es imaciones se ´an an dependien es en e s´ı, como lo sean las
a iables en e ellas.
En gene al, la a ianza de un coe icien e de eg esi´on es
V a (ˆ
βi) = σ2/SCR(xi,R)
siendo SCR(xi,R) = Pn
j=1(xij −ˆxij,R)2la a ianza esidual de una eg esi´on
de xisob e el es o. Se iene ambi´en que
SCR(xi,R) = SCT(xi)−SCE(xi,R) = ns2
i(1 −R2
i,R).
Llamando Ri,R al coe icien e de co elaci´on m´ul iple en la eg esi´on de xien
unci´on del es o de a iables, enemos:
V a (ˆ
βi) = σ2
ns2
i(1 −R2
i,R)
po lo que si el cuad ado del coe icien e de co elaci´on es ce cano a 1, la
a ianza se ´a muy g ande.
Pa a a e igua si enemos o no mul icolinealidad debemos examina :
45

La ma iz de co elaci´on en e las a iables explica i as, R, y R−1.
Los ac o es de in laci´on de la a ianza.
Las a´ıces y ec o es ca ac e ´ıs icos de las ma ices X0X, o R.
Si enemos una co elaci´on al a en e a iables explica i as es una cla a se˜nal
de mul icolinealidad. Puede se que haya una elaci´on pe ec a en e una
de las a iables explica i as y el es o y, sin emba go, sus coe icien es de
co elaci´on sean bajos. Po ejemplo, supongamos las a iables explica i as:
x1, ..., xkcon media ce o, a ianza uno y o ogonales. Y de inamos una nue-
a a iable que sea la media de las an e io es, xk+1 = (x1, ..., xk)/k. Luego,
V a (xk+1)=1/k yCo (xi, xk+1)=1/k, con lo que su co elaci´on es 1/√k.
Si kes g ande, la co elaci´on se ´a peque˜na, pe o un modelo que incluya las
k+ 1 a iables (x1, ..., xk, xk+1) end ´a una mul icolinealidad exac a.
Sea Rla ma iz de co elaci´on de las a iables explica i as, la cual es cuad a-
da, sim´e ica de o den ky cuyo ´e mino (ij) es el coe icien e de co elaci´on
lineal simple en e xiyxj. Es a ma iz, pa a dos a iables se ´ıa:
R=1
1
luego R−1es:
R−1=1
1− 2
−
1− 2
−
1− 2
1
1− 2
podemos e que los elemen os de la diagonal, 1/(1 − 2), con ienen al coe-
icien e de co elaci´on. Pa a k a iables, los elemen os de la diagonal se ´ıan
1/(1 −R2
i,R), siendo R2
i,R el coe icien e de co elaci´on m´ul iple de la a iable
explica i a xicon el es o de a iables explica i as.
Po an o, si enemos elemen os de la diagonal de R−1g andes, nos indica ´a
que hay al a mul icolinealidad. En es e caso no enemos el p oblema que
en´ıamos con los elemen os de R, donde pod´ıa no de ec a se a simple is a
la mul icolinealidad, pues en los elemen os de la diagonal de la ma iz in e sa
se ienen en cuen a odas las a iables explica i as, y en onces se de ec a ´a
la mul icolinealidad cuando una de las a iables sea casi combinaci´on lineal
del es o. Aunque R−1 ambi´en iene incon enien es, cuando la ma iz Rsea
casi singula , no pod emos calcula su in e sa con p ecisi´on.
Los ´e minos de la diagonal de R−1se in e p e an como el aumen o de la
a iabilidad en la es imaci´on de los e ec os de cada a iable explica i a en la
eg esi´on m´ul iple, como consecuencia de la dependencia en e las a iables,
espec o a la eg esi´on simple.
Ve´amoslo pa a dos a iables explica i as de media ce o:
46
La a ianza de las es imaciones de los e ec os de las a iables median e eg e-
siones simples se ´ıa ˆs2
(i)/s2
in, con s2
(i) la a ianza esidual de la eg esi´on
simple que iene po eg eso la a iable xi. Si es imamos los e ec os median e
eg esi´on m´ul iple, la a ianza se ´ıa ˆs2
/s2
i(1 − 2)n. Po an o:
V a (e ec o xi|R. m´ul iple)
V a (e ec o xi|R. simple) =ˆs2
(i)
ˆs2
1
1− 2
dicha exp esi´on nos indica que el cambio de la a ianza de un coe icien e al
pasa de la eg esi´on simple a la eg esi´on m´ul iple depende de dos ac o es.
Uno, el cambio de la a ianza esidual de la eg esi´on, que se ´a mayo en la
simple que en la m´ul iple, no malmen e. Y dos, el 1/(1 − 2), denominado
ac o de in laci´on de la a ianza, el cual mide el aumen o de la a ianza
debido a la dependencia en e las a iables.
Po ejemplo, al in oduci una nue a a iable explica i a en la eg esi´on sim-
ple la cual es ´e muy co elada con la que ya hab´ıa y no ayuda a explica la
a iable obje i o, hace que el p ime ´e mino, ˆs2
(i)/ˆs2
, es ´e ce cano a 1 y
la a ianza del coe icien e de la p ime a a iable es a ´a mul iplicada po el
mencionado ac o de in laci´on.
Se puede p oba que el esul ado an e io se puede gene aliza como sigue:
V a (e ec o xi|R. m´ul iple)
V a (e ec o xi|R. simple) =ˆs2
(i)
ˆs2
FIV (i)
donde FIV (i) = 1/(1 −R2
i,R) es el ac o de in laci´on de la a ianza.
Cuando X0XoRson singula es debemos ecu i a o as ´ecnicas pa a a a
la mul icolinealidad. Po ejemplo: el ´ındice de condicionamien o, deno ado
po IC, el cual nos si e pa a es os casos y es ´a de inido po :
IC = m´aximo au o alo de la ma iz
m´ınimo au o alo de la ma iz ≥1.
No malmen e se calcula es e ´ındice pa a Ren ez de pa a X0X, pues o que
´es a no es ´a a ec ada po las escalas de los eg eso es, pues en el caso de que
un eg eso u ie a una a ianza g ande y o o muy peque˜na, la ma iz X0X
es a ´ıa mal condicionada, y po an o, ue a de la diagonal end ´ıa ´e minos
nulos.
Po con enio se admi e que exis e al a mul icolinealidad cuando IC > 30.
Cuando 10 < IC < 30 end emos una mul icolinealidad mode ada. Y en
caso con a io end emos bien de inida la ma iz y la mul icolinealidad se ´a lo
su icien emen e baja pa a no al e a la es imaci´on po el m´e odo de m´ınimos
cuad ados del modelo.
47
An es de pasa a e como soluciona la mul icolinealidad, eamos el e ec o
de ´es a en el e o cu´ad a ico medio, lo que nos se ´a ´u il pa a e una de sus
soluciones.
Tenemos que el e o cu´ad a ico medio de ˆ
βes ´a de inido po :
ECM(ˆ
β) = E[(ˆ
β−β)0(ˆ
β−β)]
=
k
X
i=0
(ˆ
βi−βi)2=σ2 (X0X)−1=σ2
k
X
i=0
1
λi
donde los λison los alo es p opios de la ma iz X0X. Si es a ma iz es casi
singula , λi≃0 pa a alg´un i, lo que lle a a ene un e o cuad ´a ico me-
dio muy g ande. Una ez is o es o, pasemos a mos a como soluciona la
mul icolinealidad. ´
Es a no iene soluci´on sencilla pues, como mencionamos al
p incipio de la secci´on, el p oblema eside en la mues a. Una de la al e na-
i as es oma las obse aciones de mane a que la ma iz X0Xsea diagonal,
lo que educe la a ianza de los es imado es. En caso de no pode dise˜na la
mane a de ecaba los da os, podemos elimina eg eso es al amen e co e-
lados con o os, haciendo meno el n´ume o de pa ´ame os a es ima , aunque
dichos es imado es se ´an sesgados. Es a es una de las soluciones m´as simples.
Veamos la mane a de p ocede .
Sea
y=β1x1+β2x2+u
nues o modelo, donde amos a supone que las a iables explica i as ie-
nen media ce o, po simpli ica . Seg´un lo is o an e io men e, V a (ˆ
β1) =
σ2/ns2
1(1 − 2
12).
Po lo que su e o cuad ´a ico medio es:
ECM(ˆ
β1) = V a (ˆ
β1).
Si eliminamos la a iable explica i a x2, nos queda el modelo:
y=b1x1+ε
po lo que la es imaci´on de b1se ´a:
ˆ
b1=Pyx1
Px2
1
eamos que en e ec o, es sesgada:
E[ˆ
b1] = 1
Px2
1
Ehβ1Xx2
1+β2Xx2x1+uXx1i
48
=β1+β2Px2x1
Px2
1
=β1+β2 12
s2
s1
po lo que, s´ı, es sesgado. Calculando su a ianza, ob enemos:
V a (ˆ
b1) = σ2
Px2
1
=σ2
ns2
1
.
Y po an o, su e o cuad ´a ico medio se ´a:
ECM(ˆ
b1) = β2 12
s2
s12
+σ2
ns2
1
po lo que debe ´ıa e i ica se que ECM(ˆ
b1)< ECM(ˆ
β1), es deci :
β2
2 2
12ns2
2+σ2
ns2
1
<σ2
ns2
1(1 − 2
12)
de lo que se deduce que,
1
1− 2
12
>β2
σ2
ns2
2
luego cuando 12 ≃1, el ECM(ˆ
b1) se ´a meno que ECM(ˆ
β1) y ob end emos
una es imaci´on mejo (aunque sesgada) del e ec o de la a iable explica i a
x1eliminando de nues o modelo la a iable explica i a x2.
No a 2.7.1. Reo denando la ´ul ima exp esi´on ob enemos un esul ado bas-
an e in e esan e:
1>β2
2ns2
2(1 − 2
12)
σ2=β2
2
V a (ˆ
β2)= β2
DT(ˆ
β2)!2
donde DT(ˆ
β2)es la des iaci´on ´ıpica de ˆ
β2. Sus i uyendo los pa ´ame os β2
yσ2po sus es imaciones, ob enemos el es ad´ıs ico , al cuad ado, que se
u iliza pa a con as a si el pa ´ame o es ce o.
Teniendo en cuen a la No a 2.7.1, elimina emos de nues o modelo las
a iables cuyo es ad´ıs ico sea meno que 1, pa a as´ı a a de mejo a el
e o cuad ´a ico medio de es imaci´on de los pa ´ame os es an es y elimina
la mul icolinealidad.
En ez de elimina di ec amen e las a iables de nues o modelo, podemos
c ea una nue a a iable que ag upe las que es ´an muy co eladas en e s´ı.
49
S ep: AIC=-84.73
p ice ~ kilome e + age + ex as1
D Sum o Sq RSS AIC
<none> 100.32 -84.729
- ex as1 1 1.887 102.21 -83.524
- kilome e 1 27.768 128.09 -44.700
- age 1 76.600 176.92 10.852
Po an o, seg´un es e m´e odo ob enemos el siguien e modelo: p ice ∼kilome e +
age +ex as1.
3.3. Selecci´on paso a paso
El m´e odo de selecci´on paso a paso (o s epwise selec ion), es una combi-
naci´on de los dos an e io es, as´ı, e i a los incon enien es de la selecci´on hacia
adelan e y no equie e de una capacidad de c´alculo an g ande como la de la
selecci´on hacia a ´as. En cada paso se con as a si en a una nue a a iable
explica i a o sale una que ya es ´e en el modelo. El algo i mo equie e ija dos
eglas, una pa a las a iables de en ada y o a pa a las a iables de salida.
El p oceso e mina cuando no haya mejo as signi ica i as a la ho a de a˜nadi
o elimina alguna a iable.
Es e m´e odo es el m´as u ilizado de los 3.
3.3.1. Aplicaci´on
Po ´ul imo e emos un ejemplo de la selecci´on paso a paso, en el cual
u iliza emos la misma lib e ´ıa MASS con su unci´on s epAIC, que ecibi ´a
de a gumen os: el modelo con el que comienza el algo i mo, el modelo con el
m´aximo n´ume o de a iables, y la di ecci´on en la que a anza, en es e caso,
hacia ambos lados.
Como en el ejemplo an e io , ejecu amos solamen e la unci´on:
> mod.s ep <- s epAIC(mod0, scope = lis (uppe = mod8),
> di ec ion = "bo h")
S a : AIC=76.69
p ice ~ 1
D Sum o Sq RSS AIC
+ age 1 135.435 130.09 -44.030
+ kilome e 1 88.086 177.44 9.357
56

+ ex as2 1 3.663 261.86 76.297
<none> 265.53 76.686
+ TIA 1 0.286 265.24 78.501
+ ex as1 1 0.257 265.27 78.520
S ep: AIC=-44.03
p ice ~ age
D Sum o Sq RSS AIC
+ kilome e 1 27.886 102.21 -83.524
+ ex as1 1 2.004 128.09 -44.700
<none> 130.09 -44.030
+ ex as2 1 0.543 129.55 -42.750
+ TIA 1 0.200 129.89 -42.294
- age 1 135.435 265.53 76.686
S ep: AIC=-83.52
p ice ~ age + kilome e
D Sum o Sq RSS AIC
+ ex as1 1 1.887 100.32 -84.729
<none> 102.21 -83.524
+ TIA 1 0.091 102.12 -81.677
+ ex as2 1 0.028 102.18 -81.572
- kilome e 1 27.886 130.09 -44.030
- age 1 75.234 177.44 9.357
S ep: AIC=-84.73
p ice ~ age + kilome e + ex as1
D Sum o Sq RSS AIC
<none> 100.32 -84.729
- ex as1 1 1.887 102.21 -83.524
+ TIA 1 0.251 100.07 -83.161
+ ex as2 1 0.009 100.31 -82.745
- kilome e 1 27.768 128.09 -44.700
- age 1 76.600 176.92 10.852
Con es e m´e odo ob enemos el siguien e modelo: p ice ∼age +kilome e +
ex as1.
57
58
Cap´ı ulo 4
T´ecnicas de egula izaci´on
Pa a halla los es imado es po el m´e odo de m´ınimos cuad ados o dina-
ios de los pa ´ame os en el modelo lineal cl´asico, hay que esol e el sis ema
de ecuaciones:
X0Xβ =X0y.
Pa a que es e sis ema enga soluci´on ´unica, la ma iz Xdebe ene ango
m´aximo, ango(X) = p.
Sin emba go, puede habe p oblemas:
Cuando haya columnas en la ma iz Xque sean casi combinaci´on lineal
de o as, es deci , cuando se p esen a el p oblema de la colinealidad.
Cuando el n´ume o de eg eso es, p, es g ande. En es e caso, la soluci´on
es num´e icamen e ines able, aunque los coe icien es sigan siendo iden-
i icables en eo ´ıa.
Adem´as, en muchas de las aplicaciones que es ´an su giendo en nues os d´ıas,
po ejemplo en gen´e ica, ocu e que el n´ume o de co a iables es mucho mayo
que el n´ume o de obse aciones de las que disponemos. Es o se conoce como
p oblemas con “n peque˜no, y p g ande”. En odas es as si uaciones son ´u iles
las ´ecnicas de egula izaci´on. Puede deci se que las ´ecnicas de egula izaci´on
se aplican pa a ob ene es imaciones de los coe icien es de eg esi´on cuando
la ma iz X0Xes singula o es ´a muy p ´oxima a se lo. En es e con ex o,
egula iza signi ica, hace el p oblema a able, imponiendo una se ie de
es icciones al conjun o de soluciones admisibles.
En las ´ecnicas de egula izaci´on se plan ea un p oblema de op imizaci´on
que conside a como unci´on obje i o una ob enida po m´ınimos cuad ados
penalizados (Penalized Leas Squa es, PLS)
P LS(β) = (y−Xβ)0(y−Xβ)+λpen(β)
59
donde λ≥0 es un pa ´ame o de penalizaci´on que con ola el e ec o de la
penalizaci´on y pen(β) es el ´e mino de penalizaci´on.
Si λ≃0 en onces ˆ
βP LS es ´a p ´oximo al MCO( ˆ
βLS). En cambio, si λes
g ande, se le da mucha impo ancia a la penalizaci´on.
Luego, se plan ea aho a el p oblema de halla ˆ
βP LS:
ˆ
βP LS = a g min
β
[(y−Xβ)0(y−Xβ)+λpen(β)].
Que es equi alen e a esol e el p oblema de op imizaci´on:
ˆ
βP LS = a g min
β
[(y−Xβ)0(y−Xβ)]
s.a. pen(β)≤
donde es una cons an e elacionada con el pa ´ame o de penalizaci´on (smoo -
hing) λen una elaci´on uno a uno.
4.1. Reg esi´on con a´ıda
La eg esi´on con a´ıda (o idge eg ession) ue in oducida en 1970 po
Hoe l y Kenna d.
Reco demos que
β= (β1, ..., βp)0.
En el caso de la eg esi´on idge se conside a la siguien e penalizaci´on:
pen(β) = kβk2=
k
X
j=0
β2
j=β0β
po an o nos queda:
PLS(β) = (y−Xβ)0(y−Xβ)+λβ0β.
De donde puede comp oba se que:
ˆ
βP LS = (X0X+λIp)−1X0y.
Obse aci´on:
Reco demos que ˆ
βLS = (X0X)−1X0y.
60
Pa a alo es de λce canos a ce o, el impac o de pen(β) es p ´ac icamen e nu-
lo, y ˆ
βP LS ≃ˆ
βLS. Sin emba go, si λes g ande, es a ´ecnica pe mi e esol e el
p oblema de la mul icolinealidad, po que hace que la ma iz (X0X+λIp)−1
sea in e ible en el caso de que X0Xno lo ue a.
Adem´as, ˆ
βP LS es una con acci´on de ˆ
βLS hacia ce o. Es o puede e se ob-
se ando la unci´on obje i o a minimiza , y el papel que en ella desempe˜na
λβ0β. Si λes g ande, el min
β{PLS(β)}, es a ´a de e minado po el ´e mino
que minimice λpen(β) = λβ0β, que cla amen e se minimiza cuando β= 0.
En la p ´ac ica no in e esa penaliza la o denada en el o igen (in e cep ) del
modelo de eg esi´on, β0. Pa a ello exis en dos al e na i as:
Cen a odas las co a iables y la a iable espues a, Y, pa a que los
nue os alo es de ´es as engan media ce o, y= 0, x= 0, lo que au-
om´a icamen e p oduce que ˆ
β0= 0. Es o implica que el in e cep (o
´e mino cons an e) se elimina del modelo, y po lo an o no se penaliza.
Modi ica la penalizaci´on a:
pen(β) =
k
X
j=1
β2
j=β0Kβ
donde K=diag(0,1, ..., 1), es deci , se in oduce una ma iz de penali-
zaci´on que excluye al coe icien e β0, y sigue siendo la iden idad pa a el
es o de los coe icien es. Es a segunda opci´on es la que adop a emos, y
nos conduce al es imado de eg esi´on con a´ıda ( idge es ima e) dado
po : ˆ
βP LS = (X0X+λK)−1X0y.
P oposici´on 4.1.1. P opiedades de ˆ
βP LS:
E(ˆ
βP LS)=(X0X+λK)−1X0Xβ. Po an o, no es insesgado sal o que
λ= 0. No malmen e ocu i ´a |ˆ
βj,P LS| ≤ |ˆ
βj,LS|,j= 1, ..., k. Aunque
no siemp e se iene.
Co (ˆ
βP LS) = σ2(X0X+λK)−1X0X(X0X+λK)−1.
P oposici´on 4.1.2. Compa aci´on ˆ
βP LS,ˆ
βLS:
E(ˆ
βLS) = E((X0X)−1X0y) = (X0X)−1X0Xβ =β, luego es inses-
gado.
Co (ˆ
βLS) = σ2(X0X)−1.
61

Luego:
ˆ
βP LS = (X0X+λK)−1X0y= (X0X+λK)−1(X0X) (X0X)−1X0y
| {z }
ˆ
βLS
= (X0X+λK)−1(X0X)ˆ
βLS.
En el caso de ma ices o ogonales se puede ob ene una elaci´on en e los
coe icien es de ambos es imado es que ilus a po qu´e se llama eg esi´on con-
a´ıda:
Co (ˆ
βP LS) = σ2(X0X+λK)−1(X0X)(X0X+λK)−1.
Puede p ob a se que la ma iz Co (ˆ
βLS)−Co (ˆ
βP LS) es de inida posi i a
pa a λ > 0, lo que implica que: V a (ˆ
βj,P LS)< V a (ˆ
βj,LS), j = 1, ..., k.
En esumen, con la eg esi´on idge el es imado que se ob iene es sesgado,
pe o iene meno ECM.
Lo ´unico que queda ´ıa es calcula el pa ´ame o λadecuado, lo que se hace
no malmen e po el m´e odo de la alidaci´on c uzada comen ado en la Sec-
ci´on 2.3.
N´o ese po ´ul imo que la escala de las co a iables es impo an e cuando
es amos egula izando. La penalizaci´on o mada po el cuad ado de los coe i-
cien es de eg esi´on asume que odos los coe icien es pueden se compa ados
en alo absolu o. Sin emba go, la escala iene un impac o di ec o en la in-
e p e acion de esos alo es absolu os. Po ejemplo, el coe icien e asociado a
una co a iable que mide la dis ancia es a ´a escalada po un ac o de 1.000
cuando la a iable se mida en me os en ez de kil´ome os. Po lo an o, es
impo an e hace que odas las a iables sean compa ables en su escala an es
de aplica la ap oximaci´on po m´ınimos cuad ados penalizados. La soluci´on
m´as com´un es la de no maliza odas las a iables.
4.1.1. Aplicaci´on
Pa a ilus a la eg esi´on idge usa emos los paque es de R:ca yMASS.
Y un iche o de da os u ilizado en Tibshi ani, R. e al. [12]. El obje i o de es e
es udio es de e mina qu´e a iables in luyen en la p esencia de un an ´ıgeno
p os ´a ico espec´ı ico, el cual se u iliza pa a de ec a el c´ance de p ´os a a.
> u l <- "h p://www-s a .s an o d.edu/~ ibs/ElemS a Lea n
+ /da ase s/p os a e.da a"
> cance <- ead. able(u l, heade =TRUE)
> lib a y(ca )
> lib a y(MASS)
62
Nues o iche o de da os cuen a con 97 obse aciones y 10 a iables, las cuales
son:
lca ol: log- ol´umen del c´ance .
lweigh : log- ama˜no de la p ´os a a.
age: edad del pacien e.
lbhp: log-can idad de hipe plasia benigna.
s i: oma el alo 1 si es ´a in adida la es´ıcula seminal y 0 si no.
lcp: log-pene aci´on capsula .
gleason: pun uaci´on Gleason.
pgg45: po cen aje de la pun uaci´on Gleason 4 ´o 5.
lpsa: log-an´alisis del an ´ıgeno p os ´a ico espec´ı ico.
ain: a iable pa a dis ingui el conjun o de en enamien o y el de es .
Seleccionemos aho a el conjun o es y el conjun o ain ali´endonos de la
a iable ” ain” an es mencionada. Tal como es ´a con o mado el iche o de
da os, el 70 % del conjun o es ´a des inado al en enamien o del modelo.
> ain = subse (cance , ain=="TRUE")
> es = subse (cance , ain=="FALSE")
Calculemos aho a el modelo de eg esi´on idge con la unci´on lm. idge la
cual iene implemen ada una b´usqueda del λ´op imo a a ´es de la alidaci´on
c uzada gene alizada, es impo an e ema ca que es e ´e mino puede induci
a e o , pues no es una gene alizaci´on de la alidaci´on c uzada mencionada
en la secci´on 2.3, aunque se u iliza po con enio dicho nomb e, se pod ´ıa
habla de “ap oximaci´on”.
> modelo_ idge <- lm. idge(lpsa ~ ., da a= ain[,-10],
> lambda = seq(0,10,0.1))
> plo (seq(0,10,0.1), modelo_con aida$GCV,
> main="B´usqueda lambda po GCV",
+ ype="l", xlab=exp ession(lambda), ylab="GCV")
63
0246810
0.00832 0.00834 0.00836 0.00838 0.00840 0.00842 0.00844
Búsqueda lambda po GCV
λ
GCV
Vemos que el λdebe es a p ´oximo a 5, pa a a e igua el alo ´op imo po-
demos emplea la unci´on selec :
> selec (lm. idge(lpsa ~ ., da a= ain[,-10], lambda = seq(0,10,0.1)))
modi ied HKB es ima o is 3.355691
modi ied L-W es ima o is 3.050708
smalles alue o GCV a 4.9
luego el alo ´op imo es λ= 4,9. Podemos e ambi´en c´omo a ´ıan los
coe icien es al modi ica el λ
> ma plo (seq(0,10,0.1), coe (modelo_ idge)[,-1], xlim=c(0,11), ype="l",
+ xlab=exp ession(lambda), ylab=exp ession(ha (be a)), l y=1, lwd=2,
+ main="Coe icien es en unci´on del lambda")
> ex ( ep(10, 9), coe (modelo_ idge)[leng h(seq(0,10,0.1)),-1],
+ colnames( ain)[-9], pos=4)
64
0246810
−0.2 0.0 0.2 0.4 0.6
Coe icien es en unción del lambda
λ
β
^
lca ol
lweigh
age
lbph
s i
lcp
gleason
pgg45
ain
Se ap ecia que al aumen a el λlos coe icien es ienden a 0, pe o debemos
ene en cuen a que a mayo λ, mayo es el sesgo de nues o modelo.
Tenemos ya de inido nues o modelo:
> modelo_ idge <- lm. idge(lpsa ~ ., da a= ain[,-10], lambda = 4.9)
> coe icien s(modelo_ idge)
lca ol lweigh age lbph
0.096814771 0.492787412 0.601103227 -0.014821787 0.138019854
s i lcp gleason pgg45
0.679632580 -0.116790333 0.017113954 0.007081258
Pa a inaliza calculemos el e o cuad ´a ico medio del modelo ob enido po
el m´e odo de m´ınimos cuad ados o dina ios y el e o del modelo penalizado.
> modelo_mco <- lm(lpsa~ . , da a= ain[,-10])
> ajus e_mco <- p edic (modelo_mco, es )
> sum(( es $lpsa-ajus e_mco)^2)
[1] 15.63822
Es e modelo iene una suma de e o es cuad ´a icos medios de 15.63822. Vea-
mos aho a el modelo ob enido po la eg esi´on idge:
> coe icien es <- as. ec o (coe (modelo_ idge))
> ma iz <- as.ma ix( es [,-9:-10])
> ma iz <- cbind( ep(1,leng h=n ow( es )),ma iz)
65
penalizados. Pa a ilus a es e hecho, amos a conside a un ec o de coe-
icien es β= (β1, β2)0; pe o odos los esul ados se gene alizan ´acilmen e.
No emos que no hemos incluido al in e cep lo que supone que conside emos
las co a iables es anda izadas y una a iable espues a cen ada.
P oposici´on 4.3.1. El c i e io de m´ınimos cuad ados, LS(β), puede ees-
c ibi se como:
LS(β)=(β−ˆ
β)0X0X(β−ˆ
β) + y0(In−X(X0X)−1X0)y
=(β−ˆ
β)0X0X(β−ˆ
β) + ˆε0ˆε.(4.1)
Demos aci´on. Pa amos del p oduc o del c i e io de m´ınimos cuad ados
(y−Xβ)0(y−Xβ) = y0y−2β0X0y+β0X0Xβ.
Veamos aho a la expansi´on de la o ma cuad ´a ica en β:
(β−ˆ
β)0X0X(β−ˆ
β) = β0X0Xβ −2β0X0Xˆ
β+ˆ
β0X0Xˆ
β.
Teniendo en cuen a que ˆ
β= (X0X)−1X0y, el segundo sumando es
2β0X0Xˆ
β= 2β0X0X(X0X)−1X0y= 2β0X0y
y el e ce sumando es
ˆ
β0X0Xˆ
β=y0X(X0X)−1X0X(X0X)−1X0y=y0X(X0X)−1X0y.
Con lo que llegamos a
(β−ˆ
β)0X0X(β−ˆ
β) = β0X0Xβ −2βX0y+y0X(X0X)−1X0y
con es o end ´ıamos el p ime sumando, el segundo la ob enemos iendo en
la Exp esi´on 4.1 que
ˆε0ˆε=(y−Xˆ
β)0(y−Xˆ
β)
=(y−X(X0X)−1X0y)0(y−X(X0X)−1X0y)
=y0(In−X(X0X)−1X0)y.

Como hemos is o que LS(β) es equi alen e a una o ma cuad ´a ica, los
alo es de βque esuel en LS(β) = c, pa a una cons an e c, es deci , sus
cu as de ni el, son elipses con una o ma de e minada po la ma iz X0X.
Po o o lado, en dos dimensiones, la es icci´on:
|β1|+|β2|=
72

de ine cu as de ni el con o ma de diamen e de lado √2 . Po lo an o,
el es imado LASSO egula izado, dada una , es el pun o de co e de las
dos egiones geom´e icas de inidas po la es icci´on y po el c i e io de los
m´ınimos cuad ados. Si el pun o de co e es ´a en uno de los ´e ices del
diaman e, algunos coe icien es se es ima ´an como ce o.
Las cu as de ni el que se de inen en la eg esi´on idge son c´ı culos de la
o ma:
β2
1+β2
2=
con lo que no se puede da el caso que el es imado co e con la egi´on en un
´e ice, pues es un c´ı culo, con lo que no consegui emos que ning´un coe icien e
se es ime como ce o.
Lo emos mejo en los g ´a icos ecogidos en la Figu a 4.3:
73
-4-2 0 2 4 6
-4
-2
0
2
4
6
be a1
be a2
(a)
-4-2 0 2 4 6
-4
-2
0
2
4
6
be a1
be a2
(b)
-4-2 0 2 4 6 8
-4
-2
0
2
4
6
8
be a1
be a2
(c)
-4-202468
-4
-2
0
2
4
6
8
be a1
be a2
(d)
Figu a 4.3: In e p e aci´on geom´e ica del c i e io de m´ınimos cuad ados pe-
nalizados pa a la eg esi´on idge ( igu as (a) y (c)) y pa a la eg esi´on LASSO
( igu as (b) y (d)). En las igu as supe io es, se conside a una ma iz X0X
no diagonal, mien as que las igu as in e io es co esponden a una ma iz de
dise˜no X0X=I2.
Resumen
M´ınimos cuad ados penalizados
La es imaci´on egula izada en el modelo lineal pe mi e penaliza el c i e io
de los m´ınimos cuad ados:
PLS(β) = (y−Xβ)0(y−Xβ)+λpen(β)
con el pa ´ame o de penalizaci´on, λ≥0.
74
Reg esi´on idge
Pa a la eg esion idge, la penalizaci´on iene dada po la suma de los
coe icien es al cuad ado:
pen(β)=
k
X
j=1
β2
j=β0Kβ
con la ma iz de penalizaci´on K=diag(0,1, ..., 1). El esul ado de la es i-
maci´on de los m´ınimos cuad ados penalizados es:
ˆ
βP LS = (X0X+λK)−1X0y.
Reg esi´on LASSO
Pa a la eg esi´on LASSO, la penalizaci´on iene dada po la suma de los
alo es absolu os de los coe icien es:
pen(β) =
k
X
j=1 |βj|.
El esul ado de la es imaci´on no iene una ´o mula anal´ı ica y debe de e -
mina se num´e icamen e, po ejemplo u ilizando ´ecnicas de p og amaci´on
cuad ´a ica.
Elecci´on del pa ´ame o de penalizaci´on
El pa ´ame o de penalizaci´on, λ, puede de e mina se po los m´e odos
- old c oss alida ion o con la gene alized c oss alida ion.
75
Ap´endice A
Anexo
A.1. Comandos en Rde las g ´a icas
A.1.1. Figu a 2.1
> pa (m ow=c(2,2), las=1)
> plo (age,p ice,ylab="sales p ice in 1000$",xlab="age in mon hs",
+ main="Sales p ice s age")
> plo (kilome e ,p ice,ylab="sales p ice in 1000$",
+ xlab="kilome e eading in 1000 km", main="Sales p ice s kilome e ")
> plo (TIA,p ice,ylab="sales p ice in 1000$",
+ xlab="mon hs un il nex TIA appoin men ", main="Sales p ice s TIA")
A.1.2. Figu a 2.2
> pa (m ow=c(1,2), las=2)
> boxplo (p ice ~ ex as1, main="Sales p ice s no ABS/ABS",
+ ylab="sales in 1000$", col="gold", names=c("no ABS", "ABS"))
> boxplo (p ice ~ ex as2, main="Sales p ice s no sun oo /sun oo ",
+ ylab="sales in 1000$", col="gold", names=c("no sun oo ", "sun oo "))
A.1.3. Figu a 4.1
> lib a y(gplo s)
> cu e(x^2, om=-2, o=2, xlab=exp ession(be a),
+ ylab=exp ession(pen(be a)), col=" ed", ylim=c(0, 4))
> cu e(abs(x), om=-2, o=2, col="blue", add=T)
> legend(" op igh ", c("Ridge", "Lasso"),
+ lwd=2, col=c(" ed", "blue"))
76
A.2. Comandos en Ma hema ica de las g ´a i-
cas
A.2.1. Figu a 4.3
Penalizaci´on Ridge y ma iz no -diagonal
ci c1 := Pa ame icPlo [{ *Cos[ ], *Sin[ ]}, { , 0, 2*Pi}, { , 0,
2.16}, Plo S yle -> {G ayLe el[0.25]},
Plo Range -> {{-5, 7}, {-5, 7}}, AxesLabel -> {"be a1", "be a2"}]
ci c2 := Pa ame icPlo [{ *Cos[ ], *Sin[ ]}, { , 0, 2*Pi}, { , 2.16,
3.32}, Plo S yle -> {G ayLe el[0.55]},
Plo Range -> {{-5, 7}, {-5, 7}}, AxesLabel -> {"be a1", "be a2"}]
ci c3 := Pa ame icPlo [{ *Cos[ ], *Sin[ ]}, { , 0, 2*Pi}, { , 3.32,
4.84}, Plo S yle -> {G ayLe el[0.8]},
Plo Range -> {{-5, 7}, {-5, 7}}, AxesLabel -> {"be a1", "be a2"}]
X = {{0.5, -1}, {0.45, 0.5}};
be a = {{be a1}, {be a2}};
LS = (be a - {{8}, {3}}) [T anspose].X [T anspose].X.(be a - {{8},
{3}});
elipse :=
Con ou Plo [(be a - {{8}, {3}}) [T anspose].X [T anspose].X.(be a -
{{8}, {3}}), {be a1, 0, 7}, {be a2, -2, 5}, Con ou Shading -> False,
Plo Range -> {{-5, 7}, {-5, 7}}, AxesLabel -> {"be a1", "be a2"}]
con 1 := Show[elipse, ci c1, ci c2, ci c3, Axes -> T ue]
con 1
Penalizaci´on LASSO y ma iz no - diagonal
ombo1 :=
Con ou Plo [{Abs[be a1] + Abs[be a2] == 1.4}, {be a1, -4,
4}, {be a2, -4, 4}, Plo Range -> {{-5, 7}, {-5, 7}},
AxesLabel -> {"be a1", "be a2"}]
ombo2 :=
Con ou Plo [{Abs[be a1] + Abs[be a2] == 2.6}, {be a1, -4,
4}, {be a2, -4, 4}, Plo Range -> {{-5, 7}, {-5, 7}},
AxesLabel -> {"be a1", "be a2"}]
ombo3 :=
Con ou Plo [{Abs[be a1] + Abs[be a2] == 4.2}, {be a1, -4.5,
77

4.5}, {be a2, -5, 5}, Plo Range -> {{-5, 7}, {-5, 7}},
AxesLabel -> {"be a1", "be a2"}]
con 2 := Show[elipse, ombo1, ombo2, ombo3, Axes -> T ue]
con 2
Penalizaci´on Ridge y ma iz o ono mal
X = {{1, 0}, {0, 1}};
ci culos :=
Con ou Plo [(be a - {{6}, {3}}) [T anspose].X [T anspose].X.(be a -
{{6}, {3}}), {be a1, 0, 8}, {be a2, -5, 10}, Con ou Shading -> False,
Plo Range -> {{-5, 9}, {-5, 9}}, AxesLabel -> {"be a1", "be a2"}]
con 3 := Show[ci culos, ci c1, ci c2, ci c3, Axes -> T ue]
con 3
Penalizaci´on LASSO y ma iz o ono mal
con 4 := Show[ci culos, ombo1, ombo2, ombo3, Axes -> T ue]
con 4
A.3. Paque es de R
C. Agos inelli and U. Lund (2013). R package ’ci cula ’: Ci cula S a is-
ics ( e sion 0.4-7). URL h ps:// - o ge. -p ojec .o g/p ojec s/
ci cula /.
Claudio Agos inelli and SLATEC Common Ma hema ical Lib a y (2015).
wle: Weigh ed Likelihood Es ima ion. R package e sion 0.9-91. h ps:
//CRAN.R-p ojec .o g/package=wle.
John H. Maindonald and W. John B aun (2015). DAAG: Da a Analysis
and G aphics Da a and Func ions. R package e sion 1.22. h ps:
//CRAN.R-p ojec .o g/package=DAAG.
Sa ka , Deepayan (2008) La ice: Mul i a ia e Da a Visualiza ion wi h
R. Sp inge , New Yo k. ISBN 978-0-387-75968-5.
Venables, W. N. & Ripley, B. D. (2002) Mode n Applied S a is ics wi h
S. Fou h Edi ion. Sp inge , New Yo k. ISBN 0-387-95457-0.
78
John Fox and San o d Weisbe g (2011). An R Companion o Applied
Reg ession, Second Edi ion. Thousand Oaks CA: Sage. URL: h p:
//socse .socsci.mcmas e .ca/j ox/Books/Companion.
Jelle Goeman, Rosa Meije and Nimisha Cha u edi (2014). penali-
zed: L1 (lasso and used lasso) and L2 ( idge) penalized es ima ion
in GLMs and in he Cox model. R package e sion 0.9-45. h ps:
//CRAN.R-p ojec .o g/package=penalized.
79
80
Bibliog a ´ıa
[1] Fah mei , L.; Kneib, Th.; Lang, S.; Ma x, B. Reg ession: Models, Me -
hods and Applica ions. New Yo k: Sp inge . 2013.
[2] Pe˜na, D. Reg esi´on y dise˜no de expe imen os. Mad id: Alianza Edi o ial,
S.A. 2002.
[3] Ha ell, F. E. J . Reg ession Modeling S a egies. New Yo k: Sp inge .
2001.
[4] Apun es de Modelos lineales y dise˜no de expe imen os. Te ce cu so de
G ado en Ma em´a icas, 2013-14. Uni e sidad de Se illa. (P o eso es D.
Juan M. Mu˜noz Picha do y D. Joaqu´ın An onio Ga c´ıa de las He as).
[5] Apun es de In e encia es ad´ıs ica. Te ce cu so de G ado en Ma em´a i-
cas, 2014-15. Uni e sidad de Se illa. (P o eso es D. Emilio Ca izosa
P iego y D. Joaqu´ın An onio Ga c´ıa de las He as).
[6] Ca men Ga c´ıa Ola e i. (1996). Es abilidad de algunos c i e ios de se-
lecci´on de modelos. Q¨ues ii´o, Vol 20, 2 pp. 147-166.
[7] And ew W. Moo e. C oss- alida ion o de ec ing and p e en ing o e -
i ing. Apun es. Ca negie Mellon Uni e si y.
[8] Pila Cachei o Ma ´ınez. (2011). M´e odos de selecci´on de a iables en es-
udios de asociaci´on gen´e ica. Aplicaci´on a un es udio de genes candida-
os en En e medad de Pa kinson. Fin de m´as e . A Co u˜na: Uni e sidad
de San iago de Compos ela.
[9] D˜na. Ma ´ıa Jes´us B´a cena Ru´ız. Uni e sidad del Pa´ıs Vasco. Econom´ıa
Aplicada III (Es ad´ıs ica y Econome ´ıa). h p://campus i ual.
ehu.es/open_cou se_wa e/cas ellano/expe imen ales/
es adis ica/ma e iales-de-es udio/index.h ml.
[10] D. Juan M. Vila Fe n´andez. Uni e sidad de San iago de Compos ela.
h p://dm.udc.es/asigna u as/es adis ica2/indice_ es.h ml.
81