Técnicas de clasificación no contexto de Big Data

T aballo Fin de G ao
Técnicas de clasicación no con ex o
de Big Da a
Jose a A án Pa edes
2018/2019
UNIVERSIDADE DE SANTIAGO DE COMPOSTELA
GRAO DE MATEMÁTICAS
T aballo Fin de G ao
Técnicas de clasicación no con ex o
de Big Da a
Jose a A án Pa edes
Xullo, 2019
UNIVERSIDADE DE SANTIAGO DE COMPOSTELA
T aballo p opos o
Á ea de Coñecemen o: Es a ís ica
Tí ulo: Técnicas de clasicación no con ex o de Big Da a
B e e desc ición do con ido
T á ase de es uda as écnicas de clasicación ou análise disc iminan e
máis impo an es e de e e encia, e o papel que xogan di as écnicas
no mode no con ex o do Big Da a.
Recomendacións
Guión ap oximado:
1) Técnicas de clasicación lineal ou cuad á ica.
2) Técnicas de clasicación non pa amé ica.
3) Algunhas écnicas de clasicación adap adas ao con ex o de al a
dimensión en Big Da a.
4) Ilus ación en bases de da os eais.
Ou as obse acións
P e éndese que o alumno dedique ap oximadamen e es meses ao
es udo me odolóxico das écnicas co esponden es aos pun os 1), 2) e
3) do guión. Un mes pa a a a aliación do so wa e dispoñible en R e
ou o pa a o desen ol emen o da aplicación con da os simulados ou
eais.
iii

Índice xe al
Resumo
iii
In odución
xi
1. In odución á análise disc iminan e 1
1.1. Clases, e ique as, eg as e uncións de decisión. . . . . . . . . . . . . . . . . 1
1.1.1. F on ei as e exións disc iminan es . . . . . . . . . . . . . . . . . . . 3
1.2. A aliación das eg as e p obabilidade de clasicación e ónea . . . . . . . . . 4
1.2.1. O p oblema de Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.2. A eg adeBayes............................. 7
1.2.3. Pé dida e isco de Bayes . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3. Análise disc iminan e no caso mos al . . . . . . . . . . . . . . . . . . . . . 12
2. Técnicas de clasicación 15
2.1. Reg as disc iminan es lineais . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.1.1. A eg a disc iminan e de Fishe . . . . . . . . . . . . . . . . . . . . . 15
2.2. Clasicación baixo hipó ese de no malidade . . . . . . . . . . . . . . . . . . 21
2.2.1. Dúas clases no mais uni a ian es coa mesma a ianza . . . . . . . . 21
2.2.2. Dúas ou máis clases no mais mul i a ian es coa mesma ma iz de
co a ianzas ................................ 22
2.2.3. Reg as disc iminan es cuad á icas . . . . . . . . . . . . . . . . . . . . 25
2.3. Técnicas de clasicación non pa amé ica . . . . . . . . . . . . . . . . . . . 29
2.3.1. Reg a dos
k
eciños máis ce canos . . . . . . . . . . . . . . . . . . . 30
2.3.2. Reg as ipo ke nel . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3. Es imación do e o e a aliación de eg as disc iminan es 37
4. Conside acións sob e a al a dimensión e Big Da a 45
4.1. Reducción da dimensión e egula ización . . . . . . . . . . . . . . . . . . . . 48
i
ÍNDICE XERAL
4.1.1. Análise disc iminan e de Fishe . . . . . . . . . . . . . . . . . . . . . 48
4.1.2. Análise disc iminan e egula izado . . . . . . . . . . . . . . . . . . . 49
4.2. Análise dic iminan e linea egula izado dispe so: spa se LDA . . . . . . . 50
4.3. Análise disc iminan e en al a dimensión: HDDA . . . . . . . . . . . . . . . . 50
4.3.1. Es imación dos pa áme os . . . . . . . . . . . . . . . . . . . . . . . 53
5. Ilus ación sob e da os simulados e eais 55
5.1. Da ossimulados ................................. 55
5.2. Da os de medidas de exp esión xénica . . . . . . . . . . . . . . . . . . . . . 58
A. Sc ip s u ilizados pa a os exemplos e implemen ación do HDDA 61
A.1.Exemplos ..................................... 61
A.2. Implemen ación do HDDA e aplicación a da os simulados e eais . . . . . . 68
Bibliog a ía 73
2
CAPÍTULO 1. INTRODUCIÓN Á ANÁLISE DISCRIMINANTE
Denición 1.1.
Conside amos as clases
C1, ..., Cκ
, de e minadas polas uncións de desidade
1, ... , κ
. Dicimos que un ec o alea o io
d
-dimensional
X pe ence á clase
Cν
pa a algún
ν≤κ
, se
X
en como densidade de p obabilidade
ν
, é dici , sa is ai as p opiedades que
ca ac e izan
Cν
. Es a pe enza deno ámola como
X
∈ Cν
ou
X
[ν].
Pa a ec o es alea o ios
X
pe encen es a unha das
κ
clases, a
e ique a
Y
de
X
é unha
a iable alea o ia que oma alo es disc e os 1,...,
κ
, al que
Y=ν
se
X
∈ Cν.
Conside amos
"
X
Y#
como un ec o alea o io
(d+ 1)
-dimensional e chamámolo ec o
alea o io e ique ado.
Ás clases ás eces chámaselles
poboacións
, e usa emos ambos e mos indis in amen e.
Se as
κ
clases es án ca ac e izadas polas súas medias
µν
e as súas ma ices de co a ianzas
Σν
de xei o que
Cν≡(µν,Σν)
, esc ibi emos
X
∼(µν,Σν)
ou
X
∈ Cν.
De non dici o con a io, os ec o es alea o ios
X
pe encen es ás clases
C1, ..., Cκ
eñen
a mesma dimensión
d
. Pos o que se os ec o es de dis in as clases i esen dimensións di e-
en es ou medisen dis in as a iables, es a in o mación pode ía emp ega se pa a clasicalos
e non p ecisa íamos as écnicas máis sos icadas da análise disc iminan e.
Unha eg a é o mecanismo que nos pe mi e asigna un ec o alea o io a unha clase,
ma emá icamen e denímola da seguin e manei a:
Denición 1.2.
Sexan
κ
clases
C1, ..., Cκ
e
X
un ec o alea o io que pe ence a unha
delas. Unha
eg a disc iminan e
ou
clasicado
pa a
X
é unha aplicación
que asigna
a
X
un núme o
l∈ {1, ... , κ}
. Esc ibimos
(
X
) = l
con
1≤l≤κ.
A eg a
asigna X á clase co ec a
ou
clasica X co ecamen e
se
(
X
) = ν
cando
X
∈ Cν
e
clasica X inco ec amen e
nou o caso.

1.1. CLASES, ETIQUETAS, REGRAS E FUNCIÓNS DE DECISIÓN.
3
Son de especial in e ese as si uacións nas que hai dúas clases, nas cales unha unción
de decisión dá unha exp esión al e na i a á da eg a en cues ión.
Denición 1.3.
Sexan
X
un ec o alea o io que pe ence a unha das dúas clases
C1
ou
C2
e
unha eg a de disc iminan e pa a
X
. Unha
unción de decisión
pa a
X
, asociada
a
, é unha unción eal
h
denida do seguin e xei o
h(
X
)>0
se
(
X
) = 1
h(
X
)<0
se
(
X
) = 2.
Obse ación
1.4
.
Unha unción de decisión co esponden e a unha eg a non é única. Po
exemplo, calque a múl iplo dunha unción de decisión po un escala posi i o amén é unha
unción de decisión pa a a mesma eg a disc iminan e.
1.1.1. F on ei as e exións disc iminan es
Pos o que unha obse ación non é máis que un ec o alea o io
d
-dimensional, cons ui
unha eg a pódese e como deni unha pa ición en exións
G1, ... , Gκ
disxun as de
Rd
,
in en ando que os ec o es que caian na exión
Gν
sexan da clase
Cν
.
Pa a un p oblema de dúas clases, a decisión da pe enza a unha clase pódese basa
nunha unción de decisión que sepa a en exións. As on ei as en e as exións son in e e-
san es como axuda isual cando emos dúas clases e dimensión
d
pequena.
Denición 1.5.
Sexa
X
un ec o alea o io pe encen e a
C1
ou
C2
. Se
é unha eg a
disc iminan e pa a
X
e
h
é unha unción de decisión asociada, denimos a
on ei a de
decisión
B
da eg a
como o conxun o o mado po ódolos ec o es alea o ios
X
ales
que
h(
X
) = 0
.
Cando a eg a é linea e emos que a on ei a de decisión é un hipe plano, pos o que
h
é unha unción linea . Pa a eg as non lineais, éñense on ei as máis complexas. Pódese
amén es ende a denición de on ei a de decisión pa a máis de dúas clases, pe o es as
complícanse ao med a o núme o de clases e deixan de se an ú iles.
Tamén podemos deni unha eg a de decisión a pa i da on ei a, di e enciando os
ec o es alea o ios que quedan a un e ou o lado de
B
.
Denición 1.6.
Se emos
κ
clases e
X
un ec o ale o io, pa a
ν≤κ
, a
exión disc i-
minan e
Gν
da eg a
de ínese como
Gν={
X
: (
X
) = ν}.
4
CAPÍTULO 1. INTRODUCIÓN Á ANÁLISE DISCRIMINANTE
As exións disc iminan es
Gν
son disxun as, xa que cada
X
se asigna a unha única
clase. Podemos in e p e alas como as clases denidas pola eg a, is o é, as de e minadas
po
. Recíp ocamen e, dadas as exións disxun as, podemos deni unha eg a de xei o
que
(
X
) = ν
se
X
∈Gν
.
Polo an o os concep os de eg a e de exións disc iminan es de ínense un ao ou o, e
a on ei a sepa a as exións
Gν
. Se a eg a ose pe ec a, en ón ódolos pun os na exión
Gν
se ían obse acións da clase
Cν
e ice e sa.
1.2. A aliación das eg as e p obabilidade de clasicación
e ónea
Nun caso ideal, a nosa eg a asigna ía a
X
a súa e ique a
Y
. Pe o is o non semp e
oco e, polo que p ecisamos c i e ios que axuden a medi a calidade das nosas eg as. Pa a
iso, é necesa io desen ol e un ma co eó ico con a o cal con as a as eg as, xa que se só
nos xásemos nos da os dos que dispoñemos pode iamos a opa unha eg a que clasicase á
pe ección as obse acións dispoñibles pe o allase ao emp egala sob e no os da os. Cando
dispoñemos de máis dunha eg a, é impo an e en ende cal delas se compo a mello , e
baixo que condicións. Non hai unha única medida do compo amen o dunha eg a nin unha
eg a uni e sal que uncione mello en ódalas si uacións.
Can as máis clases emos, máis e os pode come e unha eg a á ho a de clasica ,
como se pode e na seguin e áboa. Nela indícase o que pode oco e ao clasica unha
obse ación en
κ
clases.
Cad o 1.1: E ique as, eg as e e os de clasicación
Asignación da eg a
1 2
··· κ
1 (1,1) (1,2)
···
(1,
κ
)
Valo da 2 (2,1) (2,2)
···
(2,
κ
e ique a .
.
..
.
..
.
.....
.
.
κ
(
κ
,1) (
κ
,2)
···
(
κ
,
κ
)
Un da o só es a ía ben clasicado cando a asignación pola eg a coincide coa súa e i-
que a, que se ían os casos da diagonal. Así, a p obabilidade de ace a de manei a aza osa
1.2. AVALIACIÓN DAS REGRAS E PROBABILIDADE DE CLASIFICACIÓN ERRÓNEA
5
se ía
1
κ
. No caso de e dúas clases, asigna ao aza en un 50% de p obabilidades de ace o,
pe o clasica co ec amen e des e xei o ól ese máis di ícil can as máis clases hai, pois a
p obabilidade de ace o diminúe ao med a
κ
. A p obabilidade de come e un e o se ía
en ón
κ−1
κ
, que ende ao 100% a medida que aumen a o núme o de clases
κ
.
Cando cons uamos unha eg a, semp e que e emos que a p opo ción de obse acións
mal clasicadas on e ao o al sexa meno que
κ−1
κ
, pois de non se así, da íanos peo es
esul ados que asignando cada obse ación a unha clase ao aza .
Non só iso, debemos a e igua como de boa pode chega a se a nosa eg a, ou cal
se á a mello eg a en e unha clase de eg as especíca como poden se as lineais. Habe á
p oblemas pa a os que esa eg a óp ima nunca sexa mello que decidi ao aza , é dici ,
cuxo e o mínimo sexa maio que
κ−1
κ
pa a
κ
clases. Os c i e ios que pe mi en de e mina
cal é a eg a óp ima deben medi se an o en e mos da dis ibución das a iables alea o ias
como da mos a, co cal é p eciso acha manei as de es ima o e o come ido.
Unha manei a na u al de cuan ica o bo compo amen o dunha eg a se ía con a o
núme o de clasicacións e óneas on e ao o al de obse acións que in en amos clasica ,
pe o se án necesa ias medidas máis complexas pa a medi se unha eg a se compo a como
é desexable, que in oduci emos ao longo des a sección.
1.2.1. O p oblema de Bayes
Comezamos in oducindo os concep os pa a o caso de dúas clases, aínda que se poden
es ende acilmen e a p oblemas con máis clases.
Denición 1.7.
Sexa
X
un ec o alea o io que pe ence a unha das clases
C1
ou
C2
e
sexa
Y
a e ique a de
X
. Conside amos
unha eg a pa a
X
, e denimos a
p obabilidade
de clasicación e ónea
ou
p obabildade de e o
de
como
L( ) = P{ (
X
)6=Y}.
Que e emos en ón a opa eg as pa a as que a p obabilidade de e o sexa o máis peque-
na posible. Denimos a eg a que minimiza a p obabilidade de e o de clasicación en e
ódalas posibles eg as como segue:
∗(
X
) = a g min
:Rd→{1,...,κ}
P( (
X
)6=Y).
Es a eg a depende da dis ibución do ec o e ique ado
"
X
Y#
, e se a coñecemos,
pode emos calcula a eg a
∗
explíci amen e. O máis habi ual é que descoñezamos a súa
dis ibución, e con ela amén a eg a
∗
. Ao p oblema de acha es a eg a chama émoslle
6
CAPÍTULO 1. INTRODUCIÓN Á ANÁLISE DISCRIMINANTE
p oblema de Bayes
. No seguin e esul ado e emos unha exp esión al e na i a pa a
∗
,
denominada
eg a de Bayes
.
P oposición 1.8.
Sexa
X
un ec o alea o io pe encen e a unha das clases
C1
ou
C2
coa
súa e ique a
Y
. Se
p(
X
) = P{Y= 1|
X
}
é a p obabilidade condicional de
Y= 1
dado
X
e denimos a eg a disc iminan e
∗
como
∗(
X
) = (1
se
p(
X
)>1/2
2
nou o caso
.
Dada
ou a eg a disc iminan e pa a
X
, en ón
P{ ∗(
X
)6=Y} ≤ P{ (
X
)6=Y}
Demos ación.
Conside ada a eg a
pa a
X
, ense
P{ (
X
)6=Y|
X
}= 1 −P{ (
X
) = Y|
X
}
= 1 −(P{Y= 1, (
X
)=1|
X
}+P{Y= 2, (
X
)=2|
X
})
= 1 −I{ (
X
)=1}P{Y= 1|
X
}+I{ (
X
)=2}P{Y= 2|
X
}
= 1 −(I{ (
X
)=1}p(
X
) + I{ (
X
)=2}(1 −p(
X
))
onde
IG
é a unción indicado do conxun o G. Emp egando os cálculos an e io es, ob emos
δ∗:= P{ ∗(
X
)6=Y}−P{ (
X
)6=Y}
=p(
X
)(I{ ∗(
X
)=1}−I{ (
X
)=1}) + (1 −p(
X
))(I{ ∗(
X
)=2}−I{ (
X
)=2})
= (2p(
X
)−1)(I{ ∗(
X
)=1}−I{ (
X
)=1})
pos o que
I{ (
X
)=2}= 1 −I{ (
X
)=1}
. Finalmen e, pola denición de
∗
, chegamos a que
δ∗≥0
.
Es a p oposición p oba a op imalidade da eg a
∗
. A p obabilidade de e o des a eg a
é o que denominamos
e o de Bayes
L∗=L( ∗) = P( ∗(
X
)6=Y)
e é o mínimo e o que podemos espe a come e ao clasica . Podemos calculalo cando a
dis ibución do ec o e ique ado é coñecida.
1.2. AVALIACIÓN DAS REGRAS E PROBABILIDADE DE CLASIFICACIÓN ERRÓNEA
7
Obse ación
1.9
.
Como emos dúas clases, dada
X
,
P(Y= 2|
X
)=1−p(
X
)
, polo an o
P(Y= 1|
X
)>P(Y= 2|
X
)⇔P(Y= 1|
X
)−P(Y= 2|
X
)>0
⇔p(
X
)−(1 −p(
X
)) = 2p(
X
)−1>0⇔p(
X
)>1/2.
Co cal podemos eesc ibi
∗
como
∗(
X
) = (1
se
P(Y= 1|
X
)>P(Y= 2|
X
)
2
nou o caso
.
É dici , a eg a de Bayes asigna unha obse ación
X
á clase á que é máis p obable que
pe enza, como podía suxe i a nosa in uición.
1.2.2. A eg a de Bayes
In oducimos un en o no p obabilís ico de xei o que
"
X
Y#
é un ec o alea o io e i-
que ado que oma alo es en
Rd× {1, ... , κ}
, cunha ce a dis ibución e que ep esen a
a p obabilidade de a opa nos ce os pa es ec o -e ique a na p ác ica. Cando
Y=ν
, a
dis ibución de
X
i á dada po
ν
. Pa a a alia as eg as dende un pun o de is a eó ico
é impo an e deni o concep o de p obabilidade do e o, no que se ai ncapé en De oye
e al. (1996), o cal que e emos aco a co obxec i o de e un indicado da p opensión dos
nosos da os a se clasicados co ec amen e.
Nun con ex o bayesiano con clases
C1, ..., Cκ
supoñemos que coñecemos a p obabilidade
de que unha obse ación pe enza á clase
Cl
e deno ámola
πl
, é dici ,
πl=P(
X
∈ Cl)
.
As p obabilidades
π1, ... , πκ
chámanse
p obabilidades a p io i
. Se dispoñemos dunha
mos a, omamos como p obabilidades a p io i a p opo ción de obse acións que pe encen
a cada clase.
Inclui as p obabilidades a p io i pode en iquece a clasicación cando son subs an-
cialmen e dis in as en e as clases. Po exemplo, se emos dúas clases e sabemos que dous
e cios dos da os p o eñen da p imei a clase e o e cio es an e da segunda, unha egla
debe ía asigna máis p obablemen e unha obse ación á clase 1. Se dispoñemos des a in-
o mación, inco po ada de xei o coidadoso no p oblema de decisión pode mello a as nosas
eg as.
Denición 1.10.
Sexan
C1, ..., Cκ
clases que se di e encian nas súas medias e ma ices
de co a ianzas. Sexa
X
un ec o alea o io pe encen e a unha das clases. Conside amos
as p obabilidades a p io i
π1, ... , πκ
asociadas ás clases. Sexa
unha eg a disc iminan e
de i ada das exións
Gν
.

8
CAPÍTULO 1. INTRODUCIÓN Á ANÁLISE DISCRIMINANTE
1. A
p obabilidade condicional
de que
asigne
X
á clase
Cν
, cando
X
é da clase
Cl
é
p(ν|l) = P{ (
X
) = ν|
X
∈ Cl}.
2. A
p obabilidade a pos e io i
de que unha obse ación
X
pe enza á clase
Cl
cando
a eg a lle asigna o alo
ν
é
P{
X
∈ Cl| (
X
) = ν}=P{ (
X
) = ν|
X
∈ Cl}πl
P{ (
X
) = ν}=p(ν|l)πl
P{ (
X
) = ν}.
3. A
p obabilidade de clasicación e ónea
ou
p obabildade de e o
de
de ínese
como
L( ) = P{ (
X
)6=Y},
e usando as p obabilidades condicionais e a p io i en a o ma
L( ) = X
ν6=l
p(ν|l)πl.
Pos o que as exións disc iminan es e as eg as disc iminan es se de e minan unhas a
ou as, a p obabilidade de asigna
X
a
Gν
cando
X
∈ Cl
é
p(ν|l) = ZGν
l(
x
)d
x
=ZIGν l,
sendo
IGν
a unción ca ac e ís ica da exión
ν
-ésima e
l
a unción de densidade da clase
l
-ésima. Tense en ón que a p obabilidade de ace a ao asigna
X
á clase
Cν
é
P{
X
∈ Cν| (
X
) = ν}=p(ν|ν)πν
P{ (
X
) = ν},
men es que a p obabilidade de clasica co ec amen e unha obse ación da clase
ν
-ésima
é
p(ν|ν)
e a de come e un e o é
1−p(ν|ν)
.
O seguin e Teo ema dene a eg a de Bayes e da a súa exp esión.
Teo ema 1.11.
Sexan
C1, ..., Cκ
clases con dis in as medias e
π= [π1, ... , πκ]
as p obabi-
lidades a p io i asociadas. Sexa
X
un ec o alea o io dunha das
κ
clases e
ν
a unción
de densidade da clase
Cν
. Denimos as exións
Gν={
X
: ν(
X
)πν= m´ax
1≤l≤κ[ l(
X
)πl]},
e conside amos
Bayes
a eg a denida a pa i das
Gν
de al xei o que
Bayes(
X
) = ν
se
X
∈Gν
.
A eg a
Bayes
asigna
X
á clase
Cν
en p e e encia a
Cl
cando
ν(
X
)
l(
X
)>πl
πν
.
1.2. AVALIACIÓN DAS REGRAS E PROBABILIDADE DE CLASIFICACIÓN ERRÓNEA
9
Demos ación.
A p oba séguese di ec amen e da denición da eg a
Bayes
, xa que se en
ν(
X
)πν= m´ax
1≤l≤κ[ l(
X
)πl]⇔ ν(
X
)πν≥ l(
X
)πl∀l⇔ ν(
X
)
l(
X
)≥πl
πν∀l.
Chamamos a
Bayes
eg a (disc iminan e) de Bayes
. Emp egando es a eg a, a
p obabilidade de asigna
X
á clase co ec a é
p=
κ
X
ν=1
P{ Bayes(
X
) = ν|
X
∈ Cν}πν=
κ
X
ν=1 ZIGν νπν,
e a unción ca ac e ís ica
IGν
cump e que
IGν(
X
) = (1
se
ν(
X
)πν≥ l(
X
)πl∀l
0
nou o caso
.
Se só i e amos dúas clases, es a se ía a eg a
∗
denida na sección an e io .
1.2.3. Pé dida e isco de Bayes
Cando aballamos nun con ex o bayesiano, a pé dida e o isco adoi an usa se pa a
a alia o compo amen o dun mé odo e amén compa alo con ou os di e en es. Es as ideas
pe encen ao campo da eo ía de decisión e nos adap a émolas ás eg as disc iminan es.
Á ho a de clasica , podemos ace a , ob e un esul ado 'non o almen e co ec o'
ou chega a unha clasicación moi inco ec a. O g ao de ace o es á explicado po unha
unción de pé dida
K
que asigna un cos e ou pé dida a unha decisión inco ec a.
Denición 1.12.
Sexan
C
unha colección de clases
C1, ..., Cκ
e
X
un ec o alea o io dunha
des as clases. Sexa
unha eg a disc iminan e pa a
X
.
1. Unha
unción de pé dida
K
é unha aplicación que le a
X
e a eg a
nun núme o
non nega i o chamado
pé dida
ou
cos e
. Se
X
∈ Cl
e
(
X
) = ν
, en ón a pé dida
cl,ν
p oducida po oma a decisión
ν
cando a clase eal e a
l
é
K(
X
, ) = cl,ν
con
(cl,ν = 0
se
l=ν,
cl,ν >0
nou o caso
.
2. A
unción de isco
R
é a pé dida espe ada p oducida ao usa a eg a
. Esc ibimos
R(ν, ) = E[K(
X
, )],
onde a espe anza se oma espec o á dis ibución de
X
, dada po
ν
.
10
CAPÍTULO 1. INTRODUCIÓN Á ANÁLISE DISCRIMINANTE
3. Sexan
π= [π1, π2, ... , πκ]
as p obabilidades a p io i pa a as clases de
C
. O
isco de
Bayes
B
dunha eg a disc iminan e
espec o ás p obabilidades a p io i
π
é
B(π, ) = Eπ[R(C, )],
onde a media se oma espec o
π
.
O isco conside a a pé dida en ódalas clases pa a unha eg a especíca. Ago a emos
unha e amen a pa a escolle en e dúas eg as, eliximos a que eña o meno isco. É
di ícil a opa unha eg a que unciona ben pa a ódalas clases e a in o mación adicional
p opo cionada polas p obabilidades a p io i pode acili a a oma de decisións.
Obse ación
1.13
.
O c i e io que nós es amos omando pa a decidi cal é a mello eg a,
aquela que minimiza o isco de Bayes, é o c i e io de Bayes. Se emos dúas clases, ense
que
R(l,
X
) = E[K(
X
, )] = cl,1P( (
X
) = 1) + cl,2P( (
X
),2)
e
B(π, ) = π1R(1, ) + π2R(2, ).
Polo que o c i e io de Bayes supón minimiza
m´ın
{π1R(1, ) + π2R(2, )}.
Es e c i e io non é único, podemos e unha pos u a pesimis a e in en a minimiza
o isco máximo que poida come e se nalgunha das clases. O c i e io minimax pa a dúas
clases consis i ía en
m´ın
{m´ax{R(1, ),R(2, )}}.
O ipo máis común de pé dida é a pé dida
ce o-un
, que oma
cl,ν = 0
cando
l=ν
e
cl,ν = 1
cando non coinciden. Es os cos es din soamen e cando non asignamos o ec o á
clase á que ealmen e pe ence. En xe al, se que emos g adua como de inco ec a oi a
clasicación, os cos es
cl,ν
e
cν,l
pode ían se dis in os. Nós emp ega emos a pé dida ce o-
un, espec o á cal a eg a de Bayes en unha in e p e ación en unción das p obabilidades
a pos e io i. Se
X
é da clase
l
-ésima,
K(
X
, ) = (0
se
l(
X
)πl≥ ν(
X
)πν∀ν≤κ,
1
nou o caso
.
Co seguin e Teo ema elaciona emos o e o de Bayes e a eg a de Bayes denidas na
sección an e io coas ideas de pé dida e isco de Bayes.
1.2. AVALIACIÓN DAS REGRAS E PROBABILIDADE DE CLASIFICACIÓN ERRÓNEA
11
Teo ema 1.14.
Sexa
C
unha colección de clases
C1, ..., Cκ
e
π= [π1, π2, ... , πκ]
o ec o de
p obabilidades a p io i asociadas a
C
. Sexa
X
un ec o alea o io pe encen e a unha das
clases
Cν
,
Bayes
a eg a de Bayes e
Gν
as exións disc iminan es dadas po
Gν={
X
: ν(
X
)πν= m´ax
1≤l≤κ[ l(
X
)πl]}.
Pa a a pé dida ce o-un, a eg a de Bayes é óp ima en e odas as eg as disc iminan es
no sen ido de que en:
1. a maio p obabilidade de asigna
X
á clase co ec a, e
2. o meno isco de Bayes pa a a unción de pé dida ce o-un.
Demos ación.
Pola denición da unción ca ac e ís ica de
Gν
, ense que a unción de
pé dida ale ce o
K(
X
, )=0 ⇔
X
∈Gν⇔IGν(
X
)=1
.
Sexa
Bayes
a eg a de Bayes e supoñamos que exis e ou a eg a
0
baseada na mesma
unción de pé dida e que a súa p obabilidade de asigna
X
á clase co ec a é maio que
a de
Bayes
. Deno amos po
p0(ν|ν)
a p obabilidade de que
0
clasique co ec amen e
unha obse ación da clase
Cν
, e
G0
ν
son as exións disc iminan es asociadas a
0
. Se
p0
é a
p obabilidade de clasica co ec amen e
X
usando
0
, en ón
p0=
κ
X
ν=1
p0(ν|ν)πν=
κ
X
ν=1 ZIG0
ν νπν
≤
κ
X
ν=1 ZIG0
νm´ax
ν{ νπν}=
κ
X
ν=1 ZG0
ν
m´ax
ν{ νπν}
=Zm´ax
ν{ νπν}=
κ
X
ν=1 ZGν
m´ax
ν{ νπν}=
κ
X
ν=1 ZIGν νπν
=
κ
X
ν=1
p(ν|ν)πν=p.
Es e cálculo con adí que
0
le e a unha p obabilidade de asigna co ec amen e mello , é
dici , que
p0>p
. Polo que
Bayes
é óp ima.
Pa a a segunda pa e do Teo ema, pa imos de que,
B(π, ) =
κ
X
ν=1
πνR(ν, ) =
κ
X
ν=1
πνZK(
x
, ) ν(
x
)d
x
=
=
κ
X
ν=1
πνZRd−Gν
ν=
κ
X
ν=1
πνZRd
ν−ZGν
ν=
18
CAPÍTULO 2. TÉCNICAS DE CLASIFICACIÓN
Así, a eg a de Fishe asigna a
X
o núme o
l
se
η|µl
é a media escala máis ce cana
ao escala
η|
X
. Emp egamos as can idades escala es po simplicidade, en ez de busca
a media
µl
que se achegue máis a
X
. Ademáis, co uso de
η
des ámoslle dando máis peso
a a iables impo an es de
X
, e educimos o e ec o daquelas a iables que non con ibúen
moi o a
W−1B
.
Pa a o caso de dúas clases
C1
e
C2
, podemos deduci unha unción de decisión
h
pa a
a eg a linea de Fishe
F
.
|η|
X
−η|µ1|<|η|
X
−η|µ2|
⇐⇒ (η|
X
−η|µ1)|(η|
X
−η|µ1)<(η|
X
−η|µ2)|(η|
X
−η|µ2)
⇐⇒
X
|ηη|
X
−2
X
|ηη|µ1+µ|
1ηη|µ1<
X
|ηη|
X
−2
X
|ηη|µ2+µ|
2ηη|µ2
⇐⇒ 2
X
|ηη|(µ1−µ2)>µ|
1ηη|µ1−µ|
2ηη|µ2= (µ1+µ2)|ηη|(µ1−µ2)
⇐⇒ 
X
−1
2(µ1+µ2)|
ηη|(µ1−µ2)>0
Como supoñemos
η|(µ1−µ2)>0
e non depende de
X
, podemos deni a unción de
decisión
h
como segue:
h(
X
) = 
X
−1
2(µ1+µ2)|
η.
Ob endo así que
h(
X
)>0
se
X
∈ C1
e
h(
X
)<0
cando
X
∈ C2
.
Cando non se coñecen os pa áme os poboacionais, emp egando os da os modica emos
a eg a disc iminan e linea de Fishe p esen ada pa a a poboación cambiando o ec o
de medias
µν
e a ma iz de co a ianzas
Σν
polas súas can idades mos ais. Pa a
ν≤κ
, a
media mos al da clase
ν
-ésima
é
Xν=1
nν
nν
X
i=1
X
[ν]
i
e a media das medias mos ais das clases é
X
=1
κ
κ
X
ν=1
Xν.
Nó ese que
X
non ai unha media ponde ada das medias de cada clase dependendo
do núme o de obse acións den o delas. Cando ódalas clases eñen o mesmo núme o
de obse acións,
X
se á a media mos al habi ual, esul an e de conside a ódolos da os
xun os. Na denición da eg a, cambia emos
¯
µ
po
X
e cada
µν
po
Xν
.

2.1. REGRAS DISCRIMINANTES LINEAIS
19
A ma iz de co a ianzas mos al, emp egada en luga de
Σν
pa a cada clase én dada
po
Sν=1
nν−1
nν
X
i=1
(
X
[ν]
i−Xν)(
X
[ν]
i−Xν)|.
En xe al, as eg as de Fishe pa a a poboación e pa a a mos a non eñen po qué coin-
cidi . Mos a emos no seguin e exemplo, con da os simulados que p o eñen de dis ibucións
no mais, como es as eg as lineais poden le a nos a esul ados dis in os.
Exemplo 2.4.
Conside amos un p oblema de dúas clases cuns da os simulados bidimen-
sionais. Collemos as medias e a ma iz de co a ianzas seguin es
µ1="0
2#,µ2="1
1#
e
Σ = "0,5 0
0 0,5#.
Simula emos unha mos a de amaño
n= 50
, con 20 obse acións da p imei a clase e 30
da segunda, ambas gaussianas cos pa áme os elixidos.
Cons uimos a eg a de Fishe emp egando os pa áme os poboacionais a pa i da
unción de decisión
h(
X
) = 
X
−1
2(µ1+µ2)|η
, del al modo que
F(
X
)=1
se
h(
X
)>0
.
Ademáis, acendo is o ob e emos a on ei a de decisión dada polos
X
ales que
h(
X
)=0
.
O au o ec o que p ecisamos é
η="−√2/2
√2/2#
e como un múl iplo de
h
po un núme o
posi i o segue sendo unción de decisión pa a a mesma eg a, podemos calcula
h(
X
) = (
X
−1
2 "0
2#+"1
1#!)|"−1
1#
=(
X
−"1/2
3/2#)|"−1
1#=X1−1
2X2−3
2"−1
1#
=1
2−X1+X2−3
2=X2−X1−1
.
A on ei a i á dada en ón polos ec o es
("X1
X2#:X2−X1= 1)
.
Po ou o lado, calcula emos a eg a no caso mos al, es imando o ec o de medias
po
Xν
e a ma iz de co a ianzas po
Sν
pa a
ν= 1,2
, que nos dan
X1="0,1945
1,7168#,X2="0,8979
0,7606#, S1="0,2382 0,0928
0,0928 0,6109#
e
S2="0,4808 −0,0263
−0,0263 0,5579 #.
20
CAPÍTULO 2. TÉCNICAS DE CLASIFICACIÓN
Figu a 2.1: Da os simulados de dúas clases no mais e as on ei as de decisión pa a a eg a
de Fishe poblacional e mos al
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
−1.0 0.0 0.5 1.0 1.5 2.0
−1 0 1 2 3
−1.0 0.0 0.5 1.0 1.5 2.0
−1 0 1 2 3
−1.0 0.0 0.5 1.0 1.5 2.0
−1 0 1 2 3
Obse emos a Figu a 2.1. Na g áca da esque da mós anse os da os da p ime a clase
en neg o e os da segunda en e mello. A liña azul que c uza o g áco é a on ei a en e as
exións disc iminan es, pa a a eg a de Fishe emp egando os da os poboacionais, men es
que a e de é a on ei a asociada á eg a con da os calculados a pa i da mos a simulada.
Es as dúas on ei as non coinciden, co cal ampouco han coincidi as eg as que denen.
Nas g ácas do cen o e da de ei a mós anse con c uces os da os colo eados segundo
a clase á que o on asignados, pola eg a de Fishe pa a a poboación e pa a a mos a
espec i amen e, e aqueles que o on clasicados e óneamen e es án odeados na co da
clase á que ealmen e pe encen. Vemos en ón que ademáis de que as uncións de decisión
pa a es as dúas eg as non coinciden, ampouco clasican os da os do mesmo xei o.
Podemos ademáis con abiliza os e os come idos cunha das medidas in oducidas pa a
a a aliación das eg as. O e o de clasicación é dun 20% pa a as dúas eg as xa que se
clasica on mal 10 obse acións, ainda que as imaxes mos an como a clasicación que
e ec úan é dis in a. A p imei a eg a clasica e óneamen e 3 obse acións da p imei a
clase e 7 da segunda, men es que a eg a mos al alla en 7 da os da clase 1 e en 3 da
clase 2. Hai 3 da os de cada clase que clasican mal ambas eg as pois es án na exión
disc iminan e con a ia, o cal se debe a que hai ce a supe posición das clases. O es o
de da os mal clasicados es án moi p e o das exións de decisión, de ei o, en e as dúas
ec as, co que cada eg a os asigna a un g upo dis in o.
2.2. CLASIFICACIÓN BAIXO HIPÓTESE DE NORMALIDADE
21
2.2. Clasicación baixo hipó ese de no malidade
Can o maio coñecemen o eñamos dos da os, mello es decisións pode emos oma . Se
sabemos que os da os pe encen a unha poboación no mal, debe íamos inco po a es e
coñecemen o no noso p oceso de decisión.
2.2.1. Dúas clases no mais uni a ian es coa mesma a ianza
Comezamos co caso máis sinxelo, cando sabemos que as nosas obse acións unidi-
mensionais p o eñen de dúas clases de dis ibucións no mais coa mesma co a ianza pe o
dis in as medias. É dici ,
C1=N(µ1, σ2)
e
C2=N(µ2, σ2)
, e supoñemos que
µ1> µ2
.
Pa a cons ui a nosa eg a, basea émonos en que se a obse ación
X
pe ence a unha
das clases, asigna émola á p imei a clase cando sexa máis e osímil que p o eña de
C1
. Des e
xei o, a eg a que denimos se á a eg a de Bayes, que minimiza a p obabilidade de e o
de clasicación. Pa a is o, emp ega emos a unción de e osimili ude dunha dis ibución
no mal
N(µ, σ2)
, que non é máis que a súa unción de densidade
, dada po
(X) = 1
√2πσ2exp −1
2
(X−µ)2
σ2,
que depende só do pa áme o
µ
, pois a a ianza non cambia en e as clases. A eg a
disc iminan e deni ase en ón como
(X)=1
se
1(X)> 2(X).
Pa a chega a unha exp esión explíci a pa a es a eg a, desen ol emos unha se ie de
desigualdades equi alen es pa indo da ó mula da e osimili ude pa a unha obse ación
X
.
1(X)> 2(X)
⇔1
√2πσ2exp −1
2
(X−µ1)2
σ2>1
√2πσ2exp −1
2
(X−µ2)2
σ2
⇔exp −1
2
(X−µ1)2
σ2>exp −1
2
(X−µ2)2
σ2
⇔ − 1
2σ2(X−µ1)2>−1
2σ2(X−µ2)2
⇔(X−µ1)2<(X−µ2)2
⇔X2−2Xµ1+µ2
1< X2−2Xµ2+µ2
2
⇔2X(µ1−µ2)> µ2
1−µ2
2= (µ1+µ2)(µ1−µ2)
⇔2X > µ1+µ2
22
CAPÍTULO 2. TÉCNICAS DE CLASIFICACIÓN
⇔X > µ1+µ2
2.
Nas úl imas liñas, usamos a hipó ese de que
µ1> µ2
. O esul ado nal en sen ido, pois
se a media da p imei a clase é maio que a da segunda, cando a nosa obse ación excede
a media de
µ1
e
µ2
se á que es á máis ce ca de
µ1
e se á máis p obable que pe enza a
C1
.
Es a eg a pode es ende se de manei a ácil e na u al ao caso
d
-dimensional, conside-
ando a unción de e osimili ude pa a unha dis ibución no mal mul i a ian e.
2.2.2. Dúas ou máis clases no mais mul i a ian es coa mesma ma iz de
co a ianzas
Se é sabido que os ec o es alea o ios nun p oblema con dúas clases eñen dunha
dis ibución no mal que compa e a ma iz de co a ianzas, podemos p esen a o seguin e
Teo ema:
Teo ema 2.5.
Sexa
X
un ec o alea o io gaussiano que pe ence a unha das clases
Cν=
N(µν,Σ)
, con
ν= 1,2
e supoñamos que
µ16=µ2
. A unción de densidade da clase
ν
-ésima
én dada po
(
X
) = (2π)−d/2de (Σ)−1/2exp −1
2(
X
−µν)|Σ−1(
X
−µν),
onde
de (Σ)
é o de e minan e da ma iz de co a ianzas común. Sexa
no m
a eg a que
asigna
X
á clase
C1
se
1(
X
)> 2(
X
)
. A unción
h
denida po
h(
X
) = 
X
−1
2(µ1+µ2)|
Σ−1(µ1−µ2)
se á en ón unha unción de decisión pa a a eg a
no m
, e
h(
X
)>0
se e só se
1(
X
)> 2(
X
)
.
Chamamos a
no m
a
eg a disc iminan e (linea ) no mal
, basada en clases no mais
coa mesma ma iz de co a ianzas. No malmen e, eg a e unción de decisión considé anse
unha mesma cousa.
Demos ación.
Cunha se ie de desigualdades equi alen es chega emos á exp esión de
h
,
pa indo de que
no m(
X
)=1
se
1(
X
)> 2(
X
)
. Emp ega emos amén que
Σ
é unha
ma iz simé ica.
1(
X
)> 2(
X
)
⇔(2π)−d/2de (Σ)−1/2exp −1
2(
X
−µ1)|Σ−1(
X
−µ1)>
>(2π)−d/2de (Σ)−1/2exp −1
2(
X
−µ2)|Σ−1(
X
−µ2)
2.2. CLASIFICACIÓN BAIXO HIPÓTESE DE NORMALIDADE
23
⇔exp −1
2(
X
−µ1)|Σ−1(
X
−µ1)>exp −1
2(
X
−µ2)|Σ−1(
X
−µ2)
⇔ −1
2(
X
−µ1)|Σ−1(
X
−µ1)>−1
2(
X
−µ2)|Σ−1(
X
−µ2)
⇔(
X
−µ1)|Σ−1(
X
−µ1)<(
X
−µ2)|Σ−1(
X
−µ2)
⇔
X
|Σ−1
X
−µ|
1Σ−1
X
−
X
|Σ−1µ1+µ|
1Σ−1µ1<
X
|Σ−1
X
−µ|
1Σ−1
X
−
X
|Σ−1µ2+µ|
2Σ−1µ2
⇔ −2
X
|Σ−1µ1+µ|
1Σ−1µ1<−2
X
|Σ−1µ2+µ|
2Σ−1µ2
⇔2
X
|Σ−1(µ1−µ2) + µ|
2Σ−1µ2−µ1Σ−1µ1>0
⇔2
X
|Σ−1(µ1−µ2)−µ|
1Σ−1(µ1−µ2)−µ|
1Σ−1µ2−µ|
2Σ−1(µ1−µ2) + µ|
2Σ−1µ1>0
⇔2
X
|Σ−1(µ1−µ2)−(µ1+µ2)Σ−1(µ1−µ2)>0
⇔
X
−1
2(µ1+µ2)|
Σ−1(µ1−µ2)>0.
Es a úl ima desigualdade coincide con
h(
X
)>0
.
Pa a deni a e sión mos al des a eg a, simplemen e emos que cambia as can idades
poboacionais polas co esponden es mos ais ob idas a pa i de
X
na ó mula dada pola
unción de decisión. Sexa
X
i
un dos da os de
X
,
no m(
X
) = (1
se

X
i−1
2(X1+X2)|S−1(X1−X2)>0
2
nou o caso
.
Men es que se emos unha no a obse ación
X
new
, oma emos
no m(
X
new)=1
se
h(
X
new) = 
X
new −1
2(X1+X2)|
S−1(X1−X2)>0,
onde
S
e
Xν
,
ν= 1,2
se calculan a pa i de
X
sen e en con a
X
new
.
Obse ación
2.6
.
Algunhas eces e í ese á eg a disc iminan e linea no mal como eg a
de Fishe , aínda que, como en Koch (2014), as denimos de manei as dis in as. A p ime a
baséase na unción de e osimili ude men es que a segunda emp ega au o ec o es dunha
ma iz. As o mas das uncións de decisión asociadas son moi pa ecidas, e es a compa ación
mo i a unha clase máis xe al de uncións de decisión lineais pa a p oblemas con dúas clases.
Conside amos
hβ(
X
) = 
X
−1
2(µ1+µ2)|
β,
onde
β
é un ec o adecuado, á nosa elección. Se ían
β=η
pa a a eg a de Fishe e
β= Σ−1(µ1−µ2)
pa a a eg a linea no mal.

24
CAPÍTULO 2. TÉCNICAS DE CLASIFICACIÓN
Denindo
W
a ma iz de a iabilidade wi hin-class e usando o Teo ema 2.2 emos que
W=
2
X
ν=1
Σν= 2Σ,
B=
2
X
ν=1
(µν−µ1+µ2
2)(µν−µ1+µ2
2)|=1
2(µ1−µ2)(µ1−µ2)|
e
η=W−1(µ1−µ2)
kW−1(µ1−µ2)k
é o au o ec o asociado ao máximo au o alo de
W−1B
.
Hai ce as si uacións nas que non se cumplen as hipó eses do Teo ema 2.5 e a eg a
linea no mal non é a adecuada. Is o oco e cando sabemos que a dis ibución dos ec o es
non é no mal, cando as ma ices de co a ianzas das clases non coinciden ou cando as
descoñecemos.
No caso de descoñece
Σν
pe o pode asegu a que son a mesma pa a ambas clases,
emos a opción de emp ega a
ma iz de co a ianzas mos al ag upada
(pooled)
Spool =
2
X
ν=1
nν−1
n−2Sν,
sendo
Sν
a ma iz de co a ianzas mos al de
Cν
e
nν
o núme o de obse acións des a clase.
An es de ace uso da ma iz ag upada, e emos que asegu a nos de que é un p ocedemen o
ap opiado.
A eg a linea no mal pode non compo a se an ben pa a ec o es alea o ios con dis-
ibucións non coñecidas ou non no mais. Aínda así, cando non se des ían demasiado da
dis ibución gaussiana, podemos ob e bos esul ados con
no m
. De e mina can o é ese
demasiado é di ícil e pa a da os de dimensión mode ada pode emos le a a cabo es s
de no malidade ou i a de axudas isuais. De odos modos, o p ocede co ec o é aplica
a ias eg as e a alia o seu compo amen o.
Todo o in oducido nes e apa ado pode es ende se a máis de dúas clases, baseándose
igualmen e na e osimili ude.
Supoñamos que un ec o alea o io
X
pe ence a unha das clases
Cν=N(µν,Σ)
, con
ν≤κ
só con medias dis in as. T a a emos de a opa o pa áme o
µk
que maximice a
e osimili ude pa a asigna
X
a
Ck
. Denimos as
uncións de decisión p e e enciais
h(l,ν)(
X
) = 
X
−µl+µν
2|
Σ−1(µl−µν)
pa a
l, ν = 1,2, ... , κ
e
l6=ν.
Nó ese ademáis que
h(l,ν)=−h(ν,l)
. Poñamos en ón
hno m(
X
) = m´ax
(l,ν)=1,2,...,κ h(l,ν)(
X
)
e
no m(
X
) = k,
2.2. CLASIFICACIÓN BAIXO HIPÓTESE DE NORMALIDADE
25
sendo
k
o p imei o índice do pa
(l, ν)
no que se alcanza o máximo
hno m(
X
)
.
Al e na i amen e, podemos conside a as densidades
ν(
X
)
pa a
ν≤κ
, e deni a
eg a
˜
no m(
X
) = k
se
k(
X
) = m´ax
1≤ν≤κ ν(
X
).
Pa a a poboación, as dúas eg as asigna án
X
á mesma clase. Ao le alas ao caso da
mos a pode que den luga a dúas eg as dis in as, dependendo da a iabilidade den o
das clases e a elección do es imado
S
pa a a ma iz de co a ianzas común
Σ
.
2.2.3. Reg as disc iminan es cuad á icas
A a ago a conside amos únicamen e eg as lineais da o ma
h(
X
) = a|
X
+c
, pa a un
ec o
a
e un escala
c
que non dependen do ec o alea o io
X
.
Na eg a linea no mal a linealidade é unha consecuencia de que a mesma ma iz de
co a ianzas se usa pa a ódalas clases. Men es que, se sabemos que di as ma ices son
di e en es ( an o que non nos se e ag upalas en
Spool
) e emos que conside a ma ices
dis in as. Is o le a anos a unha unción de decisión non linea e, consecuen emen e, a unha
eg a non linea .
Conside emos en ón un ec o alea o io
X
que pe ence a unha das clases
Cν=N(µν,Σν)
,
pa a
ν≤κ
, que se di e encian an o no ec o de medias como na ma iz de co a ianzas.
Pa imos ou a ez da eg a de Bayes e a densidade
pa a deni a eg a, pe o nes e caso
non só depende á do pa áme o
µν
, senón que nos in e esa
θν= (µν,Σν)
. Asigna emos
X
á clase
Cl
se
l(
X
)> ν(
X
)
pa a
l6=ν.
Teo ema 2.7.
Pa a
ν≤κ
e un ec o alea o io
X
pe encen e a unha das clases
Cν=
N(µν,Σν)
. A eg a disc iminan e
quad
baseada nas uncións de densidade das
κ
clases
asigna
X
a
Cl
se
k
X
Σlk2+ log[de (Σl)] = m´ın
1≤ν≤κk
X
Σνk2+ log[de (Σν)],
onde
X
Σ= Σ−1/2(
X
−µ)
é o ec o
X
es anda izado, é dici ,
X
Σ∼Nd(0, I)
.
Chama emos a
quad
eg a disc iminan e cuad á ica (no mal)
po que é cuad á ica
en
X
. Pos o que de i amos es a eg a de asumi unha dis ibución no mal, non podemos
espe a que o seu compo amen o pa a ec o es non gaussianos sexa o óp imo.
Demos ación.
Ob emos coa denición da unción de e osimili ude da no mal mul i a-
ian e que
log (
X
) = −d
2log(2π)−1
2log[de (Σ)] + (
X
−µ)|Σ−1(
X
−µ)
26
CAPÍTULO 2. TÉCNICAS DE CLASIFICACIÓN
=−1
2k
X
Σk2+ log[de (Σ)]+c,
sendo
c=−d
2log(2π)
independen e do pa áme o
θ= (µ,Σ)
. Asigna emos
X
p e e en e-
men e a
Cl
an es que a
Cν
cando
l(
X
)> ν(
X
)
⇔log l(
X
)>log ν(
X
)
⇔ −1
2k
X
Σlk2+ log[de (Σl)]+c > −1
2k
X
Σνk2+ log[de (Σν)]+c
⇔ −1
2k
X
Σlk2+ log[de (Σl)]>−1
2k
X
Σνk2+ log[de (Σν)]
⇔ k
X
Σlk2+ log[de (Σl)] <k
X
Σνk2+ log[de (Σν)]
E o esul ado séguese des a desigualdade, endo en con a ódalas clases e non só un
pa .
Pa a a si uación de dúas clases pódese ob e unha exp esión explíci a máis sinxela pa a
a eg a
quad
.
Co ola io 2.8.
Na mesma si uación que a do Teo ema 2.7 con
κ= 2
, supoñemos a maio es
que ambas ma ices de co a ianzas son de ango
. Sexa
Σν= ΓνΛνΓ|
ν
a descomposición
espec al de
Σν
, con
λν,j
o au o alo
j
-ésimo de
Λν
.
A eg a cuad á ica
quad
asigna
X
á clase
C1
cando
kΛ−1/2
1Γ|
1(
X
−µ1)k2−kΛ−1/2
2Γ|
2(
X
−µ2)k2+
X
j=1
log λ1,j
λ2,j
<0.
Nó ese que se o ango
da ma iz é es ic amen e meno que a súa dimensión
d
, en ón
Σ
en a descomposición espec al
Σ=Γ Λ Γ|
, onde
Γ
é de amaño
d×
e
Λ
unha ma iz
diagonal de amaño
×
. Ademáis,
Γ
non é o ogonal, e ense unha elación máis débil,
Γ|
Γ =I ×
, pe o
Γ Γ|
6=Id×d
. Ás ma ices que cumplen is o chámaselles
-o ogonais
.
Tense así, pa a
k, m ∈Z
Σk/m = ΓΛk/mΓ|,
e en pa icula ,
Σ−1/2= ΓΛ−1/2Γ|
.
Demos ación.
P obamos o esul ado pa a o caso en que
=d
, i.e.,
Σν
son in e ibles.
Pa imos dos cálculos ei os pa a a demos ación do Teo ema 2.7, pois
quad(
X
) = 1
se
k
X
Σ1k2+ log[de (Σ1)] <k
X
Σ2k2+ log[de (Σ2)]
Tense que
k
X
Σk2=
X
|
Σ
X
Σ= [Σ−1/2(
X
−µ)]|[Σ−1/2(
X
−µ)] =
2.2. CLASIFICACIÓN BAIXO HIPÓTESE DE NORMALIDADE
27
[ΓΛ−1/2Γ|(
X
−µ)]|ΓΛ−1/2Γ|(
X
−µ)=(
X
−µ)|ΓΛ−1/2Γ|ΓΛ−1/2Γ|(
X
−µ)
= (
X
−µ)|ΓΛ−1/2Λ−1/2Γ|(
X
−µ) = [Λ−1/2Γ|(
X
−µ)]|[Λ−1/2Γ|(
X
−µ)] = kΛ−1/2Γ|(
X
−µ)k2,
e pos o que o de e minan e dunha ma iz é o p odu o dos seus au o alo es, emos que
de Σ =
d
Y
j=1
λj.
G acias a es os dous cálculos, desen ol emos a desigualdade
k
X
Σ1k2+ log[de (Σ1)] <k
X
Σ2k2+ log[de (Σ2)]
⇔ k
X
Σ1k2−k
X
Σ2k2+ log[de (Σ1)] −log[de (Σ2)] <0
⇔ kΛ−1/2
1Γ|
1(
X
−µ1)k2−kΛ−1/2
2Γ|
2(
X
−µ2)k2+ log 

d
Y
j=1
λ1,j
−log 

d
Y
j=1
λ2,j
<0
⇔ kΛ−1/2
1Γ|
1(
X
−µ1)k2−kΛ−1/2
2Γ|
2(
X
−µ2)k2+
d
X
j=1
log λ1,j −
d
X
j=1
log λ2,j <0
⇔ kΛ−1/2
1Γ|
1(
X
−µ1)k2−kΛ−1/2
2Γ|
2(
X
−µ2)k2+
d
X
j=1
[log λ1,j −log λ2,j]<0
⇔ kΛ−1/2
1Γ|
1(
X
−µ1)k2−kΛ−1/2
2Γ|
2(
X
−µ2)k2+
X
j=1
log λ1,j
λ2,j
<0.
Exemplo 2.9.
Nes e exemplo imos conside a simulacións po pa es. En cada unha delas,
habe á dúas clases de da os idimensionais con ec o es de medias dis in os. En cada pa ,
unha simulación e á ma ices de co a ianzas iguais e na ou a se án dis in as. Des e xei o
pode emos e se supón unha mello a emp ega a eg a cuad á ica.
Conside amos os ec o es e ma ices seguin es.
µ1=



0
0
0




,µ2=



2
1
−0,5




,Σ1=



1 0 0
0 0,25 0
000,25




e
Σ2=



1 0,25 0,125
0,25 0,5 0
0,125 0 0,25




.
En p imei o luga , simulamos da os de dúas clases no mais. Na p imei a g áca da
Figu a 2.2 apa ecen 200 obse acións da clase
N(µ1,Σ1)
e 300 de
N(µ2,Σ1)
, men es que
na segunda a ma iz cambia dunha clase a ou a,
C1=N(µ1,Σ1)
e
C2=N(µ2,Σ2)
. Os
pun os da clase
C1
es án en neg o e os da clase
C2
en e mello. Vemos que na da esque da
as nubes de pun os eñen a mesma o ma, pe o cen adas en dis in as medias e na da
34
CAPÍTULO 2. TÉCNICAS DE CLASIFICACIÓN
pa ición de
Rd
se ía con
Ai=Qn
i=1[kih, (ki+ 1)h),
onde
h > 0
é o amaño dos cubos e
ki∈Z
. Podemos esc ibi a eg a de o ma ma emá ica como:
(
X
) = a g max
1≤ν≤κ
nν
X
i=1
I{Yi=ν}I{
X
i∈A(
X
)},
onde
A(
X
) = Aj
cando
X
∈Aj
.
A eg a do his og ama p esen a o p oblema de que a eg a é menos p ecisa cando
X
es á p e o do bo de das celas que cando es á no medio. Polo an o os pun os ce canos
aos bo des debe ían e menos peso na decisión da clase asignada á cela. Pa a sol en alo
podemos in oduci a
eg a da en ana móbil
, que é máis sua e que a do his og ama
po que oma os da os a ce a dis ancia do pun o que que emos clasica e asígnalle a
e ique a maio i a ia en e es os da os. Fo malmen e de ínese como:
(
X
) = a g max
1≤ν≤κ
nν
X
i=1
I{Yi=ν,
X
i∈Sx,h}
onde
h > 0
e
Sx,h
deno a a bóla pechada de cen o
X
e adio
h
. A eg a kNN é un caso
pa icula des a, na que
h
é a dis ancia ao
k
-ésimo da o máis ce cano, que cambia pa a
cada
X
que quei amos clasica e depende da mos a, co que non é unha cons an e.
Podemos ace unha eg a aínda máis sua e se damos máis peso a aqueles pun os
máis ce canos a
X
que aos máis dis an es. Sexa
K:Rd→R
unha
unción ke nel
,
no malmen e non nega i a e monó onamen e dec ecen e sob e os adios pa indo da o ixe.
A
eg a disc iminan e ke nel
én dada po
(
X
) = a g max
1≤ν≤κ
nν
X
i=1
I{Yi=ν}K
X
−
X
i
h.
Ao pa áme o
h
chámaselle
ancho de banda
, e p opo ciona unha especie de ponde-
ación da dis ancia. Can o maio é
h
, máis con an as obse acións que non es án an ce ca
de
X
. Cla amen e, a eg a ke nel é unha xene alización da da en ana móbil, co ke nel
nai e
K(x) = I{x∈S0,1}
. Algunhas das uncións ke nel máis emp egadas son:
Ke nel gaussiano
K(x) = e−kxk2
,
Ke nel de Cauchy
K(x) = 1
1+kxkd+1
,
Ke nel de Epanechniko
K(x) = (1 −kxk2)I{kxk≤1}
,
sendo
k·k
a dis ancia euclídea. Na Figu a 2.4 ese a o ma des as uncións pa a unha
dimensión. Os dous p imei os eñen como sopo e odo
R
, men es que o de Epanechniko
soamen e é non nulo no in e alo
[−1,1]
.

2.3. TÉCNICAS DE CLASIFICACIÓN NON PARAMÉTRICA
35
Figu a 2.4: G ácas das uncións ke nel máis usuais.
−3 −2 −1 0 1 2 3
0.0 0.4 0.8
Ke nel gaussiano
−3 −2 −1 0 1 2 3
0.0 0.4 0.8
Ke nel de Cauchy
−3 −2 −1 0 1 2 3
0.0 0.4 0.8
Ke nel de Epanechniko
Obse ación
2.14
.
As eg as ipo ke nel amén se poden deni a pa i da eg a de Bayes,
es imando a unción de densidade de cada clase emp egando mé odos non pa amé icos,
ˆ
ν(
X
) = 1
nν
nν
X
i=1
I{Yi=ν}K
X
−
X
i
h,
onde
K
é unha unción ke nel coma as an e io es e
h
é un pa áme o de sua ización. Es a
ap oximación é a que se oma en Klamelä (2014).
Polo que, coñecidas as p obabilidades a p io i
π1, ... , πκ
, e iamos a exp esión seguin e
pa a a eg a.
(
X
) = a g max
1≤ν≤κ(πν
1
nν
nν
X
i=1
I{Yi=ν}K
X
−
X
i
h).
Se emp egamos as p opo cións mos ais como p obabilidades a p io i
πν=nν
n
, es a
eg a é equi alen e á que denimos como eg a ipo ke nel.
36
CAPÍTULO 2. TÉCNICAS DE CLASIFICACIÓN
Capí ulo 3
Es imación do e o e a aliación de
eg as disc iminan es
T as deni unha eg a disc iminan e e es imala a pa i da mos a, é p eciso e medi-
das da súa calidade. Nes e capí ulo deni emos algunhas medidas do e o de clasicación
e ilus a emos os p ocedemen os p esen ados a a ago a a a és dalgún exemplo.
P e endemos adi iña
Y
a a és da eg a e a pa i dos da os e ique ados, xa que
no malmen e non coñecemos a dis ibución do ec o e ique ado. Polo an o é esencial
es ima a p obabilidade de e o dunha eg a
L( )
pa a sabe que espe a da calidade des a.
É de especial in e ese es ima a p obabilidade de e o óp ima
L∗
, xa que se é g ande,
sabemos que calque a eg a emp egada a á unha clasicación bas an e pob e, ademáis de
que compa a
L( )
con
L∗
dinos can o podemos chega a mello a a eg a
.
Exemplo 3.1.
Conside amos que emos dúas poboacións no mais idimensionais con
dis in os ec o es de medias pe o a mesma ma iz de co a ianzas. Simula emos da os de
si uacións en que cambie a p opo ción de da os que pe encen a cada unha das clases
e amén a dicul ade do p oblema de clasicación, de e minada pola dis ancia en e as
medias das clases. Co segundo pun o do Teo ema 1.11 pode emos calcula a eg a de
Bayes baixo suposicións de no malidade, conside ando as p obabilidades a p io i ou non
pa a así compa a o seu compo amen o, en e elas e espec o ao e o de Bayes.
Tomamos os seguin es pa áme os pa a deni as clases:
µ1=



0
0
0




,µ2=



2
1
−0,5




,Σ = 



0,5 0 0
0 0,25 0
0 0 0,25




e
µ3=



1
1
−0,5




,
de xei o que
C1=N(µ1,Σ)
e
C2=N(µ2,Σ)
pa a o caso ' ácil' e o mesmo pe o cambiando
37
38
CAPÍTULO 3. ESTIMACIÓN DO ERRO E AVALIACIÓN DE REGRAS DISCRIMINANTES
µ2
po
µ3
na segunda clase pa a o caso 'di ícil'. Na Figu a 3.1 mós anse simulacións pa a
o caso ácil e o di ícil, con 200 da os da clase
C1
en neg o e 100 da clase
C2
en e mello.
Figu a 3.1: Da os simulados de dous p oblemas de dis in a dicul ade con dúas clases
no mais.
−3 −2 −1 0 1 2 3 4
−2.0 −1.5 −1.0 −0.5 0.0 0.5 1.0 1.5
−2−1 0 1 2
●
●
●
●●
●
●
●●
●
●
●
●
●
●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●●
●●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
●
●●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●●
●
●
●
●●
●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●●
●●●
●
●
●
●
●●
●
●
●●
●●
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●●●
●●
●
●
●
●
●
●
●
●
●
●●
●
●●
●●
●
●
●●
−3 −2 −1 0 1 2 3 4
−2.0 −1.5 −1.0 −0.5 0.0 0.5 1.0 1.5
−2−1 0 1 2
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●●
●
●
●
●●
●
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●●
●
●
●●
●●●
●
●
●
●
●●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●●
●●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
Podemos calcula o e o de Bayes pa a es as dúas si uacións, no supos o de coñece as
p obabilidades a p io i (2/3 dos da os son da p imei a clase e 1/3 da segunda) e amén de
que nos al e es a in o mación. Como no ación,
∗
ep esen a a eg a sen usa
π
e
Bayes
a que sí as emp ega. Fa emos as con as só pa a o p oblema ' ácil' coa eg a
∗
xa que as
do es o de casos son análogas. A eg a óp ima é lineal, como imos no Teo ema 2.5, polo
an o
L∗=P( ∗(
X
)6=Y) = P( ∗(
X
) = 1|Y= 2)π2+P( ∗(
X
)=2|Y= 1)π1
=P(h(
X
)>0|Y= 2)π2+P(h(
X
)<0|Y= 1)π1,
sendo
h(
X
) = −4X1−4X2+ 2X3+ 6,5.
Debido a que a ma iz de co a ianzas
Σ
é diagonal, ense que as compoñen es
Xi
do ec o alea o io son no mais unidimensionais independen es. Co cal, cando
X
∈ C1
,
h(
X
)∈ N(6,5,13)
e cando pe ence á segunda clase,
h(
X
)∈ N(−6,5,13)
. Os cálculos
polo an o da án que
L∗=1
3P(Z > 6,5
√13) + 2
3P(Z < −6,5
√13 =P(Z > 6,5
√13) = 0,0357.
39
En cambio, pa a o caso di ícil, ense que
L∗= 0,1217
, é dici , espé ase que clasiquemos
mal o 12% das obse acións. O e o de Bayes podémolo calcula cando coñecemos os
pa áme os poboacionais, pe o de non se así, debe es ima se a pa i das eg as lineais
es imadas.
Pa a e o compo amen o das eg as con e sen p obabilidades a p io i, epe i emos a
simulación dos da os e cálculo da eg a 100 eces. Así podemos calcula a media e amén a
des iación ípica da po cen axe de obse acións mal clasicadas. Os esul ados mós anse
na seguin e áboa, pa a odos os casos conside ados e cambiando o amaño das mos as
das poboacións,
n1
e
n2
.
Cad o 3.1: E o de clasicación medio e des iación ípica (en e pa én eses) pa a as dúas
eg as e os ca o conxun os de da os simulados pa a o caso ácil e o di ícil, en an o po
cen o.
Tamaño da mos a Caso ácil Caso di ícil
n1n2 ∗ Bayes ∗ Bayes
30 10 2.6 2.175 7.425 6.150
(2.796) (2.427) (4.955) (3.915)
300 100 3.6675 3.11 9.06 7.2425
(0.983) (0.779) (1.61) (1.257)
20 30 2.8 2.72 8.86 8.7
(2.412) (2.503) (4.151) (4.113)
200 300 3.422 3.306 9.174 8.896
(0.799) (0.769) (1.219) (1.146)
Obse ando os esul ados do cad o, os e os come idos no caso di ícil son maio es pa a
odas as eg as e amaños mos ais. Ademáis, can o menos se pa ecen as p obabilidades
a p io i (que nes e caso son a p opo ción de da os de cada clase), a an axa que supón
emp ega
Bayes
é maio espec o a usa
∗
, sob e odo nos p oblemas di íciles. Podemos
salien a amén que pa a as mos as de maio amaño
n
comé ese un po cen axe maio de
e os de clasicación (aínda que a des iación ípica é máis pequena) que pa a o mesmo
p oblema pe o con menos obse acións.
No exemplo supuxemos que as p obabilidades a p io i son co ec as, pe o de non selo
poden empeo a a oma de decisións.

40
CAPÍTULO 3. ESTIMACIÓN DO ERRO E AVALIACIÓN DE REGRAS DISCRIMINANTES
Pos o que en xe al quen cons úe a eg a non coñece a dis ibución dos da os, son
necesa ios mé odos de es imación ou co as da p obabilidade de e o que non dependan
da dis ibución de
X
. Medi emos a calidade dunha eg a cons uida a pa i de
X=
[X[1]X[2] ···X[κ]]
coa p obabilidade de e o condicional
P( (
X
;X)6=Y|X)
. O p oblema dis o
é que a alia a eg a sob e os mesmos da os usados pa a cons uíla, lé anos a un sesgo
op imis a.
Igual que debemos comp oba o uncionamen o dunha eg a con dis in as medidas do
e o, amén debemos acha as limi acións das dis in as medidas do e o emp egándoas
sob e a ias eg as.
Denimos a con inuación un pa de medidas de e o de clasicación, es imado es na-
u ais da p obabilidade de e o que se calculan a pa i dos da os.
Denición 3.2.
Sexan
X= [
X
1
X
2···
X
n]
da os e ique ados e
unha eg a. Un
ac o de
cos es
c= [c1···cn]
asociado a
de ínese como
ci(= 0
se
clasicou
X
i
co ec amen e
>0
se a clasicou inco e amen e
.
O
e o de clasicación
mis
da eg a
e ac o de cos es
c
é o e o dado po
mis =1
n
n
X
i=1
ci.
Cando
X
i
é clasicado inco ec amen e, adoi amos usa
ci= 1
. Un e o de clasicación
con ac o de cos es 0 e 1 é na u al pois, sen impo a o núme o de clases que haxa, o que
ai é con a o núme o de obse acións que o on mal clasicadas.
De odos modos, ou os ac o es de cos es, posi i os e non cons an es, son ú iles. Po
exemplo, cando que emos dis ingui en e alsos posi i os e alsos nega i os nunha clasi-
cación bina ia, como se ía iden ica clien es mo osos. Pode que nos in e ese penaliza
máis aqueles e os nos que se p edí que un clien e paga á cando non o ai ace que a
si uación en que un clien e non mo oso se clasique como mo oso, pois a p imei a pode
poñe nun isco maio á emp esa. Ou o exemplo se ía que as clases indiquen o g ao de
se e idade dunha ca ac e ís ica. Se emos un canc o en es ado IV, que xa se es endeu a
pa es dis an es do co po, podemos da pesos maio es ao e o de clasicalo nun es ado 0,
no que só hai p esenza dalgunhas células ano mais, que ao de clasicalo como es ado II,
que xa hai canc o p esen e e es endido a ecidos ce canos. Así eexa íamos que o p imei o
e o é máis g a e que o segundo.
A ase de ap endizaxe consis e na cons ución dunha eg a emp egando os da os e ique-
ados
X0
e a ase de p edicción en aplica di a eg a a
Xnew
pa a p edici as espos as
Y
new
.
41
No malmen e, que e emos emp ega ódolos da os dipoñibles pa a en ena o clasicado ,
co cal só emos unha mos a de en enamen o, pe o non de es eo. P imei o de i amos
unha eg a
0
da submos a
X0
de
X
, e calculamos o e o de clasica as obse acións
Xp
que nos quedan de
X
emp egando
0
.
X0
é a
mos a de en enamen o
e
Xp
a
mos-
a de es eo
. Es e p oceso é a base da idea de en enamen o e es eo da Ap endizaxe
Supe isada. Podemos escolle
X0
de moi as manei as, a máis simple se ía usa ódalas
obse acións excep o unha.
Denición 3.3.
Conside amos os da os e ique ados
X= [
X
1
X
2···
X
n]
e a eg a
. Pa a
cada
i≤n
omamos
X0,(−i)= [
X
1···
X
i−1
X
i+1 ···
X
n]
, ao que chamamos
conxun o de
en enamen o lea e-one-ou
(deixa un ó a)
i
-ésimo, e
Xp,(−i)=
X
i
. Sexa
(−i)
a
eg a cons uida igual que
pe o baseada en
X0,(−i)
, conside ando así
X
i
unha no a
obse ación.
Un ac o de cos es
k= [k−1k−2···k−n]
asociado coas eg as
(−i)
é
k−i(= 0
se
X
i
oi clasicada co ec amen e po
(−i)
>0
se a clasicou inco e amen e
.
Co cal o
e o lea e-one-ou
,
loo
, baseado nas
n
eg as
(−i)
, os alo es asignados
(−i)(
X
i)
e o ac o de cos es
k
se á
loo =1
n
n
X
i=1
k−i.
Así, o
mé odo lea e-one-ou
consis i á na elección dos conxun os de en enamen o
X0,(−i)
, a cons ución das eg as
(−i)
e o cálculo do e o
loo
. Des e xei o cada obse ación
déixase ó a exac amen e unha ez. Adói ase oma cos es 0 e 1, xa que así con amos o
núme o de e os de clasicación emp egando
(−i)
.
Polo xe al, ódalas eg as
(−i)
se án dis in as, e di en amén de
. Un bo clasicado
ca ac e iza ase po que es a di e encia se aga pequena a medida med a o amaño da mos-
a. Se compa amos
mis
e
loo
,
mis
debe ía se máis pequeno pois cada pun o é pa e do
conxun o de en enamen o da eg a usada pa a clasicalo, pe o
loo
in oduce a maio es
unha medida do e o da p edicción.
Moi as eces, se á p e e ible oma un conxun o
Xp
con máis dun elemen o, pa a ana-
liza mello o compo amen o da eg a  ó a da mos a. Ou o modo de di idi os da os
dispoñibles en e mos a de en enamen o e de es eo é a seguin e:
Denición 3.4.
Sexan
X= [
X
1
X
2···
X
n]
un conxun o de da os e ique ados e
unha
eg a. Sexan
k
e
m
en ei os ales que
km =n
. Pa a
j≤m
, denimos o
conxun o de
42
CAPÍTULO 3. ESTIMACIÓN DO ERRO E AVALIACIÓN DE REGRAS DISCRIMINANTES
en enamen o
j
-ésimo
X0,j
e o
conxun o de es eo
j
-ésimo
Xp,j
como
X0,j = [
X
1···
X
(j−1)k
X
jk+1 ···
X
n]
Xp,j = [
X
(j−1)k+1 ···
X
jk].
Sexa
j
a eg a de i ada soamen e de
X0,j
e usámola pa a calcula o e o de clasicación
pa a cada
X
i
do conxun o
Xp,j
. O e o
j
sob e
Xp,j
é
j=
jk
X
i=(j−1)k+1
ci
sendo
ci= 0
cando
j(
X
i=Yi
e
ci>0
nou o caso.
O
e o de alidación c uzada
m
eces
(
m
- old c oss- alida ion),
c
é
c =1
n
m
X
j=1
j.
Chámaselle en ón
alidación c uzada
m
eces
á pa ición dos da os en
{X0,j,Xp,j}
m
eces xun o coas eg as
j
e os e os
j
e
c
. Nes e p oceso, as mos as de es eo semp e
eñen
k
ec o es e son disxun as, de xei o que cada obse ación
X
i
dos da os o ixinais
X
é con ada unha única ez de ca a ao cálculo de
c
. Pódese e ácilmen e que o e o
lea e-one-ou é un caso pa icula de c oss- alida ion con
m=n
e
k= 1
.
Pa a es e mé odo, hai que di idi os da os e en ena a eg a
m
eces, o cal supón
un al o cos e compu acional, que med a amén can o máis g ande é
m
. Se
k
é demasiado
g ande, en ón o conxun o de en enamen o pode se demasiado pequeno, o cal pode a ec a
á p ecisión da eg a. Debemos acha alo es pa a
m
e
k
de al xei o que non cheguemos a e
es os p oblemas, po exemplo oma
m
en e 10 e 20 men es que en e o 10 e 20% dos da os
sexan de es eo en cada pa ición. A alidación c uzada é moi cos osa compu acionalmen e,
polo que moi as eces emp égase unha única pa ición dos da os. Es e p ocede non é o
mello cando que emos compa a dis in os mé odos ou eg as.
Na clasicación, o núme o de clases e o núme o de obse acións que pe encen a cada
unha delas amén xogan un papel impo an e. Se emos dúas clases, unha delas con moi-
os máis ec o es que a ou a, debemos escolle coidadosamen e o amaño das mos as de
en enamen o e es eo.
Es as dúas úl imas medidas do e o son de especial in e ese, pois achegan in o mación
sob e a capacidade p edic o a da eg a. En moi as ocasións, unha eg a es ímase a pa i
dunha mos a de xei o que se minimiza o e o de clasicación des os da os coñecidos, pe o
ao aplicala a no os da os come e un e o moi o maio . Is o coñécese como
o e  ing
e
43
supón un p oblema ao cons ui unha eg a disc iminan e, sob e odo cando o núme o de
a iables é moi g ande, como e emos no seguin e capí ulo.
Exemplo 3.5.
Vol emos a conside a os ca o conxun os de da os simulados do Exemplo
2.9, dous deles no mais, e ou os dous non no mais, con igualdade de ma iz de co a ianzas
e sen ela.
Pa a clasicalos usa emos eg as ipo ke nel, conside ando dis in as uncións ke nel
(no mal, o de Epanechniko e uni o me) pa a pode compa a os esul ados ob idos. Em-
p ega ase a unción
classi .np
do paque e
da.usc
. Es a unción calcula de manei a
empí ica o pa áme o
h
que le a á clasicación óp ima, emp egando unha modicación
do c i e io de alidación c uzada, e de ol e amén unha es imación da p obabilidade de
clasicación co ec a pa a cada clase, indicada na seguin e áboa.
Cad o 3.2: P obabilidades de clasicación co ec a po clase, pa a cada unción ke nel
conside ada.
N1 N2 P1 P2
C1C2C1C2C1C2C1C2
No mal 0.835 0.943 0.93 0.9867 0.825 0.92 0.895 0.903
Epanechniko 0.83 0.94 0.9 0.9967 0.84 0.92 0.91 0.8767
Uni o me 0.815 0.95 0.875 0.9967 0.77 0.933 0.885 0.8967
Pódese ap ecia que a p obabilidade de clasica co ec amen e obse acións da segunda
clase é maio en ódolos casos, is o débese a que es a clase é a maio i a ia nos nosos
conxun os de da os. En can o a de e mina cal dos es ke nel é máis adecuado pa a cada
unha das si uacións, os esul ados non son concluín es, pois odos eñen un pode p edic i o
simila e bas an e ele ado.
Pa a o p imei o caso, podemos calcula o e o de Bayes pa ido da unción de densidade
da no mal mul i a ian e. Pa a N1 se ía
L∗= 0,097
, co que se clasica ían co ec amen e
o 90,3% dos da os, que é máis ou menos o que se ob en cas eg as ipo ke nel.
L∗
é o
alo ao que debe ía con e xe a p obabilidade de e o ao med a o amaño mos al se
usásemos unha es imación da eg a de Bayes. Es e é o caso das eg as ipo ke nel, nas que
a es imación se ai con écnicas non pa amé icas, a di e enza da eg a linea .
50
CAPÍTULO 4. CONSIDERACIÓNS SOBRE A ALTA DIMENSIÓN E BIG DATA
4.2. Análise dic iminan e linea egula izado dispe so: spa se
LDA
O
Spa se Regula ized Linea Disc iminan Analysis
(spa se LDA) p esen ado po Qiao
e al. (2008) pa e da eg a de Fishe e in oduce a selección de a iables impoñendo que
o au o ec o
η
sexa dispe so, é dici , que case odas as súas compoñen es sexan nulas.
Con is o p e enden iden ica aquelas a iables que son de e minan es pa a di e encia as
clases en e a es u u a de co a ianzas que as a iables do p oblema poidan p esen a e así
desca a in o mación edundan e que pe xudique a clasicación.
Cando a ma iz de a iabilidade wi hin-class
W
é singula , subs i úese no p oblema
pola ma iz egula izada
˜
W
p esen ada ao comezo des e capí ulo. Dise nes e a igo que a
elección do pa áme o
γ
non inúe nos esul ados ob idos, semp e que es e sexa pequeno.
O LDA consis e en emp ega es a ma iz egula izada, acha a p imei a di ección dis-
c iminan e da mesma,
η
e p oxec a os da os sob e ela. Es as p oxeccións considé anse
como no as a iables disc iminan es unidimensionais, ás que se lle aplican eg as disc imi-
nan es como a do cen oide máis ce cano, SVM ou unha eg a kNN, po exemplo. Chegando
así a unha clasicación dos da os o ixinais.
Es e ec o
η
pode e moi as compoñen es non nulas, de xei o que ódalas a iables
dos da os inui án na clasicación. Ao in oduci o spa se LDA, impoñen que
η
eña só
unhas poucas en adas non nulas e es án acendo unha selección de a iables e eliminando
a in o mación edundan e.
Pa a ob e a iables disc iminan es dispe sas, p imei o elacionan o ec o
η
co ec o
de coecien es dunha eg esión ans o mando o p oblema de au o alo es do Teo ema 2.2
nun p oblema de eg esión, e despois plan éxano como un p oblema de mínimos cad ados
no que in oducen unha penalización da no ma
L1
do ec o de coecien es na unción
obxec i o igual que no p oblema LASSO de Tibshi ani (1996).
4.3. Análise disc iminan e en al a dimensión: HDDA
Nes a sección, p esen a emos o mé odo in oducido po Bou ey on e al. (2007), ao
que chaman
High Dimensional Disc iminan Analysis
(HDDA). Baséase en que cando a
dimensión é moi g ande ocu e o enómeno do espacio acío e podemos supoñe que os
da os i en en subespacios de dimensión meno . O que ai é educi a dimensión pa a cada
clase
Cν
de o ma independen e e impón unha es u u a de e minada sob e as ma ices de
co a ianzas
Σν
pa a adap a un con ex o gaussiano á al a dimensión, educindo o núme o

4.3. ANÁLISE DISCRIMINANTE EN ALTA DIMENSIÓN: HDDA
51
de pa áme os a es ima . Suponse que as clases son es é icas (é dici , a ma iz de co a ianzas
é un múl iplo da iden idade) nes es subespazos ou o que é o mesmo, que
Σν
eñen só dous
au o alo es dis in os.
Igual que nos mé odos de análise disc iminan e clásicos, supoñemos a no malidade das
clases
Cν=N(µν,Σν)
pa a
ν∈ {1, ... κ}
. Pos o que
Σν
son simé icas, g acias ao Teo ema
espec al ob emos unha descomposición ma icial
Σν=Qν∆νQ|
ν
, onde
Qν
é unha ma iz
o ogonal cuxas columnas son unha base de au o ec o es de
Σν
e
∆ν
é unha ma iz diagonal
o mada polos au o alo es de
Σν
. Supoñemos que
∆ν
en dous au o alo es di e en es,
aν> bν
. Chamamos
Eν
ao subespacio a ín de dimensión
dν
xe ado polos au o ec o es
asociados ao au o alo
aν
con
µν∈Eν
, e sexa
E⊥
ν
al que
Eν⊕E⊥
ν=Rd
con
µν∈
E⊥
ν
. Conside amos
Pν(
x
) = ˜
Qν˜
Qν
|(
x
−µν) + µν
a p oxección de
x
sob e
Eν
, onde
˜
Qν
é a ma iz o mada polas
dν
p imei as columnas de
Qν
e o es o ce os. Análogamen e,
P⊥
ν(
x
)=(Qν−˜
Qν)(Qν−˜
Qν)|(
x
−µν) + µν
é a p oxección de
x
sob e
E⊥
ν
.
Pa indo da eg a de Bayes e impoñendo a o ma desc i a da ma iz de co a ianzas, a
eg a disc iminan e asigna á un ec o alea o io
X
á clase
Cν
que minimice a exp esión
hν(
X
) = kµν−Pν(
X
)k2
aν
+k
X
−Pν(
X
)k2
bν
+dνlog aν+ (d−dν) log bν−2 log πν.
Vexamos como se pode chega a ela a pa i da unción de densidade dunha dis ibución
no mal. Asigna ase
X
á clase
Cν
que maximice
πν ν(
X
)
, ou o que é o mesmo, que minimice
−2 log πν ν(
X
)
.
−2 log πν ν(
X
) = −2 log πν(2π)−d/2|Σν|−1/2exp −1
2(
X
−µν)|Σ−1
ν(
X
−µν)
=−2 log πν+dlog(2π) + log |Σν|+ (
X
−µν)|Σ−1
ν(
X
−µν)
=−2 log πν+dlog(2π) + log adν
νb(d−dν)
ν+ (
X
−µν)|Qν∆−1
νQ|
ν(
X
−µν)
=−2 log πν+dlog(2π) + dνlog aν+ (d−dν) log bν
+(
X
−µν)|(˜
Qν+Qν−˜
Qν)( 1
aν
˜
Qν+1
bν
(Qν−˜
Qν))|(
X
−µν)
=−2 log πν+dlog(2π) + dνlog aν+ (d−dν) log bν
+1
aν
(
X
−µν)|(˜
Qν+Qν−˜
Qν)˜
Qν
|(
X
−µν)+ 1
bν
(
X
−µν)|(˜
Qν+Qν−˜
Qν)(Qν−˜
Qν)|(
X
−µν)
=−2 log πν+dlog(2π)+ dνlog aν+ (d−dν) log bν+1
aνkµν−Pν(
X
)k2+1
bνk
X
−Pν(
X
)k2.
Como
dlog(2π)
é cons an e pa a ódalas clases, elimínase e chegamos á exp esión de
hν
.
52
CAPÍTULO 4. CONSIDERACIÓNS SOBRE A ALTA DIMENSIÓN E BIG DATA
In oducimos a seguin e no ación pa a simplica a in e p e ación da eg a:
aν=σ2
ν
αν
e
bν=σ2
ν
1−αν
, con
αν∈[0,1]
e
σ2
ν>0
. Así a exp esión an e io pódese eesc ibi como
hν(
X
) = 1
σ2
νανkµν−Pν(
X
)k2+ (1 −αν)k
X
−Pν(
X
)k2
+2dlog(σν) + dνlog 1−αν
αν−dlog(1 −αν)−2 log πν.
Pa a ce os alo es dos pa áme os
αν
e
σ2
ν
, éñense eg as pa icula es das que xa
alamos an e io imen e.
Se
αν= 1/2∀ν
, es a eg a non é máis que a eg a cuad á ica coa suposición adicio-
nal de que a ma iz de co a ianzas é un múl iplo da iden idade,
Σν=σ2
νI
. Se a maio es
o pa áme o
σ2
ν=σ2
é o mesmo pa a odas as clases, é a eg a linea es é ica, con
Σ = σ2I
.
Deixando xos algúns, pe o non odos os pa áme os in oluc ados na eg a HDDA, pó-
dense ob e moi os modelos dis in os con cla as in e p e acións xeomé icas. P esen amos
dúas opcións:
Reg a disc iminan e isomé ica
(HDDAi): Fanse as seguin es suposicións:
αν=α, σν=σ, dν=d∗
e
πν=π∗∀ν≤κ,
de xei o que a exp esión que que emos minimiza se á
hν(
X
) = αkµν−Pν(
X
)k2+ (1 −α)k
X
−Pν(
X
)k2.
Se
α= 0
, HDDAi asigna á
X
a
Cl
se
d(
X
, El)< d(
X
, Eν)∀ν6=l
. É dici , le a á
X
á clase asociada ao subespazo
Eν
máis ce cano.
Se
α= 1
,
(
X
) = l
cando
d(µl, Pl(
X
)) < d(µν, Pν(
X
)) ∀ν6=l
, é dici , le a
X
á
clase cuxa media es á máis ce ca da p oxección de
X
sob e o subespazo.
Cando
0< α < 1
, a eg a se á unha mes u a des as dúas. Se á necesa io amén
es ima
α
, pe o discu i émolo máis adian e.
Reg a disc iminan e homo écica
(HDDAh): A di e encia des e mé odo co an e-
io é que non se impón que
σν
sexa cons an e pa a ódalas clases. Así a exp esión
queda
hν(
X
) = 1
σ2
ναkµν−Pν(
X
)k2+ (1 −α)k
X
−Pν(
X
)k2+ 2dlog σν.
Pos o que
σν
es á no denominado , se
X
es á á mesma dis ancia de dúas clases, a
eg a a o ece á aquela cuxa a ianza sexa maio .
Ob iamen e, pode habe si uacións en que as hipó eses an e io es sexan demasiado
es ic i as, co cal op a emos po emp ega a exp esión xe al.
4.3. ANÁLISE DISCRIMINANTE EN ALTA DIMENSIÓN: HDDA
53
4.3.1. Es imación dos pa áme os
A es imación de pa áme os é necesa ia pa a calque a eg a, pois dispoñemos dunha
mos a e non da poboación o al. Nes e caso emp ega emos os es imado es de máxima
e osimili ude calculados a pa i dunha mos a
X
de amaño
n
.
Igual que xemos pa a as eg as lineais e cuad á icas, es ima emos as p obabilidades
a p io i polas p opo cións mos ais, as medias de cada clase polas medias mos ais e as
ma ices
Σν
polas ma ices de co a ianzas mos ais.
Podemos supoñe nun p incipio que coñecemos a dimensión dos subespazos
dν
, e así
ob éñense os es imado es
ˆaν=1
dν
dν
X
j=1
λν,j
e
bν=1
d−dν
d
X
j=dν+1
λν,j,
onde
λν,j
son os au o alo es de
Sν
. A columna
j
-ésima de
Qν
es ímase polo au o ec o
de
Sν
asociado ao au o alo
λν,j
. Así
aν
e
bν
son es imados polas a ianzas empí icas da
clase
Cν
nos subespazos
Eν
e
E⊥
ν
espec i amen e. Pódense en ón deduci os seguin es
es imado es:
ˆαν=ˆ
bν
ˆaν+ˆ
bν
e
ˆσν2=ˆaνˆ
bν
ˆaν+ˆ
bν
.
Po úl imo, queda acha os pa áme os
dν
. A p opos a de Bou ey on e al. (2007) é
emp ega o mé odo empí ico dos
sc ee plo s
, que analiza a di e encia en e os au o alo es
pa a a opa unha up u a na g áca. Es e mé odo baséase en que o au o alo
λν,j
ep e-
sen a a acción da a ianza o al co esponden e ao
j
-ésimo au o ec o de
Σν
. Escollemos
a dimensión a pa i da cal as di e encias son moi pequenas espec o á máxima das di e-
encias. Os
sc ee plo s
emp éganse amén na ACP pa a decidi o núme o de compoñen es
p incipais que se conside an pa a ep esen a os da os, como se explica no segundo capí ulo
de Koch (2014). Un dos p oblemas co que nos a opamos ao ace is o é que a medida que
d
aumen a, os au o alo es apo an menos in o mación ao o al da a ianza, e é máis di ícil
iden ica o índice
dν
a pa i do cal o pode explica i o dec ece signica i amen e.
No úl imo capí ulo ilus a emos con da os simulados como ob e a es imación dos
pa áme os
dν
, ademáis de compa a os esul ados ob idos co HDDA espec o aos ob idos
con mé odos clásicos cando a dimensión med a.
54
CAPÍTULO 4. CONSIDERACIÓNS SOBRE A ALTA DIMENSIÓN E BIG DATA
Capí ulo 5
Ilus ación sob e da os simulados e
eais
Nes e úl imo capí ulo a ase unha simulación de da os emp egando R e amén se a a á
unha base de da os eal, que mos e como pa a unha dimensión
d
g ande comezan a alla
os mé odos clásicos e os in oducidos pa a o con ex o de Big Da a uncionan mello .
Implemen a ase o mé odo HDDA de Bou ey on e al. (2007) no so wa e R. Nes e
a igo mós anse os esul ados ob idos ao aplicalo ao ecoñecemen o de obxec os en imaxes
eales en compa ación con mé odos de clasicación clásicos. Ago a se á aplicado sob e os
dous exemplos es udados en Qiao e al. (2008) pa a pode compa a o compo amen o das
dúas p opos as. Emp ega emos o e o de clasicación
mis
como medida da calidade das
eg as, aplicadas sob e o conxun o de en enamen o e amén sob e o de es eo. Des e xei o
medi emos o pode clasicado das eg as ó a da mos a.
5.1. Da os simulados
Simula emos un conxun o de da os de en enamen o de amaño 25 pa a cada unha
das dúas clases e un conxun o de da os de p oba de amaño 100 pa a cada clase amén.
Os da os se án de dimensión
d= 100
, polo que nos a opamos nun caso HDLSS. Das 100
a iables que o man o ec o alea o io
X
, só as dúas p imei as se án di e en es en e as
clases
C1
e
C2
. Os da os segui án unha dis ibución no mal cos seguin es pa áme os:
X
∼ N2(µν,Σ)
Nd−2(0,Ip−2)!,
pa a
ν= 1,2,
onde
µ1= 0
0,9!,µ2= 0
−0,9!
e
Σ = 1 0,7
0,7 1 !.
55

56
CAPÍTULO 5. ILUSTRACIÓN SOBRE DATOS SIMULADOS E REAIS
Cla amen e, a clasicación depende únicamen e das dúas p imei as a iables, e ódalas
demáis apo an in o mación edundan e. Iden ica aquelas a iables sucien es pa a a
clasicación axuda á a e i a o
o e  ing
da eg a sob e a mos a de en enamen o e
le a á a mello es esul ados sob e da os ó a des a mos a.
O en oque de Qiao e al. (2008) cén ase especialmen e no enómeno chamado
da a
piling
. Ao emp ega unha es imación da ma iz de co a ianzas ou da a iabilidade wi hin-
class, a cal non é nada able cando
d>n
, as di eccións sob e as que se p oxec an os da os
pa a educi a dimensión poden se moi dis in as das eó icas, le ando a un sob eaxus e
da eg a aos da os de en enamen o. O que oco e é que as p oxeccións dos da os de cada
clase es án moi sepa ados, pe o ao p oxec a o conxun o de es eo hai un solapamen o
moi o maio ca usando as di eccións eó icas. Eles in oducen a dispe sión no modelo pa a
e i a que is o pase e ilus an como as di eccións disc iminan es dispe sas es imadas se
pa ecen máis ás eó icas, le ando a unha pé dida de p ecisión sob e os da os mos ais pe o
aumen ándoa ó a da mos a.
Ao implemen a o mé odo HDDA, a opámonos co p oblema de de e mina a dimensión
in ínseca
dν
dos subespazos de au o ec o es de
S
. Non nos podemos axuda dos
sc ee plo s
ao es a nun con ex o HDLSS, co cal pa a iden ica o mello
dν
, es ima emos a eg a pa a
alo es de
dν
en e 1 e 20 e escolle emos aquel que nos le e ao meno e o de clasicación.
Repe i ase a simulación dos da os e o cálculo da eg a 50 eces pa a pode p omedia os
e os de clasicación.
Toma ase
dν
igual pa a as dúas clases po simplicidade. As suposicións da eg a dis-
c iminan e isomé ica eñen sen ido nes e caso, xa que ambas clases apa ecen na mesma
p opo ción na mos a e eñen a mesma ma iz de co a ianzas eó ica. Tamén podemos
espe a que a eg a isomé ica le e a mello es esul ados que a homo écica, ao supoñe que
σ1=σ2
. Implemen a anse soamen e es as dúas e sións pa icula es do HDDA.
Na Figu a 5.1 obse amos como o e o de clasicación no conxun o de en enamen o, en
neg o pa a HDDAi e e mello pa a HDDAh, dec ece ao aumen a
dν
, pe o ó a da mos a,
en e de pa a HDDAi e azul pa a HDDAh, aumen a. Toma emos polo an o o meno alo
posible
dν= 1
, pa a e i a na medida do posible o
o e  ing
.
As liñas ho izon ais debuxadas mos an o e o p omedio ao aplica a eg a linea , que
non depende de
dν
. Es os alo es o on calculados coa unción
lda
do paque e
MASS
de R,
que emp ega unha pseudoin e sa pa a lidia coa singula idade da ma iz de co a ianzas
mos al. Es á cla o que emp egando calque a das e sións de HDDA ob emos mello es
esul ados que con es a eg a clásica. Pa a o alo óp imo de
dν
, ob emos un e o do 14%
5.1. DATOS SIMULADOS
57
Figu a 5.1: E o de clasicación medio pa a as dis in as eg as (HDDAi, HDDAh e eg a
linea ) sob e os conxun os de en enamen o e es eo simulados, on e aos dis in os alo es
conside ados pa a a dimensión in ínseca
dν
.
5 10 15 20
0.0 0.1 0.2 0.3 0.4 0.5
sob e a mos a e do 43% sob e o conxun o de es eo, en azul cla o e osa espec i amen e.
Como e a de espe a , HDDAi da mello es esul ados que HDDAh.
Na áboa 5.1 esúmense os esul ados ob idos con es es mé odos e os que apa ecen en
Qiao e al. (2008). As es p imei as columnas co espóndense co
lda
, e as dúas a ian es
do HDDA implemen adas, e mos an os da os ob idos acendo unha simulación que imi a a
ei a po Qiao e al. (2008). As dúas úl imas columnas con eñen os alo es p opo cionados
no seu a igo, pois non se implemen ou o mé odo nin se epe iu a simulación nes e aballo
po cues ións de empo. Pódese ace en ón unha compa ación dos mé odos, pe o sob e
odo é unha ilus ación das écnicas p esen adas e un exe cicio compu acional.
Podemos obse a que o mé odo implemen ado de Bou ey on e al. (2007) chega a uns
esul ados simila es aos da eg a linea egula izada LDA, pe o non an bos coma os da
spa se LDA (calculado pa a 5 coecien es non nulos, é dici , 5 a iables signica i as).
58
CAPÍTULO 5. ILUSTRACIÓN SOBRE DATOS SIMULADOS E REAIS
Cad o 5.1: E o come ido po cada mé odo conside ado no conxun o de en enamen o e
no de es eo (en an o po cen o).
LDA HDDAi HDDAh LDA spa se LDA
En enamen o 13,9 2,6 3,7 0 12
Tes eo 43,3 31,8 34 32 13.5
Tan o o HDDA coma o LDA an unha educción da dimensión e sol én ase o p oblema de
que as ma ices de co a ianzas sexan singula es egula izándoas, pe o non hai unha selec-
ción de a iables implíci a. O mé odo dispe so busca educi explíci amen e o núme o de
a iables explica i as, e po iso ob én a mello clasicación ó a da mos a. Es a simulación
e a de al xei o que só dúas a iables di e enciaban as clases, en sen ido que unha eg a
que dependa de moi poucas a iables uncione mello .
5.2. Da os de medidas de exp esión xénica
Conside amos o conxun o de da os Colon de Alon e al. (1999), que con én 42 mos as
de ecido umo al e 20 de ecido de colon no mal. Pa a cada mos a hai 2000 medidas
do ni el de exp esión de xens. O obxec i o é clasica as mos as no mais e umo ais en
unción das medidas de exp esión xénica.
Es os son os da os emp egados en Qiao e al. (2008) pa a ilus a o spa se LDA
nun caso eal. Fixe on unha análise de dúas e apas, epe ida 50 eces pa a p omedia a
p opo ción de e os ob ida.
Pos o que 2000 a iables supo ían un es o zo compu acional moi g ande, educen a
dimensión seleccionando as 200 máis signica i as pa a axiliza os cálculos. Só se dispón
dunha mos a de 62 casos en o al, que se debe pa iciona pa a ob e conxun os de en-
enamen o e de es eo. Di ídese en 2/3 e 1/3 das obse acións, espec i amen e, de xei o
que a p opo ción de da os umo ais e no mais sexa equilib ada. Aos da os esul an es con
d= 200
, aínda nunha si uación HDLSS, aplícanselle os mé odos LDA e spa se LDA
usando o cen oide máis ce cano, SVM e o eciño máis ce cano sob e as p oxeccións ob-
idas pa a dis in os núme os de coecien es non nulos da di ección disc iminan e. Pódese
e unha g áca cos esul ados sob e o conxun o de es eo no seu a igo, onde os mello es
o on ob idos usando a eg a do cen oide máis ce cano con en e 10 e 20 xens signica i os,
con e os de clasicación p e o do 15%. Conside ando ódalas a ian es do spa se LDA
5.2. DATOS DE MEDIDAS DE EXPRESIÓN XÉNICA
59
mencionadas, o e o man ense case semp e po debaixo do 20%.
Pa a ilus a o compo amen o da eg a de Bou ey on e al. (2007) sob e un conxun o
de da os eal, p ocede emos dun xei o pa ecido ao que se acaba de explica emp egando a
implemen ación do HDDA ei a pa a es e aballo. Tamén se epe i á o p oceso 50 eces
pa a acha o e o p omedio, e de no o ou as 20 pa a e a des iación des e.
Toma anse 50 das 2000 a iables ao chou cada ez, pa a pode le a a cabo os cálculos
nun o denado de sob emesa, e emp ega anse an o HDDAi como HDDAh pa a dimensións
in ínsecas en e 1 e 20. A selección de a iables p e ia non p e ende queda se ca in o ma-
ción signica i a e exei a a edundan e, polo que non podemos espe a que os esul ados
que se ob eñan sexan moi bos, se á máis ben un exe cicio compu acional pa a ilus a o
mé odo.
Figu a 5.2: E o de clasicación medio pa a as a ian es do HDDA sob e os conxun os de
en enamen o e es eo sacados dos da os Colon, on e aos dis in os alo es conside ados
pa a a dimensión in ínseca
dν
.
5 10 15 20
0.0 0.1 0.2 0.3 0.4 0.5
66
APÉNDICE A. SCRIPTS UTILIZADOS PARA OS EXEMPLOS E IMPLEMENTACIÓN DO HDDA
# Media e des iación ípica dos e os nas 100 epe icións
e os<-lis (e N1,e N2,e P1,e P2,enN1,enN2,enP1,enP2,eqN1,eqN2,eqP1,eqP2)
em<- apply(e os,mean)
ed <- apply(e os,sd)
Na ilus ación da eg a dos
k
eciños máis ce canos, a g áca da Figu a 2.3 ob ense co
seguin e código. A unción
knn
é da lib e ía
class
e é necesa io xa unha semen e po que
cando hai empa e nas o acións en e os
k
eciños máis ce canos, a asignación a unha clase
ou ou a aina ao aza .
se .seed(1997)
ek<-c()
e os<-lis ()
o (j in 1:50){
X<-c()
o (i in 1:150){
X<-c( X,knn(i is[-i,1:4],i is[i,1:4],i is[-i,5],k=j))
}
ek<-c(ek,sum( X!=as.in ege (i is[,5])))
e os[[j]]<-which( X!=as.in ege (i is[,5]))
}
plo (1:50,ek,xlab=
''
,ylab=
''
, ype=
'
o
'
)
A ep esen ación das dis in as uncións ke nel da Figu a 2.4 é esul ado des as liñas.
pa (m ow=c(1,3))
x<-seq(-3,3,by=0.01)
plo (x,exp(-x^2),main=
'
Ke nel gaussiano
'
, ype=
'
l
'
,ylim=c(0,1),xlab=
''
,ylab=
''
)
plo (x,1/(1+x^2),main=
'
Ke nel de Cauchy
'
, ype=
'
l
'
,ylim=c(0,1),xlab=
''
,ylab=
''
)
plo (x, (1-x^2)*(abs(x)<=1),main=
'
Ke nel de Epanechniko
'
, ype=
'
l
'
,ylim=c(0,1),xlab=
''
,ylab=
''
)
E a áboa do exemplo dos mé odos ke nel ob ense co seguin e código.
mu1<-c(0,0,0)
mu2<-c(2,0,-0.5)
E1<-cbind(c(1,0,0),c(0,0.25,0),c(0,0,0.25))

A.1. EXEMPLOS
67
E2<-cbind(c(0.5,0.5,0.125),c(0.5,1,0),c(0.125,0,0.25))
se .seed(1997)
N1<- bind(m no m(200,mu1,E1),m no m(300,mu2,E1))
N2<- bind(m no m(200,mu1,E1),m no m(300,mu2,E2))
P1<- bind(cbind( pois(200,10)+5, pois(200,10)-5, pois(200,10)+2),
cbind( pois(300,10), pois(300,10), pois(300,10)))
P2<- bind(cbind( pois(200,10)+5, pois(200,10)-5, pois(200,10)+2),
cbind( pois(300,10), pois(300,20)-10, pois(300,30)-20))
y= ac o (c( ep(1,200), ep(2,300)))
N1.no m<-classi .np(y,N1,Ke =Ke .no m,me ic=me ic.dis )
N1.epa<-classi .np(y,N1,Ke =Ke .epa,me ic=me ic.dis ,h=seq(1.22,2,by=0.02))
N1.uni<-classi .np(y,N1,Ke =Ke .uni ,me ic=me ic.dis ,h=seq(1.22,2,by=0.02))
N1.no m$p ob.classi ica ion
N1.epa$p ob.classi ica ion
N1.uni$p ob.classi ica ion
N2.no m<-classi .np(y,N2,Ke =Ke .no m)
N2.epa<-classi .np(y,N2,Ke =Ke .epa,me ic=me ic.dis ,h=seq(1.1,2,by=0.02))
N2.uni<-classi .np(y,N2,Ke =Ke .uni ,me ic=me ic.dis ,h=seq(1.1,2,by=0.02))
N2.no m$p ob.classi ica ion
N2.epa$p ob.classi ica ion
N2.uni$p ob.classi ica ion
P1.no m<-classi .np(y,P1,Ke =Ke .no m)
P1.epa<-classi .np(y,P1,Ke =Ke .epa,me ic=me ic.dis ,h=seq(6,10,by=0.02))
P1.uni<-classi .np(y,P1,Ke =Ke .uni ,me ic=me ic.dis ,h=seq(7,10,by=0.02))
P1.no m$p ob.classi ica ion
P1.epa$p ob.classi ica ion
P1.uni$p ob.classi ica ion
P2.no m<-classi .np(y,P2,Ke =Ke .no m)
P2.epa<-classi .np(y,P2,Ke =Ke .epa,me ic=me ic.dis ,h=seq(8,10,by=0.02))
P2.uni<-classi .np(y,P2,Ke =Ke .uni ,me ic=me ic.dis ,h=seq(8,10,by=0.02))
P2.no m$p ob.classi ica ion
P2.epa$p ob.classi ica ion
68
APÉNDICE A. SCRIPTS UTILIZADOS PARA OS EXEMPLOS E IMPLEMENTACIÓN DO HDDA
P2.uni$p ob.classi ica ion
A Figu a 4.2 é esul ado do que segue.
se .seed(1997)
mu1<-c(0,0); mu2<-c(0,2)
E<-ma ix(c(2,1,1,0.75),2,2)
N<- bind(m no m(100,mu1,E),m no m(100,mu2,E))
PC1<-eigen(E)$ ec o [,1]
p ox<-N[,1]*PC1[1]+N[,2]*PC1[2]
pa (m ow=c(1,2))
plo (N,col=c( ep(1,100), ep(2,100)),xlab=
''
,ylab=
''
)
plo (p ox,0.03* no m(200),xlab=
''
,ylab=
''
,col=c( ep(1,100), ep(2,100)),ylim=c(-1,1))
A.2. Implemen ación do HDDA e aplicación a da os simula-
dos e eais
As seguin es liñas denen unha unción de R que calcula as clases ás que se asigna
unha mos a de en enamen o e ou a de es eo cos mé odos HDDAi e HDDAh a pa i da
p imei a, e amén os e os de clasicación co esponden es. Es a oi a unción emp egada
pa a ob e os esul ados mos ados no úl imo capí ulo.
hdda<- unc ion( ain, es ,c ain,c es ,k,d,dnu){
al a<-sigma<-c()
mu<-S<-lis ()
lambda<-Q<-lis ()
classi<-classh<-ei<-eh<-lis ()
classi$ ain<-classi$ es <-classh$ ain<-classh$ es <-1
# Cálculo dos es imado es dos pa áme os pa a cada unha das k clases
o (i in 1:k){
ni<-sum(c ain==i)
mu[[i]]<-colMeans( ain[c ain==i,])
S[[i]]<-(ni-1)/ni* a ( ain[c ain==i,])
A.2. IMPLEMENTACIÓN DO HDDA E APLICACIÓN A DATOS SIMULADOS E REAIS
69
#Au o alo es e au o ec o es de S
lambda[[i]]<-eigen(S[[i]])$ alues
Qnu<-eigen(S[[i]])$ ec o s
# Ma iz das p oxeccións
Q[[i]]<-cbind(Qnu[,1:dnu],ma ix(0,d,d-dnu))
#Pa áme os do HDDA
a<-sum(lambda[[i]][1:dnu])/dnu
b<-sum(lambda[[i]][(dnu+1):d])/(d-dnu)
al a[i]<-b/(a+b)
sigma[i]<-a*b/(a+b)
}
al a<-mean(al a)
#Clasi icación da mos a de en enamen o con HDDAi e HDDAh
HDDAi<-HDDAh<-c()
o (j in 1:leng h(c ain)){
o (i in 1:k){
p ox<-Q[[i]]%*% (Q[[i]])%*%ma ix(as.ma ix( ain[j,]-mu[[i]]),d,1) +mu[[i]]
HDDAi[i]<-al a*sum((mu[[i]]- p ox)^2)+(1-al a)*sum(( ain[j,]-p ox)^2)
HDDAh[i]<-1/sigma[i]*HDDAi[i]+2*d*log(sigma[i])
}
classi$ ain[j]<-which(HDDAi==min(HDDAi))
classh$ ain[j]<-which(HDDAh==min(HDDAh))
}
ei$ ain<-sum(classi$ ain!=c ain)/leng h(c ain)
eh$ ain<-sum(classh$ ain!=c ain)/leng h(c ain)
#Clasi icación da mos a de es eo con HDDAi e HDDAh
HDDAi<-HDDAh<-c()
o (j in 1:leng h(c es )){
o (i in 1:k){
p ox<-Q[[i]]%*% (Q[[i]])%*%ma ix(as.ma ix( es [j,]-mu[[i]]),d,1)+mu[[i]]
HDDAi[i]<-al a*sum((mu[[i]]- p ox)^2)+(1-al a)*sum(( es [j,]-p ox)^2)
HDDAh[i]<-1/sigma[i]*HDDAi[i]+2*d*log(sigma[i])
}
classi$ es [j]<-which(HDDAi==min(HDDAi))
70
APÉNDICE A. SCRIPTS UTILIZADOS PARA OS EXEMPLOS E IMPLEMENTACIÓN DO HDDA
classh$ es [j]<-which(HDDAh==min(HDDAh))
}
ei$ es <-sum(classi$ es !=c es )/leng h(c es )
eh$ es <-sum(classh$ es !=c es )/leng h(c es )
e u n(lis (classi=classi,classh=classh,ei=ei,eh=eh))
}
A con inuación mós ase a simulación dos da os e os cálculos ei os sob e eles. Es án
amén as liñas que xe an a Figu a 5.1.
se .seed(1997)
dnu<-1:20
d<-100; ain<-25; es <-100
mu1<-c(0,0.9); mu2<-c(0,-0.9); E<-ma ix(c(1,0.7,0.7,1),2,2)
ce o<- ep(0,d-2); I<-diag(d-2)
c ain<-c( ep(1, ain), ep(2, ain)); c es <-c( ep(1, es ), ep(2, es ))
e _ es _l<-e _ ain_l<-e _ es _h<-e _ ain_h<-e _ es _i<-e _ ain_i<-ma ix(0,50,20)
o ( eces in 1:50){
X ain<- bind(cbind( m no m( ain,mu1,E), m no m( ain,ce o,I)),
cbind( m no m( ain,mu2,E), m no m( ain,ce o,I)))
X es <- bind(cbind( m no m( es ,mu1,E), m no m( es ,ce o,I)),
cbind( m no m( es ,mu2,E), m no m( es ,ce o,I)))
o (j in dnu){
es<-hdda(X ain,X es ,c ain,c es ,2,d,j)
#Almacenamen o dos e os pa a p omedia
e _ ain_i[ eces,j]<- es$ei$ ain
e _ ain_h[ eces,j]<- es$eh$ ain
e _ es _i[ eces,j]<- es$ei$ es
e _ es _h[ eces,j]<- es$eh$ es
#E os da eg a linea
l<-lda(X ain,c ain)
e _ ain_l[ eces,j]<-sum(p edic (l)$class!=c ain)/(2* ain)
e _ es _l[ eces,j]<-sum(p edic (l,X es )$class!=c es )/(2* es )
}
}
plo (dnu,colMeans(e _ es _i),col=3, ype=
'
o
'
,ylim=c(0,0.5),xlab=
''
,ylab=
''
)
A.2. IMPLEMENTACIÓN DO HDDA E APLICACIÓN A DATOS SIMULADOS E REAIS
71
lines(dnu,colMeans(e _ ain_i),col=1, ype=
'
o
'
)
lines(dnu,colMeans(e _ ain_h),col=2, ype=
'
o
'
)
lines(dnu,colMeans(e _ es _h),col=4, ype=
'
o
'
)
abline(h=colMeans(e _ ain_l),col=5)
abline(h=colMeans(e _ es _l),col=6)
Po úl imo, o código emp egado pa a a a os da os de exp esión xénica de Alon e al.
(1999), que es án dispoñibles no paque e
dp ep
, usando o mé odo HDDA de Bou ey on e
al. (2007).
da a(colon)
dnu<-1:20
HDDAi<-HDDAh<-lis ()
HDDAi$mean ain<-HDDAi$mean es <-HDDAi$sd ain<-HDDAi$sd es <-1
HDDAh$mean ain<-HDDAh$mean es <-HDDAh$sd ain<-HDDAh$sd es <-1
o (k in dnu){
# Clasi icación omando menos a iables, epe ida moi as eces
eHDDAi ain<-eHDDAi es <-eHDDAh ain<-eHDDAh es <-ma ix(0,50,20)
o (j in 1:20){
o (i in 1:50){
# Subconxun os de 50 exp esións xénicas ex aídos ao aza
da os<-colon[,c(sample(1:2000,50),2001)]
# 2/3 dos da os pa a en enamen o e 1/3 pa a es eo
pa <-sample(1:62,20)
ain<-da os[-pa ,1:50]; c ain<-da os[-pa ,51]
es <-da os[pa ,1:50]; c es <-da os[pa ,51]
# Chamada á unción e esul ados de aplica HDDAi e HDDAh
es<-hdda( ain, es ,c ain,c es ,2,50,dnu)
eHDDAi ain[i,j]<- es$ei$ ain
eHDDAi es [i,j]<- es$ei$ es
eHDDAh ain[i,j]<- es$eh$ ain
eHDDAh es [i,j]<- es$eh$ es
}
}
# Almacenamen o dos esul ados pa a cada dimensión in ínseca conside ada
eHDDAi ain<-colMeans(eHDDAi ain)

72
APÉNDICE A. SCRIPTS UTILIZADOS PARA OS EXEMPLOS E IMPLEMENTACIÓN DO HDDA
HDDAi$mean ain[k]<-mean(eHDDAi ain); HDDAi$sd ain[k]<-sd(eHDDAi ain)
eHDDAi es <-colMeans(eHDDAi es )
HDDAi$mean es [k]<-mean(eHDDAi es ); HDDAi$sd es [k]<-sd(eHDDAi es )
eHDDAh ain<-colMeans(eHDDAh ain)
HDDAh$mean ain[k]<-mean(eHDDAh ain); HDDAh$sd ain[k]<-sd(eHDDAh ain)
eHDDAh es <-colMeans(eHDDAh es )
HDDAh$mean es [k]<-mean(eHDDAh es ); HDDAh$sd es [k]<-sd(eHDDAh es )
}
# G á ica do e o p omedio come ido sob e as mos as usando HDDA
plo (dnu,HDDAi$mean ain,col=1, ype=
'
o
'
,ylim=c(0,0.5),xlab=
''
,ylab=
''
)
lines(dnu,HDDAi$mean es ,col=2, ype=
'
o
'
)
lines(dnu,HDDAh$mean ain,col=3, ype=
'
o
'
)
lines(dnu,HDDAh$mean es ,col=4, ype=
'
o
'
)
Bibliog a ía
[1] Koch, I.,
Analysis o Mul i a ia e and High-Dimensional Da a
, Camb idge Se ies in
S a is ical and P obabilis ic Ma hema ics, Camb ide Uni e si y P ess, 2014.
[2] De oye, L., Gyö , L. e Lugosi, G.,
A P obabilis ic Theo y o Pa e n Recogni ion
, Ap-
plica ions o Ma hema ics, S ochas ic Modelling and Applied P obabili y, 31, Sp inge -
Ve lag, New Yo k, 1996.
[3] James, G., Wi en, D., Has ie, T. e Tibshi ani, R.,
An In oduc ion o S a is ical
Lea ning
, Sp inge Tex s in S a is ics, 103, Sp inge -Ve lag, New Yo k, 2013.
[4] Fix, E. e Hodges J.,
Disc mina o y analysis, nonpa ame ic disc imina ion: Consis-
ency p ope ies
, Tecnical epo , Randolph Field, TX, USAF School o A ia ion Me-
dicine, 1951.
[5] Has ie, T., Tibshi ani, R. e F iedman, J.,
The Elemen s o S a is ical Lea ning: Da a
Mining, In e ence, and P edic ion
, Sp inge Se ies in S a is ics, Sp inge -Ve lag, New
Yo k, 2001.
[6] Galeano, P. e Peña, D.,
Da a science, big da a and s a is ics
, TEST, 28: 289, 2019.
[7] Klamelä, J.,
Mul i a ia e Nonpa ame ic Reg ession and Visualiza ion: wi h R and
applica ions o nance
, Wiley Se ies in Compu a ional S a is ics, Wiley, 2014.
[8] Ma dia, K., Ken , J. e Bibby, J.,
Mul i a ia e Analysis
, P obabili y and Ma hema ical
S a is ics, Academic P ess, London, 1979.
[9] Bou ey on, C., Gi a d, S. e Schmid, C.,
High Dimensional Disc iminan Analysis
,
Communica ion in S a is ics-Theo y and Me hods, 36, 2007.
[10] Qiao, Z., Zhou, L. e Huang, J. Z.,
Eec i e Linea Disc iminan Analysis o High Di-
mensional, Low Sample Size Da a
, P oceedings o he Wo ld Cong ess on Enginee ing
2008 Vol II WCE 2008, July 2 - 4, 2008, London, U.K.
73
74
BIBLIOGRAFÍA
[11] F iedman, J.H.,
Regula ized Disc iminan Analysis
, Jou nal o he Ame ican S a is i-
cal Associa ion, 84, 1989.
[12] Qin, Y.,
A e iew o quad a ic disc iminan analysis o high-dimensional da a
, Wiley
In e disciplina y Re iews: Compu a ional S a is ics. 10. e1434. 10.1002/wics.1434.,
2018.
[13] Tibshi ani, R.,
Reg ession Sh inkage and Selec ion ia he Lasso
, Jou nal o he Royal
S a is ical Socie y. Se ies B (Me hodological), ol. 58, no. 1, 1996
[14] Alon, U., Ba kai, N. e al.,
B oad pa e ns o gene exp ession e ealed by clus e ing
analysis o umo and no mal colon issues p obed by oligonucleo ide a ays
, P ocee-
dings o he Na ional Academy o Sciences o he Uni ed S a es o Ame ica, 96 (12),
1999.
[15] Cai, T. e Zhang, L,
High dimensional linea disc iminan analysis: op imali y, adap-
i e algo i hm and missing da a
, Jou nal o he Royal S a is ical Socie y , Se ies B,
S a is ical Me hodology, 2019.
[16] Manuel Feb e o-Bande, Manuel O iedo de la Fuen e,
S a is ical Compu ing in Fun-
c ional Da a Analysis: The R Package da.usc.
Jou nal o S a is ical So wa e, 51(4),
1-28, 2012.
[17] Venables, W. N. e Ripley, B. D.
Mode n Applied S a is ics wi h S
, Fou h Edi ion.
Sp inge , New Yo k, 2002.