Full text
T aballo Fin de G ao
CURVAS ROC
Raquel Ma ía Cas o Capelo
2021/2022
UNIVERSIDADE DE SANTIAGO DE COMPOSTELA
GRAO DE MATEMÁTICAS
T aballo Fin de G ao
CURVAS ROC
Raquel Ma ía Cas o Capelo
Julio, 2022
UNIVERSIDADE DE SANTIAGO DE COMPOSTELA
T abajo p opues o
Á ea de Conocimien o: Es adís ica e In es igación Ope a i a
Tí ulo: Cu as ROC
B e e desc ición del con enido
La cu a ROC (nomb e que p o iene de las siglas de Recei e Ope-
a ing Cha ac e is ic cu e) es una he amien a es adís ica muy u i-
lizada en el ámbi o de la Biomedicina pa a e alua la capacidad dis-
c imina i a de un cie o mé odo de clasi icación. Dado un mé odo
de clasi icación bina io, su co espondien e cu a ROC indica en qué
medida se consiguen di e encia las dos poblaciones que se p e enden
clasi ica .
Una de las p incipales u ilidades de es e ipo de cu as apa ece a la
ho a de compa a la capacidad de disc iminación de di e sos mé odos
de clasi icación. Dichos mé odos se pod án compa a median e la co-
espondien es cu as ROC y se pod á de e mina si dichos mé odos
son igual de e icaces o no.
A modo de o ien ación, el abajo pod ía o ganiza se en las siguien es
secciones:
In oducción a las cu as ROC.
Es imación de la cu a ROC.
Ilus ación de la u ilidad de las cu as ROC.
iii
i
Además, se p esen a án di e en es aplicaciones a conjun os de da os
eales o a da os simulados. Pa a ello u iliza emos el so wa e es adís-
ico lib e R (h ps://www. -p ojec .o g/).
Bibliog a ía
Fanjul He ia, A. (2021). Nonpa ame ic Me hods o he
Compa ison o ROC Cu es wi h Applica ion o Biomedi-
cine. PhD Thesis. Uni e sidade de San iago de Compos ela.
h p://hdl.handle.ne /10347/25152.
K zanowski, W. J., e Hand, D. J. (2009). ROC cu es o con inuous
da a. CRC P ess.
Pepe, M. S. (2003). The S a is ical E alua ion o Medical Tes s o
Classi ica ion and P edic ion. Ox o d Uni e si y P ess.
Recomendaciones
O as obse aciones
Índice
Resumen ix
In oducción xi
1. P elimina es 1
1.1. Va iablesalea o ias................................... 1
2. In oducción a las cu as ROC 5
2.1. P uebasdiagnós icas.................................. 5
2.2. Lacu aROC ..................................... 8
2.3. Medidas esumen.................................... 12
2.3.1. Á eabajolacu a ............................... 12
2.3.2. Á ea pa cial bajo la cu a . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.3. ÍndicedeYouden................................ 15
2.4. Resul adosdein e és.................................. 16
2.5. Modelobino mal .................................... 17
3. Es imación de la cu a ROC 21
3.1. Es imaciónpa amé ica ................................ 21
3.2. Es imación no pa amé ica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2.1. Es imación empí ica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
i ÍNDICE
3.2.2. Es imación ipo núcleo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3. Compa ación de los di e en es mé odos . . . . . . . . . . . . . . . . . . . . . . . . 34
4. Elección del pun o de co e óp imo 39
4.1. C i e ios basados en medidas de sensibilidad y especi icidad . . . . . . . . . . . . 40
4.1.1. Maximización de sensibilidad y especi icidad . . . . . . . . . . . . . . . . . 40
4.1.2. En oque de igualdad sensibilidad-especi icidad . . . . . . . . . . . . . . . . 40
4.1.3. Dis ancia ROC mínima . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.1.4. Maximización del Índice de Youden . . . . . . . . . . . . . . . . . . . . . . 41
4.2. Es imación del índice de Youden . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.2.1. Mé odos pa amé icos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.2.2. Mé odos no pa amé icos . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5. Aplicación a da os eales 45
5.1. Base de da os con in o mación sob e el peso co po al . . . . . . . . . . . . . . . . 45
5.2. Base de da os Hea Disease .............................. 48
5.3. Conclusiones ...................................... 56
I. Código de R u ilizado 59
I.1. Figu a1.1........................................ 59
I.2. Figu a2.1........................................ 59
I.3. Figu a2.2........................................ 60
I.4. Figu a2.3........................................ 61
I.5. Figu a2.4........................................ 62
I.6. Figu a2.5........................................ 62
I.7. Figu a3.1........................................ 63
I.8. Figu a3.2........................................ 64
I.9. Figu a3.3........................................ 65
ÍNDICE ii
I.10.Figu a3.4........................................ 65
I.11.Figu a3.5........................................ 66
I.12.Figu a3.6........................................ 67
I.13.Figu a3.7........................................ 67
I.14.Figu a3.8........................................ 68
I.15.Figu a3.9........................................ 69
I.16.Tabla3.2 ........................................ 70
I.17.Figu a3.10 ....................................... 72
Bibliog a ía 73
2 1. P elimina es
En pa icula , se emplea á el concep o de a iable alea o ia pa a medi una ca ac e ís ica en
los indi iduos de la población de es udio, ex aída de una mues a alea o ia simple de un g upo
que p esen e o no una condición de in e és, conc e amen e que padezca o no una en e medad.
Así pues,
De inición 1.4. Se dice que una mues a es alea o ia simple cuando cada elemen o de la
población iene la misma p obabilidad de se elegido.
A lo la go de es e abajo conside a emos exclusi amen e a iables alea o ias con inuas, que
es án ca ac e izadas po las conocidas unciones de densidad o unción de dis ibución que se
p esen an en las siguien es de iniciones.
De inición 1.5. Sea X una a iable alea o ia. Di emos que X iene una dis ibución con inua
si exis e una unción in eg able :R−→ [0,+∞), de o ma que P(X∈A) = RA (x)dx, pa a
odo in e alo A⊂R. La unción se llama unción de densidad de la a iable X.
De inición 1.6. Sea X una a iable alea o ia. Se denomina unción de dis ibución de la
a iable X a la unción F:R−→ [0,1] dada po F(x) = P(X≤x) = Rx
−∞ ( )d . Cabe
pun ualiza que la unción de densidad coincide con la de i ada de la unción de dis ibución, es
deci , =F0.
Uno de los modelos de dis ibución de p obabilidad más conocido pa a a iables con inuas
es la dis ibución no mal ocampana de Gauss, que se de ine o malmen e a con inuación y
que ambién u iliza emos a lo la go de es e abajo.
Ejemplo 1.7. Una a iable alea o ia X con media µy des iación ípica σdi emos que sigue
una dis ibución no mal si su unción de densidad iene dada po
(x) = 1
σ√2πexp −1
2σ2(x−µ)2.(1.1)
Además, lo deno a emos de la siguien e o ma : X∈N(µ, σ).
En la Figu a 1.1 se puede e una ep esen ación de la unción de densidad asociada a una
dis ibución no mal en unción de los alo es que oman los pa áme os µyσ. Es de especial
in e és la dis ibución no mal es ánda , que se á aquella pa a la cual se e i ica que µ= 0 y
σ= 1 cuya ep esen ación se puede e en la Figu a 1.1.
1.1. Va iables alea o ias 3
−5 0 5
0.0 0.1 0.2 0.3 0.4 0.5 0.6
x
(x)
Media 0
Media 4
(a) σ= 1
−5 0 5
0.0 0.2 0.4 0.6 0.8 1.0
x
(x)
Des iación ípica 1
Des iación ípica 0.5
(b) µ= 0
Figu a 1.1: Funciones de densidad asociadas a dis ibuciones no males con dis in os pa áme os
µyσ.
4 1. P elimina es
Capí ulo 2
In oducción a las cu as ROC
En es e segundo capí ulo, se in oduci án o malmen e las cu as ROC, epasando alguna de
sus p incipales p opiedades. Además se p opo ciona án ilus aciones g á icas que acili a án la
comp ensión de los nue os concep os in oducidos. Pa a comple a los con enidos de es e capí ulo
pod ían consul a se [2] o [6].
2.1. P uebas diagnós icas
Es e abajo a a de cen a se en uno de los p incipales obje i os que se plan ean en el
ámbi o de la Biomedicina. Consis e en la clasi icación de un suje o en dos posibles ca ego ías, en
es e caso, pacien es sanos cuyo g upo deno a emos en adelan e po S y pacien es en e mos
que deno a emos en adelan e po E, en base a cie a in o mación p opo cionada sob e el suje o
en cues ión, es deci , a una a iable que llama emos a iable diagnós ico o de diagnós ico.
En es e con ex o, se de ine la p ueba diagnós ica como aquel p ocedimien o que ayuda
a un sani a io a de e mina la p esencia de una en e medad, no suscep ible de se obse ada
di ec amen e, en un pacien e. Cabe des aca que, en ocasiones, la exis encia de o as a iables
pueden es a asociadas con la a iable es udiada, p o ocando una dis o sión en los esul ados de
una p ueba diagnós ica si no se ienen en cuen a. De odas o mas, no es á den o del alcance de
es e abajo la conside ación de co a iables en las cu as ROC conside adas.
Es a di e enciación en e los pacien es no es exac a, lo que p o oca que se come an e o es,
que es necesa io minimiza . Una buena o ma es e alua la capacidad disc imina o ia de la p ueba
conside ada. En es a línea se de ine capacidad disc imina o ia de una p ueba como aquella
compe encia empleada pa a di e encia suje os que p esen an o no la condición de es a en e mo.
En busca de mé odos pa a maximiza la alidez de las p uebas, su ge el concep o de cu a
5
6 2. In oducción a las cu as ROC
ROC (siglas de i adas del nomb e en inglés: Recei e Ope a ing Cha ac e is ic cu e).
Dicha cu a es una he amien a es adís ica u ilizada pa a e alua la capacidad disc imina o ia
de un cie o mé odo de clasi icación median e un es bina io.
En la p ác ica, al ealiza se p uebas médicas pa a de ec a la p esencia de una cie a en e -
medad, se ienen dos posibles esul ados:
Posi i o, que deno a emos en adelan e po P, si el suje o es diagnos icado como en e mo.
Nega i o, que deno a emos en adelan e po N, si el suje o es diagnos icado como sano.
A pa i de es os da os su ge el llamado diagnós ico “pe ec o”, aquel en el que odo indi iduo
en e mo es de e minado como posi i o y odo indi iduo sano es iden i icado como nega i o. Pe o,
desa o unadamen e, p ác icamen e nunca se da es a casuís ica.
En consecuencia, se cuen a con la p esencia de dos ipos de e o es a la ho a de clasi ica a
un indi iduo:
Cuando un indi iduo sano es diagnos icado como en e mo, que es lo que se conoce como
un also posi i o, suceso que deno a emos en adelan e po FP.
Cuando un suje o en e mo es diagnos icado como sano, que es lo que se conoce como un
also nega i o, suceso que deno a emos en adelan e po FN.
Es a si uación se ilus a de mane a más cla a en la Tabla 2.1. Exis en di e encias en e ambos
ipos de e o es que cabe menciona , pues las consecuencias de cada uno son dis in as dependiendo
de la si uación. Po un lado, pa a cie as en e medades es necesa io que sean de ec adas y ecibi
el a amien o co espondien e con la mayo b e edad posible. Po o o lado, diagnos ica a un
indi iduo como en e mo cuando no p esen a esa condición y que eciba un a amien o que no
necesi a puede causa g a es consecuencias an o ísicas como económicas.
Condición
En e mo (E) Sano (S)
Diagnosis Posi i o (P) Ve dade o Posi i o (VP) Falso Posi i o (FP)
Nega i o (N) Falso Nega i o (FN) Ve dade o Nega i o(VN)
Tabla 2.1: Clasi icación del esul ado de una p ueba diagnós ica.
Supongamos que el mé odo de diagnós ico depende de una a iable con inua1, Y, denominada
a iable de diagnós ico. Pa a clasi ica a los pacien es se ecu e a la búsqueda de un pun o de
1En es e abajo solo abo da emos el caso en el que la a iable de decisión es con inua, pe o en la p ác ica
ambién pod ía se disc e a.
2.1. P uebas diagnós icas 7
co e o umb al, que deno a emos en adelan e po c, de la a iable Y que nos pe mi i á di e encia
en e sano y en e mo. Uno de los p incipales p oblemas asociados a es e ipo de p ocedimien os
es la elección de es e pun o de co e óp imo, del cual se habla á más adelan e.
Se p esen a así un es bina io pa a clasi ica a un indi iduo como sano o en e mo en unción
del alo del umb al c. Así,
Si Y > c, di emos que el indi iduo es clasi icado como en e mo.
Si Y ≤c, di emos que el indi iduo es clasi icado como sano2.
Es ablecido el p ocedimien o que nos pe mi i á di e encia en e pacien es sanos y pacien es
en e mos, el siguien e paso se á de e mina la alidez de la p ueba, es deci , medi su exac i ud
diagnós ica. Pa a ello, se emplea án dos concep os pa a medi su au en icidad, basados en el
concep o de la p obabilidad condicionada3. Se in oducen dichos concep os a con inuación.
De inición 2.1. Se de ine la sensibilidad de una p ueba diagnós ica como la p obabilidad de
que la p ueba a es udio haya dado posi i o cuando el suje o es á ealmen e en e mo. Es deci :
Sensibilidad =P(P | E) = P(P∩E)
P(E).
En o as palab as, el a io en e e dade os posi i os y odos los suje os en e mos:
Sensibilidad =VP
VP+FN.
De inición 2.2. Se de ine la especi icidad de una p ueba diagnós ica como la p obabilidad de
que la p ueba a es udio haya dado nega i o cuando el suje o es á ealmen e sano. Es deci :
Especi icidad =P(N | S) = P(N∩S)
P(S).
En o as palab as, el a io en e e dade os nega i os y la población sana:
Especi icidad =VN
VN+FP.
La sensibilidad y especi icidad a ían en unción del umb al celegido. Apoyándonos en la
Figu a 2.1, donde se ilus an los concep os de V N, V P, F N yF P , se obse a que el caso ideal
se ía aquel que maximice la sensibilidad con el in de de ec a el mayo núme o de e dade os
posi i os (pacien es en e mos) y el que maximice la especi icidad4pa a ob ene el máximo núme o
2Po con enio, se asume que los alo es de la a iable diagnós ico son más ele ados en la población en e ma. De
es a mane a la ep esen ación de la cu a ROC se á más in ui i a. En caso de no da se es a p opiedad, debe íamos
aplica alguna ans o mación sob e los da os o iginales.
3La p obabilidad condicionada es la p obabilidad de que ocu a un e en o A sabiendo que p e iamen e ha
enido luga o o e en o B. Se deno a como P(A|B)y se de ine como P(A|B) = P(A∩B)
P(B), siemp e que P(B)>0.
4También se puede p ocede disminuyendo 1-especi icidad.
8 2. In oducción a las cu as ROC
de e dade os nega i os (pacien es sanos). En o as palab as, el obje i o es minimiza el núme o
de alsos posi i os y alsos nega i os.
Las p uebas con al a sensibilidad se u ilizan pa a pode cap a la mayo can idad de
en e mos posibles. Una p ueba muy sensible se emplea p incipalmen e en los casos en los que
el no iden i ica la en e medad puede causa g a es consecuencias en los en e mos. Dado que, a
medida que aumen e la sensibilidad de una p ueba, el núme o de alsos nega i os disminui á. Un
ejemplo de es a p ueba se ía la ealización de mamog a ías en el cánce de mama, en la que un
also posi i o en es a p ime a p ueba, que aca ea nue os con oles médicos, es p e e ible a no
diagnos ica a una pe sona ealmen e en e ma.
Po o a pa e, los es de al a especi icidad se emplean en p uebas con i ma o ias del
diagnós ico, in en ando educi el núme o de alsos posi i os. Dicha p ueba es necesa ia pa a
en e medades g a es sin a amien o o cuando diagnos ica esa en e medad puede p o oca con-
secuencias an o económicas como ísicas o psicológicas en el pacien e. Además, a medida que
aumen e la especi icidad en una p ueba, el núme o de alsos posi i os disminui á. Un ejemplo
pod ía se el caso del SIDA. Pa a más in o mación sob e es e ipo de p uebas consul a [7].
−4 −2 0 2 4 6 8
0.00
0.05
0.10
0.15
0.20
Va iable diagnós ico
VN VP
FN FP
pacien e
sano pacien e
en e mo
VN VP
FN FP
pacien e
sano pacien e
en e mo
−4 −2 0 2 4 6 8
0.00
0.05
0.10
0.15
0.20
Va iable diagnós ico
VN VP
FN FP
pacien e
sano pacien e
en e mo
VN VP
FN FP
pacien e
sano
Figu a 2.1: Rep esen ación de alsos posi i os, e dade os posi i os, alsos nega i os y e dade os
nega i os asociados a di e en es alo es del pun o de co e c.
2.2. La cu a ROC
A con inuación, se p esen a á o a o ma de de ini es os concep os en unción de la a iable
diagnós ico y el alo del pun o de co e, c. Dado que el compo amien o de la a iable Ydebe ía
2.2. La cu a ROC 9
se di e en e en el g upo de sanos y en e mos, deno a emos po GyFlas dis ibuciones de Y
en cada uno de los g upos, espec i amen e. Además, g y deno a án las unciones de densidad
asociadas. Así,
La p opo ción de e dade os posi i os en unción del umb al c, que deno a emos po PVP,
se de ine como:
PVP(c) =P[Y > c |E]=1−F(c) = sensibilidad(c).
La p opo ción de alsos posi i os en unción del umb al c, que deno a emos po PFP, se
de ine como:
PFP(c) =P[Y > c |S] = 1 −G(c)=1−especi icidad(c).
−4 −2 0 2 4 6 8
0.0
0.1
0.2
0.3
0.4
Va iable diagnós ico
c1
pacien es
sanos pacien es
en e mos
c1
(a) c1= 0.7
−4 −2 0 2 4 6 8
0.0
0.1
0.2
0.3
0.4
Va iable diagnós ico
c2
pacien es
sanos pacien es
en e mos
c2
(b) c2= 2.1
Figu a 2.2: Rep esen ación de la sensibilidad y especi icidad asociadas a di e en es alo es del
umb al cpa a una misma a iable diagnós ico.
En la Figu a 2.2 se ilus a un ejemplo en el que se puede e de qué mane a in luye el
alo del umb al en las p uebas diagnós ico. En la pa e (a) de la Figu a 2.2 se oma c1= 0.7
y se obse a como muchos de los pacien es que se es án diagnos icando como posi i os es án
ealmen e en e mos, y se end án pocos alsos nega i os (p ueba muy sensible con especi icidad
educida). Es o quie e deci que se es á clasi icando a muchos pacien es como en e mos aunque
ealmen e no lo es án. En la pa e (b) de la Figu a 2.2 el alo del umb al es c2= 2.1; se end á
10 2. In oducción a las cu as ROC
una si uación opues a dado que esul a án pocos alsos posi i os (p ueba muy especí ica con
sensibilidad educida), pe o aumen a á el núme o de alsos nega i os. Es o signi ica que no se
de ec a en su o alidad a odos los pacien es en e mos. Además, se dice que una p ueba p esen a
sensibilidad y especi icidad educida cuando se iden i ican como posi i os a no odos los pacien es
en e mos y, al mismo iempo, incluye a alguno que no p esen e esa condición.
A con inuación se de ini á el concep o undamen al de es e abajo:
De inición 2.3. Se de inen ma emá icamen e las cu as ROC, pa a odos los posibles alo es
de c, en unción de las unciones de dis ibución de la a iable diagnós ico Yen el g upo de sanos
y en e mos, FyG, de la siguien e o ma:
ROC(·) = {(1 −G(c),1−F(c)),con c∈R}={(p, 1−F(G−1(1 −p))),con p∈[0,1]}.
Po lo que se puede de ini la cu a ROC como una unción de supe i encia5de una a iable
ans o mada dada po :
ROC(p)=1−F(G−1(1 −p)),pa a odo p∈[0,1].(2.1)
En lo ela i o al g á ico de las cu as ROC, se ep esen a la p opo ción de e dade os posi i os
en e a la p opo ción de alsos posi i os, es deci :
ROC(·) = {(PFP(c),PVP(c)),con c∈R}.
Po lo an o, se concluye que, pa a ep esen a una cu a ROC bas a con e alua la p o-
po ción de alsos y e dade os posi i os en los posibles alo es del umb al c∈R, es deci ,
(PFP(c),PVP(c)) pa a odo c∈R. Reco dando la de inición de la p opo ción de alsos y e -
dade os posi i os, dichos alo es se co esponden con el complemen a io de la especi icidad y la
sensibilidad, espec i amen e. Po an o, como es amos abajando con p obabilidades, la unción
ROC oma á alo es en [0,1] ×[0,1].
En la Figu a 2.3 se ilus an di e en es escena ios que se pueden p esen a cuando abajamos
con cu as ROC. En la columna de la izquie da se ep esen a el compo amien o de la a iable
diagnós ico Yen el g upo de sanos y en e mos pa a di e en es si uaciones de solapamien o en e
g upos ( ep esen ada con una zona azul). Además, se des acó el pun o de co e óp imo en cada
caso (cicon i=1, 2 y 3). En la columna de la de echa se ep esen a la cu a ROC asociada a
la si uación de sanos y en e mos co espondien e. Además, se esal a á el pun o asociado al ci
co espondien e.
5Dada una a iable X con unción de dis ibución FX, se de ine la unción de supe i encia de X como
SX(x) = 1 −FX(x).
2.2. La cu a ROC 11
−4 −2 0 2 4 6 8
0.00
0.05
0.10
0.15
0.20
c1
g
(a) Solapamien o ue e.
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(0.31,0.69)
(b) Cu a ROC asociada a (a).
−4 −2 0 2 4 6 8
0.0
0.1
0.2
0.3
0.4
c2
g
(c) Solapamien o débil.
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(0.006,0.994)
(d) Cu a ROC asociada a (c).
−4 −2 0 2 4 6 8
0.00
0.05
0.10
0.15
0.20
c3
g
(e) Solapamien o medio.
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(0.19,0.81)
( ) Cu a ROC asociada a (e).
Figu a 2.3: Rep esen ación de di e en es a iables diagnós ico jun o con las co espondien es
cu as ROC.
18 2. In oducción a las cu as ROC
siendo Φla unción de dis ibución no mal es ánda , y
PVP(c) =P[Y≥c|E] = PZE>c−µF
σF=PZE<−c−µF
σF= Φ µF−c
σF.
Además, eniendo en cuen a la exp esión (2.1), ambién pod íamos esc ibi la cu a ROC
como sigue:
ROC(p)=1−F(G−1(1 −p)) = 1 −ΦG−1(1 −p)−µF
σF
= 1 −ΦΦ−1(1 −p)σG+µG−µF
σF
= Φ µF−µG+σGΦ−1(p)
σF
= Φ µF−µG
σF
+σG
σF
Φ−1(p)
= Φ µF−µG
σF
+σG
σF
Φ−1(1 −p),∀p∈[0,1],
donde el in e cep o iene dado po µF−µG
σF, cuyo é mino se á siemp e posi i o, ya que la a iable
diagnós ico oma alo es más al os en la población en e ma asumiendo así que µF> µG. Po
o o lado, la pendien e es de la o ma σG
σFsiendo σF, σG>0luego, como depende de la des iación
ípica de cada uno de los g upos de in e és, se iene siemp e un é mino no nega i o.
La o ma explíci a del índice esumen del á ea bajo la cu a en el caso de la cu a ROC
bino mal, AUC bino mal, se in oduce a con inuación. Asumiendo que
Y|E∈N(µF, σ2
F),
Y|S∈N(µG, σ2
G),
son a iables alea o ias no males independien es, se iene que Y|E−Y|S∈N(µF−µG, σ2
F+σ2
G)
y como consecuencia
Z=(Y|E−Y|S)−(µF−µG)
qσ2
F+σ2
G∈N(0,1).
Teniendo en cuen a que el á ea bajo la cu a se puede exp esa como
AUC =P[Y|E > Y |S] = P[Y|E−Y|S > 0],
podemos deduci la ó mula del AUC:
AUC =P[Y|E−Y|S > 0] = P
Z > 0−(µF−µG)
qσ2
F+σ2
G
= 1 −P
Z≤ −(µF−µG)
qσ2
F+σ2
G
= 1 −Φ
−(µF−µG)
qσ2
F+σ2
G
= Φ
(µF−µG)
qσ2
F+σ2
G
.
2.5. Modelo bino mal 19
Luego la ecuación implíci a del á ea bajo la cu a bino mal iene dada po :
AUC = Φ
µF−µG
qσ2
F+σ2
G
.(2.3)
20 2. In oducción a las cu as ROC
Capí ulo 3
Es imación de la cu a ROC
En es e capí ulo se p esen a án di e en es mé odos pa a es ima una cu a ROC en unción
del conocimien o que engamos de la dis ibución que sigue la a iable diagnós ico de in e és en
el g upo de pacien es sanos y en e mos. Es deci , se analiza án an o es imado es pa amé icos
(en los cuales se asume conocida la amilia de dis ibuciones a la que pe enece la a iable
diagnós ico en el g upo de pacien es sanos y en e mos) como es imado es no pa amé icos (en
cuyo caso desconocemos o almen e la dis ibución de la a iable diagnós ico). Pa a amplia los
con enidos p esen ados en es e capí ulo pueden consul a se [3] o [6], en e o os.
3.1. Es imación pa amé ica
Una p ime a idea a la ho a de es ima una cu a ROC es emplea modelos pa amé icos
donde se hacen suposiciones ace ca de la dis ibución de la a iable de in e és Yen el g upo
de pacien es sanos y en e mos. En es e ipo de mé odos el p oblema se educe a es ima los
pa áme os asociados a las dis ibuciones que se asume que sigue Y. En conc e o, se conside a
una dis ibución pa amé ica conocida de la p ueba diagnós ica en el g upo de sanos y en e mos,
que no iene po qué se la misma en ambos g upos. Se deno a á po , siguiendo la no ación
usada en el capí ulo an e io , Fθ1yGθ2a la unción de dis ibución de la a iable Yen el g upo
de en e mos y sanos, espec i amen e, donde θ1yθ2deno an los pa áme os desconocidos que
ca ac e izan dichas dis ibuciones, FyG.
La cu a ROC es imada median e un mé odo pa amé ico en unción de los pa áme os
desconocidos θ1yθ2 iene dada po 1:
ROCb
θ1,
b
θ2(p)=1−Fb
θ1(G−1
b
θ2(1 −p)),pa a odo p∈[0,1],
1En es e abajo se emplea á en subíndice b
θ1,
b
θ2pa a hace e e encia a la es imación pa amé ica de la cu a
ROC que depende de esos pa áme os desconocidos.
21
22 3. Es imación de la cu a ROC
donde b
θ1yb
θ2son las es imaciones de los pa áme os desconocidos θ1yθ2en el g upo de en e mos
y sanos, espec i amen e2.
En es e pun o, se pod ían conside a nume osos ipos de dis ibuciones pa a la a iable Yen
ambos g upos. Como bien se comen a en [3], se in es iga on los posibles modelos pa amé icos
que pod ían emplea se con es a es imación. El modelo no mal es la opción más ob ia debido al
buen compo amien o de dicha dis ibución, pe o han sido nume osos los modelos conside ados,
así como modelos logís icos, gamma o Lomax, cuyos au o es se pueden encon a en [3]. Sin
emba go, en es e abajo nos cen a emos en la es imación pa amé ica del modelo bino mal,
debido a la en aja que p esen a la cu a ROC bino mal de pe enece in a ian e en e a una
ans o mación monó ona, al como se demos ó en el Teo ema 2.11. El modelo bino mal, ya
p esen ado en el Capí ulo 2, consis e en asumi no malidad en la a iable diagnós ico an o en la
población sana como en la en e ma. En es e caso, los pa áme os desconocidos que ca ac e izan
la a iable diagnós ico son aquellos que de e minan la dis ibución no mal, es deci , la media y
la a ianza. Po an o, se end ía que
Y|E∈N(µF, σ2
F),
Y|S∈N(µG, σ2
G),
siendo en onces θ1= (µF, σ2
F)yθ2= (µG, σ2
G). Dichos pa áme os se án es imados median e los
siguien es es imado es insesgados
b
θ1= (bµF,bσ2
F) = 1
n
nE
X
i=1
YEi,1
n−1
nE
X
i=1
(YEi−bµF)2!
y
b
θ2= (bµG,bσ2
G) = 1
n
nS
X
i=1
YSi,1
n−1
nS
X
i=1
(YSi−bµG)2!,
suponiendo {YS1, ...YSnS},{YE1, ...YEnE}dos mues as de la a iable diagnós ico Y pa a el g upo
de sanos y en e mos, espec i amen e. En onces podemos es ima la cu a ROC p esen ada en
2.13 de la siguien e o ma:
ROCb
θ1,
b
θ2(p)=ΦbµF−bµG
bσF
+bσG
bσF
Φ−1(1 −p),pa a odo p∈[0,1],
donde la unción Φdeno a la unción de dis ibución no mal es ánda .
Además de la ap oximación an e io , ambién se puede hace una es imación pa amé ica del
á ea bajo la cu a (AUC) que ha sido p esen ada en (2.3)
[
AUC = Φ
bµF−bµG
qbσ2
F+bσ2
G
.(3.1)
2Habi ualmen e es as es imaciones se suelen calcula u ilizando el mé odo de máxima e osimili ud.
3.1. Es imación pa amé ica 23
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
Cu a ROC pa amé ica
Cu a ROC eó ica
(a) n=50
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
Cu a ROC pa amé ica
Cu a ROC eó ica
(b) n=150
Figu a 3.1: Rep esen ación de la cu a eó ica y es imada pa amé icamen e pa a di e en es
amaños de mues a siendo Y|E∈N(µF= 3 , σF= 1.72) eY|S∈N(µG= 0, σG= 1.72) la
a iable diagnós ico asociada al g upo de en e mos y sanos, espec i amen e.
En la Figu a 3.1 se ep esen a una es imación pa amé ica de la cu a ROC en un con ex o
bino mal donde Y|E∈N(µF= 3, σF= 1.72) eY|S∈N(µG= 0, σG= 1.72). Además, se
añade la cu a ROC eó ica asociada a dicho escena io. Nó ese que, como e a de espe a , el
ajus e de la cu a ROC mejo a cuando el amaño de la mues a aumen a. Además, da luga a
una unción sua e sin sal os escalonados.
En la p ác ica es de i al impo ancia supone una dis ibución adecuada pa a la a iable Y,
pues en caso con a io puede aca ea p oblemas no solo en la p opia cu a si no en las can idades
de i adas como el AUC. Algunos au o es, como [3], aconsejan lle a a cabo una comp obación
de las dis ibuciones de Y|EeY|Spa a ealiza la es imación de la cu a con es e mé odo.
Po ejemplo, pa a es ea la no malidad de la a iable diagnós ico pod íamos emplea con as es
muy u ilizados en la li e a u a, como el es de Shapi o-Wilk o el es de Lillie o s (mejo a del
es de Kolmogo o -Smi no bajo el supues o de no malidad).
En cuan o a la compa ación de las cu as ROC es imadas median e un mé odo pa amé ico,
no es su icien e equipa a los pa áme os pa a analiza las cu as ROC, sino que es necesa io
ecu i a la es imación del índice esumen AUC, es deci , el á ea bajo la cu a, que eco demos
que en el caso bino mal iene dado po (3.1). En la Figu a 3.2 podemos e una ep esen ación
del á ea bajo la cu a pa a la cu a ROC eó ica y es imada pa amé icamen e pa a di e en es
24 3. Es imación de la cu a ROC
amaños de mues a.
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(a) n=50
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(b) n=150
Figu a 3.2: Á ea bajo la cu a pa a es imaciones pa amé icas de una cu a ROC ob enidas pa a
di e en es amaños de mues a siendo YF∈N(µF= 3 , σF= 1.72) eYG∈N(µG= 0, σG= 1.72)
la a iable diagnós ico asociada al g upo de en e mos y sanos, espec i amen e. Además, ambién
se p opo ciona la cu a ROC eó ica.
Como se puede obse a en la Figu a 3.2, a medida que aumen a el amaño de mues a, la
cu a pa amé ica ROC es imada se ap oxima más a la eó ica. Además, los alo es del AUC
ob enidos en la Figu a 3.2 son [
AUC50 = 0.80 y[
AUC150 = 0.86, mien as que el á ea bajo la cu a
eó ica es AUC = 0.89. Se puede conclui que, a medida que aumen a el amaño de mues a, el
alo del AUC es imado pa amé icamen e se ap oxima más al alo del AUC eó ico.
En ocasiones, el asumi que la a iable diagnós ico asociada a cada g upo sigue una dis ibu-
ción no mal no es adecuado, po lo que es aconsejable lle a a cabo dos p ocesos. Po un lado,
aplica cie as ans o maciones en los da os pa a que se asemeje a dicha dis ibución, pues el ob-
je i o p incipal de los in es igado es es la búsqueda de la no malidad debido al compo amien o
que p esen a. Po o o lado, conside a o as dis ibuciones, siemp e y cuando se comp uebe que
la suposición de las mismas sea acep able.
3.2. Es imación no pa amé ica
En la p ác ica apenas se dan casos en donde se conoce la dis ibución de la a iable asociada
a cada población. Es po ello que su ge, de mane a na u al, la necesidad de es ima es as cu as
3.2. Es imación no pa amé ica 25
ROC cuando no se hacen suposiciones ace ca de la dis ibución de la a iable Y en cada g upo
de in e és. Se p esen a án dos p ocedimien os cuya g an en aja es que son aplicables a casos
muy gene ales:
1. Mé odo empí ico. Es e mé odo eemplaza la unción de dis ibución eó ica de la a iable
diagnós ico Y po la unción de dis ibución empí ica a pa i de los da os ob enidos, es
deci , po una es imación no pa amé ica de dicha a iable Y, que es la más sencilla que
nos podemos plan ea . Es e p ocedimien o nos p opo ciona á cu as ROC es imadas con
"sal os" como ya ocu e con la es imación empí ica de la unción de dis ibución.
2. Mé odo ipo núcleo. Es e mé odo consis e, empleando p ocedimien os no pa amé icos
ipo núcleo, ob ene es imado es sua es de las unciones F y G a pa i de los da os de la
mues a. A di e encia del mé odo an e io , es a g á ica da luga a una cu a ROC sua e,
sin escalones.
3.2.1. Es imación empí ica
En p ime luga , amos a in oduci el concep o de unción de dis ibución empí ica.
De inición 3.1. Dada {X1, X2, ..., Xn}una mues a alea o ia simple de una a iable X, la
unción de dis ibución empí ica, que deno a emos habi ualmen e po b
Fn, es un es imado
de una unción de dis ibución que asigna p obabilidad 1
na cada uno de los n alo es de la
mues a. Fo malmen e se de ine como:
b
Fn(x) = núme o de elemen os de la mues a ≤x
n=1
n
n
X
i=1
I{Xi≤x},
donde Ideno a la unción indicado a.
En o as palab as, pa a cada alo de x, se le asigna la ecuencia ela i a de alo es mues ales
meno es o iguales que x.
Pa a isualiza el compo amien o de la unción de dis ibución empí ica, se p ocede a su
ep esen ación jun o con la dis ibución eó ica en un con ex o donde la a iable X sigue una
dis ibución no mal es ánda . En la Figu a 3.3 se p esen an es imaciones de la unción de dis i-
bución no mal es ánda a a és de la unción de dis ibución empí ica. Nó ese que la unción de
dis ibución empí ica es una unción no dec ecien e escalonada con un "sal o" de amaño 1
nen
cada pun o de la mues a Xi,con i= 1, ..., n. Se concluye que, a medida que aumen a el amaño
de mues a, la unción de dis ibución empí ica y la unción de dis ibución eó ica de la no mal
"se pa ecen"más. Dicho inc emen o hace que los "sal os" sean más pequeños llegando incluso a
se impe cep ibles.
26 3. Es imación de la cu a ROC
−2 −1 0 1 2 3
0.0 0.2 0.4 0.6 0.8 1.0
x
Fn(x)
Dis ibución empí ica
Dis ibución eó ica
(a) n= 25
−2 −1 0 1 2 3
0.0 0.2 0.4 0.6 0.8 1.0
x
Fn(x)
Dis ibución empí ica
Dis ibución eó ica
(b) n= 100
Figu a 3.3: Rep esen ación de la unción de dis ibución eó ica de la no mal es ánda y la unción
de dis ibución empí ica pa a di e en es amaños de mues a.
A con inuación, se in oduci á la unción de dis ibución empí ica en el con ex o de la es i-
mación de la cu a ROC. P ime amen e, suponemos {YS1, ...YSnS}e{YE1, ...YEnE}dos mues as
pa a el g upo de sanos y en e mos, espec i amen e. En onces3,
ROCn(p)=1−b
FnE(b
G−1
nS(1 −p)), p ∈[0,1],
donde b
FnEyb
GnSson las unciones de dis ibución empí icas ob enidas de las dos mues as de
in e és. Dadas de la o ma:
b
FnE(c) = 1
nE
nE
X
i=1
I{Yi≤c},
b
GnS(c) = 1
nS
nS
X
i=1
I{Yi≤c}.
Pa a ob ene el es imado empí ico de la cu a ROC, se pod ía aplica di ec amen e la de-
inición de dicha cu a a los da os obse ados, e i ando así la necesidad de conside a b
G−1
nS. Es
deci , en la p ác ica, la es imación
ROCnpod ía ep esen a se con mayo acilidad si conside a-
mos los pa es (
PFPn(c),
PV P n(c)) pa a odo c∈R. Así pa a odo c, los es imado es empí icos
3En es e abajo se emplea á el subíndice npa a hace e e encia a la es imación empí ica de la cu a ROC.
3.2. Es imación no pa amé ica 27
co espondien es a las p opo ciones de e dade os y alsos posi i os iene dado po :
PV P n(c) = 1
nE
nE
X
i=1
I{YEi> c},
PFPn(c) = 1
nS
nS
X
i=1
I{YSi> c},
donde nEynSson el núme o o al de indi iduos de las mues as pa a la población en e ma y
sana, espec i amen e.
Luego, eco dando la de inición de cu a ROC, en es e caso se puede conside a :
ROCn={(
PFPn(c),
PV P n(c)),con c∈R}
=( 1
nS
nS
X
i=1
I{YSi> c},1
nE
nE
X
i=1
I{YEi> c}!,con c∈R).
Es os pun os esul an es se unen linealmen e dando luga a una ep esen ación escalonada.
Pueden p esen a se a ias si uaciones:
1. No se p oducen empa es en los da os. En es e caso, se ob iene una unción escale a c ecien e
con:
Segmen os cons an es e icales de amaño 1
nEco espondien es a los esul ados de las
p uebas de la población en e ma. Son esul ado de la apa ición de un nue o e dade o
posi i o.
Segmen os cons an es ho izon ales de amaño 1
nSco espondien es a los esul ados
de las p uebas de la población sana. Son esul ado de la apa ición de un nue o also
posi i o.
2. Se p oducen empa es en los da os. G á icamen e, da luga a segmen os diagonales que
apa ece cuando ocu e un empa e en los indi iduos sanos y en e mos, lo que indica que
un nue o indi iduo pasa a se also posi i o y o o e dade o posi i o. Los empa es en e
los esul ados de las obse aciones de ambas ca ego ías dan como esul ado segmen os de
línea diagonal co espondien es a "sal os" e icales y ho izon ales simul áneos.
Reco demos que, una medida impo an e a la ho a de compa a las cu as ROC es el cálculo
de su co espondien e á ea bajo la cu a, deno ada habi ualmen e po AUC. Se puede esc ibi
el es imado del AUC asociado a la cu a ROC empí ica como sigue:
AUCn=Z1
0
ROCn(p)dp.
34 3. Es imación de la cu a ROC
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(a) n=50
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(b) n=150
Figu a 3.7: Á ea bajo la cu a pa a es imaciones pa amé icas, usando la dis ibución empí ica y
la dis ibución ipo núcleo pa a di e en es amaños de mues a cuando Y|E∈N(µF= 3 , σF=
1.72) eY|S∈N(µG= 0, σG= 1.72) .
En la Tabla 3.1 se ecopilan odos los alo es es imados del á ea bajo la cu a con los di e en es
mé odos p esen ados jun o con el alo eó ico.
nValo Es imación Es imación Es imación
eó ico pa amé ica empí ica ipo ke nel
Y|E∈N(µF= 3 , σF= 1.72) 50 0.891 0.800 0.798 0.780
Y|S∈N(µG= 0 , σG= 1.72) 150 0.859 0.848 0.838
Tabla 3.1: Á ea bajo la cu a asociada a di e en es es imado es de la cu a ROC: es imado es
pa amé icos asumiendo una dis ibución bino mal, es imado es basados en la unción de dis i-
bución empí ica y la dis ibución ipo ke nel pa a dos amaños de mues a.
3.3. Compa ación de los di e en es mé odos
A lo la go de es e abajo se ha comen ado la g an impo ancia del cálculo del á ea bajo
la cu a, p incipalmen e po su u ilidad a la ho a de compa a cu as ROC. En es a sección se
compa a á el calculo de dicha medida asociada a las cu as ROC es imadas u ilizando los di e sos
mé odos explicados a lo la go de es e capí ulo pa a di e en es escena ios. Es deci , u iliza emos
un es udio de simulación po Mon e Ca lo que nos pe mi a compa a los di e en es mé odos de
es imación de la cu a ROC.
3.3. Compa ación de los di e en es mé odos 35
−4 −2 0 2 4 6 8
0.00
0.05
0.10
0.15
0.20
g
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(a) Escena io 1
−4 −2 0 2 4 6 8
0.0
0.1
0.2
0.3
0.4
g
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(b) Escena io 2
−5 0 5 10
0.0
0.1
0.2
0.3
0.4
g
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(c) Escena io 3
Figu a 3.8: Rep esen ación de las di e en es unciones de densidad de la a iable diagnós ico en
cada g upo de in e és jun o con la cu a ROC asociada a cada escena io.
36 3. Es imación de la cu a ROC
Los escena ios conside ados se dis inguen po las di e en es dis ibuciones que se oma án
en cuen a pa a los g upos de sanos y en e mos. En el p ime o de ellos, se conside a el modelo
bino mal, en el que la a iable alea o ia asociada a cada g upo sigue una dis ibución no mal.
En el segundo, la dis ibución que sigue la a iable en el g upo de en e mos segui á siendo una
no mal, mien as que en el g upo de sanos una T-S uden con 2 g ados de libe ad. En el úl imo,
la a iable alea o ia en el g upo de en e mos sigue una dis ibución Chi-cuad ado con 5 g ados
de libe ad, mien as que en el g upo de sanos sigue una T-S uden con 2 g ados de libe ad. En
la Figu a 3.8 se mues a la unción de densidad de la a iable diagnós ico en el g upo de sanos
y en e mos jun o con la cu a ROC eó ica pa a cada escena io conside ado.
A con inuación, se mues a en la Tabla 3.2 los alo es medios del á ea bajo la cu a co es-
pondien es a cada escena io pa a di e en es amaños de mues a ob enidos después de hace 500
éplicas de Mon e Ca lo. Pa a e alua la capacidad de cada uno de los mé odos calcula emos
es imaciones pa amé icas de la cu a ROC asumiendo que la a iable diagnós ico es no mal en
cada uno de los g upos, así como es imaciones no pa amé icas basadas an o en la unción de
dis ibución empí ica como en mé odos ipo núcleo. Además de es udia el e ec o del pa áme o
de sua izado en el mé odo ipo núcleo, conside a emos dos es imado es de dicho pa áme o: el
p opues o po Polansky y Bake , que se á deno ado po 1, y el desa ollado po Al man y Lege
(se puede consul a en [1]), que se á deno ado po 2.
Á ea bajo la cu a pa a 500 mues as (en media)
nValo Es imación Es imación Es imación Es imación
eó ico pa amé ica empí ica ipo ke nel 1 ipo ke nel 2
Y|E∈N(µF= 3 , σF= 1.72) 50 0.891 0.888 0.878 0.854 0.854
Y|S∈N(µG= 0 , σG= 1.72) 150 0.891 0.8821 0.869 0.869
Y|E∈N(µF= 3, σF= 1.72) 50 0.896 0.847 0.864 0.849 0.849
Y|S∈ 2150 0.837 0.866 0.858 0.858
Y|E∈χ2
550 0.951 0.896 0.919 0.901 0.901
Y|S∈ 2150 0.885 0.921 0.911 0.911
Tabla 3.2: Media del á ea bajo la cu a asociada a di e en es es imado es de la cu a ROC:
es imado es pa amé icos asumiendo una dis ibución bino mal, es imado es basados en la un-
ción de dis ibución empí ica y es imado es ipo núcleo con di e en es alo es del pa áme o de
sua izado.
A la is a de la Tabla 3.2, se puede des aca que, den o de cada escena io, cuando aumen a el
amaño de mues a el alo del AUC es imado con los di e en es mé odos se ap oxima al alo del
á ea bajo la cu a eó ico. En el Escena io 1 se obse a que el AUC es imado u ilizando el mé odo
pa amé ico es mejo que el es o de es imaciones. El compo amien o del mé odo pa amé ico
se a de e io ando p og esi amen e en el es o de escena ios; debido a que en el segundo solo la
a iable alea o ia asociada al g upo de en e mos sigue una dis ibución no mal, mien as que en
3.3. Compa ación de los di e en es mé odos 37
el e ce o ya ninguna de las a iables asociadas a cada ca ego ía sigue dicha dis ibución. Po
lo que, en los dos úl imos escena ios con end ía usa es imaciones no pa amé icas ya que no
es amos bajo las hipó esis del modelo bino mal.
Es as conclusiones se pueden apoya con ayuda de la ep esen ación de los boxplo s pa a los
alo es del AUC es imados en los di e en es escena ios, incluyendo una línea ho izon al discon i-
nua oja que hace e e encia al alo del AUC eó ico, al y como se e en la Figu a 3.9, cuando
el amaño de mues a es 50 y en la Figu a 3.10, cuando el amaño de mues a es 150.
En es e caso, lo óp imo se ía que el cen o de las cajas, conc e amen e la línea g uesa neg a
que ep esen a la mediana, es é lo más ce ca posible de la línea discon inua oja. Conco dando
con lo an e io , se ap ecia que, pa a ambos amaños de mues a, en el Escena io 1 la línea neg a
si uada en el AUC es imado pa amé icamen e es p ác icamen e coinciden e con el AUC eó ico.
El compo amien o del mé odo pa amé ico a empeo ando en los siguien es escena ios, siendo
más adecuado la es imación no pa amé ica del á ea bajo la cu a. En es e caso, en e las dos
es imaciones de ese mé odo, la mejo opción se á la es imación empí ica. Todo ello se mues a
en la Figu a 3.9 y en la Figu a 3.10.
AUC pa amé ico AUC empí ico AUC núcleo 1 AUC núcleo 2
0.75 0.80 0.85 0.90 0.95
(a) Escena io 1
AUC pa amé ico AUC empí ico AUC núcleo 1 AUC núcleo 2
0.5 0.6 0.7 0.8 0.9
(b) Escena io 2
AUC pa amé ico AUC empí ico AUC núcleo 1 AUC núcleo 2
0.6 0.7 0.8 0.9 1.0
(c) Escena io 3
Figu a 3.9: Rep esen ación de los boxplo s pa a los alo es del á ea bajo la cu a es imados
cuando el amaño de mues a es 50.
38 3. Es imación de la cu a ROC
AUC pa amé ico AUC empí ico AUC núcleo 1 AUC núcleo 2
0.82 0.86 0.90 0.94
(a) Escena io 1
AUC pa amé ico AUC empí ico AUC núcleo 1 AUC núcleo 2
0.6 0.7 0.8 0.9
(b) Escena io 2
AUC pa amé ico AUC empí ico AUC núcleo 1 AUC núcleo 2
0.6 0.7 0.8 0.9
(c) Escena io 3
Figu a 3.10: Rep esen ación de los boxplo s pa a los alo es del á ea bajo la cu a es imados
cuando el amaño de mues a es 150.
Capí ulo 4
Elección del pun o de co e óp imo
El obje i o p incipal de es e abajo es la búsqueda de un buen mé odo diagnós ico; es-
ableciendo un c i e io de clasi icación, e aluando su exac i ud diagnós ica y cuan i icando la
capacidad disc imina o ia de un clasi icado pa a di idi en dos g upos, sanos y en e mos, a
cie os indi iduos. Tan o la cu a ROC como el á ea bajo la cu a, AUC, p opo cionan un alo
global de un clasi icado pa a odos los posibles alo es que puede oma c∈R. Po lo que, en
es e caso, no es su icien e p opo ciona dicho alo global. Luego, su ge la necesidad de es ablece
un único pun o de co e o alo de disc iminación a pa i del cual se iden i ique a un indi iduo
como en e mo o como sano, asumiendo, como bien se comen ó an e io men e, que los alo es
ele ados de la p ueba se asocian a los pacien es que p esen an la en e medad. Es o se puede
exp esa median e el es bina io p opues o en el Capí ulo 2:
Si Y >c, di emos que el indi iduo es clasi icado como en e mo.
Si Y ≤c, di emos que el indi iduo es clasi icado como sano.
Pa a ejempli ica es o, en la pa e (b) de la Figu a 2.2 cuando los alo es p opo cionados po
el es son in e io es a c2= 2.1los pacien es se clasi ican como sanos, o bien, como en e mos
cuando se ob ienen alo es supe io es a ese pun o. Recué dese que las medidas de p ecisión,
sensibilidad y especi icidad, a ían en unción del alo de disc iminación. En el ámbi o sani a io,
dependiendo de la en e medad que se quie a diagnos ica , se á p e e ible da le más impo ancia
a la sensibilidad que a la especi icidad, o ice e sa. Po lo que no se puede habla de una “mejo
elección” del umb al cen é minos absolu os.
En la li e a u a, se dispone de nume osas o mas pa a selecciona el núme o y los alo es
de los pun os de co e: conside ando c i e ios ya es ablecidos po es udios an e io es, o bien,
po azones eó icas basándose en in o mación clínica, biológica o isiológica, aunque no siemp e
se cuen a con es a in o mación, po lo que el in es igado decide los pun os de co e median e
39
40 4. Elección del pun o de co e óp imo
esul ados numé icos y g á icos.
Pa a explica cómo se seleccionan los pun os de co e en una p ueba cuya a iable diagnós ica,
Y, sea con inua se in oduci án los mé odos de dico omización. En [4] se dis ibuyen en dos
g upos:
Mé odos analí icos. Se basan en las ca ac e ís icas analí icas de la p ueba. T a a de selecciona
el pun o de co e apoyándose en p ocesos de ob ención de alo es de los cua iles o de
pe cen iles especí icos de la dis ibución a pa i de los da os de la mues a. No es muy ú il,
pues, en e o as cosas, no iene en cuen a la sensibilidad.
Mé odos clínicos o epidemiológicos. Se basan en la clasi icación del suje o asumiendo que el
diagnós ico ob enido del pacien e ocu e en un momen o de e minado. Busca un equilib io
en e la sensibilidad y especi icidad, es deci , clasi ica co ec amen e a los pacien es en
unción de si p esen an o no la en e medad, espec i amen e. En es e con ex o, su gen
los mé odos de selección de pun os de co e óp imos basados en cu as ROC, pues o que
dicho equilib io suele es a ep esen ado po medidas elacionadas con la sensibilidad y
especi icidad.
4.1. C i e ios basados en medidas de sensibilidad y especi icidad
4.1.1. Maximización de sensibilidad y especi icidad
Se a a de de ini un alo óp imo de ccon el in de aumen a la p obabilidad de de ec a
co ec amen e a un e dade o posi i o (sensibilidad) y un e dade o nega i o (especi icidad).
4.1.2. En oque de igualdad sensibilidad-especi icidad
En es a es a egia se busca un pun o de co e c0de o ma que la sensibilidad y especi icidad
sean p ác icamen e iguales, es deci , que e i ique:
Sensibilidad(c0)≈Especi icidad(c0).
Equi alen emen e, aquel que minimiza el alo absolu o de la di e encia de dichas medidas1:
c0=a g m´ın
c{|Especi icidad(c)−Sensibilidad(c)|}.
Es e pun o es conocido como pun o de sime ía o equi alencia y co esponde al pun o
donde se c uzan la cu a ROC y la línea y= 1 −x.
1Los a gumen os del mínimo son aquellos pun os de c pa a los cuales la di e encia en e la especi icidad y
sensibilidad alcanza su alo mínimo.
4.1. C i e ios basados en medidas de sensibilidad y especi icidad 41
4.1.3. Dis ancia ROC mínima
T a a de encon a un pun o de mane a que el pa (1 −Especi icidad(c),Sensibilidad(c)) es é
lo más ce ca posible a (0,1), es deci , al pun o que mejo clasi ica a los pacien es en los dos
g upos de in e és (cuando la sensibilidad y especi icidad son iguales a uno). En o as palab as,
un alo de disc iminación que minimice la dis ancia euclídea en e dichos pa es:
c=a g m´ın
cnp(1 −Sensibilidad(c))2+ (1 −Especi icidad(c))2o.
4.1.4. Maximización del Índice de Youden
Como se adelan aba en el Capí ulo 2, la maximización del índice de Youden, medida esumen
de la cu a ROC, es uno de los c i e ios más impo an es y que mayo impac o u o pa a
selecciona un pun o de co e óp imo, po lo que su explicación se á más de allada.
Véase dos o mas dis in as de in e p e a la maximización del índice de Youden:
Geomé icamen e, es el pun o que maximiza la dis ancia euclídea de la cu a ROC a la
diagonal (y=x, ∀x∈[0,1]), de o ma que es é lo más ce ca posible al pun o (0,1), aquel
que p esen a sensibilidad y especi icidad igual a uno.
Po de inición,
Y I = m´ax
c|PVP(c)−PFP(c)|
= m´ax
c|Sensibilidad(c) + Especi icidad(c)−1|
= m´ax
c|1−F(c) + G(c)−1|= m´ax
c{G(c)−F(c)}.
Cen ándonos en la de inición, el índice de Youden, pa a un mismo pun o, de e mina la
sensibilidad y especi icidad más al a de mane a conjun a. Sin emba go, es o no quie e deci que
es as medidas omen los alo es más al os de o ma indi idual. Debido a es o, no es aconsejable
emplea es e c i e io cuando se le da mayo impo ancia a una medida que a o a pues, como se
comen ó en el Capí ulo 2, dependiendo de la en e medad a diagnos ica es necesa io u iliza una
p ueba al amen e sensible o al amen e especí ica.
Recapi ulando, el índice de Youden iene dado po :
Y I = m´ax
c{G(c)−F(c)},
siendo {Y1E, ..., YnE}y{Y1S, ..., YnS}las mues as alea o ias pa a el g upo de en e mos y sanos,
espec i amen e. Po an o, pueden emplea se los es imado es pa a G y F, conside ando los
42 4. Elección del pun o de co e óp imo
di e en es mé odos p opues os en el Capí ulo 3, an o pa amé icos como no pa amé icos, en
unción del conocimien o de la dis ibución que sigue la a iable alea o ia en cada g upo. Es o
da luga a una es imación del índice de Youden, c
Y I, deno ando po c∗al pun o de co e óp imo
de cque maximiza la es imación de {G(c)−F(c)}. De o ma que:
c
Y I = m´ax
c{G(c)−F(c)}=G(c∗)−F(c∗).
4.2. Es imación del índice de Youden
A lo la go de es a sección se e á cómo se puede es ima el índice de Youden a pa i de
una mues a de la a iable diagnós ico en cada uno de los g upos de in e és. En conc e o, al
igual que en el Capí ulo 3, se in oduci án an o es imado es pa amé icos como es imado es no
pa amé icos del índice de Youden.
4.2.1. Mé odos pa amé icos
A modo de ejemplo, si se asume que la dis ibución de la a iable diagnós ico de cada g upo
sigue una dis ibución no mal, es deci ,
Y|E∈N(µF, σ2
F),
Y|S∈N(µG, σ2
G),
donde µF> µGyσF, σG>0, en onces se end ía que:
Y I = m´ax
c{Sensibilidad(c) + Epeci icidad(c)−1}
= m´ax
c1−Φc−µF
σF+ Φ c−µG
σG−1
= m´ax
cΦc−µG
σG−Φc−µF
σF,
donde Φdeno a la unción de dis ibución no mal es ánda . Pa a ob ene c∗se puede de i a la
exp esión an e io . En pa icula , si podemos asumi que las σG=σF, se llega a que el pun o de
co e óp imo es c∗=µG+µF
2. Sus i uyendo, se ob iene:
c
Y Ip=Φc∗−µG
σG−Φc∗−µF
σF.
Pa a ob ene más in o mación sob e los cálculos, consúl ese [3].
4.2. Es imación del índice de Youden 43
4.2.2. Mé odos no pa amé icos
Po o a pa e, si no disponemos de in o mación sob e la o ma de la dis ibución de la a iable
diagnós ico en el g upo de sanos y en e mos, end emos que ecu i a mé odos no pa amé icos
basados an o en la unción de dis ibución empí ica como en es imado es ipo núcleo.
Mé odo empí ico. Dadas las unciones de dis ibución empí icas de Y|EeY|S, que
eco demos ienen dadas po :
b
FnE(c) = 1
nE
nE
X
i=1
I{Yi≤c},b
GnS(c) = 1
nS
nS
X
i=1
I{Yi≤c},
el índice de Youden es imado iene dado po :
c
Y In= m´ax
c{b
GnS(c)−b
FnE(c)}, c ∈ {YS1, . . . , YSn, YE1, . . . , YEn}.
Pa a encon a el pun o de co e, c, óp imo, se sugie e oma una combinación de las
mues as o denadas de o ma ascenden e, que se deno a án po d1, ..., dSn+En, siendo djel
máximo que se puede alcanza . De o ma que un buen es imado c∗se á dj+dj+1
2.
Mé odo ipo núcleo. En es e caso, se usan las unciones de dis ibución es imadas me-
dian e el mé odo ipo núcleo, que eco demos ienen dadas po :
b
FhE(c) = 1
nEhE
nE
X
i=1 Zc
−∞
K1 −Yi
hEd ,
b
GhS(c) = 1
nShS
nS
X
i=1 Zc
−∞
K2 −Yi
hSd ,
donde omando una unción ke nel y un ancho de banda adecuado pa a cada mues a, la
es imación del índice de Youden, en es e caso, iene dada po :
c
Y Ih= m´ax
c{b
GhS(c)−b
FhE(c)}.
Pa a encon a el c∗óp imo es necesa io usa mé odos numé icos i e a i os.
50 5. Aplicación a da os eales
Shapi o-Wilk no mali y es
da a: ys
W = 0.97842, p- alue = 0.01156
shapi o. es (ye)
Shapi o-Wilk no mali y es
da a: ye
W = 0.95322, p- alue = 0.0001173
qqPlo (ys);qqPlo (ye)
−2 −1 0 1 2
100 120 140 160 180
no m quan iles
ys
111
102
(a) Sanos
−2 −1 0 1 2
100 120 140 160 180 200
no m quan iles
ye
59
85
(b) En e mos
Figu a 5.3: G á ico QQ de la a iable es bps que mide la p esión a e ial en eposo en el
momen o de ing esa en el hospi al (mm/Hg) en el g upo de en e mos y sanos.
En los g á icos QQ ep esen ados en la Figu a 5.3 se e como se echaza la hipó esis de
no malidad en ambos casos, pues la nube de pun os no se si úa den o de la banda de con ianza.
Del esul ado an e io se concluye que el modelo bino mal no es una buena opción pues las
a iables mencionadas no siguen una dis ibución no mal. Aunque se pueden aplica ans o -
maciones a los da os en busca de esa no malidad, se op a po emplea los dos p ocedimien os no
pa amé icos explicados a lo la go del abajo. Luego, es amos an e un caso donde no se conoce
la dis ibución de Y en cada g upo. Además, se compa a án dichas es imaciones con el in de e
5.2. Base de da os Hea Disease 51
cuál es mejo median e el cálculo del á ea bajo la cu a, AUC, asociado a cada caso.
En la Figu a 5.4, se ep esen a an o la es imación de la cu a ROC empleando la dis ibución
empí ica y ipo núcleo, en donde el ancho de banda omado es el p opues o po Polansky y Bake
(consúl ese la exp esión en [8]), pa a es a en e medad y mues a omada; como el á ea bajo la
cu a de cada una de ellas.
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
Cu a ROC empí ica
Cu a ROC ipo ke nel
(a) Cu a ROC
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(b) Á ea bajo la cu a
Figu a 5.4: Rep esen ación de la cu a ROC y á ea bajo la cu a es imadas empleando la dis i-
bución empí ica y ipo núcleo.
En la pa e (a) de la Figu a 5.4, se ep esen a la cu a ROC es imada usando la dis ibución
empí ica, con o ma escalonada, y la dis ibución ipo núcleo, con o ma sua izada. El esul ado
mues a unos azos muy p óximos a la diagonal y=x, ∀x∈[0,1]. En la pa e (b) de la Figu a
5.4 se ap ecia g á icamen e el á ea bajo la cu a de cada una de ellas, donde, a pesa de se
cu as dis in as, cuen an con á eas muy p óximas.
En el Capí ulo 2 se comen aba la impo ancia de la medida esumen de la cu a ROC, el
á ea bajo la cu a. Como el obje i o inal es encon a una p ueba que p esen e una capacidad
pa a disc imina a los suje os lo más al a posible, es a medida esul a muy ú il a la ho a de
compa a dos cu as. La simili ud que p esen an las cu as impide que g á icamen e se pueda
pe cibi cuál es mejo a la ho a de disc imina a los pacien es en las dos ca ego ías, po lo que
se p ocede a su ejecución. Los alo es es imados pa a el AUC que se isualizan en la Figu a 5.4
52 5. Aplicación a da os eales
son [
AUCn= 0.562 y[
AUCh= 0.562, des acando la escasa di e enciación que hay en e ambos.
Es o quie e deci que la p obabilidad de clasi ica co ec amen e en cada caso es del 56%.
Vis a la Figu a 5.4, la clasi icación de los suje os a es udio no es buena. Po un lado, se debe
a la g an dis ancia exis en e en e los pa es de pun os y (0,1), pun o de máxima sensibilidad
y especi icidad; en o as palab as, es como clasi ica al aza , es deci , lo mismo que lanza una
moneda al ai e. Po o o lado, los alo es es imados del á ea bajo la cu a es án muy p óximos
a 0.5, po lo que el modelo no iene capacidad pa a dis ingui en e en e mos y sanos. En conse-
cuencia, la a iable p esen a una baja capacidad disc imina o ia y esul a un ele ado núme o de
pacien es mal diagnos icados, alsos posi i os y alsos nega i os.
En es e caso, el á ea bajo la cu a de la cu a ROC es imada usando la dis ibución ipo
núcleo con el ancho de banda p opues o po Polansky y Bake es lige amen e mayo que el
es imado empí icamen e. De odos modos, no p opo ciona ampoco in o mación ú il, pues no
iden i ica a los pacien es adecuadamen e.
Recapi ulando, con la a iable que con iene los da os de la p esión a e ial en eposo en el
momen o de ing esa en el hospi al (mm/Hg) no se puede de e mina si el pacien e p esen a la
en e medad ca díaca, debido a la escasa capacidad disc iminan e.
A con inuación, se p esen an las dos o mas de encon a el pun o de co e óp imo, c∗, jun o
con la ep esen ación g á ica en la Figu a 5.5, de la a iable con inua omada es bps que mejo
iden i ique a los suje os en unción de si padecen o no la en e medad ca díaca. Se emplea á an o
el cálculo del índice de Youden en el caso del mé odo no pa amé ico, an o empí ico como ipo
núcleo.
#Cálculo del pun o de co e del es imado ipo núcleo
G.h<-1-PFPh; F.h<-1-PVPh
which.max(G.h-F.h)
c[which.max(G.h-F.h)]
#Cálculo del pun o de co e empí ico
G.n<-1-PFPn;F.n<-1-PVPn
which.max(G.n-F.n)
c[which.max(G.n-F.n)]
El pun o de co e óp imo esul an e es: c∗
n= 142, es imando la cu a empí icamen e, y
c∗
h= 141.451, empleando la es imación ipo ke nel. Los alo es de es os pun os son ambién
simila es. No iene mucho sen ido su in e p e ación ya que la p ueba no es adecuada pa a es e
es udio.
5.2. Base de da os Hea Disease 53
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(0.211,0.315)
(0.202,0.306)
c óp imo empí ico
c óp imo ke nel
Figu a 5.5: Rep esen ación del pun o de co e óp imo en el mé odo no pa amé ico.
Dado los malos esul ados ob enidos con la a iable es bps, se p ocede a oma en con-
side ación o a a iable. En es e caso, en ez de es bps, se a a es udia si con la ecuencia
ca díaca máxima alcanzada, halach, se puede iden i ica co ec amen e a los pacien es. Se ana-
liza, de modo análogo a los casos an e io es, si es amos an e un modelo bino mal y no es el caso
como consecuencia de los esul ados ob enidos u ilizando el es de Shapi o-Wilks:
shapi o. es (ys)
Shapi o-Wilk no mali y es
da a: ys
W = 0.96659, p- alue = 0.0005433
shapi o. es (ye)
Shapi o-Wilk no mali y es
da a: ye
W = 0.98915, p- alue = 0.3523
Se concluye que la es imación no pa amé ica se á más adecuada, pues la a iable Y|Sno sigue
una dis ibución no mal al p opo ciona un ni el de signi icación meno que los usuales.
54 5. Aplicación a da os eales
A con inuación, se ep esen a la cu a ROC es imada empleando la dis ibución empí ica y
ipo núcleo, en donde el ancho de banda omado es el p opues o po Polansky y Bake (consúl ese
la exp esión en [8]).
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
Cu a ROC empí ica
Cu a ROC ipo ke nel
(a) Cu a ROC
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
Cu a ROC empí ica
Cu a ROC ipo ke nel
(b) Cu a ROC ans o mada
Figu a 5.6: Rep esen ación de la cu a ROC.
En la pa e (a) de la Figu a 5.6 se obse a que enemos que hace una ans o mación en
los da os pa a in e i la posi i idad de la cu a. Es e p oblema se debe a que los alo es más
al os se asocian a la población sana. En o as palab as, una meno ecuencia ca díaca máxima
alcanzada es á elacionada con una mayo p obabilidad de p esen a una en e medad ca díaca.
Una de las opciones pa a sol en a es a si uación es cambiando el g upo de en e mos po el de
sanos de la siguien e mane a:
#De inimos la nue a a iable
Y=as.ma ix(V.Cuan i a i as[," halach"])
X=as.ma ix(da aD[,"num"])
#Se cambia el g upo de en e mos po el de sanos, de o ma que:
#0 indica que el suje o p esen a la en e medad ca díaca,
#mien as que el ango en e 1 y 4 son conside ados pacien es saludables
ye=Y[X==0]
ys=Y[X%in%c(1,2,3,4)]
5.2. Base de da os Hea Disease 55
Cuyo esul ado se mues a en la pa e (b) de la Figu a 5.6. En donde se iene las es imaciones
de la cu a ROC po encima de la diagonal y=x, ∀x∈[0,1]. Po la o ma en la que ienen
dadas, es amos an e un caso de mejo disc iminación que el an e io , pues se encuen a más
p óximo al pun o (0,1). Al no se ap eciable a simple is a qué cu a es mejo a la ho a de
disc imina , se ejecu a y ep esen a el á ea bajo la cu a en la Figu a 5.7. Los alo es es imados
pa a el AUC que se isualizan son [
AUCn= 0.738 y[
AUCh= 0.732. Es o quie e deci que la
p obabilidad ap oximada de clasi ica co ec amen e es del 73%.
En es e caso, al con a io que el an e io , el á ea bajo la cu a de la cu a ROC es imada
empí icamen e es lige amen e mayo que el es imado usando la dis ibución ipo núcleo con el
ancho de banda p opues o po Polansky y Bake .
Concluyendo que la a iable que con iene la in o mación de la ecuencia ca díaca máxima
alcanzada es una mejo opción pa a de e mina si el pacien e p esen a la en e medad ca díaca.
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
Figu a 5.7: Á ea bajo la cu a de las es imaciones empleando la dis ibución empí ica y ipo
núcleo asociadas a la cu a ROC con a iable diagnós ico halach.
Pa a inaliza es a sección, se calcula el pun o de co e óp imo, c∗, empleando el índice
de Youden. Los alo es ob enido son c∗
n= 123.001, cuando se es ima la cu a empí icamen e, y
c∗
h= 123.638, empleando la es imación ipo núcleo. Se obse a ambién una simili ud en e ambos
esul ados. An e es a si uación, se cambia la in e p e ación de los esul ados, es deci , es amos
an e una elación in e sa. Es o indica que aquellos indi iduos que p esen en una ecuencia
56 5. Aplicación a da os eales
ca díaca máxima alcanzada supe io a dichos pun os de co e se án clasi icados como pacien es
que no p esen an la en e medad ca díaca. En caso con a io, aquellos alo es po debajo de los
umb ales ienen más iesgo ene la en e medad. En la Figu a 5.8, se ep esen an es os umb ales
e aluados en PVP y PFP.
0.0 0.2 0.4 0.6 0.8 1.0
0.0 0.2 0.4 0.6 0.8 1.0
1−especi icidad
sensibilidad
(0.744,0.931)
(0.751,0.934)
c óp imo empí ico
c óp imo ke nel
Figu a 5.8: Rep esen ación del pun o de co e óp imo en el mé odo no pa amé ico.
5.3. Conclusiones
A modo de conclusión di emos que la cu a ROC, en el ámbi o sani a io, se puede de ini como
una he amien a es adís ica empleada pa a analiza la capacidad diagnós ica de una a iable a
la ho a de clasi ica a los pacien es en dos g upos: pacien es sanos y pacien es en e mos.
Pa a ello, se some e una población a una p ueba diagnós ico en base a una in o mación p e ia
sob e la misma. Se busca un pun o de co e, c, óp imo en unción de los obje i os a es udio, es
deci , dependiendo de la en e medad a diagnos ica se conside an p uebas al amen e sensibles
o al amen e especí icas, dichas medidas a ían en unción del umb al c. La oma del pun o de
co e adecuado es muy impo an e ya que pe mi e es ablece un es bina io que clasi ica a
los indi iduos como en e mos o como sanos. Es po ello que en es e abajo se ha desa ollado
b e emen e algunos de los mé odos más usados pa a dicho p oceso.
5.3. Conclusiones 57
Los concep os de sensibilidad y especi icidad, que ayudan a medi la exac i ud diagnós ica,
jun o con o os, ue on explicados, po un lado, pa a de ini la cu a ROC, como exp esión di ec a
de las unciones de dis ibución pa a el g upo de en e mos y sanos; es po ello, que se emplean
mé odos es adís icos pa a es ima dichas cu as, como: es imación pa amé ica y es imación no
pa amé ica, en unción del conocimien o y e i icación que se enga de la dis ibución que sigue
la a iable alea o ia asociada a cada ca ego ía.
A la ho a de compa a dos cu as una buena opción es e alua su capacidad disc iminan e,
empleando el á ea bajo la cu a, el á ea pa cial bajo la cu a o el índice de Youden (ú il pa a
selecciona el pun o de co e óp imo mencionado an e io men e).
A lo la go de es e abajo se compa an di e en es mé odos pa a es ima la cu a ROC en
la p ác ica, u ilizando da os simulados como di e en es bases de da os eales. Dichos mé odos
in oluc an es imado es pa amé icos y no pa amé icos de la unción de dis ibución de la a iable
diagnós ico en cada uno de los g upos de in e és. Además, odo el código de desa ollado
puede consul a se en el Anexo I.
58 5. Aplicación a da os eales
Anexo I
Código de R u ilizado
I.1. Figu a 1.1
#Rep esen ación de la unción de densidad de una no mal cuando ienen la misma
# des iación ípica pe o dis in a media
x<-seq(-8,8,0.2)
# Media 0, des iación ípica 1
plo (x, dno m(x, mean = 0, sd = 1), ype = "l",
ylim = c(0, 0.6), ylab = " (x)", lwd = 2, col = "da kblue")
# Media 3, des iación ípica 1
lines(x, dno m(x, mean = 4, sd = 1), col = "skyblue", l y = 1, lwd = 2)
# Añadimos leyenda
legend(-8,0.59,col=c("da kblue","skyblue"),legend =c("Media 0","Media 4"),
lwd=2, b y = "n",cex=0.8)
I.2. Figu a 2.1
#Caso (a)
# Rep esen ación de alsos posi i os, e dade os posi i o, alsos nega i os
#y e dade os nega i os asociados a di e en es alo es del pun o de co e c.
cu e(dno m(x,mean=0,sd=1.72), xlim = c(-5, 8),xlab="Va iable diagnós ico",
ylab = "", las = 1)
cu e(dno m(x,mean=3,sd=1.72), las = 1,add=TRUE)
# Pun o de co e
pun o.c=3/2
59
66 I. Código de R u ilizado
PFP<-1-pno m(c, mean = 0, sd = 1.72)
#Es imación empí ica de la cu a ROC
Fe=ecd (ye)
Fs=ecd (ys)
PVPn=1-Fe(c)
PFPn=1-Fs(c)
plo (PFPp,PVPp, ype = "l",ylim = c(0, 1), xlab="1-especi icidad",
ylab = "sensibilidad", lwd = 2, col = "da kblue")
lines(PFP,PVP, ype = "l",ylim = c(0, 1), xlab="1-especi icidad",
ylab = "sensibilidad", lwd = 2, col = "skyblue")
lines(PFPn,PVPn, ype = "l",ylim = c(0, 1), xlab="1-especi icidad",
ylab = "sensibilidad", lwd = 2, col = "pink")
legend(0.26,0.4,col=c("da kblue","skyblue","pink"),legend =c("Cu a ROC
pa amé ica","Cu a ROC eó ica","Cu a ROC empí ica"), lwd=2, b y = "n",
cex=0.8)
I.11. Figu a 3.5
#Rep esen ación de la unción de densidad pa a el g upo de en e mos y sanos
# siguiendo una Chi-Cuad ada y una T-S uden , espec i amen e
cu e(dchisq(x,d =5),xlim = c(-5, 10),ylim=c(0,0.4),xlab="", ylab="",
las = 1, lwd=2) #en e mos
cu e(d (x-1,d =2), xlim = c(-5, 10),ylim= c(0,0.4),col="skyblue",las = 1,
lwd=2,add=TRUE) #sanos
ex (-3, 0.2, "pacien e
sano",col="skyblue")
ex (6, 0.2, "pacien e
en e mo")
PFP.nue o<-1-p (c-1,d =2)
PVP.nue o<-1-pchisq(c, d =5)
plo (PFP.nue o,PVP.nue o, ype = "l",ylim = c(0, 1), xlab="1-especi icidad",
ylab = "sensibilidad", lwd = 2, col = "skyblue")
abline(0,1,l y=2,col="g ay")
I.12. Figu a 3.6 67
I.12. Figu a 3.6
#Rep esen ación dees imaciones ipo núcleo de la unción de densidad en
# unción de dis in os alo es del pa áme o en ana h pa a una mues a de
# amaño 100 de una dis ibución no mal es ánda
ins all.packages("Ke nSmoo h")
lib a y(Ke nSmoo h)
se .seed(12345)
n=100
da os= no m(n)
en ana.buena=dpik(da os)
es imado .bueno=bkde(da os,bandwid h = en ana.buena)
plo (es imado .bueno$x,es imado .bueno$y,xlab="",ylab="",col="black",
ype="l",ylim=c(0,0.6),lwd=2)
cu e(dno m(x),add=TRUE,col="#FFAEB9",lwd=2)
es imado .muy. ugoso=bkde(da os,bandwid h = 0.1)
lines(es imado .muy. ugoso$x,es imado .muy. ugoso$y,lwd=2, col="#5CACEE")
es imado .muy.plano=bkde(da os,bandwid h = 3)
lines(es imado .muy.plano$x,es imado .muy.plano$y,lwd=2, col="#98FB98")
legend(-4.3,0.6,col=c("black","#FFAEB9","#5CACEE","#98FB98"),
legend =c("Selec o Shea he and Jones","Densidad eó ica","h pequeño",
"h g ande"), lwd=2, b y = "n",cex=0.58)
I.13. Figu a 3.7
#Rep esen ación de la cu a ROC eó ica, es imada pa amé icamen e,
#es imada usando la dis ibución empí ica y la unción de dis ibución
# ipo núcleo siguiendo las a iables alea o ias una no mal pa a dos
# amaños de mues a.
#Caso (a)
se .seed(1234)
n=50
ye= no m(n,mean=3,sd=1.72)
meane=mean(ye);sde=sd(ye)
ys= no m(n,mean=0,sd=1.72)
means=mean(ys);sds=sd(ys)
68 I. Código de R u ilizado
###CURVA ROC TEÓRICA####
PVP<-1-pno m(c, mean = 3, sd = 1.72)
PFP<-1-pno m(c, mean = 0, sd = 1.72)
#Cu a ROC es iamada:
##Pa amé icamen e
c<-seq(-4,8,by=0.01)
PVPp<-1-pno m(c, mean = meane, sd = sde)
PFPp<-1-pno m(c, mean = means, sd = sds)
##Empleando la dis ibución empí ica
Fe=ecd (ye) ; PVPn=1-Fe(c)
Fs=ecd (ys) ; PFPn=1-Fs(c)
##Empleando la dis ibución ipo ke nel 1
he<-PBbw( ec_da a=ye)
hs<-PBbw( ec_da a=ys)
PVPh=1-kde( ype_ke nel="n", ec_da a=ye, y=c,bw=he)$Es ima ed_ alues
PFPh=1-kde( ype_ke nel="n", ec_da a=ys, y=c,bw=hs)$Es ima ed_ alues
#Rep esen ación
plo (PFPp,PVPp, ype = "l",ylim = c(0, 1), xlab="1-especi icidad",
ylab = "sensibilidad", lwd = 2, col = "da kblue")
lines(PFP,PVP, ype = "l",ylim = c(0, 1), xlab="1-especi icidad",
ylab = "sensibilidad", lwd = 2, col = "skyblue")
lines(PFPn,PVPn, ype = "l",ylim = c(0, 1), xlab="1-especi icidad",
ylab = "sensibilidad", lwd = 2, col = "pink")
lines(PFPh,PVPh, ype = "l",ylim = c(0, 1), xlab="1-especi icidad",
ylab = "sensibilidad", lwd = 2, col = "#7CCD7C")
legend(0.29,0.4,col=c("da kblue","skyblue","pink","#7CCD7C"),
legend =c("Cu a ROC pa amé ica","Cu a ROC eó ica","Cu a ROC empí ica",
"Cu a ROC ipo ke nel"), lwd=2, b y = "n",cex=0.8)
I.14. Figu a 3.8
#Á ea bajo la cu a pa aes imacionespa amé icas, usando la dis ibución
#empí ica y la dis ibución ipo ke nel.
# ins all.packages("ke dies ")
lib a y(ke dies )
# ins all.packages("p acma")
lib a y(p acma)
I.15. Figu a 3.9 69
x1=-4
x2=7
media.sanos1=0
media.en e mos1=3
ROC1= unc ion(p){1-pno m(qno m(1-p,mean=media.sanos1,sd=1.72),
mean=media.en e mos1,sd=1.72)}
AUC. eo ico=in eg a e(ROC1,0,1)
AUC. eo ico
#AUCp
ROCp= unc ion(p){1-pno m(qno m(1-p,mean=means,sds),mean=meane,sd=sde)}
AUC.pa ame ico=in eg a e(ROCp,0,1)
AUC.pa ame ico
#AUCn
aux=so (PFPn,index. e u n=T)
PFPn=aux$x
PVPn=PVPn[aux$ix]
AUC.empi ico= apz(PFPn,PVPn)
AUC.empi ico
#AUCp
aux=so (PFPh,index. e u n=T)
PFPh=aux$x
PVPh=PVPh[aux$ix]
AUC.nucleo= apz(PFPh,PVPh)
AUC.nucleo
polygon(c(PFP,x2),c(PVP,0),col = "da kblue",dens=20)
polygon(c(PFPp,x2),c(PVPp,0),col = "da kblue",dens=20)
polygon(c(PFPn,x2),c(PVPn,0),col = "pink",dens=20)
polygon(c(PFPh,x2),c(PVPh,0),col = "#7CCD7C",dens=20)
I.15. Figu a 3.9
#Se añade el código del Escena io 2
se .seed(1234)
n=50
x1=-4
x2=7
pa (m ow=c(1,2))
70 I. Código de R u ilizado
cu e(dno m(x,mean=3,sd=1.72), xlim = c(-5, 8),ylim=c(0,0.4),xlab="",ylab = ""
, las = 1)
cu e(d (x-1,d =2), xlim = c(-5, 10),ylim= c(0,0.4),col="skyblue",las = 1,lwd=2,
add=TRUE)
ex (-3, 0.2, "g",col="skyblue")
ex (6, 0.2," ")
#Cu a ROC
c<-seq(-4,8,by=0.01)
PVP2<-1-pno m(c, mean = 3, sd = 1.72)
PFP2<-1-p (c-1,d =2)
plo (PFP2,PVP2, ype = "l",ylim = c(0, 1), xlab="1-especi icidad",
ylab = "sensibilidad", lwd = 2, col = "skyblue")
abline(0,1,l y=2,col="g ay")
I.16. Tabla 3.2
#Código del Escena io 1
# ins all.packages("ke dies ")
lib a y(ke dies )
# ins all.packages("p acma")
lib a y(p acma)
# Fijamos la semilla
se .seed(1234)
# Fijamos los pa áme os
n=50 # Tamaño de mues a
M=500 # Núme o de eces que se epi e el bucle
mu.poblacional.e=3 # Media poblacional de los en e mos
sd.poblacional.e=1.72 # Des . ípica poblacional de los en e mos
mu.poblacional.s=0 # Media poblacional de los sanos
sd.poblacional.s=1.72 # Des . ípica poblacional de los sanos
AUC.nucleo=nume ic(M) ; AUC.nucleo2=nume ic(M)
I.16. Tabla 3.2 71
AUC.empi ico=nume ic(M); AUC.pa ame ico=nume ic(M)
###CURVA ROC TEÓRICA####
c<-seq(-4,8,by=0.01)
PVP <-1-pno m(c, mean = 3, sd = 1.72)
PFP <-1-pno m(c, mean = 0, sd = 1.72)
ROC1= unc ion(p){1-pno m(qno m(1-p,mean=mu.poblacional.s,
sd=sd.poblacional.s),
mean=mu.poblacional.e,sd=sd.poblacional.e)}
AUC. eo ico=in eg a e(ROC1,0,1)$ alue
o (i in 1:M){
# Gene amos las mues as
ye= no m(n,mean=mu.poblacional.e,sd=sd.poblacional.e)
ys= no m(n,mean=mu.poblacional.s,sd=sd.poblacional.s)
###CURVA ROC PARAMETRICA####
meane=mean(ye) ; sde=sd(ye)
means=mean(ys) ; sds=sd(ys)
PVPp<-1-pno m(c, mean = meane, sd = sde)
PFPp<-1-pno m(c, mean = means, sd = sds)
###ESTIMACIÓN EMPIRICA###
Fe=ecd (ye) ; PVPn=1-Fe(c)
Fs=ecd (ys) ; PFPn=1-Fs(c)
###ESTIMACIóN TIPO KERNEL 1###
he<-PBbw( ec_da a=ye)
hs<-PBbw( ec_da a=ys)
PVPh=1-kde( ype_ke nel="n", ec_da a=ye, y=c,bw=he)$Es ima ed_ alues
PFPh=1-kde( ype_ke nel="n", ec_da a=ys, y=c,bw=hs)$Es ima ed_ alues
###ESTIMACIóN TIPO KERNEL 2 (con o a en ana)###
he2<-ALbw( ec_da a=ye)
hs2<-ALbw( ec_da a=ys)
PVPh2=1-kde( ype_ke nel="n", ec_da a=ye, y=c,bw=he)$Es ima ed_ alues
PFPh2=1-kde( ype_ke nel="n", ec_da a=ys, y=c,bw=hs)$Es ima ed_ alues
72 I. Código de R u ilizado
####AUC pa amé ico###
ROCp= unc ion(p){1-pno m(qno m(1-p,mean=means,sds),mean=meane,sd=sde)}
AUC.pa ame ico[i]=in eg a e(ROCp,0,1)$ alue
###AUC empi ico
aux=so (PFPn,index. e u n=T)
PFPn=aux$x
PVPn=PVPn[aux$ix]
AUC.empi ico[i]= apz(PFPn,PVPn)
### AUC ipo núcleo 1
aux=so (PFPh,index. e u n=T)
PFPh=aux$x
PVPh=PVPh[aux$ix]
AUC.nucleo[i]= apz(PFPh,PVPh)
### AUC ipo núcleo 2
aux=so (PFPh2,index. e u n=T)
PFPh2=aux$x
PVPh2=PVPh2[aux$ix]
AUC.nucleo2[i]= apz(PFPh2,PVPh2)
}
AUC. eo ico
mean(AUC.pa ame ico)
mean(AUC.empi ico)
mean(AUC.nucleo)
mean(AUC.nucleo2)
I.17. Figu a 3.10
# Rep esen ación g á ica
boxplo (AUC.pa ame ico,AUC.empi ico,AUC.nucleo,AUC.nucleo2,
names=c("AUC.pa ame ico","AUC.empi ico","AUC.nucleo","AUC.nucleo2"))
abline(h=AUC. eo ico,col=" ed",l y=2,lwd=2)
Bibliog a ía
[1] Al man, N. y Lege , C. (1995). Bandwid h Selec ion o Ke nel Dis ibu ion Func ion Es i-
ma ion. Jou nal o S a is ical Planning and In e ence, 46, 195-214.
[2] Fanjul He ia, A. (2021). Nonpa ame ic Me hods o he Compa ison o ROC Cu es wi h
Applica ion o Biomedicine (Doc o al disse a ion, Uni e sidade de San iago de Compos e-
la).
[3] K zanowski, W. J., y Hand, D. J. (2009). ROC cu es o con inuous da a. Chapman and
Hall/CRC.
[4] López Ra ón, M. (2015). Op imal cu o poin s o classi ica ion in diagnos ic s udies:new
con ibu ions and so wa e de elopmen . (Doc o al disse a ion, Uni e sidade de San iago
de Compos ela).
[5] Peña, D. (2001). Fundamen os de Es adís ica, 1ªed., Alianza Edi o ial.
[6] Pepe, M. S. (2003). The s a is ical e alua ion o medical es s o classi ica ion and p edic-
ion. Ox o d Uni e si y P ess.
[7] Pi a Fe nández, S., y Pé egas Díaz, S. (2003). P uebas diagnós icas: Sensibilidad y especi-
icidad. Cade nos de A ención P ima ia, 10(1), 120-124.
[8] Polanski. A. y Bake , E.R. (2000). Mul is age Plug-in Bandwid h Selec ion o Ke nel Dis-
ibu ion Func ion Es ima es. Jou nal o S a is ical Compu a ion and Simula ion, 65, 63-80.
[9] Quin ela del Río, A. y Es é ez, G. P. (2012) Nonpa ame ic Ke nel Dis ibu ion Func ion
Es ima ion wi h ke dies : An R Package o Bandwid h Choice and Applica ions, Jou nal
o S a is ical So wa e 50(8),1-21.
[10] Shea he , S. J. y Jones, M. C. (1991). A eliable da a-based bandwid h selec ion me hod o
ke nel densi y es ima ion. Jou nal o he Royal S a is ical Socie y, Se ies B, 53, 683–690.
73
74 BIBLIOGRAFÍA
[11] Valencia San ac uz, A. J., del Pezo Na a e e, P. D., y Asanza Zamb ano, A. B. (2020).
Base de da os Hea Disease. Disponible en: h ps:// pubs.com/alb san /p oyec o_
1Pa cial_pa 6
[12] Wand, M. P., y Jones, M. C. (1994). Ke nel smoo hing. CRC p ess.