scieee Science in your language
[es] (orig)

Criterio de detección de outliers en modelos probabilísticos tipo Pareto

Abstract

Partiendo de una población tipo Pareto con origen de rentas H conocido, se encuentra un criterio para detección de outliers. Se estudia a continuación el caso de origen de rentas desconocido, dándose al final un criterio para la detección de varias observaciones outliers. Se incluye el correspondiente programa de ordenador.

Read accessible full text

Criterio de detección de outliers en modelos probabilísticos tipo Pareto

Author: Muñoz García, Joaquín; Pascual Acosta, Antonio
Publisher: Instituto Nacional de Estadística
Year: 1982
Source: https://idus.us.es/bitstreams/622831b2-4c48-454f-8723-f2dcfa53f2df/download
ESTADISTICA ESPAÑOLA
Núm. ^5, 1982, págs. 113 a 120
C i e io de de ección de ou lie s en modelos
p obabilís icos ipo Pa e o
po JOAQUIN MUÑOZ GARCIA
Y ANTONIO PASCUAL COSTA
Depa amen o de Es ad s ica e
In es igación Ope a i a.
Uni e sidad de Se illa
RESUMEN
Pa iendo de una población ipo Pa e o con o igen de en as H cono-
cido, se encuen a un c i e io pa a de ección de ou lie s. Se es udia a
con inuación el caso de o igen de en as desconocido, dándose al inal
un c i e io pa a la de ección de a ias obse aciones ou lie s. Se incluye
el
co espondien e p og ama de o denado .
Palab as cla^^e:
Dis ibución de Pa e o, ou lie s, de ección de ou lie s.
INTRODUCCION
Un ou lie s es una obse ación o un conjun o de obse aciones que «pa ecen» se
inconsis en es con el es o del conj un o de da os.
Aunque son muchas las de iniciones que sob e el concep o se han dado ( éase
Muñoz, 19^J), lo que ca ac e iza a una obse ación ou lie s es el «impac o» que
p oduce en el es adís ico cuando a a analiza los da c^s. Pa ece e iden e que la
p esencia de ou lie s en un conjun o de da os puede conduci nos a e o es en nues o
in en o de hace in e encias ace ca de la población de la que p oceden, de ahí que la
p esencia de ou lie s plan ee un p oblema undamen al en el análisis de da os. Un
p ocedimien o pa a la esoluciá n de es e p oblema consis e en encon a eglas de
decisión pa a de ec a dichas obse aciones.
114
^STADISTICA ^SPAÑ )LA
En el p ^en e dbajo ie dan p ucedimien c^s p ^ ^i la de ección de c^u lie s en
^oblacicsne^ ipu Pa e c^, yue c^^m^^ se sabe e^ ^^n m ^cielo p c^babili;^; ieo yue se ajus a
adecuadamen e a dis ibucic^nes cie ecuencias de en a^; c^b^
^
e adas en la ealidad.
Sea X una a iabie alea c^ña yue se dis ibuye
según
una ley de Pa e o de pa áme-
os E:^ y a(Pa( ), a)), po lo
que su unci^
^
n de densidad es:
aE^°
,Í'
(x )= x Q+^' a>
p, x> E y E^ > 0
Se sabe yue el es imado de máxima e osimili ud pa a la cons an e de Pa e o a,
conocicio el c^ igen de en a^ 4) iene ciadc^
^
pa a una mues a ^ilea o ia simple de amañu
pc^ :
n
^
l
= n ^
- =
JohnSOn
Ko z (19^)
Y ademá^
^
se eñ ican ]a.5 siguien es p oposiciones, cuyas demos aciones sc^n inme-
dia as.
P pE^sieic^n 1
^
es un es imad^ in a ian e po ans o maciones de escala:
^
a =
^
siendo
X; = X^Ox
di, i=
1,
2, .. ., n y )' = UOx, siendo OX la ans o mación ealizada.
}' pnsici^n 2
Si la a iable alea o ia X se dis ibuye según Pa(E), a), en onces la a iable:
2.a
Y
c^n
X
se dis ñbuye según una ley gamma de pa áme os
1
y 1/2, G( 1, 1/2).
CRITERIOS DE DETECClU Y DE OUTLiERS EN MODELUS PRUBABIUSTICOS T PC) F'ARETC)
P opc.asic•ión 3
Dada una mues a ^lea c.^ ici sim ple de ^^maño n( X, ,
publación Pa(í^, a) e) es adís icc:^.
i15
X^. .... X,^
^
p c^c ^den e de una
^
2a n
^ 2a Y; -
^^i
^
cun
X^
Y^ = ln
H
se dis ibuye
según un ^
ley x^(2n ).
?.
DISTRIBUCI(^N DEL ESTADISTICO BASICC^
Conside amos como es adís ica básicu pa a la de ección de ou lie s.
T^ _
n
donde ^ n es el es imado de máxima e osimili ud de a ub enidu a pa i de una mues a
alea u ia simple de a nañu n y^;, _^ es el mismu es imadc^ de m^xima e osimili ud,
pe u ob enido a pa i de
n-
1
cie las
n
cabse acicjnes an e io es en las que hemas
sup imido la ^bse ación i-ésima.
Del es aciís ico T; podemos a i ma que sus alo es mues ales no an a depende del
pa áme u a y po la p oposicicín 1, que es in a ian e median e ans o maciunes de
escala.
Te ema 1
Bajo la hipó esis de que no exis en ou lie s, el es adís ico
T; se dis ibuye
según una
ley
Be a de pa áme os
(
n - 1, 1).
De mc^s a c•ic^ n
Pudemos exp es^^ "I', en I^^ u na:
n
^
l n _
7
n
Xj
2W
^ 1n
^ ^ 2
E.l
-
n
j=1
.j
I 16
cun
X^
?cl
ln
^
"L_,
-
j - 1. 2, ..., n
"
X^
?u
^ ln l'
^=
donde se ha supues o que la obse ación sup imida es la p ime a.
ESTADISTICA ESPAÑOLA
De la exp esión an e io se deduce que:
Z, _
X,
?c
In
^
X,
?u ln
4
X
+
2u^ In
-'
^
.i=
20
En i ud de la p oposición 2, el nume ado se dis ibuye según una
ley XZ(2),
^
po la p oposición
3, 2a
^
In ( X;/H} se disi ibuye se^ún la ley x^( 2(n - 1}) y es inde-
^=z
penciien e
de la a iable 2a ln ( X, /H).
Po an o, Z, se dis íbuye según una ley Be a, Be(1, n-- 1}. Y al se
T, = 1- Z,,
se deduce i ialmen e que T, sígue una ley Be(n
--
1,
1),
és deci , el
es adís ico T
pusee una dis ibución iib e.
3.
CRITERIO PARA
LA DETECClnN
DE UN
C^UTLI ERS
Pa a la de ección de un ou lie s amos a conside a los es adís icos:
T;
pa a
i=
1,
2.
...,
n.
n - 1
^ ,^
.. (; ^
1'
C2 n _ ^
Si odos lus elemen os de la mues a de amaño n pe enecen a la misma población,
los es adís icos
T; = 1, 2, ..., n
se án p óximos a la unidad.
Po ello, el es adís ico q ue p oponemos pa a de ec a un ou lie s se á:
m i n T;
^
CRlTER14S DE DETECCION DE OUTLlERS EN MoDEL4S PROBAH[LISTICOS TlPO PARETU
1 17
Pa a de e mina
la egián
^ i ica hacemos
la siguien e
aco acián:
R
P[ min T; S
]
- P^^A; ^ S ^ P(A;} -
-
n P(A;)
^
.
,
siendo
A;=[T;S ^
con
i--
1,
2,
...,
n.
Y pa a
un ni el de signi icación a de e minamos de o ma que:
a
P[ T; ^ ] _
n
es deci ,
es el pe cen il de o den
a/n
de una ley
Be(n - 1, 1).
En de in i i a, si Tk = mi n
T; S , pa a
i=
1,
2,
...,
n,
podemos a i ma con un
;
coe icien e de con ianza supe io o igual a(1 - a) que la obse aciñn k-ésima es
ou lie s.
Has a aho a se ha supues o que el igen de en as H es conocid©, en el caso en que
dieho o igen no sea conocido, u iliza emos el mismo mé odo, sálo que sus i ui e nos ^
po su es imado de máxima e osimili ud.
E3
= min X^
^s;sn
aunque pa a man ene la e iciencia del mé odo hab á que dispone de una mues a
su icien emen e g ande.
A con inuación damos un c i e io a emplea pa a de ec a más de un ou lie s y asi
pode e i a el e ec o de enmasca amien o ci ado po Tie jen y Moo e
(1972}.
4.
CRITERIC} PARA DETECTAR
MAS DE
L.JN JUTLIERS
Pa a de ec a s ou lie s
s>
l,
calcula emos
n
es adis icos de la o ma:
s
T;,,i2i..,.,is
siendo (i ^,
z•
A
n - s
a ,^
n
á^^,,^2.....^s^
n -s
.. .., i s}
una de las
n
pe mu aciones
posi bles (1, 2, ... , n} y donde ca-
s
da uno de los es ad^s icos se dis ibuye
según una
ley be a
Be (n -- s, s}.

I1K
ESTAD ST +C'A
ESPAÑC)L_A
H I e^ acií i icc^ a u iliza p^i ^^ la cle eccic^n cie s o^.^ lie ^ se ^i:
min T; .,,.
^^'.i2. ...,is
y di emu^ yue la^ obse ac:iune^ (k, 1, ..., ^^} sc^n s cau lie ^ p^i a un ni el de signi icación
^ . . .... ^^
-
min
T; ^,;2. .. .;s
S s
Ci .....;si
n
donde s a a se el pe cen il del o den
co espondien e a una ley be a
s
Be(
- s, s}.
A cc^n inuaci^n damc^^ el p ag ama Fca ^^n yue emplea ^amus p^ a cie ec a uno y
do^ ou lie ^ en una mue^ a cie amañu 19.
FORTRAN 1 V
0001
OPEN(UNIT-2,NAME='SALAR.DAT',TYPE='UNI{NOWN')
0002
DIMENSIC)N
.
?^CX( 19),X(19),TI(19),V I( 19),V2( 19)
0003
PRI N T 40
0004
DO 1 I= 1,19
00(}^
READ(2,100) XX(1)
OOa6
X(1) = X X( I) i 200
0007
PRINT 110, X(1)
0008
1
CONTINUE
0009
"
T'HETA=XMIN1(X,19}
0010
SUMD=SUMLOG(X,19,THETR)
00 l 1
DC) 2 I= 1,19
0012
C'ALL RESTI^X,19,I,V 1)
x 13
SUMN=SUMLOG{V1,18,THETA)
0014
Tl(1)=SUMN/SUMD
OOlS
?
CONTINUE
OOl6
TIMIN=XMIN 1(Tl,l9)
0017
T2M1N=1
0018
DO 3 I=1,18
0019
DC) 3 J=1+1,19
0020
CALL
REST2(X,19,I,J,V2)
002i
SUMN=SUMLOG(V2,17,THETI'A)
0022
TT=SUMN/SUMD
0023
T2MIN=AMIN 1(T2MIN,TT)
0024 3
CON TI N U E
0025
PR 1 N T I 20, T I M 1 N
002b
PRINT 130,T2MIN
0027
STOP
C
C
FORMATOS
C
0028 40
FORMAT(20X,'O BS ERVACION ES. `/)
0029 100 FORMAT(2X,FS.O)
0030 1 10 FORMAT(20X, F9,0}
0031
120
FORMAT(20X,'VALOR MINIMO DE T(I):',2X,F14,4)
CRITERiOS DE DETEC`CIOI^i DE UUTLIERS ETY MODELOS PROBASILISTICOS TIPi) PARE.TCU
i lq
0()32
13()
FORMAT(24X,'VALC)R MINIM() DE T(II,I2).'2X,F10,4)
(1C13 3
E N D
FC)RTRAN 1 V. VU2. I- 10
0001
FUNCT[UN SUMLOG(X1,N I,TH)
0()02
DIMENSION X 1( N I)
0003
S[^1
M LOG = 0
0004
DO l 0[ I=1, N 1
0005
SUML(]^G-SUMLOG+ALOG(Xl(lI)/TH)
000(^
10
CONTINUE
0007
RETURN
0008
E N D
FORTRAN 1 V
0001
SUBROUTINE REST1(X1,Nl,L,A)
OOQ2
DIMENSiON X 1( N 1),A( N 1^
0003
TY PE 30, L
UO04 30 FO RM A T(1 X,13 )
0005
1
F( L.. EQ.1) GO TU 12
0007
DO 10 L 1=1, L- I
0008
A(Ll)-X1(L1)
00(?^
TY PE 20, A( L 1)
OOIO
20
FORMAT(3X, F 14,0)
OOII
10
CONTINUE
0012
I
F( L.. EQ.19) R E TU RN
0014 12 DU 11 L1=L+1,N1
0415
A(LI- i)-X1(LI)
0016
TYPE 2U, A( L 1--1)
0017 Il CONT[NUE
0018
RETURN
OOl9
END
FC)RTRAN [ V
0001
SUBROUTINE REST2(X I,N I,LI,L,J,A)
0002
DIMENSION X 1(N 1},A(N 1)
0003
TYPE 30, LI , L,I
OOU4
30
FORMAT(1X,2I3)
OC)OS
I
F( LI . EQ.1) GO TO 13
0007
DO 10 I_= 1,LI - 1
000^
A(L)=Xl(L)
OOOy
TYPE 20, A( L)
0010
20
FORMAT(3X,F1?.0)
001 1
10
CONTIN UE
0012
IF{LI.EQ.18) RETURN
OO14
I 3
1
F( ( L I' 1) . EQ . LJ ) GO TO 14
(1^16
DO 1 I L=LI+ I,LJ- I
OOl7
A(L- 1)=Xl(L)
()Ol ^
TYPE 20, A( L- 1)
0019
i l
CONTINUE
0020
IF(LJ.EQ.19} RETURN
0022
14
DO I 2 L= LJ + 1, N 1
0023
A(L-2)=X1(L)
0024
TYPE 20, A(L- 2)
12a
E STADISTIC A ^SPA^(3LA
(1025
12
CC1NT[NUE
^? ^
R E TU R N
0027
END
C'
CALCULO
MIN[M© REAL
DE UN CONJUNTO DE N
OBSERVACIONES REALES
C^`
FUNCTION
XM[N1(X,N)
D MENS10N X(N)
DO 1
1 [^1,N
XMIN 1=AM1N I(XMIN
1,X( I))
1
CONTiNUE
RETU RN
END
BI BLI©GRAFI A
JOHNS(JN, N. L. anci KoTZ,
S.:
Dis ibu i^ns in S a is ics: Con inu us uni a ia e dis ibu i ns 1.
Wiley, 1970.
Mu " oz,
J.:
Algunas écnicas s^^b e de ección de u lie s.
Public.
Uni: e sidad de Se illa, 1980.
T1^T^Ex, G. L. and
MOORE, R. H.: «Some G ubbs - Type S a is ics © he de ec ion o se e al
ou lie s» .
Technome ics
(
14},
1972.
SUMMARY
S a ing om a Pa e o ype popula ion wi h known minimum income
H in his pape a c i e ium o de ec i^n o ou lie s is de i ed.
The
unknowm minimum income case is also s udied, showing a c i e ium o
de ec ion o some ou lie s obse a ions.
The co esponding compu ing
p og am is inciuded.
Key w^ ds:
Pa e o dis ibu ion, ou lie s, de ec ion o ou lie s.
AMS, Subjec classi ica ion 62 F 35.