Pub
.
Ma
.
UAB
N° 22
No
.
1980
Ac es
VII
JMHL
ESTUDIO
DE
ALGUNOSPROCESOS
MARKOVIANOS
NO
ESTACIONARIOS
Ma ía
Pila Ola e
Rubio
Dp o
.
d
e Cálculo
de
P obabilidades
y
Es adís icaMa emá ica
Dp o
.
de
Es adís ica
eIn es igación
Ope a i a
Uni e sidad
de
Za agoza
S U
M M
A
R
Y
A
ini e
disc e e
non-s a iona y
Ma ko
p ocess
in
comple ely
cha
ac e ized
by
i s
ime
sequence
o
ansi ion
p obabili y
ma ices,
P
n
.
The
n- h
ma ix
p
n
is
de ined
in his
case,
asA
+nB
.
This
pape
de elops
a
me hod
o
inding
En)
=P
1 .
P2 .P3
.,
.,
.Pn
using
he
z- ans o m
me hod
.
ces
.
Analogously
¢(n)
is
ound
in
he
case
o
cons an
causa i e
ma i
Conside emos
un
p oceso
de
Ma ko
de inido
po
un
espacio
de es a
dos
S
=
{1,2


N
} ,
un
espacio
de
iempos
disc e o
T =
{
0,1,2,
.
.
.}y
un
conjun o
de
p obabilidades
de
ansiciónp
ij
=a
ij
+nb
ij jde
paso
del
e_s
N
l,
ado
i al
es ado
j,
y
que
e i ican
Z
pij=1
,i=1,
.
.,N
;
0 <
p
i
,
<
1 ;
j_

3
-
1
<
i,j
< N
Sea
la
ma iz
$(n)
cuyo
elemen o
(i,j)
es áde inido
po
n
=
0,1,2,
. .
.
ca,
de
al
o ma
que
si (n)
es
una
unción
eal de
a iable
en e a
no
17
8
1

1
<i,j <
N
(Dij
(n)

=
P
1
s
(n)

=
j
I
s
(0)

=
iJ
Pa a
ob ene la
aplica emos
el
mé odo
de la
ans o mación
geomé i
aplicando
la
z- ans o mada
a
cada
miemb o

N
C
N
c
-1
I
0g
j
(z)
-
~ij
(0)J
=
k11
0
k
(z)
a
kj
+ z
d
ky1 ogk(z) bkj
ma icialmen e
.dz
M
Z)

B=

.-z-1

(z)

A
+
z-2
~(z)

-

z-2
bkj
Po se
B
no
egula
y
en
es e
caso
no
exis i
ma iz
in e sa,usa
emos
pa a
la
esolución
de
la
ecuación
di e encial
la
g-in e sa
B
.
dz

~(z)

_

(z)

-

z
-1

A
+
z2IB

_
z-2 B

+

(B
-
B-I)

H
siendo
H
una ma iz
cualquie a
La
solución
de
la
ecuacióndi e encial
es
J(z-1
A+z
-2 )B
dz

-

-

((+z-1A+z-2
)B

dz
~(z)
e
.~

=
(-z
-2
B
+(B
B-I)H)
e)

dz+C
ope ando
y
no ado
I(M,a,P)
=i
z
M
e
-Pz
z
X
dz

,
donde
M
yP
son
ma ices
cualquie a
y
a
c
IR
,
ob enemos
k
n
1
n=0
I
k=0

k!n!
n
+1
k
M
n
(-1)
k=-a
p

k
:
n
:

y(lnz
;n+1
;-k-a-1)
nega i ade ini emos
su
z- ans o mada
como
9
(z)
= Y
(n)
n=0
Zn
.
Po
lo
an o
si
N
¢ij (n+1)
_Y=
k=1
~
ik
(n)
p
kj
(n)
N
1
k=1 ~
ik
(n)
a
kj
+
n
NC
k=1
~ik
(n)
Con
lo
cual la
ecuacióndi e encial
queda
-AB
- -Z-1 B = -B
I(-AB
,O,B
)
+(B
B-I)H
.
I(-AB ,-2,B
)
~(z) z

e
m
~(z)
(-AB
-
)
n
1
n=0
(B
)k
(_AB-)n
k=2
en
es e
caso
(lnz)
n
:
n
_ _
n+1
B- y

y
(B
)k (-AB
)
n
(-1)
Y(lnz,n+1,-k-1)
n=0
k=0

k!n!
+
(B
B-I)H
í(-AB
-
)
n ñ1
.
y(lnz
;n+1
;1)+
(B
-
) .
(-AB
)
nn1
Y(lnz
;n+1
;0)
1
+
(B
B-I)
H
(-1)
n+1
k! n!
Y(lnz
;n+1
;-k+1)
No emos
que
c5(z)
se
puede
ob ene numé icamen e
pues
en es e ca
so
an o
las
se ies
como
las
in eg ales
son
calculables
.
Po
se
~(z)
una
unción
con inua
e
in ini amen e
de i able
en
un
en o no
del
o igen,
su
desa ollo
en
se ie
de
Lau en
es
único,po
an o
:
dZ
n
Con
lo
que
hemos
deducido
la
ma iz
de
ansición
del
p oceso
-
desde
la
e apa
inicial
has a
n-ésima
.
n!
z=0
En el caso de un
p oceso
ma ko iano
no
es aciona io
de inido
a
a és
de
una ma izcausa i a
C
cons an e
de
al
o ma
que
p2
s
P
1
C,P
3
=P
2
C,
.
.
. .
P
'+1

=P
1

.

Cn
N

N

N
~ij(n+1)
C
=
k
y
1
ik(n)
P
kj
(n)
=
kY1
ik(n)

1111
p
kl
dlj
(n)
siendo
dlj
el
elemen o
(l,j)
de la
ma iz
Cn-1
=
D
.
siendo
Dg(z)=[

I
-
Cz1

ya
que
a la
ma iz
C
se le
puede
aplica
igualmen e
el
mé odo
de
la
z- ans o mación
.
ceso
.
B I
B
L
I
0G
R
A
F
I
A
-
BELLMAN
R
. :
"In oducción
al
análisis
ma icial"
,
(1965),
Ed
.
Re-
e é,
S .A
.
-
HOWARD
R
.A
. :
"Dynamic
p obabilis ic
sys ems"
John
Wiley,
(1971)
.
-
HARARY
F
.,
LIPSTEIN
B
.
and
STYAN
G
.P
.H
.
:
"A
ma iz
app oach
o
non
s a iona y
chains"
Tecnical
Repo
No
.
120,
Depa men
o S a-
is ics,
Uni e si y
o
Minneso a,
May
20,
1969
.
Aplicando
la
z- ans o mada
1

N
N
z
_
~
g
1
.(z)
-
~
i
(0)
=
F

~gik(z)
pkl
d
l
(z)
-
~
J

j

k-1
1=1

j
z
-1
[Ib
g
(z)- EO,l
=
0(z)
P D
g
(z)

$g
(z)

PD
9
(z)Z
Luego
en es e
caso
ambién
es
calculable
la
ma iz
I(n)
del
p o