Aplicació del càlcul de Malliavin a problemes d'estimació paràmetrica

Aplicaci´o del c`alcul de Malliavin a problemes d’estimaci´o param`etrica Treball final del M`aster en Matem`atica Avan¸cada i Professional 2011-2012 Facultat de Matem`atiques de la Universitat de Barcelona Beatriz Mart´ınez Montesinos Dirigit per Josep Vives i Santa Eulalia Resum L’objectiu d’aquest treball ´es donar a con`eixer com es fa servir a l’actualitat el c`alcul de variacions estoc`astic (c`alcul de Malliavin) en l’`ambit de la infer`encia estad´ıstica param`etrica. Per a aix`o estudiarem el c`alcul de Malliavin per a variables aleat`ories en un espai gaussi`a i, en particular, per a aquelles que s´on soluci´o d’algunes equacions diferencials estoc`astiques. 1 Introducci´o Quan tenim un model estad´ıstic d’estimaci´o param`etrica, la funci´o “score“ del model ens permet trobar la fita de Cramer-Rao i deduir propietats asimpt`otiques dels estimadors. En aquest treball volem mostrar com, actualment, el c`alcul de Malliavin s’est`a fent servir per trobar expressions de la funci´o “score“ en termes d’esperances condicionades , i com, a partir d’aqu´ı es poden estudiar les propietats asimpt`otiques del model. Aix`o t´e l’avantatge que no necessitem con`eixer la funci´o de densitat expl´ıcitament. Primer donarem els conceptes previs necessaris sobre probabilitat i infer`encia estad´ıstica per arribar a entendre qu´e ´es un model d’estimaci´o param`etrica i com s’obt´e la fita de Cramer-Rao si el model satisf`a certes propietats asimpt`otiques. 1 Despr´es introdu¨ırem unes nocions b`asiques sobre el c`alcul de Malliavin en espais gaussians i veurem com Corcuera i Kohatsu-Higa en [9] ho fan servir en el cas de l’estimaci´o param`etrica i, particularment, en el cas del proc´es d’Ornstein-Uhlenbeck i en el de les difusions el.l´ıptiques. 2 Infer`encia estad´ıstica param`etrica 2.1 Conceptes previs de probabilitat Un espai de probabilitat associat a una certa experi`encia aleat`oria, la qual estem estudiant, ´es una terna (Ω,F, P), tal que: •Ω ´es el conjunt de tots els possibles resultats del fen`omen, •F´es una fam´ılia de parts d’Ω que t´e estructura de σ-`algebra, ´es a dir, Ω∈FiF´es estable per complementaci´o i per unions numerables, i •P´es una aplicaci´o, P:F→[0,1] tal que P(∅) = 0, P(Ω) = 1 i P´es σ-additiva, ´es a dir, P(U∞ n=1Fn) = P∞ n=1 P(Fn) si Fn∈Fs´on disjunts dos a dos. A Pli diem una probabilitat sobre (Ω,F). Aquest espai de probabilitat direm que ´es complet si donat un conjunt de la σ-`algebra Ftots els seus subconjunts s´on tamb´e de F. Podem associar valors reals als resultats dels fen`omens aleatoris mitjan¸cant les variables aleat`ories. Una variable aleat`oria ´es una funci´o X: Ω→Rque ´es F-mesurable, ´es a dir, que acompleix que X−1(B)∈Fper a tot conjunt B∈B(R), on, per qualsevol n,B(Rn) ´es la σ-`algebra generada pels conjunts oberts de Rni s’anomena la σ-`algebra de Borel de dimensi´o n. Tota variable aleat`oria Xgenera una σ-`algebra i una probabilitat sobre la recta, PX(B)=(P◦X−1)(B) = P({ω:X(ω)∈B}),per a tot B∈B(R), a la qual li direm llei o distribuci´o de probabilitat de X. La funci´o de distribuci´o de la variable Xser`a la funci´o FX(x) = PX((−∞, x]) = P{X≤x}, x ∈R. Una altra manera de construir probabilitats sobre la recta real ´es mitjan¸cant les funcions de densitat, utilitzant la integral de Lebesgue. Una densitat de probabilitat ser`a una funci´o f:R→[0,+∞) mesurable i tal que R+∞ −∞ f(x)dx = 1. 2 Direm que una variable aleat`oria Xt´e densitat fsi f´es una densitat de probabilitat tal que P(a < X < b) = Zb a f(x)dx, per a tots a < b. Aleshores tenim la relaci´o FX(x) = Rx −∞ fX(y)dy. Un concepte important per al desenvolupament del nostre treball ´es el d’esperan¸ca matem`atica. Si la variable aleat`oria X´es integrable respecte P (o b´e Xpren valors a [0,+∞]) es defineix l’esperan¸ca d’Xcom la integral d’Xrespecte la mesura P, aix`o ´es, E(X) := ZΩ XdP. En general, si ϕ:R→R´es una funci´o mesurable respecte B(R) tal que ϕ◦X´es integrable respecte P(o ϕpren valors a [0,+∞]), tindrem que E[ϕ(X)] = ZΩ ϕ(X)dP =ZR ϕ(x)(P◦X−1)(dx). Si la llei de la variable X´es discreta, E[ϕ(X)] = X i∈I ϕ(xi)P(Xi=xi), i, si f(x) ´es la densitat de X, E[ϕ(X)] = ZR ϕ(x)f(x)dx. Si E(X2)<∞, es defineix la vari`ancia de Xcom σ2(X) = V ar(X) = E[(X−E(X))2] = E(X2)−(E(X))2. L’esperan¸ca d’una variable aleat`oria ens permet con`eixer on es concentren els valors de Xi la vari`ancia ens mesura el seu grau de dispersi´o respecte el valor mig. Exemple Una variable aleat`oria t´e llei normal o gaussiana N(µ, σ2) si la seva densitat ´es f(x) = 1 √2πσ2e−(x−µ)2 2σ2, on µ´es la seva esperan¸ca i σ2>0 la seva vari`ancia. Una aplicaci´o mesurable X= (X1,··· , Xn) : Ω →Rn, on Xi´es una variable aleat`oria per a cada i= 1,··· , n, s’anomena un vector aleatori n-dimensional. L’esperan¸ca d’aquest vector aleatori ser`a el vector E(X)=(E(X1),··· , E(Xn)) 3 i la seva matriu de covari`ancies ser`a ΓX= (cov(Xi, Xj))1≤i,j≤n, on cov(Xi, Xj) = E[(Xi−E(Xi))(Xj−E(Xj))] mesura el grau de depend`encia entre les dues variables aleat`ories. De manera semblant al cas de les variables aleat`ories definim la llei o distribuci´o del vector aleatori Xcom la probabilitat PX(B)=(P◦X−1)(B) = P(X∈B}),per a tot B∈B(Rn). Exemple Un vector aleatori n-dimensional Xt´e llei normal o gaussiana N(m, Γ) si (cambiarlo por la funcion de densidad) P(ai≤Xi≤bi, i = 1,··· , n) = =Zbn an···Zb1 a1 (2πdetΓ)−n 2e−12 Pn i,j=1(xi−mi)(xj−mj)Γ−1 ij dx1···dxn on m∈Rn´es la seva esperan¸ca i Γ = ΓX´es una matriu sim`etrica definida positiva. Si la nostra probabilitat est`a condicionada per alguna informaci´o a priori, apareix el concepte d’esperan¸ca condicionada. Donada una variable aleat`oria Xi una σ-`algebra Gde Fgenerada per les variables aleat`ories Y1,··· , Yn, si la distribuci´o conjunta del vector aleatori (X, Y1,··· , Yn) existeix i t´e densitat f(x, y1,··· , yn), podem definir l’esperan¸ca condicionada de Xper Gcom la variable aleat`oria E(X|G) = E(X|Y1,··· , Yn) = Z∞ −∞ xf(x|Y1,··· , Yn)dx, on f(x|y1,··· , yn) = f(x, y1,··· , yn) R∞ −∞ f(x, y1,··· , yn)dy1,··· , dyn . Podem trobar a [14] el teorema de Randon-Nikodym que ens assegura l’exist`encia de l’esperan¸ca condicionada per una σ-`algebra. Un proc´es estoc`astic ´es una fam´ılia de variables aleat`ories reals {Xi, i ∈ I}definides en un espai de probabilitat (Ω,F, P). Normalment l’´ındex i representa el temps i llavors, per a cada ω∈Ω, a l’aplicaci´o t→Xt(ω) se li diu una traject`oria del proc´es. Fixat un conjunt d’instants {0≤t1<··· < tn}, l’aplicaci´o (Xt1,··· , Xtn) : Ω−→ Rn´es un vector aleatori. 4 Les lleis o distribucions de probabilitat Pt1,···,tn=P◦(Xt1,··· , Xtn)−1 s’anomenen les distribucions en dimensi´o finita del proc´es, i, si aquestes s´on gaussianes per a tot ni qualssevol t1,··· , tn, direm que el proc´es estoc`astic ´es gaussi`a. Direm que un proc´es t´e increments independents si per a qualssevol 0≤t1<··· < tnles variables Xtn−Xtn−1,··· , Xt2−Xt1s´on independents, ´es a dir, la seva funci´o de distribuci´o conjunta coincideix amb el producte de les funcions de distribuci´o individuals. Un proc´es estoc`astic {Xt, t ≥0}diem que ´es un proc´es de Markov si per a cada s<ts’acompleix que E(f(Xt)|Xr, r ≤s) = E(f(Xt)|Xs), per a tota funci´o mesurable i acotada f:Rn→R. Aix`o vol dir que, donat l’estat del proc´es a temps present t, l’estat del proc´es a temps futur ´es independent del passat. Un proc´es de Markov determina una probabilitat anomenada probabilitat de transici´o i ve donada per p(s, x, t, B) = P(Xt∈B|Xs=x) amb 0 ≤s≤t,x∈RiB∈B(R), la qual ens proporciona la probabilitat de que el proc´es es trobi a Ba temps tsabent que es va trobar a l’estat x en un instant sdel passat. Exemple El moviment Browni`a oproc´es de Wiener ´es un proc´es {Bt, t ≥ 0}que acompleix que B0= 0, t´e els increments independents, cada Bt−Bs amb s<tt´e una llei normal N(0, t −s) i les seves traject`ories s´on funcions cont´ınues. El teorema de Kolmogorov (veure secci´o 1.2 a [3]) ens assegura l’exist`encia d’aquest proc´es. El moviment Browni`a real ´es un exemple de proc´es Gaussi`a i de proc´es de Markov, i les seves probabilitats de transici´o venen donades per p(s, x, t, y) = 1 p2π(t−s)e−(x−y)2 2(t−s). Una fam´ılia (Ft)t≥0de σ-sub`algebres de F´es una filtraci´o si per a 0≤s≤ts’acompleix Fs⊆Ft⊆F. Quan Xt´es Ft-mesurable per a cada t≥0 llavors es diu que el proc´es ´es adaptat a la filtraci´o. Donat un T > 0, sigui L2 Tel conjunt dels processos estoc`astics reals X= {Xt, t ∈[0, T]}que s´on de quadrat integrable, ´es a dir, que acompleixen que kXk2 2:= EZT 0 X2 tdt<∞. 5 Considerem el subconjunt de L2 Tdels processos que s´on, a m´es, adaptats a la filtraci´o del moviment browni`a. Aquest subconjunt, que denotarem per L2 a,T , ´es un espai vectorial complet i hereda l’estructura hilbertiana de L2 T. Si X´es un proc´es de L2 a,T , podrem definir la seva integral estoc`astica o integral de Itˆo,ZT 0 XtdBt, que ´es la integral del proc´es respecte un moviment browni`a. Veure [4] per m´es detalls. Una equaci´o diferencial estoc`astica ´es una equaci´o de la forma dXt=b(t, Xt)dt +σ(t, Xt)dBt definida per a t∈[0, T] i amb condici´o inicial X0que suposem F0-mesurable i independent del moviment Browni`a Bt. Els coeficients b(t, x) i σ(t, x) es diuem de tend`encia i de difusi´o respectivament i s´on funcions de [0, T]×RaR. La forma integral d’aquesta equaci´o ´es Xt=Zt 0 b(s, Xs)ds +Zt 0 σ(s, Xs)dBs. Aquest proc´es pot interpretar-se, doncs, com un sistema determinista amb una part dominant no aleat`oria i perturbat per un impuls aleatori donat per la integral estoc`astica. La soluci´o ser`a un proc´es estoc`astic {Xt, t ≥0}amb traject`ories cont´ınues i adaptat a la filtraci´o del moviment Browni`a. Aquests processos soluci´o s’anomenen processos de difusi´o. Ens podem adre¸car, per exemple, a la secci´o 2.2 de [4] per trobar resultats envers l’exist`encia i la unicitat de les solucions. La propietat de Markov per a processos de difusi´o ens diu que donada una funci´o fmesurable i acotada a Rn, llavors, per a cada 0 ⩽s<ttindrem E(f(Xt)|Fs) = E(f(Xt)|Xs). 2.2 Conceptes previs d’estad´ıstica Si en comptes de tenir un espai de probabilitat totalment especificat disposem d’un conjunt d’observacions del fenomen considerat estem en el camp de la infer`encia estad´ıstica. Aqu´ı la finalitat podria ser obtenir informaci´o sobre la llei de probabilitat PXdel fenomen a partir dels valors x1,··· , xn d’una certa variable aleat`oria (observacions) i poder construir l’espai de probabilitat que li faci de model. Parlem de infer`encia estad´ıstica param`etrica quan la fam´ılia Fde possibles distribucions est`a formada per distribucions depenents d’un par`ametre 6 θpertanyent a un obert Θ ⊂Rque anomenem l’espai param`etric. Escrivim F={Fθ|θ∈Θ}. La funci´o de probabilitat odensitat de la mostra (depenent que la distribuci´o Fθsigui discreta o continua) la notarem p(x;θ), on x= (x1,··· , xn)∈Rn. Considerem Xel conjunt de les possibles mostres de mida nd’un cert vector aleatori X= (X1,··· , Xn) que anomenarem l’espai mostral. Podem considerar a Xla σ-`algebra restringida de la σ-`algebra de Borel B(Rn), que representarem per F, i la mesura de probabilitat Pθa (X,F) associada a cada distribuci´o te´orica Fθ. La terna (X,F,{Pθ, θ ∈Θ}) ser`a el model estad´ıstic param`etric associat al vector aleatori n-dimensional X= (X1,··· , Xn). A vegades ´es millor asumir que Xdepend expl´ıcitament de θi definir el model estad´ıstic param`etric com una terna consistent en un espai de probabilitat (Ω,F, P), un espai de par`ametres Θ i una aplicaci´o mesurable X: Ω ×Θ−→ X ⊆ Rn (ω, θ)7−→ X(ω, θ). Un estad´ıstic T´es una funci´o mesurable de la mostra, ´es a dir, T= h(X1,··· , Xn) amb hfunci´o mesurable de XaRk, i posarem T:X −→ Rk (x1,··· , xn)7−→ T(x1,··· , xn). La dimensi´o de l’estad´ıstic ´es la dimensi´o kde l’espai euclidi i, per simplificar, suposarem que es igual a 1. L’estad´ıstic T(X1, ..., Xn) ´es tamb´e una variable aleat`oria (com a funci´o mesurable de B(Rk)). Un estad´ıstic ´es integrable d’ordre p, per a p≥1, si E(|T|p)<∞. Un estad´ıstic integrable d’ordre 2 direm que ´es de quadrat integrable i si ho ´es d’ordre 1 direm simplement que ´es integrable. El problema estad´ıstic d’obtenir una estimaci´o puntual del par`ametre θdins la fam´ılia F={Fθ|θ∈Θ}consisteix en seleccionar un estad´ıstic i prendre com a estimaci´o el valor de Tcalculat a partir de la mostra. Els estad´ıstics els valors dels quals s’utilitzen per obtenir la estimaci´o puntual de θ(o d’una certa funci´o g(θ)) s’anomenen estimadors. Una propietat convenient per a un ”bon” estimador integrable de θ(o de g(θ)) ´es que sigui centrat osense biaix, ´es a dir, que g(θ) = Eθ(T) := E(T(X(·, θ)))? per a tot θ∈Θ. Dins d’aquest conjunt d’estimadors ens interesaran aquells que siguin de quadrat integrable i tinguin la m´es petita dispersi´o possible (vari`ancia), ´es 7 a dir, aquells que acompleixin que V arθ(T) := V ar(T(X(·, θ))) ≤V arθ(T0)? per qualsevol θ∈Θ i qualsevol T0del conjunt d’estimadors sense biaix. Podem demostrar que, si existeix, aquest estimador ´es ´unic Pθ-quasi segurament per qualsevol θ, ´es a dir, Eθ[(T−T0)2] = 0. La desigualtat de Cramer-Rao ens donar`a, per alguns casos, una fita inferior de la vari`ancia de tots els estimadors sense biaix. A continuaci´o donarem una versi´o d’aquesta desigualtat. 2.3 La fita de Cramer-Rao. Efici`encia i efici`encia asimpt`otica Un estad´ıstic de quadrat integrable T∈ C1s’anomena regular si ∂θE(T(X)) = E(∂θT(X)) iV ar(T(X)) <∞, on escrivim ∂θ=∂ ∂θ . Considerem les seg¨uents condicions de regularitat per a la fam´ılia de variables aleat`ories {X(·, θ), θ ∈Θ}: i) Xt´e densitat p(·;θ)∈ C1per a tot θ∈Θ amb suport sup(X) := {x: p(x;θ)>0}independent de θ. ii) X(ω, ·)∈ C1com a funci´o de θ, per a tot ω∈Ω. A m´es, ∂θXj∈L2(Ω) i E(∂θXj|X=x)∈ C1com a funci´o de x, per a tot θ∈Θ i j= 1,··· , n. iii) Per a cada j= 1,··· , n ∂xj(E(∂θXj|X)p(X;θ)) p(X;θ)∈L2(Ω), on ∂xjh(X) := ∂xjh(x)|x=X, per tota funci´o diferenciable h. iv) Tot estad´ıstic T∈ C1amb suport compacte a l’interior de sup(X) ´es regular. v) p(x;θ) ´es diferenciable com a funci´o de θ, per a cada xfixat. vi) Per a cada estimador Tdiferenciable amb suport compacte a l’interior de sup(X), ∂θZRn T(x)p(x;θ)dx =ZRn T(x)∂θp(x;θ)dx, ∀θ∈Θ. 8 Sota aquestes condicions podrem considerar les anomenades funci´o “score” iinformaci´o de Fisher del model. La funci´o “score” del model estad´ıstic ´es la funci´o ∂θlog p(x;θ). Si fixem θ, es tracta d’una variable aleat`oria centrada, ´es a dir, Eθ(∂θlog p(x;θ)) = 0, i la seva vari`ancia ´es la informaci´o de Fisher del model I(θ) := V arθ(∂θlog p(x;θ)) = Eθ(∂θlog p(x;θ))2. Lema 2.1 Si T∈ C1´es un estimador regular amb suport compacte a l’interior de sup(X)i la fam´ılia {X(., θ), θ ∈Θ}acompleix les condicions de regularitat i)-iv) llavors ∂θE(T(X)) = −E(T(X) n X j=1 ∂xj(E(∂θXj|X)p(X;θ)) p(X;θ)). Demostraci´o: ∂θE(T(X)) (1) =E(∂θT(X)) = E(Pn j=1 ∂xjT(X)∂θXj)(2) = =RRnPn j=1 ∂xjT(x)E(∂θXj|X=x)p(x;θ)dx (3) = =Pn j=1 E(∂θXj|X=x)p(x;θ)·T(x)|Rn −RRnT(x)·Pn j=1 ∂xj(E(∂θXj|X=x)p(x;θ))dx (4) = =−RRnT(x)Pn j=1 ∂xj(E(∂θXj|X=x)p(x;θ))dx = =−E(T(X)Pn j=1 ∂xj(E(∂θXj|X)p(X;θ)) p(X;θ)), on el quocient es defineix com a 0 si p(X;θ) = 0. (1) per la condici´o iv) T ´es regular (2) una de les propietats de l’esperan¸ca ens diu que si XiYs´on dues variables aleat`ories i f´es no negativa llavors E(f(Y)) = RRnE(f(Y)|X=x)p(x, θ)dx (3) integraci´o per parts u=E(∂θXj|X=x)p(x;θ), dv =∂xjT(x)dx (4) limx→x0E(∂θXj|X=x)p(x;θ)T(x)=0, j = 1,···, n, ∀θ∈Θ,∀x0∈∂sup(X), on ∂sup(X)´es la frontera de sup(X). 2 9 La proposici´o 1.2.1 a [4] ens demostra que l’operador D´es ”closable” des de L2(Ω) a L2(Ω; H), per tant podem definir l’operador derivada estoc`astica com D:D1,2⊆L2(Ω,R)−→ L2(Ω, H) T7→ DT. on D1,2´es el domini de Di consisteix en la clausura de la classe de les variables aleat`orias Srespecte la norma kTk1,2= (E(|T|2) + E(kDT k2 H))1 2. D1,2ser`a, doncs, un espai de Hilbert. Dues propietats importants de l’operador derivada s´on les seg¨uents: Proposici´o 3.1 La regla de la cadena Sigui f:Rn→Runa funci´o C1 amb derivades parcials acotades i sigui Tuna variable aleat`oria pertanyent aD1,p(Rn)per p≥1fixat. Llavors s’acompleix D(f(T)) = n X i=1 ∂if(T)DTi. Proposici´o 3.2 La f´ormula d’integraci´o per parts Suposem que T ´es una variable aleat`oria i h∈H. Llavors E(hDT, hiH) = E(TW(h)). (podem trobar les demostracions a la secci´o 1.2 de [4]). L’operador diverg`encia ´es l’adjunt de l’operador derivada i el denotarem per δ. El domini de δ,Dom(δ), ´es el conjunt de variables aleat`ories de quadrat integrable a valors a H,u∈L2(Ω, H), tals que |E(hDT, uiH)| ≤ ckTk2, per a tot T∈D1,2, on c´es una constant depenent de u. Si u∈Dom(δ), δ(u) ´es un element de L2(Ω,R) i s’acompleix la relaci´o E(Tδ(u)) = E(hDT, uiH) per tot T∈D1,2. Tenim, doncs, el seg¨uent resultat?: Proposicio 3.3 Sigui hun element de H, llavors δ(h) = W(h). Proposici´o 3.4 Si u= n X j=1 Fjhj 16 amb Fj∈Sihjs´on elements d’Haleshores δ(u) = n X j=1 FjW(hj)− n X j=1hDFj, hjiH. Demostraci´o: E(Tδ(u)) = = n X j=1 E(TFjW(hj)) − n X j=1 E(ThDFj, hjiH) = = n X j=1 E(hD(TFj), hji)− n X j=1 E(ThDFj, hjiH) = = n X j=1 E(hD(TFj)−T DFj, hjiH) = = n X j=1 E(FjhDT, hjiH) = E(hDT, n X j=1 FjhjiH) = =E(hDT, uiH). 2 Observem que, degut a la identificaci´o entre els espais de Hilbert L2(Ω, H) iL2(T×Ω), si {Wt, t ≥0}´es un moviment browni`a unidimensional i prenem Hl’espai lineal tancat generat per {Wt,0≤t≤T}iH=L2([0, T],R), W(h) = RT 0h(t)dWt´es la integral estoc`astica de Wiener i llavors, per F∈S la seva derivada es pot mirar com un proc´es estoc`astic DF ={DtF, t ∈ [0, T]}, on DtF=Pn i=1 ∂if(W(h1),··· , W(hn))hi(t). A m´es, si un proc´es estoc`astic ude quadrat integrable ´es adaptat a la filtraci´o del moviment browni`a (mirar [11] o [3] pels detalls), el seu operador adjunt ser`a la integral de Itˆo RT 0u(t)dWt. 4´ Us del c`alcul de Malliavin en la Infer`encia estad´ıstica asimpt`otica El fet que per demostrar la desigualtat de Cramer-Rao es faci servir la f`ormula d’integraci´o per parts tradicional, ens porta a intentar fer servir la f´ormula d’integraci´o per parts del c`alcul de Malliavin per trobar un resultat semblant per als casos on la funci´o de distribuci´o no sigui coneguda. A [6] Gobet aplica el c`alcul de Malliavin per demostrar la propietat de normalitat asimpt`otica local mixta quan el model ´es un proc´es de difusi´o el.l´ıptica multidimensional els coeficients del qual depenen d’un par`ametre. 17 Aqu´ı ens ocuparem d’explicar les eines que Corcuera i Kohatsu-Higa donen a [9] per fer servir aquest c`alcul en l’obtenci´o de cotes de Cr´amer-Rao i en la demostraci´o de les propietats de normalitat asimpt`otica per diversos models d’estimaci´o param`etrica com els corresponents al proc´es d’OrnsteinUhlenbeck, que ´es un exemple de proc´es de difusi´o erg`odic, i a processos de difusions el.l´ıptiques. Suposem a partir d’ara que les nostres observacions s’expressen com a una funci´o mesurable X: Ω ×Θ−→ Rn (ω, θ)7→ x=X(ω, θ), Θ un subconjunt obert de Ramb la σ-`algebra de Borel i considerem en Ω la σ-`algebra generada per H. Teorema 4.1. Corcuera-Kohatsu Sigui Xj∈D1,2, j = 1,··· , n iZ una variable aleat`oria a valors a H, en el domini de δ, tal que hZ, DXjiH=∂θXj.(4.1) Si T´es un estimador regular sense biaix de g(θ)llavors V ar(T(X))V ar(E(δ(Z)|X)) ≥g0(θ)2.(4.2) Si a m´es, suposem que i) Xt´e densitat p(x;θ)∈ C1com a funci´o de θamb suport, sup(X), independent de θ, ii) tot estad´ıstic diferenciable amb suport compacte a l’interior de sup(X) ´es regular i ∂θRRnT(x)p(x;θ)dx =RRnT(x)∂θp(x;θ)dx, per a tot θ∈Θ, aleshores E(δ(Z)|X) = ∂θlog p(X;θ),q.s. i per a tot θ∈Θ. Demostraci´o: ∂θE(T(X)) = n X k=1 E(∂xkT(X)∂θXk)(4.1) = n X k=1 E(∂xkT(X)hZ, DXkiH). Per la regla de la cadena per l’operador derivada D, DT (X) = n X k=1 ∂xkTDXk, llavors ∂θE(T(X)) = E(hZ, DT (X)iH) = E(T(X)δ(Z)) = E(T(X)E(δ(Z)|X)). 18 I, per la desigualtat de Cauchy-Schwarz, (∂θE(T(X)))2≤V ar(T(X))V ar(E(δ(Z)|X)). Per altra banda, ∂θE(T(X)) = ∂θZRn T(x)p(x;θ)dx = =ZRn T(x)∂θp(x;θ)dx = =ZRn T(x)∂θlog p(x;θ)p(x;θ)dx = =E(T(X)∂θlog p(X;θ)). I el resultat surt amb un argument de densitat. 2 Nota 4.2 El proper objectiu ser`a donar alguna pista de com trobar la Z. Per exemple, si existeix un vector aleatori n-dimensional Ua valors a H tal que hUk, DXjiH=δkj on δkj ´es la delta de Kronecker aleshores Z= n X k=1 Uk∂θXk verifica la condici´o (4.1) si Z∈Dom(δ): hZ, DXjiH= n X k=1hUk∂θXk, DXjiH=hUj∂θXj, DXjiH=∂θXj. En particular, si (Akj)=(hDXk, DXjiH)−1 est`a ben definida, podem prendre Uk= n X j=1 AkjDXj. La matriu A=Ajk s’anomena matriu de covari`ancia de Malliavin i la propietat de que existeix la seva inversa implica, com podem veure a [4] Th.2.1.2, que el vector aleatori Xt´e funci´o de densitat p(x;θ). 19 Posem a continuaci´o un parell d’exemples de casos sencills que Corcuera i Kohatsu-Higa d´onen per aclarir quin paper juga cada un dels elements del teorema: Exemple 3 Sigui Xj=j+θ, 1 ≤j≤n, on per cada j= 1,··· , n js´on variables aleat`ories independents amb distribuci´o normal standard. Sigui Hl’espai lineal generat per 1,··· , n. Considerem la isometria W:H−→ H ej7−→ W(ej) = j amb E(W(ej)W(ek)) = E(j, k) = hej, ekiH=δjk. Llavors tenim que DXj=ej i si seguim la nota 4.2 i definim Akj = (hDXk, DXjiH)−1=δkj, prenent Uk= n X j=1 δkjej podem aplicar el teorema 4.1 per a Z= n X k=1 Uk·∂θXk= n X j,k=1 δkjej·1 = n X j=1 ej. Per la proposici´o 3.4 tenim que δ(Z) = n X j=1 W(ej) = n X j=1 j= n X j=1 Xj−nθ i aleshores obtenim la desigualtat cl`assica de Cramer-Rao V ar(T)≥g0(θ)2 V ar(E(δ(Z)|X)) =(∂θE(T))2 n. Exemple 4 Sigui Xj=θj, 1 ≤j≤n, on per cada j= 1,··· , n js´on variables aleat`ories independents amb distribuci´o normal standard. Considerem la mateixa isometria que a l’exemple anterior. Llavors tenim que DXj=θej, Akj =1 θ2δkj, Uk= n X j=1 1 θδkjej 20 i podem agafar Z= n X j,k=1 1 θδkjejj= n X j=1 1 θjej. Prenent Fj=1 θja la proposici´o 3.4 tenim que δ(Z) = n X j=1 1 θ2 j− n X j=1 1 θhej, ejiH= n X j=1 X2 j θ3−n θ i, en aquest cas, tamb´e obtenim la desigualtat cl`asica de Cramer-Rao: V ar(T)≥θ2(∂θE(T))2 2n. Un altre resultat ´util a l’hora de trobar una Zconvenient ´es el seg¨uent. Proposici´o 4.3 Sigui X= (X1,···Xn)TiY= (Y1,··· , Yn)Tdos vectors aleatoris amb components a D1,2, on Y=h(θ, X)amb h∈ C1,1ih(θ, ·) bijectiva per a tot θ. Si suposem que hZ, DYjiH=∂θYj, llavors hZ, DXjiH=∂θXj in X r,l=1 DYrBrl(dθYl−(∂θhl)(θ, X)) = n X r,l=1 DXrArl∂θXl on Bkj = (hDYj, DYkiH)−1,Akj = (hDXj, DXkiH)−1idθ´es la derivada total respecto a θ, ´es a dir, dθYl=∂θ(hl(θ, X)). Al seg¨uent exemple mostrarem com es poden aplicar aquests resultats en un cas discret. Exemple 5 Sigui, com als exemples anteriors, j,j= 1,··· , n variables aleat`ories independents amb distribuci´o normal standard, Hl’espai lineal generat per elles, Hl’espai generat per eji la isometria ej→W(ej) = j. Sabem que Dj=eji que W(ej) = j. Siguin Xj=θXj−1+j, j = 1,··· , n iX0una constant i definim Y=h(θ, X),on hj(θ, x) = xj−θxj−1amb x0=X0, 21 aleshores Yj=Xj−θXj−1=j, DYj=ej dθYj=dθj= 0 (∂θhj)(θ, X) = −Xj−1. Fent servir la Nota 4.2 per les variables Yjtrobem Ztal que hZ, DYjiH= ∂θYj: (Ckj) = (hDYk, DYjiH)−1=δkj, Uk= n X j=1 CkjDYj= n X j=1 δkjej Z= n X k,j=1 δkjej∂θYj= n X k,j=1 ejδjkXj−1. Llavors, per la proposici´o anterior, tamb´e s’acompleix que hZ, DXjiH=∂θXj i que n X r,l=1 DYrBrl(dθYl−(∂θhl)(θ, X))) = n X r,l=1 DXrArl∂θXl. Com que (Brl)=(hDYl, DYriH)−1=δlr ens queda n X r,l=1 erδlrXl−1= n X r,l=1 DXrArl∂θXl. Podrem trobar la funci´o ”score“ a partir de δ(Z) = δ( n X r,l=1 erδrlXl−1) = prop.3.4 = n X l=1 W(el)Xl−1− n X l=1hDXl−1, eliH (1) = = n X l=1 lXl−1= n X l=1 (Xl−θXl−1)Xl−1. (1) DXj=θDXj−1+ej⇒Pn l=1hDXl−1, eliH= 0 Altra forma de trobar la Zdel teorema 4.1 ´es considerar la relaci´o DXj=ej+θDXj−1 22 h n X l=1 elXl−1, DXjiH=Xj−1+θh n X l=1 elXl−1, DXj−1iH i com que ∂θXj=Xj−1+θ∂θXj−1 per unicitat de solucions en equacions diferencials (veure per exemple secci´o 5.2 a [2]) tenim que ∂θXj=h n X l=1 elXl−1, DXji. O sigui, que podem considerar Z= n X l=1 elXl−1 i calcular, com abans, l’operador diverg`encia de Z: δ(Z) = n X l=1 δ(elXl−1) = n X l=1 lXl−1= n X l=1 (Xl−θXl−1)Xl−1 Llavors la funci´o ”score“ en el nostre exemple ser`a: log p(X;θ) = E(δ(Z)|X) = n X l=1 (Xl−θXl−1)Xl−1. 5 Aplicacions al proc´es d’Ornstein-Uhlenbeck i a les difusions el.l´ıptiques El nostre inter`es es centra ara en l’estimaci´o del par`ametre θ(i en l’estudi de les seves propietats asimpt`otiques si T→ ∞) a partir de les d’observacions XT={Xt,0≤t≤T} d’un proc´es del tipus dXt=S(θ, Xt)dt +σ(Xt)dBt, X0=x0,0≤t≤T, on S(·,·) i σ(·) s´on certes funcions a valors a R,{Bt, t ≥0}´es un moviment browni`a, X0´es la condici´o inicial la qual no dep`en del moviment browni`a i θpertany a un conjunt obert Θ ⊂R. 23 Aquest proc´es de difusi´o continu respecte el temps diem que t´e propietats erg`odiques si s’acompleixen les seg¨uents propietats: Les funcions S(θ, ·) i σ(·) s´on tals que per a tot θ∈Θ V(θ, x) = Zx 0 exp −2Zy 0 S(θ, v) σ(v)2dvdy −→ ±∞,si x→ ±∞ iG(θ) = Z∞ −∞ σ(y)−2exp 2Zy 0 S(θ, v) σ(v)2dvdy < ∞. La primera condici´o ens diu que el proc´es ´es recurrent, ´es a dir, el temps de retorn a cada conjunt acotat ´es finit amb probabiliat 1. La segona condici´o vol dir que aquest temps t´e esperan¸ca finita. Tal com podem veure a [15], aix`o significa que per a cada funci´o mesurable h(·) tal que E|h(ξ)|<∞, el l´ımit 1 TZT 0 h(Xt)dt −→ Z+∞ −∞ h(x)fS(x, θ)dx (5.1) s’acompleix amb probabilitat 1, on fS(x, θ) = 1 G(θ)σ(x)2exp 2Zx 0 S(θ, v) σ(v)2dv(5.2) ´es la densitat invariant del proc´es XTiξ: Ω →R´es una variable aleat`oria amb funci´o de densitat estacion`aria fS. 5.1 El proc´es d’Ornstein-Uhlenbeck Es tracta del proc´es estoc`astic X={Xt, t ≥0}soluci´o de l’equaci´o diferencial estoc`astica dXt=−θXtdt +dBt, t ≥0, X0= 0, θ > 0. on Bt, t ≥0 ´es un moviment Browni`a de dimensi´o 1. Integrant aquesta equaci´o obtenim Xt=Zt 0 e−θ(t−s)dBs, que es tracta d’un proc´es gaussi`a d’esperan¸ca 0 i vari`ancia Rt 0e−2θ(t−s)ds. Considerem X(n)= (Xt1,··· , Xtn),0< t1<··· < tn=T, una mostra aleat`oria d’aquest model param`etric. Sigui Hl’espai lineal generat per les variables aleat`ories Bt,0≤t≤T iH=L2([0, T], dx). 24 Llavors l’aplicaci´o W:H−→ H 1(0,t](·)7−→ W(1(0,t])≡RT 01(0,t](s)dBs=Bt defineix una isometria lineal. Observem que W(h) ´es la integral estoc`astica de la funci´o hi que D·Xt=e−θ(t−·)·1(0,t](·) i δ(X) = ZT 0 XsdBs. Tenim l’equaci´o d∂θXt=−Xtdt −θ∂θXtdt, t ≥0, ∂θX0= 0, que t´e soluci´o ∂θXt=−Zt 0 e−θ(t−s)Xsds =−ZT 0 XsDsXtds =−hX, DXtiH. Llavors, aplicant el teorema 4.1 per Z=−X, obtenim que ∂θlog p(X(n);θ) = −E(δ(X)|X(n)) = −E(ZT 0 XsdBs|X(n)) (5.3) i com que dBs=dXs+θXsds ens queda que ∂θlog p(X(n);θ) = −E(ZT 0 XsdXs+θZT 0 X2 sds |X(n)). En particular, (igualant a zero la part dreta) l’estimador de m`axima versemblan¸ca vindr`a donat per ˆ θ=−E(RT 0XsdXs|X(n)) E(RT 0X2 sds|X(n)). Considerem Zn(θ, θ +u √n4n ) := log p(X(n);θ+u √n4n )−log p(X(n);θ), el que volem veure ´es que el c`alcul de Malliavin ens permet escriure la variable Zn(θ, θ +u √n4n) en termes de l’esperan¸ca condicionada d’una integral de Itˆo i, per tant, estudiar si s’acompleix la propietat NAL. 25 aleshores he β, DXtiiH=ZT 0e βDXti1(0,ti](t)dt = =∂xXtiZti 0 n X j=1 a(t)(βtj−βtj−1)1{tj−1≤t<tj}dt = =∂xXti i X j=1 (βtj−βtj−1)Ztj tj−1 a(t)dt = =∂xXti i X j=1 (βtj−βtj−1) = ∂xXti(βti−βt0)(1) = =∂xXtiβti=∂θXti. (1) X0=x,∂θX0= 0,β0= 0 Degut a la uniformitat el.l´ıptica i a la diferenciabilitat dels coeficients tenim que e β∈Dom(δ): a) e β∈L2(Ω, H)? b) |E(hDT, e βiH)| ≤ c(e β)kTk2,∀T∈D1,2 X(n)= (Xt1,···Xtn), x = (x1,··· , xn) T:X −→ R (x1,··· , xn)7−→ T(x1,··· , xn) kTk2=hT, Ti1/2 2=Z|T(x)|2dx1/2 ? T=T(X(n)) DT = n X i=1 ∂xiT(x)DXti D·Xt=∂xXt(∂xX.)−1σ(·, θ, X.)1[0,t](·). hDT, e βiH=ZT 0 n X i=1 ∂xiT(x)DtXtie βdt = =ZT 0 n X i=1 ∂xiT(x)DtXti∂xXti(∂xXt)−1σ(t, θ, Xt)1[0,ti](t)e βdt =?. Tamb´e s’acompleixen les condicions i) i ii) del teorema 4.1, ja qu`e, sup(X) ´es Rni∂θp(x;θ) ´es uniformement acotada respecte θper una funci´o integrable. 32 Per tant, prenent Z=e βen el teorema 4.1, tenim la funci´o ”score“ expressada en la forma ∂θlog p(X(n);θ) = E(δ(e β)|X(n)). Si prenem a(t) = n, 1 nδ(e β)(2) = n X i=1 (βti−βti−1)Zti ti−1 ∂xXt(σt(θ, Xt))−1dBt − n X i=1 Zti ti−1 Dtβti∂xXt(σt(θ, Xt))−1dt. (2) Apliquem la proposici´o 3.4, amb hi=n∂xXt(σt(θ, Xt))−11{ti−1≤t<ti},Fi=βti−βti−1. iW(hi) = Rti ti−1n∂xXt(σt(θ, Xt))−1dBt, Per altra banda, partint de la nostra equaci´o inicial tenim que ∂xXt= 1 + Zt 0 ∂xbs∂xXsds +Zt 0 ∂xσs∂xXsdBs i ∂θXt=Zt 0 (∂θbs+∂xbs∂θXs)ds +Zt 0 (∂θσs+∂xσs∂θXs)dBs. Aleshores, aplicant la f´ormula de Itˆo a la funci´o q¨uocient tenim que βt:= ∂θXt ∂xXt =Zt 0 µsds +Zt 0 ∂θσs ∂xXs dBs, per a un cert proc´es adaptat µque es pot calcular expl´ıcitament. Llavors, pel teorema 2.1 a [13] i la identitat de polaritzaci´o, tenim que √n( n X i=1 (βti−βti−1)Zti ti−1 ∂xXtσ−1 tdBt− n X i=1 Zti ti−1 ∂θσt σt dt) ↓L √2Z1 0 (∂θσt σt )dWs on W´es un moviment browni`a independent de B. A m´es, per a tot t≤ti, tenim que Dtβti=∂θσt σxXt +Zti t DtµsDtXsds +Zti t ∂x(∂θσs ∂xXs )DtXsdBs i tamb´e que √n( n X i=1 Zti ti−1 Dtβti∂xXtσ−1 tdt −Zti ti−1 ∂θσt σt dt) 33 ↓L2 0 Per la qual cosa 1 √nδ(e β)L −→ √2Z1 0 (∂θσs σs )dWs. Fent servir la identitat de polaritzaci´o i la desigualtat de Burkholder podem veure que 1 √nδ(e β)−√n n X i=1{∂θσti−1 σ3 ti−1 (∆Xti)2−1 n ∂θσti−1 σti−1} ↓Lα,∀α > 0 0 I, aleshores 1 √nE(δ(e β)|X(n))L −→ √2Z1 0∂θσs σsdWs. Aix`o implica, en particular, que la informaci´o asimpt´otica de Fisher per aθ´es 2E"Z1 0∂θσs σs2 ds#: I(θ) := Eθ(∂θlog p(x;θ))2=EθE(δ(e β)|X(n)=x)2= =Eθ√2Z1 0∂θσs σsdWs2 = 2Eθ"Z1 0∂θσs σs2 ds#. Considerem Zn(θ, θ +u √n) := log p(X(n);θ+u √n)−log p(X(n);θ) llavors tenim que Zn(θ, θ +u √n) = Zθ+u √n θ E(δ(e β)|X(n) θ0=Xn θ)dθ0. Es pot veure que E(δ(e β)|X(n)) = n n X i=1 (∂θσti−1 σ3 ti−1 (∆Xti)2−1 n ∂θσti−1 σti−1)+ n X i=1 Ri(θ, (Xθ)ti−1,(Xθ)ti) (5.6) 34 on E(|Ri(θ, (Xθ)ti−1,(Xθ)ti)|α)1 α=O(1/n), uniformement en i, per a tot α > 0. Llavors, Eθ(|Ri(θ0,(Xθ)ti−1,(Xθ)ti)|) = Eθ0(|Ri(θ0,(Xθ0)ti−1,(Xθ0)ti)|pi(θ) pi(θ0)) = = (Eθ0(|Ri|α)) 1 α(Eθ0[( pi(θ) pi(θ0))β])1 β, on 1/α + 1/β = 1, α > 1, β > 1, Ri=Ri(θ0,(Xθ)ti−1,(Xθ)ti) ipi(θ) ´es la densitat conjunta de ((Xθ)ti−1,(Xθ)ti) avaluada a Xθ0. La esperan¸ca respecte aquest proc´es la notem Eθ0. Ara, com que σ∈ C1,3,3´es uniformement el.l´ıptica, transition densities can be bounded from above and below uniformly by the Gaussian kernel, and then by continuity existeix β > 1 tal que Eθ0"pi(θ) pi(θ0)β#< C, veure prop.5.1 a [6]. Llavors Zθ+u √n θ E|Ri(θ0,(Xθ)ti−1,(Xθ)ti)|dθ0⩽CZθ+u √n θ (E|Ri|α)1/αdθ0⩽Cu n3/2. Ara, nom´es necessitem calcular les derivades, respecte θfixada la X(n) a l’expressi´o (5.6). Si fem c`alculs obtenim 1 n∂θE(δ(e β)|X(n)) = n X i=1 (∂2 θσti−1 σ3 ti−1 (∆Xti)2−1 n ∂2 θσti−1 σti−1)+ + n X i=1 (−3(∂θσti−1)2 σ4 ti−1 (∆Xti)2+1 n (∂θσti−1)2 σ2 ti−1)+op(1). I, per acabar, tenint en comte la continuitat de les derivades respecte θ veiem que el model satisf`a la propietat NALM: Zn(θ, θ +u √n)L −→ uZ1 0 √2∂θσs σs dWs−u2 2Z1 0 2(∂θσs σs )2ds. 1 o T? A [6] es tracta el cas multidimensional. 35 ´ Index 1 Introducci´o 1 2 Infer`encia estad´ıstica param`etrica 2 2.1 Conceptes previs de probabilitat . . . . . . . . . . . . . . . . 2 2.2 Conceptes previs d’estad´ıstica . . . . . . . . . . . . . . . . . . 6 2.3 La fita de Cramer-Rao. Efici`encia i efici`encia asimpt`otica . . 8 2.4 Normalitat asimpt`otica . . . . . . . . . . . . . . . . . . . . . 14 3 El c`alcul de Malliavin per a processos gaussians 15 4´ Us del c`alcul de Malliavin en la Infer`encia estad´ıstica asimpt`otica 17 5 Aplicacions al proc´es d’Ornstein-Uhlenbeck i a les difusions el.l´ıptiques 23 5.1 El proc´es d’Ornstein-Uhlenbeck . . . . . . . . . . . . . . . . . 24 5.2 Difusions El.l´ıptiques . . . . . . . . . . . . . . . . . . . . . . . 31 36 Refer`encies [1] Arturo Kohatsu-Higa, Lower bounds for densities of uniformly elliptic random variables on Wiener space. UPF, 2003. [2] Bernt Øksendal, Stochastic Differential Equations - An Introduction with Applications. 6th edition, Springer-Verlag, 2007. [3] David Nualart, C´alculo estoc´astico. UB. [4] David Nualart, The Malliavin Calculus and Related Topics. 2nd edition, Springer-Verlag, 2006. [5] D.Nualart i M.Sanz, Curs de Probabilitats. PPU, 1990. [6] Emmanuel Gobet, Local asymptotic mixed normality property for elliptic diffusion: a Malliavin calculus approach. Bernouilli 7(6), 2001, 899-912. [7] Eulalia Nualart, L’aplicabilitat de la f´ormula d’integraci´o per parts en un espai Gaussi`a, 2000. [8] Joan Llu´ıs Cerd`a Mart´ın, Introducci´o a l’An`alisi Funcional. Publicacions i Edicions de la U.B., 2005. [9] Jos´e M. Corcuera i Arturo Kohatsu-Higa, Statistical inference and Malliavin calculus, 2000. [10] Josep Vives, Curs Elemental d’Estad´ıstica Matem`atica 2011. [11] Marta Sanz-Sol´e: Lecture Notes of the course: An Introduction to Stochastic Calculus, 2010. [12] Marta Sanz-Sol´e, Malliavin Calculus with Applications to Stochastic Partial Differential Equations. EPFL Press, 2005. [13] O.E. Barndorff-Nielsen, S.E. Graversen, J. Jacod, M. Podolskij, N. Shephard, A central limit theorem for realised power and bipower variations of continuous semimartingales, in: Yu. Kabanov, R. Liptser and J. Stoyanov (Eds.), From Stochastic Calculus to Mathematical Finance. Festschrift in Honour of A.N. Shiryaev, Heidelberg: Springer, 2006. [14] Patrick Billingsley, Probability and Measure. Wiley Series in Probability and Mathematical Statistics, 1995. [15] Yury A.Kutoyants, Statistical Inference for Ergodic Diffusion Processes. Springer, 2004. 37