Estudi de la fiabilitat de la escintigrafía miocardial 123I - MIBG en pacients caucàsics amb malaltia de Parkinson

Títol: Estudi de la fiabilitat d ela escintigrafía miocardial en pacients caucàsics amb malaltia de Parkinson Autor: Maria Vivó Pascual Director: Josep Lluís Carrasco Departament: Fonaments Clínics, Estadística Aplicada Convocatòria: Juny 2020 : Grau en Estadística Resum El prop` osit d’aquest treball ´ es l’estudi de les mesures preses per un conjunt de metges per a avaluar la fiabilitat de la t` ecnica d’imatge 123I−MIBG i concloure si ´ es reprodu¨ ıble. Els ´ ındexs estimats i interpretats per a l’obtenci´ o dels resultats s´ on els ´ ındex de fiabilitat o Intraclass Correlation Coefficient (ICC) i l’´ ındex de concordanc¸a o Concordance Correlation Coefficient (CCC), ambdues mesures basades en l’estudi de la variabilitat de les dades. La mostra d’estudi consta d’un total de 27 individus i est` a conformada per un conjunt de pacients patol` ogics i un altre de pacients control. Sobre aquests i a partir de la t` ecnica d’imatges s’extreuen mesures sobre un ´ ındex en dos moments temporals diferents i ser` an les variables d’estudi al llarg del treball. Un cop finalitzat l’an` alisi de la variabilitat, es comparen els resultats obtinguts amb un an` alisi que es va realitzar sobre les mateixes dades i amb el mateix objectiu per` o fent ´ us d’una metodologia sub` optima. Finalment, s’avaluen les conseq¨ u` encies d’una metodologia inadequada. Paraules clau Error de mesura, Model Lineal Mixt, Fiabilitat, Concordanc¸a, 123I−MIBG Classificaci´ o AMS 62P10 Applications to biology and medical sciences; 62J10 Analysis of variance and covariance; 62J05 Linear regression; 62-07 Data analysis. 1 Reliability study of 123I−MIBG myocardial scintigraphy in caucasian patients with Parkinson disease Abstract The purpose of this paper is to study the measurements taken by a group of doctors in order to analyze the reliability of the image technique 123I−MIBG and conclude whether if it is a reproducible methodology. The estimated indices to obtain results are the Intraclass Correlation Coefficient (ICC) and the Concordance Correlation Coefficient (CCC), both of them based on the study of the variability within and between clusters of the data. The sample of study is composed of 27 caucasian individuals and can be segregated in diagnosed group and control group. Measurements are taken from the images obtained using the technique of study in two different moments, 15 minutes and 4 hours post-injection. This information is taken by three doctors, one of them realizes the same measurement 3 times. Once the variability study is finished, the results of the investigation are compared with those of an original study made years ago using a different methodology, therefore reporting different insights. Lastly, the negative effects of the applycation of a suboptimal methodology are exposed. To carry out the analysis, the statistical software ”R”and the packages related to modelling and visualization of data will be used. Key words Measurement error, Linear Mixed Models, Reliability, Concordance, 123I−MIBG 2 ´ Index 1 Introducci´ o 7 2 Metodologia 9 2.1 Dissenydel’experiment ............................... 9 2.1.1 Selecci´ odelamostra............................. 9 2.1.2 Observadors i mesures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.2 T` ecnicad’imatge ................................... 11 2.3 Modelitzaci´ o estad´ ıstica................................ 12 2.3.1 Comparaci´ odemodels............................ 13 2.4 ´ Indexdefiabilitat ................................... 14 2.4.1 Definici´ o ................................... 14 2.4.2 Procediment per l’estimaci´ o de ρ...................... 15 2.5 ´ Indexdeconcordanc¸a................................. 18 2.5.1 Definici´ o ................................... 18 2.5.2 Procediment per l’estimaci´ o de ρc...................... 18 2.6 C` alcul dels intervals de confianc¸a . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.7 Determinaci´ o de l’excel·l` encia d’un ´ ındex ...................... 19 3 Determinaci´ o del model general i estudi de la fiabilitat 21 3 3.1 Especificaci´ odelmodel................................ 21 3.2 Estudi de la fiabilitat al mesurar index4h ....................... 22 3.3 Estudi de la fiabilitat al mesurar index15mins .................... 24 4 Estudi de models m´ es complexos i estudi de la fiabilitat 26 4.1 Especificaci´ odelmodel................................ 26 4.2 Estudi de l’error aleatori heterosced` astic segons observador i diagn` ostic al mesurar index4h ........................................ 28 4.3 Estudi de l’error aleatori heterosced` astic segons observador i diagn` ostic al mesurar index15mins ...................................... 32 5 Estudi de la concordanc¸a 36 5.1 Estudi de les difer` encies sistem` atiques entre observadors . . . . . . . . . . . . . . 36 5.1.1 Difer` encies sistem` atiques per a la variable index4h ............. 36 5.1.2 Difer` encies sistem` atiques per a la variable index15mins ........... 38 5.2 C` alcul ´ ındex de concordanc¸a global . . . . . . . . . . . . . . . . . . . . . . . . . 39 5.3 C` alcul ´ ındex de concordanc¸a per parelles . . . . . . . . . . . . . . . . . . . . . . 40 6 Conclusions de l’an` alisi 42 7 Limitacions en l’an` alisi de l’article cl´ ınic original 43 8 Comparaci´ o entre l’an` alisi original l’actual 44 4 A Ap` endix 46 A.1 Verificaci´ o i estudi descriptiu de les dades . . . . . . . . . . . . . . . . . . . . . . 46 A.1.1 Exploraci´ o multivariant de les dades . . . . . . . . . . . . . . . . . . . . . 47 A.2 Implementaci´ odelesfuncionsenR ......................... 51 A.3 Validaci´ o dels resultats/funcions . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 A.4 Vari` ancies associades als c` alculs dels ´ ındexs .................... 54 A.5 Estudi per a la validaci´ o de funcions a partir de bootstrap . . . . . . . . . . . . . . 59 A.6 CodiR......................................... 61 5 Agra¨ ıments Abans de procedir amb el treball m’agradaria agrair a totes aquelles persones que m’han ajudat tant en la realitzaci´ o del treball com en el curs de la carrera en general. Pel que fa a aquest ´ ultim curs i en concret al treball en q¨ uesti´ o, l’ajuda i suport del meu tutor Josep Llu´ ıs Carrasco (JL) ha estat fonamental i molt apreciada. Al teu costat ha estat una experi` encia que podria repetir cada curs! D’altra banda la carrera no hauria estat igual de meravellosa sense els companys amb els quals he tingut la sort de compartir aquests anys que tant ens han ensenyat. A ells tamb´ e els hi dedico aquest treball i els hi desitjo el millor. Finalment i igual d’important es troba la meva fam´ ılia, la que sempre m’ha animat a donar el millor de mi en la vida. Est` a dedicat a ells, per saber que podia quan ni jo mateixa ho sospitava. 6 1 Introducci´ o El Departament de Fonaments Cl´ ınics de la Facultat de Medicina de la Universitat de Barcelona est` a interessat en la optimitzaci´ o d’un estudi que es va realitzar fa 10 anys sobre la validesa sobre una t` ecnica d’imatge pel mesurament d’un ´ ındex en pacients diagnosticats de Parkinson. L’inter` es de reanalitzar aquestes dades es troba en que la metodologia utilitzada aleshores es considera sub` optima [6]. De manera que un dels aspectes clau en la realitzaci´ o del treball ´ es remarcar la import` ancia de la metodologia en el camp de l’estad´ ıstica per a poder assegurar la validesa i efici` encia dels resultats. Una metodologia estad´ ıstica inapropiada ´ es un defecte que es pot presentar en estudis de recerca per desconeixement de les metodologies ` optimes que potencialment es poden aplicar. Conseq¨ uentment quan aix` o passa, la validesa i per tant fiabilitat, d’aquests tipus d’estudis no ´ es pot assegurar i les conclusions que se n’extreuen poden estar distorsionades. Les dades que s’analitzen en aquest treball consisteixen en mesures repetides d’un conjunt de pacients, s’obtenen a partir de la realitzaci´ o d’una t` ecnica d’imatge anomenada 123I−MIBG – Imetaiodobenzylguanidine – sobre la qual se’n extreu la informaci´ o referent a heart-to-metastinum ratio als 15 minuts i 4 hores posteriors a la injecci´ o d’un medicament. Aquesta informaci´ o´ es extreta partir de la mateixa imatge per 3 observadors diferents, diversos cops en el cas d’un d’ells. L’objectiu de l’estudi ´ es l’an` alisi de la reproductibilitat de la t` ecnica d’imatge 123I−MIBG. Amb aquest proposit ´ es determinar` a la fiabilitat dels observadors per separat, i si n’´ es possible s’estimar` a un ´ ındex de fiabilitat global. Aix´ ı mateix, s’avaluar` a la concordanc¸a, ´ es a dir, la intercanviabilitat de les mesures de diferents observadors per a finalment contrastar si aquesta t` ecnica ´ es reprodu¨ ıble. Tant l’´ ındex de fiabilitat com l’´ ındex de concordanc¸a s´ on mesures agregades de concordanc¸a per a variables cont´ ınues, fent ´ us de la descomposici´ o de la vari` ancia en entre i intra-individus, sent la font de discordanc¸a la variabilitat intra-individus. Aquests dos estad´ ıstics conformen les principals eines d’an` alisi utilitzades per a extreure resultats i conclusions. En aquest treball, per a validar les formules i algoritmes relacionats amb l’error est` andard que s’han programat expressament per al treball, s’ha realitzat un estudi a partir de bootstrap, la informaci´ o referent a aquest proc´ es es troba a l’ap` endix del treball, concretament a l’apartat A.3. 7 Per a realitzar aquest estudi de fiabilitat i concordanc¸a del conjunt de mesures primer ´ es porta a terme un estudi de validaci´ o i exploraci´ o de les dades. Aquest ´ es troba adjunt a l’apartat A.1 de l’ap` endix donat que no ´ es d’inter` es directe. Seguidament, s’analitza quina ´ es l’estructura de la vari` ancia de l’error aleatori m´ es adequada per a cada model, tant el que treballa amb index4h com a variable resposta com el que ho fa amb index15mins. Un cop definit el model per les dues variables es procedir` a a l’estimaci´ o dels diferents ´ ındexs. ´ Es en el desenvolupament d’aquest proc´ es on s’hi troba la principal difer` encia entre l’an` alisi realitzat a aquest estudi respecte l’article esmentat. S’explicaran ambd´ os procediments i s’exposaran les raons per les que l’estudi original ´ es sub` optim. Finalment i de gran import` ancia, s’agraeix a les doctores que ens han perm` es fer les an` alisis amb les seves dades. S´ on la Dra. A. Mux´ ı i la Dra. P. Paredes del departament de Medicina Nuclear de l’Hospital Cl´ ınic de Barcelona. 8 ρ=σ2 α σ2 α+σ2 e ∈[0,1](1) Amb relaci´ o a la interpretaci´ o precisa del valor de l’ICC en l’` ambit cl´ ınic, no ´ es gaire clara, donat que no hi ha cap referent cient´ ıfic que indiqui a partir de quin valor pot considerar-se una bona fiabilitat. Aquest estudi s’ha basat en articles cient´ ıfics que tracten de manera exhaustiva aquest aspecte [7] i en el criteri i experi` encia dels professionals en el camp d’estad´ ıstica cl´ ınica del Departament de Fonaments Cl´ ınics de la Universitat de Barcelona. Aleshores, s’ha considerat a partir d’un coeficient de 0.7 una bona fiabilitat, mentre que a partir d’un valor de ρ∈[0.9,1] s’interpretar` a com una fiabilitat excel·lent. 2.4.2 Procediment per l’estimaci´ o de ρ Ens proposem estimar el valor de l’Intraclass Correlation Coeficient i l’interval de confianc¸a del 95%, IC(ρ)95%, associat per a cada observador i variable. El primer aspecte que cal subratllar ´ es el funcionament del paquet que s’utilitzar` a per a modelitzar, nlme. En la situaci´ o d’un model amb error aleatori heteroced` astic, cas que satisfan tots els models amb els que es treballar` a en aquest estudi. El procediment que es segueix ´ es el c` alcul de la desviaci´ o est` andard residual basal - en aquest cas per a l’observador 1 - i uns pesos associats, θj. El producte dels pesos al quadrat i la vari` ancia residual basal conforma la vari` ancia residual dels altres observadors, essent el valor del pes per el primer observador θ1=1. Conseq¨ uentment, el c` alcul de ρconsisteix en aquest cas en l’operaci´ o de l’equaci´ o (2). ρm j =σ2 α σ2 α+θ2 jσ2 e ⇒ρm j    j=1,2,3 observador m=1,2 (index4h,index15mins) (2) Un altre aspecte rellevant al treballar amb el paquet nlme ´ es la matriu de les estimacions dels components de la vari` ancia, ΣM, la que ´ es c` alcula en escala logar´ ıtmica,de manera que Σs’expressa com s’observa en l’equaci´ o (3). 15 ΣM=      Var(τ)cov(τ,η1)cov(τ,η2)cov(τ,τe) cov(τ,η1)Var(η1)cov(η2,η1)cov(τe,η1) cov(τ,η1)cov(η2,η1)Var(η2)cov(τe,η2) cov(τ,τe)cov(τe,η1)cov(τe,η2)Var(τe)       (3) τ=log(σ2 α)η1=log(θ1)η2=log(θ2)τe=log(σ2 e) Un cop s’obte el valor de ˆ ρcaldr` a procedir al c` alcul de l’interval de confianc¸a, el que requereix de ˆ ρi del valor de la vari` ancia de ˆ ρ, aquesta pot aproximar-se utilitzant el m` etode delta, procediment expressat en l’equaci´ o (4). ˆ σ(ρm j) = ∆0Σρ∆(4) On Σρrepresenta la matriu de vari` ancies i covari` ancies associada a les components de la vari` ancia i es defineix a l’equaci´ o (5). Σρobsi= Var(σ2 α)Cov(σ2 α,σ2 ei) Cov(σ2 α,σ2 ei)Var(σ2 ei)!(5) Com que l’output de la funci´ olme proporciona la matriu d’aquestes components en escala logar´ ıtmica ´ es procedeix a la utilitzaci´ o del m` etode delta [2]. Aquest procediment consisteix en l’aproximaci´ o de l’error est` andard de transformacions de variables aleat` ories a partir de l’aproximaci´ o de la s` erie de Taylor de primer ordre. L’expressi´ o general resultant ´ es troba expressada en l’equaci´ o (6). Var(G(X)) ≈∇G(X)tCov(X)∇G(X)(6) Posteriorment ´ es realitzen les operacions del conjunt d’equacions (7),(8) i (9) per a l’obtenci´ o dels elements de la matriu en el cas del primer observador. ˆ σ2 α=e2τˆ σ2 e=e2τe 16 Var(ˆ σ2 α)≈(δe2τ δτ )2Var(τ) = 4(ˆ σ2 α)2Var(τ)(7) Var(ˆ σ2 e)≈(δe2τe δτe )2Var(τe) = 4(ˆ σ2 e)2Var(τe)(8) cov(ˆ σ2 α,ˆ σ2 e)≈(δe2τ δτ )(δe2τe δτe )cov(τ,τe) = 4ˆ σ2 αˆ σ2 ecov(τ,τe)(9) Pel que fa als altres observadors, cal tenir en compte que la vari` ancia residual ´ es el producte entre la vari` ancia residual del primer observador i un pes al quadrat, θ2 j, que el en cas de l’observador 1 pren valor 1. Per a l’aproximaci´ o dels components de la matriu de covari` ancies dels altres dos observadors cal tenir en compte el quadrat dels pesos θ2,θ3. Les expressions resultants per al c` alcul de les estimacions s´ on: ˆ σ2 ej=θ2 j·σ2 e⇒log(σ2 ej) = 2η1+2τe=γk⇒ ˆ σ2 ej=e2γk(10) Var(ˆ σ2 ej) = (δe2τk δτk )2Var(γk) = ( ˆ σ2 j)2Var(γk)(11) Var(γk) = Var(ηj+2τe) = Var(ηj)+4Var(τe)+4cov(ηj,τe)(12) j=2,3k=1,2 cov(ˆ σ2 α,ˆ σ2 ej) = cov(elog(σ2 α),elog(σ2 ej)) = (δelog(σ2 α) δσ2 α )·(δelog(σ2 ej) δlog(σ2 ej))·cov(log(σ2 α),log(σ2 ej)) = cov(ˆ σ2 α,ˆ σ2 ej) = ˆ σ2 αˆ σ2 ej[2cov(τ,ηj)+4cov(τ,τe)] (13) Per altra banda, per obtenir ∆cal realitzar les derivades parcials de ˆ ρ, aquestes ´ es troben en les equacions (14) i (15). δρi δσ2 α =1−ρi σ2 α+σ2 e (14) δρi δσ2 e =−ρi σ2 α+σ2 e (15) 17 2.5 ´ Index de concordanc¸a 2.5.1 Definici´ o L’´ ındex de concordanc¸a (ρc)es diferencia de l’´ ındex de fiabilitat (ρ)al tenir en compte l’efecte observador, mesurant la falta d’exactitud o en altres paraules, la difer` encia entre les mitjanes dels observadors. Valors alts d’aquest ´ ındex indiquen intercanviabilitat entre les mesures dels diferents observadors. Se’n calcula el seu valor a partir de la f´ ormula en l’equaci´ o (16). ρc=σ2 α σ2 α+σ2 β+σ2 e          σ2 αvari` ancia entre individus σ2 βvariabilitat entre mitjanes dels observadors σ2 evari` ancia residual o intra-individus (16) 2.5.2 Procediment per l’estimaci´ o de ρc L’´ ındex de concordanc¸a o Concordance Correlation Coefficient (CCC), pot ser estimat a partir dels components de la vari` ancia del model d’efectes mixtes amb els individus com efecte aleatori i els observadors com efecte fix. Aquest procediment permet ser generalitzat a la situaci´ o de m´ es de dos observadors. A l’hora de c` alcular els par` ametres de la vari` ancia, concretament σ2 β, cal recordar que l’efecte observador s’inclou en el model com un efecte fix, de manera que el component σ2 βindica la variabilitat entre les mitjanes dels obervadors. En aquest cas l’estimador apropiat s’expressa en l’equaci´ o (17), on kfa refer` encia al nombre d’observadors, nals nombre d’individus i mel nombre de r` epliques d’una mesura d’un observador en un mateix pacient [2]. ˆ σ2 β=1 k(k−1) k−1 ∑ i=1 k ∑ j=i+1 (¯ Yi−¯ Yj)2− ˆ σ2 e n·m(17) Els components de vari` ancia i covari` ancia s´ on estimats a partir de la inversa de la matriu d’informaci´ o de Fisher, excepte en el cas del c` alcul de la vari` ancia del component σ2 βque ser` a 18 aproximada a partir de l’equaci´ o (18). [2] Var(ˆ σ2 β) = 4 k2(k−1)2 k−1 ∑ i=1 k ∑ j=i+1 {(¯ Yi−¯ Yj)2·Var(¯ Yi−¯ Yj)}+Var(ˆ σ2 e) (n·m)2(18) Si l’error aleatori ´ es heterosced` astic ´ es procedir` a considerant σ2 e=1 k∑k i=1σ2 ei. 2.6 C` alcul dels intervals de confianc¸a Pel c` alcul dels intervals de confianc¸a de les estimacions de ρiρc, cal remarcar dos aspectes claus, en primer lloc que el nivell de significaci´ o s’ha fixat per defecte al 5%, de manera que els intervals s´ on del 95% de confianc¸a. Per altra banda en lloc de utilitzar el valor de l’estimaci´ o de ρpel c` alcul directe dels extrems de l’interval, s’ha fet ´ us d’una transformaci´ o que accelera la converg` encia a la distribuci´ o normal anomenada transformaci´ o Z de Fisher [3], consistent en la seg¨ uent alteraci´ o: ˆ Z=1 2log(1+ˆ ρi 1−ˆ ρi )∼N(0,V(ˆ Z)) ˆ V(ˆ Z) = ˆ V(ˆ ρi) (1−ˆ ρ2 i)2 2.7 Determinaci´ o de l’excel·l` encia d’un ´ ındex L’objectiu d’aquest treball ´ es l’optimitzaci´ o de l’article cl´ ınic esmentat anteriorment a partir de l’avaluaci´ o de la fiabilitat i concordanc¸a de 3 observadors. No obstant, no hi ha cap mena d’est` andard cient´ ıfic que defineixi a partir de quin punt el valor de l’´ ındex de fiabilitat/concordanc¸a ´ es excel·lent. ´ Es per aix` o que s’ha definit un punt de tall, a partir d’estudis previs, ´ es considerar` a que valors d’aquests ´ ındexs per sobre de 0.9 s´ on excel·lents [7]. Com s’ha hagut de fer ´ us d’aquest test recurrentment al llarg de l’estudi, s’ha decidit crear una funci´ o que avalua el contrast desenvolupat a continuaci´ o. 19 H0:ρ≤0.9 H1:ρ>0.9 Per avaluar-lo s’ha fet ´ us de la transformaci´ o Z de Fisher tant per el valor de l’estimaci´ o de ρcom per el valor del valor contrastat, 0.9, que un cop transformat pren valor 1.472. La ra´ o de la transformaci´ o´ es una r` apida converg` encia a una distribuci´ oN(0,V(ˆ Z)) de manera que el test resultant ´ es: T=ˆ Z−1.472 qVar(ˆ Z) ∼N(0,1) Sota el sup` osit que estableix H0l’estad´ ıstic T segueix una distribuci´ o Normal d’esperanc¸a 0 i vari` ancia 1. Si el valor de l’estad´ ıstic de contrast ´ es major a z0.95,´ es a dir, 1.96, ´ es rebutjar` aH0i s’assumir` a que l’´ ındex fiabilitat/concordanc¸a ´ es excel·lent. 20 3 Determinaci´ o del model general i estudi de la fiabilitat En una primera aproximaci´ o de l’estudi de la fiabilitat s’analitza com ´ es la fiabilitat de manera global segons els diferents observadors per als dos ´ ındexs d’estudi index4h iindex15mins. Si la fiabilitat ´ es equivalent per els diferents observadors es procedir` a al c` alcul de l’´ ındex de fiabilitat global. 3.1 Especificaci´ o del model A l’hora d’ajustar el model m´ es adequat per a la situaci´ o d’estudi cal tenir en compte que aquest experiment ´ es un estudi cl´ ınic amb mesures repetides sobre un determinat nombre de pacients. A la Figura 3.1 s’hi troben representats gr` aficament els valors de la variable index15mins per cada pacient, pot observar-se una certa variabilitat entre ells. Per tal de tenir en compte aquesta font de variabilitat, la variable referent al pacient, ID, ha de ser modelitzada com un efecte aleatori. Figura 3.1: Facet plot de la variable index15mins per a les diferents mesures de cada individu La variable observador ´ es considera com un efecte fix, de manera que els resultats nom´ es faran refer` encia a aquests tres observadors. El model resultant es troba expressat en l’equaci´ o (19). 21 Yi jk =µ+αi+Bj+ei jk          i=1,2,3 Observador j=1,2, ..., 27 Pacient k=1,2,3 R` eplica (19) Restriccions : ∑3 j=1αi=0 Suposicions : Bj∼N(0,σ2 B)ei jk ∼N(0,σ2 ej) En el model especificat pr` eviament, Yi jk ´ es el valor de la variable resposta, index4h oindex15mins, en la r` eplica kde l’individu irealitzada per a l’observador j.αirepresenta l’efecte de l’observador, Bjrepresenta l’efecte individu i ei jk representa l’error aleatori. En un principi s’assumeix una estructura per la vari` ancia de l’error aleatori homosced` astica, ei jk ∼N(0,σ2 e), al llarg de l’estudi es contrastar` a aquesta amb altres d’heterosced` astiques: σ2 e=σ2 ejIN. 3.2 Estudi de la fiabilitat al mesurar index4h En primer lloc s’estudien els ´ ındex de fiabilitat per observador de la variable index4h. ˆ ρˆ σˆ ρICin f (ρ)ICsup(ρ) Observador 1 0.946 0.0175 0.898 0.971 Observador 2 0.911 0.0336 0.817 0.958 Observador 3 0.945 0.0239 0.873 0.976 Taula 3.1: Estimaci´ o de l’´ ındex de fiabilitat ρper cada observador i l’error est` andard i interval de confianc¸a del 95% associats De manera general sembla que els ´ ındexs de fiabilitat per els diferents observadors s´ on molt elevats i prenen valors relativament similars, aix´ ı i tot l’error est` andard associat a l’´ ındex de fiabilitat del segon observador pren un valor bastant m´ es elevat als altres. Cal aleshores contrastar de manera formal si els ρipoden considerar-se equivalents, per tant si les diferents mesures preses per els observadors presenten la mateixa variabilitat. Per a contrastar-ho s’ha plantejat el seg¨ uent contrast d’hip` otesis: 22 H0:ρ1=ρ2=ρ3=ρ H1:ρi6=ρj i6=j i,j=1,2,3(observador) Per a resoldre aquest tipus de contrastos, ´ es realitza la comparaci´ o de models – Contrastant el model amb una estructura de vari` ancies homosced` astica respecte una estructura heterosced` astica determinada pels observadors - a partir del test de ra´ o de versemblanc¸a. El resultat del contrast del model nul - Model amb estructura de vari` ancies homog` eniai el model amb una estructura de vari` ancies heterog` enia, presenta un p valor associat de 0.382, valor superior al nivell de significaci´ o fixat, α=0.05. Conseq¨ uentment, no podem afirmar que els models siguin significativament diferents i ens quedem amb aquell que suposa una ´ unica vari` ancia. Aquests resultats ens permeten realitzar aleshores el c` alcul d’un ´ ındex de fiabilitat global (ρglobal)i la posterior avaluaci´ o de l’excel·l` encia d’aquest. ˆ ρˆ σˆ ρICin f (ρ)ICsup(ρ) 0.937 0.0187 0.888 0.965 Taula 3.2: Estimaci´ oρglobal per la variable index4h, l’error est` andard i interval de confianc¸a associats H0:ρglobal ≤0.9 H1:ρglobal >0.9 El contrast d’excel·l` encia del 95% de confianc¸a, que considera un ´ ındex excel·lent si el valor d’aquest es estrictament superior a 0.9, presenta un p valor de 0.0577 >0.05, H0no pot rebutjar-se H0a favor de H1. Conseq¨ uentment no pot afirmar-se que l’´ ındex de fiabilitat global ´ es excel·lent, tot i que conv´ e tenir en compte que el p valor ´ es troba al l´ ımit del contrast ja que el valor de l’´ ındex de fiabilitat ´ es molt elevat. A mode de conclusi´ o les mesures preses pels observadors s´ on molt precises. 23 3.3 Estudi de la fiabilitat al mesurar index15mins Realitzem el mateix procediment per la variable index15mins i obtenim els resultats representats a la Taula 3.3. ˆ ρˆ σˆ ρICin f (ˆ ρ)ICsup(ˆ ρ) Observador 1 0.915 0.0297 0.834 0.957 Observador 2 0.946 0.0248 0.876 0.964 Observador 3 0.540 0.1006 0.314 0.7072 Taula 3.3: Estimaci´ oρper cada observador, l’error est` andard i interval de confianc¸a associats Pel que fa a aquesta variable i ´ ındex, els resultats no s´ on tant bons com en el cas estudiat pr` eviament. El metge codificat com a observador 3 al realitzar les mesures de l’´ ındex H/W als 15 minuts pren les mesures amb molta variabilitat, ˆ ρ3=0.54, comparat amb el valor que pren l’´ ındex de fiabilitat per la variable index4h i amb els altres dos metges per aquesta variable. Es contrasta l’equival` encia dels valors d’aquests ´ ındexs i s’obt´ e un valor del p valor associat al contrast menor a 0.01, per conseg¨ uent els models comparats no s´ on equivalents i s’han de considerar vari` ancies diferents. Per aquest fet no ´ es coherent realitzar el c` alcul de l’´ ındex de fiabilitat global per aquesta variable, aix´ ı i tot, es contrasta si la fiabilitat dels observadors 1 i 2 ´ es equivalent. H0:ρ1=ρ2=ρ H1:ρi6=ρj i6=j i=j=1,2(observadors) Efectivament el p valor resultant al comparar el model de vari` ancies heterog` enies per als 3 observadors respecte el que considera una ´ unica vari` ancia pels observadors 1 i 2 ´ es major al nivell de significaci´ o 0.05. Aleshores poden considerar-se dues vari` ancies diferents, una pels observadors 1 i 2 i una altre diferent per l’observador 3. 24 manera que no hi ha suficient evid` encia per a rebutjar la hip` otesis nul·la, H0, d’equival` encia dels models. En altres paraules, els models no s´ on significativament diferents i seguint el principi de parsim` onia escollim el m´ es simple, el que defineix l’estructura de la vari` ancia com a l’estructura determinada pr` eviament. Cal estudiar aleshores els ´ ındexs de fiabilitat del model escollit i la realitzaci´ o del contrast d’excel·l` encia per a cada estimaci´ o. A la Taula 4.3 ´ es troben els resultats per al model d’estructura de la vari` ancia final. Al observar la Taula 4.3, sembla que ρassociat a l’observador 2 i als observadors 1∪3 al mesurar malalts son molt similars, conv´ e aleshores contrastar si ´ es possible trobar una estructura m´ es simple. ˆ ρˆ σ(ˆ ρ)ICin f (ρ)ICsup(ρ) Observadors 1 ∪3 saludables 0.975 0.0089 0.950 0.987 Observadors 1 ∪3 malalts 0.906 0.0348 0.809 0.955 Observador 2 0.919 0.0271 0.846 0.958 Taula 4.3: Estimaci´ oρpercadaobservadoril0errorest `andardiintervaldecon fianc¸aassociatsperalmodelqueexplicaindex4h Al comparar el model d’estructura de 3 nivells amb un model que nom´ es considera dos nivells - Observadors 1 ∪3 saludables i Observadors 1 ∪3 malalts ∪2 - el p valor associat ´ es 0.667, de manera que els models s´ on equivalents i el model m´ es simple ´ es l’escollit com a model final. Amb aquest model s’obtenen els resultats de la Taula 4.4. ˆ ρˆ σ(ˆ ρ)ICin f (ρ)ICsup(ρ) Observadors 1 ∪3 saludables 0.975 0.0089 0.950 0.987 Observadors 1 ∪3 malalts ∪2 0.914 0.0262 0.845 0.953 Taula 4.4: Estimaci´ oρper cada observador i l’error est` andard i interval de confianc¸a associats per al model que explica index4h Finalment ´ es realitza el contrast d’excel·l` encia als ´ ındexs de fiabilitat associats a l’estructura final del model per a la variable index4h. En el cas de les mesures dels observadors 1∪3 en pacients saludables s’obt´ e un p valor associat menor a 0.0001, de manera que hi ha una forta evid` encia per rebutjar H0, confirmant que l’´ ındex ´ es excel·lent. Contr` ariament l’altre ´ ındex presenta un p valors 31 associats al contrast de 0.313, per tant no pot afirmar-se que siguin excel·lents. Aix´ ı i tot els valors que pren l’´ ındex ´ es considerablement elevat i conseg¨ uentment la fiabilitat ´ es bona. A tall de conclusi´ o, pot afirmar-se que els observadors 1 i 3 prenen les mesures amb la mateixa fiabilitat per la variable index4h i que aquesta ´ es molt alta tant al mesurar pacients saludables com malalts. L’observador 2 al mesurar ambd´ os tipus de pacients presenta la mateixa fiabilitat que els observadors 1 i 3 al mesurar a pacients malalts. De manera general la fiabilitat ´ es considerablement elevada. 4.3 Estudi de l’error aleatori heterosced` astic segons observador i diagn` ostic al mesurar index15mins El seg¨ uent pas ´ es la realitzaci´ o del mateix an` alisi per el model amb variable resposta index15mins. Els resultats associats a l’estudi ´ es troben a les taules 4.5, 4.6, 4.7. En primer lloc s’ha procedit a comparar l’estructura de la vari` ancia de l’error aleatori homog` enia respecte els models amb una estructura heterog` enia segons observador, diagn` ostic i la combinaci´ o d’ambd´ os. Els resultats obtinguts han estat els mateixos que al tractar la variable index4h, el model que presenta una estructura de la vari` ancia heterosced` astica segons totes les combinacions d’observador i diagn` ostic ´ es significativament diferent respecte el model d’estructura homosced` astica i per tant cont´ e m´ es informaci´ o, aix´ ı que ´ es l’escollit per a continuar l’estudi. A la Taula 4.5 s’hi troben expressades les estimacions dels ´ ındexs de fiabilitat per a les diferents combinacions d’observador i diagn` ostic. En aquest cas, de manera general per a tots els observadors, la fiabilitat al mesurar pacients saludables ´ es major respecta els pacients malalts, amb una variabilitat associada a les estimacions menor. L’observador 3 presenta una fiabilitat molt baixa al mesurar pacients malalts, la causa d’aquest fenomen s´ on dues de les mesures que difereix molt respecte les altres preses per el mateix observador, com pot observar-se al realitzar l’estudi multivariant a l’apartat A.1 de l’ap` endix, concretament la Figura (9(d)). Seguidament es realitza l’estudi de les diferencies entre les combinacions d’estudi. Contr` ariament a la situaci´ o observada en la variable index4h, en aquest cas la mesurar pacients saludables els ob32 ˆ ρˆ σ(ˆ ρ)ICin f (ρ)ICsup(ρ) Diagn` ostic saludable Observador 1 0.985 0.0061 0.967 0.993 Observador 2 0.953 0.0260 0.864 0.985 Observador 3 0.953 0.0232 0.878 0.982 Diagn` ostic malalt Observador 1 0.846 0.0611 0.675 0.930 Observador 2 0.936 0.0576 0.661 0.989 Observador 3 0.376 0.1160 0.130 0.578 Taula 4.5: Estimacions per la interacci´ o entre observador i diagn` ostic en la variable index15mins servadors no presenten difer` encies significatives. Aix´ ı i tot, si que difereix l’observador 3 amb els altres al mesurar pacients malalts. A m´ es, els observadors 1 i 3 presenten difer` encies molt significatives al realitzar mesures de pacients amb diferents diagn` ostics, efectivament l’error com´ es ´ es significativament major al diagnosticar malalts. Prenent en consideraci´ o els resultats observats a les taules 4.5 i 4.6, la conclusi´ o que se’n extreu ´ es que l’estructura de la vari` ancia de l’error aleatori sembla ser pr` acticament heterosced` astica per a totes les combinacions d’observador i diagn` ostic. Concretament ve determinada per les seg¨ uents combinacions. 1. Observador 1 al mesurar pacients saludables 2. Observador 1 al mesurar pacients malalts 3. Observador 3 al mesurar pacients saludables 4. Observador 3 al mesurar pacients malalts 5. Observador 2 33 Contrast p valor associat Comparaci´ o de l’error aleatori entre observadors al mesurar pacients saludables Observador 1 vs Observador 2 0.122 Observador 1 vs Observador 3 0.071 Observador 2 vs Observador 3 0.775 Comparaci´ o de l’error aleatori entre observadors al mesurar pacients malalts Observador 1 vs Observador 2 0.586 Observador 1 vs Observador 3 0.0001 Observador 2 vs Observador 3 0.008 Comparaci´ o de l’error aleatori d’un observador al mesurar pacients saludables i malalts Observador 1 0.0001 Observador 2 0.775 Observador 3 0.0001 Taula 4.6: Comparacions m´ ultiples d’inter` es per a la variable index15mins Al realitzar el test basat en la ra´ o de versemblanc¸a per comparar els models de diferents estructures heterosced` astiques s’obt´ e un p valor associat de 0.789, conseq¨ uentment no ´ es pot rebutjar que els models s´ on equivalents i a partir de la llei de parsim` onia s’escull el model amb una estructura depenent de 5 combinacions en lloc de les 6 combinacions possibles. La taula de l’estimaci´ o dels ´ ındex de fiabilitat estimats per al model finalment escollit, Taula 4.7 , presenta resultats molt similars a la Taula 4.5. Es porta a terme aleshores el contrast d’excel·l` encia per cada un dels ρestimats i s’obtenen p valors associats menors a 0.05 per tots menys l’´ ultim dels contrasts, l’observador 3 al mesurar pacients diagnosticats malalts. Per concloure, en el cas de la variable index15mins la fiabilitat dels observadors ´ es considerablement elevada en les diferents situacions excepte en el cas de l’observador 3 al mesurar pacients 34 ˆ ρˆ σ(ˆ ρ)ICin f (ρ)ICsup(ρ) Diagn` ostic saludable Observador 1 0.985 0.0061 0.967 0.993 Observador 3 0.953 0.0232 0.878 0.982 Diagn` ostic malalt Observador 1 0.846 0.0611 0.675 0.930 Observador 3 0.376 0.1160 0.130 0.578 Obs 2 Observador 2 0.936 0.0576 0.661 0.989 Taula 4.7: Estimacions per la interacci´ o entre observador i diagn` ostic en la variable index15mins malalts, en que presenta una fiabilitat molt baixa deguda a una alta variabilitat en els mesuraments. 35 5 Estudi de la concordanc¸a Un cop especificada l’estructura de la vari` ancia de l’error aleatori m´ es adient pels diferents models i mesurada la concordanc¸a de les mesures d’un mateix observador en diferents situacions (de manera global i segons diagn` ostic), el seg¨ uent pas ´ es l’estudi de la concordanc¸a de les mesures entre els diferents observadors. Per a mesurar aquest tipus de concordanc¸a s’utilitza el Concordance Correlation Coefficient (CCC) que ´ es un cas particular de l’ICC. 5.1 Estudi de les difer` encies sistem` atiques entre observadors A mode de pas previ al c` alcul dels ´ ındexs CCC, ´ es realitza l’estudi de la mitjana de les mesures en funci´ o dels observadors. La finalitat d’aquest procediment ´ es la de contrastar si l’efecte dels observadors ´ es significatiu respecte la mitjana global del model. Per a contrastar formalment l’efecte fix referent als observadors s’utilitza el test de ra´ o de versemblanc¸a, contrastant el model amb l’efecte dels observadors respecte el model nul. Les hip` otesis confrontades seguidament contrasten el valor que pren el par` ametre associat a la variable observador. H0:βi=0 H1:βi6=0∀i=1,2,3 Per ambd´ os models, el que pren com a variable dependent index15mins i el que pren index4h, el p valor associat al test ´ es menor a 0.001, de manera que l’efecte dels observadors ´ es significativament diferent a zero en ambd´ os casos. 5.1.1 Difer` encies sistem` atiques per a la variable index4h A continuaci´ o s’estudia la mitjana segons observador, la vari` ancia associada i l’interval de confianc¸a del 95% en el model que estudia la variable index4h, elements presentats a la Taula 5.1. Pot observar-se que l’observador 2 presenta una esperanc¸a que sembla ser significativament menor a la dels observadors 1 i 3, la que ´ es similar. 36 ˆ µˆ σ(ˆ µ)ICin f (µ)ICsup(µ) Observador 1 1.43 0.229 1.32 1.54 Observador 2 1.34 0.232 1.23 1.45 Observador 3 1.43 0.230 1.33 1.54 Taula 5.1: Estimaci´ oµper cada observador i l’error est` andard i interval de confianc¸a associats per al model que explica index4h A partir de comparacions m´ ultiples es verifiquen les conclusions extretes a partir de la Taula 5.1. En efecte, els observadors 1 i 3 no presenten en les mesures difer` encies significatives. En canvi, l’observador 2 ´ es significativament diferent als altres dos metges. Aix´ ı doncs, pot considerar-se que l’observador 2 pren les mesures significativament m´ es baixes que els altres observadors. ˆ µˆ σ(ˆ µ)ICin f (µ)ICsup(µ) Diagn` ostic saludable Observador 1 1.21 0.191 1.13 1.28 Observador 2 1.14 0.211 1.05 1.23 Observador 3 1.21 0.193 1.14 1.29 Diagn` ostic malalt Observador 1 1.68 0.198 1.60 1.76 Observador 2 1.57 0.198 1.49 1.65 Observador 3 1.68 0.211 1.59 1.77 Taula 5.2: Estimaci´ oµpels diferents nivells de la interacci´ o entre observador i diagn` ostic i l’error est` andard i interval de confianc¸a associats per al model que explica index4h A l’estudiar pr` eviament l’estructura de la vari` ancia de l’error aleatori s’ha identificat un clar efecte de la combinaci´ o entre observador i diagn` ostic. Aquest efecte pot ser observat tamb´ e a la Taula 5.2, en que s’ha estimat el valor de la esperanc¸a de la variable index4h segons les dife37 rents combinacions d’observador i diagn` ostic. Semblen observar-se diferencies significatives entre l’observador 2 i els altres observadors, els que presenten el mateix valor de l’esperanc¸a. Al estudiar les esperances segons el diagn` ostic del pacient s’observa el mateix patr´ o per ambd´ os diagn` ostics, observadors 1 i 3 presenten els mateixos valors amb errors est` andards associats a les estimacions similars i l’observador 2 presenta valors menors. 5.1.2 Difer` encies sistem` atiques per a la variable index15mins En el cas del model que explica la variable index15mins, de la mateixa manera que ha passat en el cas estudiat pr` eviament, l’observador 2 presenta de manera significativa - basat en el test de comparacions m´ ultiples - mesures menors als altres observadors, els que en aquest cas tamb´ e presenten un valor id` entic, tot i que l’error est` andard associat difereix lleugerament. Cal subratllar que en aquest cas tant les difer` encies com l’error est` andard associat a les estimacions prenen valors menors. Els p valors associats al test de comparacions per a cada parella d’observadors s´ on 0.0001,0.8939,0.0022, de manera que l’observador 2 presenta un valor significativament menor als altres observadors. ˆ µˆ σ(ˆ µ)ICin f (µ)ICsup(µ) Observador 1 1.47 0.195 1.39 1.55 Observador 2 1.42 0.196 1.34 1.50 Observador 3 1.47 0.199 1.39 1.55 Taula 5.3: Estimaci´ oµper cada observador i l’error est` andard i interval de confianc¸a associats per al model que explica index15mins Al realitzar l’estudi de les mitjanes segons diagn` ostic i observador, expressat a la Taula 5.4, sembla ser que a l’hora de mesurar als pacients malalts els 3 observadors reporten mesures centrades en valors significativament diferents, essent l’observador 1 el que presenta una major desviaci´ o respecte els altres. Cal tenir en compte tamb´ e que l’error est` andard associat a l’observador 3 al realitzar les mesures en els pacients malalts ´ es molt superior respecte els altres casos. 38 ˆ µˆ σ(ˆ µ)ICin f (µ)ICsup(µ) Diagn` ostic saludable Observador 1 1.31 0.171 1.25 1.37 Observador 2 1.28 0.175 1.22 1.35 Observador 3 1.32 0.177 1.26 1.38 Diagn` ostic malalt Observador 1 1.67 0.181 1.60 1.74 Observador 2 1.56 0.175 1.50 1.62 Observador 3 1.59 0.280 1.43 1.76 Taula 5.4: Estimaci´ oµpels diferents nivells de la interacci´ o entre observador i diagn` ostic i l’error est` andard i interval de confianc¸a associats per al model que explica index15mins 5.2 C` alcul ´ ındex de concordanc¸a global Un cop estudiat l’efecte dels observadors i les seves difer` encies en l’esperanc¸a de les mesures, es procedeix a l’estimaci´ o de l’´ ındex CCC, el que aportar` a informaci´ o sobre la intercanviabilitat dels observadors. Aquesta ´ es una propietat molt valuosa en proves cl´ ıniques ja que corrobora si el m` etode, la t` ecnica d’imatge en aquest cas, ´ es reprodu¨ ıble. Hi ha un paquet existent, cccrm, que cont´ e les funcions necess` aries pel c` alcul de l’´ ındex de concordanc¸a, ρc, per` o requereix que l’estructura de vari` ancia del model donat sigui homosced` astica, condici´ o que els models d’estudi no satisfan. Per aquesta ra´ o s’ha creat una funci´ o que donat un model amb una estructura de vari` ancies heterosced` astica i un determinat nombre d’observadors ´ es capac¸ de c` alcular-ne l’´ ındex de concordanc¸a associat. Els resultats per al conjunt d’observadors en les variables index4h iindex15mins poden trobar-se en la Taula 5.5. En primer lloc s’estudien els resultats de les mesures de la variable index4h. Malgrat l’estimaci´ o de l’´ ındex de concordanc¸a ´ es un valor elevat, ˆ ρc=0.888, a l’aplicar el contrast d’excel·l` encia s’obt´ e un p valor associat de 0.53, de manera que l’´ ındex resulta no ser excel·lent (valor estrictament superior a 0.9). Cal fer refer` encia a l’estudi previ de les difer` encies sistem` atiques en el que 39 Variable ˆ ρcˆ σ(ˆ ρc)ICin f (ρc)ICsup(ρc) index4h 0.888 0.0317 0.807 0.936 index15mins 0.884 0.0335 0.798 0.935 Taula 5.5: Estimaci´ oρci l’error est` andard i interval de confianc¸a associats per al model que explica les variables index4h iindex15mins s’ha identificat l’observador 2 com a possible individu no intercanviable amb els altres dos. Per a comprovar aquesta hip` otesis s’avalua la concordanc¸a dels observadors per parelles. 5.3 C` alcul ´ ındex de concordanc¸a per parelles Els resultats de l’estimaci´ o de l’´ ındex de concordanc¸a per les diferents parelles d’observadors ´ es troben representats a la Taula 5.6. Els observadors 1 i 3 s´ on intercanviables, presentant el valor per l’´ ındex de concordanc¸a m´ es elevat, aix` o es deu a que com s’ha observat abans al presentar la mateixa esperanc¸a la variabilitat entre observadors estimada ´ es nul·la. Aix´ ı i tot, els observadors 2 i 3 tamb´ e presenten una concordanc¸a considerablement elevada. El valor pels observadors 1 i 2 ´ es el m´ es baix, no obstant aix` o no significa que no presentin una bona concordanc¸a. Parella d’observadors ˆ ρcˆ Var(ˆ ρc)ICin f (ρc)ICsup(ρc) Observadors 1 ∪2 0.872 0.0371 0.777 0.928 Observadors 1 ∪3 0.966 0.00012 0.937 0.982 Observadors 2 ∪3 0.931 0.0338 0.824 0.974 Taula 5.6: Estimaci´ oρci l’error est` andard i interval de confianc¸a associats per al model que explica la variable index4h per cada parell d’observadors Es procedeix a realitzar el contrast d’excel·l` encia pels tres ´ ındexs i nom´ es el referent a la concordanc¸a entre els observadors 1 i 3 resulta prendre un valor significativament superior a 0.9. Aix´ ı i tot els resultats s´ on molt elevats i de manera general podria acceptar-se la intercanviabilitat 40 banda la variable index15mins presenta outliers en els dos casos, tot i que amb diferents matisos: a l’avaluar-se en els pacients malalts presenta molt poca dispersi´ o i dos outliers molt allunyats de la resta de observacions. En la poblaci´ o de saludables tamb´ e s’observa la cua de la cota superior significativament m´ es allargada i bastants outliers, tenint en compte que el total d’individus es conforma per nom´ es 14 observacions. A.1.1 Exploraci´ o multivariant de les dades El primer pas ha estat la visualitzaci´ o tant gr` afica com num` erica univariant i bivariant de les principals variables d’estudi. En primer lloc s’han estudiat les variables index15mins iindex4h de manera a¨ ıllada i posteriorment s’ha estudiat l’efecte del diagn` ostic i els observadors en aquestes a partir de t` ecniques de visualitzaci´ o multivariant. An` alisi descriptiu univariant En primer lloc es realitza l’an` alisi descriptiu num` eric i gr` afic de les variables index4h iindex15mins. Com pot observar-se en la Taula A.1, ambdues variables prenen pr` acticament el mateix rang de valors com a domini i la mitjana difereix de manera molt lleu, en 5 cent` esimes. Aquestes variables mesuren el mateix ´ ındex en dos moments temporals diferents, de manera que no resulta molt sorprenent que el rang de valors sigui el mateix, a m´ es s’identifica als gr` afics de les distribucions de les variables un clara bimodalitat, segurament degut a que s’hi troben barrejades dues poblacions diferents, pel context en el que s’esta treballant, tot sembla indicar que el diagn` ostic dels pacients ´ es el causant d’aquest tret. Tot i haver-hi un nombre de similituds, tamb´ e es destacable el fet que els valors en el que es centren les dues potencials poblacions per ambdues variables difereixen. 47 Estad´ ıstics Descriptius Nom variable Tipus Min Q1Median Mean Q3Max index15mins Continua 0.99 1.27 1.49 1.47 1.66 1.87 index4h Continua 1.02 1.13 1.40 1.42 1.64 1.94 Taula A.1: Taula descriptiva de les variables num` eriques d’estudi index4h iindex15mins (a) index4h (b) index15mins Figura A.2: Histograma de les variables d’estudi index4h iindex15mins An` alisi descriptiu bivariant •Variable diagn` ostic Seguidament s’efectua l’estudi de visualitzaci´ o multivariant de les variables index4h iindex15mins amb la finalitat d’analitzar el comportament d’aquestes variables sota l’efecte dels factors referents al diagn` ostic i l’observador. Al realitzar el gr` afic d’un histograma representant les variables d’estudi en funci´ o del diagn` ostic dels pacients, representat en la Figura A.3, pot observarse que la distribuci´ o dels valors ´ es pr` acticament discriminable segons el diagn` ostic del pacient. Els pacients saludables prenen valors d’H/W de manera general mes baixos en els dos moments temporals respecte els pacients malalts, a mes la seva distribuci´ o´ es m´ es platic´ urtica. Un altre tret destacable que s’identifica clarament en la Taula A.2, ´ es el decrement en mitjana en el valor de H/W pels pacients saludables mentre que els pacients malalts presenten un lleuger increment del 48 valor amb el pas del temps. M´ es encara, sembla haver un outlier en la variable index15mins per un dels pacients malalts que es troba molt allunyat de la resta de pacients amb el mateix diagn` ostic, prenent un valor significativament baix. (a) index4h (b) index15mins Figura A.3: Histograma de la variable d’estudi index4h iindex15mins en funci´ o del diagn` ostic H/W als Diagn` ostic 15 minuts 4 hores Saludables 1.31 1.19 Malalts 1.63 1.66 Taula A.2: Taula descriptiva de les variables index15mins iindex4h en funcio de estatus •Variable observador Pel que fa a la distribuci´ o del les variables d’estudi en funci´ o de l’observador que pren les mesures, els gr` afics de la Figura A.5 presenten les distribucions per cada un dels observadors i variable. No resulta gaire f` acil extreure conclusions donada la bimodalitat, la que t´ e ra´ o de ser del diagn` ostic. De manera gr` afica sembla que els observadors presenten una variabilitat diferent per les variables, dona la impressi´ o que s´ on m´ es precisos al mesurar la variable index15mins. Al llarg 49 de l’estudi s’intenta esbrinar si aquestes vari` ancies que s’observen en els observadors i entre ells s´ on significativament diferents. (a) index4h (b) index15mins Figura A.4: Density plot de la variable d’estudi index4h i index15mins en funci´ o de l’observador •Variable observador i diagn` ostic De manera m´ es exhaustiva, es realitza l’estudi gr` afic dels diferents observadors en funci´ o del diagn` ostic del pacient per a les variables d’estudi. Els gr` afics que es troben a la Figura A.5 s´ on elements clau donat que son gr` afics molt informatius sobre les discrep` ancies entre els valors de les mesures dels diferents observadors. Aix´ ı com els tres primers gr` afics semblen presentar densitats similars pels diferents observadors, val la pena comentar que no ´ es el cas de l’´ ultim gr` afic, que reflecteix les mesures preses per els metges per la variable index15mins en els pacients malalts. En altres paraules, hi ha una major variabilitat entre el valor de les mesures dels metges. D’altra banda tamb´ e cal destacar com alguns gr` afics presenten distribucions m´ es leptoc´ urtiques, com n’´ es el cas dels gr` afics (c) i (d) respecte els dos primers. Aquest aspecte aporta informaci´ o sobre la variabilitat intra-observador, concepte en el que es profunditzar` a al llarg del treball. 50 (a) index4h pacients saludables (b) index4h pacients malalts (c) index15mins pacients saludables (d) index15mins pacients malalts Figura A.5: Density plot de la variable d’estudi index4h i index15mins en funci´ o del diagn` ostic i l’observador A.2 Implementaci´ o de les funcions en R Tots els algoritmes utilitzats en aquest treball han estat creats i implementats amb el llenguatge de programaci´ o R, amb els paquets addicionals: 1. Per a l’an` alisi exploratori de les dades •readxl •dplyr •tidyr •summarytools •ggplot2 •car •MASS 51 2. Per a la modelitzaci´ o •nlme •lsmeans La part t` ecnica del treball ha consistit en la creaci´ o e implementaci´ o del codi necessari per poder dur a terme l’an` alisi de la t` ecnica d’imatge, el codi ´ es troba dividit en dos scripts, un referent a les funcions que s’han desenvolupat en els recents apartats, Funcions.R, i l’altre referent a l’execuci´ o d’aquestes funcions i la conseg¨ uent obtenci´ o dels resultats que s’aniran expressant al document en els propers apartats, Codi.TFG.Rmd. Tot el codi pot trobar-se en l’´ ultim apartat de l’ap` endix, A.7. Les diferents funcions implementades al codi poden diferenciar-se principalment en: 1. Funcions pel c` alcul dels elements de la vari` ancia: •dev.theta que desenvolupa el m` etode deltha fent ´ us de la funci´ o preexistent Deriv, facilitant molts c` alculs descrits a l’apartat (2.4.2). •Lmat encarregada de la creaci´ o de la matriu de disseny dels diferents contrasts que s’estudiaran. •sa,se,theta per a extreure del model les estimacions dels par` ametres σα,σe,θ •sb,var.sb pel c` alcul de ˆ σb,ˆ Var(σb) 2. Funcions pel c` alcul de l’´ ındex de fiabilitat/concordanc¸a •c`alcul.output cont´ e el codi per al c` alcul dels ´ ındex de fiabilitat i concordanc¸a i els errors est` andards associats •intervals ´ es la funci´ o que s’utilitza cada cop que ´ es vol obtenir un interval de confianc¸a per a l’´ ındex d’estudi. •contr.excel pel contrast formal de l’excel·l` encia d’un ´ ındex. Les funcions que s’han anat codificant per a l’estudi, s’han aplicat en el cas concret de 3 observadors i una vari` ancia heterosced` astica, aix´ ı i tot, s´ on generalitzables al un nombre d’observadors n, essent n un nombre finit entre 1 i qualsevol real enter. 52 La funci´ o que s’ha utilitzat per a la validaci´ o de les altres operacions ha estat boot.model, consistent en la creaci´ o d’unes noves dades equivalents a les originals, a partir de la distribuci´ o dels diferents efectes, individus i observadors. En l’script principal, Codi.TFG.Rmd, s’aplica la funci´ o per a validar els resultats de cada apartat. A.3 Validaci´ o dels resultats/funcions La validaci´ o dels resultats ´ es un aspecte fonamental, en aquest treball s’ha realitzat una rigorosa validaci´ o de tots els resultats i funcions abans de prendre conclusions. La validaci´ o de resultats ha estat especialment necess` aria a l’hora de fer ´ us del m` etode delta, donat que les estimacions realitzades a partir d’aquest procediment no ´ es consideren aproximacions gaire potents amb mostres petites comparat amb altres procediments com bootstrap param` etric. A partir del model i les distribucions de les diferents variables s’han generat 1000 cops unes noves dades (equivalents a les originals) i s’ha calculat ρiρc. Per crear els conjunts de dades equivalents en primer lloc s’han generat de manera aleat` oria els valors dels efectes aleatoris Ai,ei jk a partir de les distribucions: Ai∼N(0,σ2 α) ei jk ∼N(0,σ2 α) Per altra banda s’obt´ e el valor de βa partir del model, donat que es un efecte fix. Aleshores es realitza el sumatori dels diferents valors per a cada observaci´ o, de manera que l’individu yi jk pren valor µ+Ai+βj+ei jk. Aleshores per a validar les funcions s’ha realitzat el c` alcul dels par` ametres i del valor de l’index d’estudi per bootstrap un cop per cada funci´ o. Els resultats es troben en les taules de l’apartat 2 del ap` endix, les difer` encies entre els dos procediments s´ on d’ordre de mil·l` esimes, de manera que els resultats s’han donat per v` alids i les funcions per efectives. Cal comentar tamb´ e que en el futur aquestes funcions s’inclouran en el paquet cccrm. S’han recopilat totes les taules comparatives al seg¨ uent apartat de l’ap` endix. 53 A.4 Vari` ancies associades als c` alculs dels ´ ındexs •Vari` ancies associades al c` alcul de l’´ ındex de fiabilitat 1. Observadors al mesurar index4h ˆ σ2 αˆ σ2 e1ˆ σ2 e2ˆ σ2 e3 0.0733 0.00423 0.00549 0.00427 Taula A.3: Estimaci´ o de les vari` ancies entre individus i la vari` ancia residual per a cada observador al realitzar les mesures de la variable index4h 2. Global al mesurar index4h ˆ σ2 αˆ σ2 e1 0.07141 0.00484 Taula A.4: Estimaci´ o de les vari` ancies entre individus i la vari` ancia residual global al realitzar les mesures de l’´ ındex4h 3. Observadors al mesurar index15mins ˆ σ2 αˆ σ2 e1ˆ σ2 e2ˆ σ2 e3 0.0381 0.00355 0.00277 0.01074 Taula A.5: Estimaci´ o de les vari` ancies entre individus i la vari` ancia residual per a cada observador al realitzar les mesures de l’´ ındex15min 54 4. Observadors 1 ∪2 i 3 al mesurar index15mins σ2 αˆ σ2 e1∪2ˆ σ2 e3 0.040 0.00316 0.0101 Taula A.6: Estimaci´ o de les vari` ancies entre individus i la vari` ancia residual per al conjunt d’observadors 1∪2 i 3 al realitzar les mesures de l’´ ındex15min 5. Interacci´ o observador i diagn` ostic al mesurar index4h Interacci´ o Observador:Diagn` ostic ˆ σ2 αˆ σ2 e Observador 1 al mesurar saludables 0.0736 0.00199 Observador 2 al mesurar saludables 0.0736 0.00472 Observador 3 al mesurar saludables 0.0736 0.00175 Observador 1 al mesurar malalts 0.0736 0.00362 Observador 2 al mesurar malalts 0.0736 0.00246 Observador 3 al mesurar malalts 0.0736 0.00384 Taula A.7: Estimacions per la interacci´ o entre observador i diagn` ostic en la variable index4h 55 6. Interacci´ o observador i diagn` ostic al mesurar index15mins Interacci´ o Observador:Diagn` ostic ˆ σ2 αˆ σ2 e Observador 1 al mesurar saludables 0.0389 0.00060 Observador 2 al mesurar saludables 0.0389 0.00107 Observador 3 al mesurar saludables 0.0389 0.00107 Observador 1 al mesurar malalts 0.0389 0.00207 Observador 2 al mesurar malalts 0.0389 0.00127 Observador 3 al mesurar malalts 0.0389 0.00624 Taula A.8: Estimacions per la interacci´ o entre observador i diagn` ostic en la variable index15mins Estructura proposada combinacions observador i diagn` ostic al mesurar index4h Interacci´ o Observador:Diagn` ostic ˆ σ2 αˆ σ2 e Observador 1 ∪3 al mesurar saludables 0.07413 0.00191 Observador 1 ∪3 al mesurar malalts 0.07413 0.00773 Observador 2 0.07413 0.00655 Taula A.9: Estimacions per la interacci´ o entre observador i diagn` ostic en la variable index4h 56 •Funci´ o pel c` alcul de l’´ ındex de fiabilitat 1# Function that recompiles all the related to ICC index, CI and parameters 2 3output.icc<-function(model,boot=FALSE,params= FALSE){ 4vars<-attr(model$apVar,"Pars") 5ntotal<-length(vars) 6nobs<-ntotal-1 7var_ind<-sa(vars[1]) 8lt<-ltheta(nobs,vars) 9var_e<- se(lt,vars[ntotal]) 10 iccs<-icc(vars[1],lt,vars[ntotal]) 11 12 if(params == TRUE){ 13 params<-c(var_ind,var_e) 14 noms<-c("var ind") 15 for(i in 1:nobs){noms<-c(noms,paste("var residual obs",i))} 16 names(params)<-noms 17 return(params) 18 } 19 20 if(boot == FALSE){ 21 var.icc<-noms<-NULL 22 for(i in 1:nobs){ 23 var.icc<-c(var.icc,t(dev.theta(lt,i,vars,ntotal))%*%model$apVar%*%dev. theta(lt,i,vars,ntotal)) 24 } 25 interval<-intervals(iccs,var.icc) 26 out<-data.frame(icc= iccs,std_e= var.icc, interval_inferior= interval [,1],interval_superior= interval[,2]) 27 row.names(out)<- for(i in 1:nobs){noms<-c(noms,paste("observador",i))} 28 return(out) 29 }else{ 30 df.boot=c(var_ind,var_e,iccs) 63 31 return(df.boot) 32 } 33 34 } •Funcions utilitzades pel c` alcul de par` ametres CCC 1 2# Functions to clculate CCC index 3 4varB<-function(model,nobs)model$varFix[1:nobs,1:nobs] # Components of observer variance 5seh<-function(ltheta,log_s,nobs) sum(exp(ltheta+2*log_s))/nobs # Mean of the residuals 6 7# Function to create de design matrix 8 9Lmat<-function(k){ 10 aux1<-diag(k)*0 11 aux1[1,1:k]<-1 12 13 for (i in 1:(k-1)) aux1[1+i,1+i]=1 14 L=array(0,dim=c(k,k*(k-1)/2)) 15 cont=0 16 for (i in 1:k){ 17 for (j in 1:(k-1)){ 18 if (i>j){ 19 cont=cont+1 20 L[,cont]=aux1[,i]-aux1[,j] 21 } 22 } 23 } 24 return(L) 25 } 64 26 27 #Computes variability between observers’ means 28 sb<-function(nobs,b,varB){ 29 L<-Lmat(nobs) # Building L matrix 30 difmed=t(L)%*%b# clculating observers sum of squares 31 #vardifmed=t(L)%*%varB%*%L 32 A<-L%*%t(L) 33 aux2<-(t(difmed)%*%difmed)-sum(diag(A%*%varB)) 34 sb<-max(aux2/(nobs*(nobs-1)),0) 35 return(sb) 36 } 37 38 # Variance of sb 39 var.sb<-function(k,b,varB){ 40 L<-Lmat(k) # Building L matrix 41 A<-L%*%t(L) 42 xx<-( 2*sum(diag( ( (A%*%varB)**2)))+4*(t(b)%*%A%*%varB%*%A%*%b))/ ((k*(k-1))**2) 43 return(xx) 44 } •Funcions utilitzades pel c` alcul de l’´ ındex de concordanc¸a i l’error est` andard associat a l’´ ındex 1 2ccc<-function(tau,ltheta,log_s,k,b,varB) sa(tau)/(sa(tau)+sb(k,b,varB)+seh( ltheta,log_s,k)) 3 4#Standard error of CCC index 5 6#Partial derivates of CCC function 7d1_ccc<-Deriv(ccc,"tau") 8d2_ccc<-Deriv(ccc,"ltheta") 9d3_ccc<-Deriv(ccc,"log_s") 65 10 d4_ccc<-Deriv(seh,"ltheta") 11 d5_ccc<-Deriv(seh,"log_s") 12 13 # Standard error 14 var_ccc<- function(model){ 15 n<-model$dims$ngrps[1] 16 vars<-attr(model$apVar,"Pars") 17 ntotal<-length(vars) 18 b<-model$coef$fixed 19 nobs<-length(b) 20 varB<-varB(model,nobs) 21 # nh<-length(unique(dades.rel$obs_est)) # Number of levels heterocedastic error 22 var_ind<-sa(vars[1]) 23 lt<-ltheta((ntotal-1),vars) 24 var_e<- mean(se(lt,vars[ntotal])) 25 ccc1<-ccc(vars[1],lt,vars[ntotal],nobs,b,varB) 26 dtau<-d1_ccc(vars[1],lt,vars[ntotal],nobs,b,varB) 27 dlt<-NULL 28 for (i in 2:(ntotal-1)){ 29 dlt<-c(dlt,d2_ccc(vars[1],lt[i],vars[ntotal],nobs,b,varB)) 30 } 31 dls<-d3_ccc(vars[1],lt,vars[ntotal],nobs,b,varB) 32 # Derivative sb 33 den<-var_ind+sb(nobs,b,varB)+var_e 34 dsb<-(-1)*ccc1/den 35 if (sb(nobs,b,varB)==0) dev.sb<-0 36 dev<-matrix(c(dtau,dlt,dls,dsb),ncol=1) 37 # Covariance respect seh 38 dev5<-NULL 39 for (i in 2:(ntotal-1)){ 40 dev5<-c(dev5,d5_ccc(lt[i],vars[ntotal],nobs)) 41 } 42 dev4<-d4_ccc(lt,vars[ntotal],nobs) 66 43 # Creation of sigma matrix 44 sigma<-array(0,c(ntotal+1,ntotal+1)) 45 sigma[1:ntotal,1:ntotal]<-model$apVar 46 sigma[ntotal+1,ntotal+1]<-var.sb(nobs,b,varB) 47 sigma[1:ntotal,ntotal+1]<-c(0,dev5,dev4)%*%model$apVar*(-1/n) 48 sigma[ntotal+1,1:ntotal]<-c(0,dev5,dev4)%*%model$apVar*(-1/n) 49 50 var.ccc<-t(dev)%*%sigma%*%dev 51 return(var.ccc) 52 } 53 54 55 # Function that recompiles all the related to ICC index, CI and parameters 56 57 output.ccc<-function(model){ 58 vars<-attr(model$apVar,"Pars") 59 ntotal<-length(vars) 60 b<-model$coef$fixed 61 nobs<-length(b) 62 63 iccc<- ccc(vars[1],ltheta((ntotal-1),vars),vars[ntotal],nobs,b,varB(model, nobs)) 64 var_iccc<-var_ccc(model) 65 out1<-data.frame(CCC= iccc, Estd=sqrt(var_iccc) ,Int_inf= intervals(iccc, var_iccc)[,1], Int_sup= intervals(iccc,var_iccc)[,2]) 66 out2<-data.frame(var_ind = sa(vars[1]), var_e=se(ltheta(nobs,vars),vars[ ntotal]), var_dif_obs= sb(nobs,b,varB(model,nobs))) 67 out<-list(out1,out2) 68 return(out) 69 } 67 •Algoritme que genera noves dades equivalents a les originals per aplicar les funcions creades (Bootstrap param` etric) 1 2# Function to validate the other functions (Parametric Bootstrap) 3 4boot.model<-function(dd,var_ind,var_e,beta){ 5n_Alpha<-length(unique(dd$ID)) 6n_e= c(n_Alpha*3,n_Alpha,n_Alpha) 7 8alph= rnorm(n_Alpha,0,sqrt(var_ind)) 9 10 error_i1k = rnorm(n_e[1],0,sqrt(var_e[1])) 11 error_i2k = rnorm(n_e[2],0,sqrt(var_e[2])) 12 error_i3k = rnorm(n_e[3],0,sqrt(var_e[3])) 13 14 y1<-as.numeric(rep(beta[1],n_e[1])+rep(alph,3)+error_i1k) 15 y2<-as.numeric(rep(beta[1]+beta[2],n_e[2])+alph+error_i2k) 16 y3<-as.numeric(rep(beta[1]+beta[3],n_e[3])+alph+error_i3k) 17 y<-c(y1,y2,y3) 18 19 ind<-as.factor(rep(1:27,5)) 20 obs<-as.factor(c(rep(1,27*3),rep(2,27),rep(3,27))) 21 data.boot<-data.frame(y,ind,obs) 22 m.boot<-lme(y~obs,random= ~1|ind,weights = varIdent(form= ~1|obs),data= data.boot) 23 clcul_output(m.boot,boot = TRUE) 24 } 68