Algoritmos de clasificación para el apoyo en el diagnóstico de celiaquía

Algo i mos de Clasi icación pa a el apoyo en el diagnós ico de celiaquía Classi ica ion Algo i hms o suppo he diagnosis o celiac disease C is ian Emanuel Anei Jenni e Ma molejos U báez Jenni e Zapa a A ciénega G ado en Ingenie ía In o má ica Uni e sidad Complu ense de Mad id T abajo Fin de G ado 15 de sep iemb e de 2022 Tu o es Me cedes Ga cía Me ayo Resumen en cas ellano La mayo ía de las pe sonas que padecen la en e medad de celiaquía es án sin diagnos ica , ya sea po que los sín omas se con unden con o as en e medades o po que el esul ado de las p uebas iene un e aso excesi o. Es e p oyec o iene como obje i o minimiza es e p oblema, acili ando el diagnós ico e iden i icando la en e medad en pacien es que no siguen una clínica con encional. Pa a es o se uni á la medicina con la in eligencia a i icial. De es a mane a se ealiza á un análisis de allado de los da os de los pacien es ob enidos a a és de los médicos, desa ollando un algo i mo de Machine Lea ning pa a la iden i icación y clasi icación de la in o mación, cen ando en los algo i mos de clasi icación. Palab as cla e Algo i mo de clasi icación, Machine Lea ning, Celiaquiá Abs ac Nowadays, mos people wi h celiac disease a e no diagnosed. Tha is ei he because symp oms a e con used wi h hose o o he diseases o jus because he esul s o he es s a e excessi ely delayed. The aim o his p ojec is o y o minimize his p oblem by acili a ing diagnosis and iden i ying he disease in pa ien s who do no ollow a common clinic. Medicine will be combined wi h a i icial in elligence o his pu pose. Tha is how a de ailed analysis o he pa ien da a ob ained h ough doc o s will be ca ied ou : by de eloping a machine lea ning algo i hm in his way ha will be use ul o he iden i ica ion and classi ica ion o in o ma ion (mos ly ocused on classi ica ion algo i hms). Keywo ds Classi ica ion Algo i hm, Machine Lea ning, Celiac Disease Índice gene al Índice i 1. In oducción 1 1.1. Mo i ación..................................... 1 1.2. Obje i os ..................................... 2 1.3. Es uc u a de la memo ia . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1. In oduc ion 5 1.1. Aim ........................................ 5 1.2. Objec i es..................................... 6 1.3. Wo kS uc u e .................................. 7 2. Fo ma eo de los da os 9 2.1. Es udiodelda ase ................................ 9 2.1.1. Es udio de p o iling ............................ 10 2.1.2. Es udio de la base de da os . . . . . . . . . . . . . . . . . . . . . . . 14 2.2. Manipulacióndeda os .............................. 27 2.2.1. Selección y ans o mación de ea u es ................. 28 2.2.2. Ex acción y c eación de ea u es .................... 32 2.2.3. Codi icación de las columnas ca ego izadas . . . . . . . . . . . . . . . 44 2.3. Da ase sgene ados................................ 45 3. Tecnologías 49 3.1. A chi os...................................... 49 3.1.1. CSV/Excel................................ 49 i 3.1.2. HTML................................... 50 3.2. Lenguaje de p og amación . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 3.2.1. Anaconda ................................. 51 3.3. He amien asex e nas .............................. 53 3.3.1. Au oML.................................. 53 3.3.2. Pycha m.................................. 54 4. Fundamen os de los algo i mos de clasi icación 55 4.1. Escaladodelosda os............................... 55 4.1.1. MaxAbsScale ............................... 56 4.1.2. S anda dScale .............................. 56 4.1.3. Spa ceNo malize ............................ 56 4.2. Algo i mos..................................... 57 4.2.1. Reg esiónLogís ica............................ 57 4.2.2. A bolesdedecisión............................ 62 5. Fundamen os de los mé odos de e aluación 65 5.1. Accu acy...................................... 65 5.1.1. P ecisión.................................. 66 5.1.2. Recall ................................... 66 5.1.3. F1 ..................................... 66 5.1.4. Speci y .................................. 67 5.2. ROCCu e .................................... 67 5.3. AUC-A ea unde he ROC Cu e . . . . . . . . . . . . . . . . . . . . . . . . 68 5.3.1. A e age P ecision Sco e . . . . . . . . . . . . . . . . . . . . . . . . . 68 6. Resul ados 71 6.1. Resul ados de las medidas en los di e en es Da ase . . . . . . . . . . . . . . 72 6.1.1. Da ase I ................................. 72 6.1.2. Da ase II................................. 73 ii 6.1.3. Da ase III ................................ 75 6.1.4. Da ase IV................................. 76 6.2. Compa ación da ase es s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 7. Conclusión y abajo u u o 83 7.1. Conclusión..................................... 83 7.1.1. T a amien o de la in o mación . . . . . . . . . . . . . . . . . . . . . . 83 7.1.2. Selección de Algo i mos . . . . . . . . . . . . . . . . . . . . . . . . . 84 7.2. T abajo u u o .................................. 85 7.2.1. In o mación ecogida . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 7.2.2. Algo i mos................................. 87 7. Conclusions and Fu u e wo k 89 7.1. Conclusion..................................... 89 7.1.1. In o ma ion p ocessing . . . . . . . . . . . . . . . . . . . . . . . . . . 89 7.1.2. Algo i hmSelec ion............................ 90 7.2. Fu u eWo k.................................... 91 7.2.1. Collec ed in o ma ion . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 7.2.2. Algo i hms ................................ 92 8. Con ibuciones indi iduales al p oyec o 93 8.1. Con ibuciones de Jenni e Ma molejos U baez . . . . . . . . . . . . . . . . . 93 8.2. Con ibuciones de Jenni e Zapa a A ciénega . . . . . . . . . . . . . . . . . . 94 8.3. Con ibuciones de C is ian Emanuel Anei . . . . . . . . . . . . . . . . . . . . 95 Bibliog a ía 97 iii Capí ulo 1 In oducción En es e capí ulo p esen amos b e emen e la mo i ación de ás del desa ollo de es e T abajo de Fin de G ado, el obje i o que que emos alcanza y la es uc u a del es o de la memo ia. 1.1. Mo i ación En la ac ualidad, se ha de ec ado que el 1 % de la población mundial padece la en e - medad celiaquía según la OMS. Las pe sonas con es a en e medad no abso ben el glu en, y suelen p esen a daños en el in es ino delgado jun o a o os sín omas que hacen que la ida de la pe sona sea más complicada. Se es ima que un po cen aje muy ele ado de pacien es (75 %) es án sin diagnos ica , debido a que los sín omas que p oduce suelen apa ece en o as en e medades. La con i mación del diagnós ico suele e asa se po di e sos mo i os, como la imposi- bilidad de asis encia médica pa a analiza los da os del pacien e, o la len i ud de ob ención de los esul ados. Po ello, la in oducción de In eligencia A i icial puede ayuda , con un es udio p e io de la in o mación, a un diagnós ico de la en e medad. Además, no sólo ayu- da en la esolución inal, sino que ambién, puede se i como seguimien o de un pacien e sin sín omas, o una posible e olución de la en e medad en pacien es que no la ienen pe o 1 p esen an los sín omas. Como esul ado de odo ello y pa iendo como base de un abajo ealizado con an- e io idad sob e algo i mos de clus e ing, en es e p oyec o nos cen a emos en acili a el diagnós ico de la en e medad mucho más ápido, u ilizando algo i mos de Machine Lea - ning de clasi icación, con el in de ap o echa de o ma más e icien e los da os que enemos, comp obando cada componen e y su posible u ilidad en el algo i mo, así como ambién selecciona emos el que mejo esul ados nos pueda da . 1.2. Obje i os El obje i o de es e p oyec o es pode complemen a los desa ollos de modelos de Ma- chine Lea ning que se han ealizado con an e io idad sob e es e es udio clínico. En pocas palab as, se a a de busca un diagnós ico de la en e medad en pacien es que no siguen una clínica con encional. De pa ida con amos con una base de da os que se debe analiza pa a consegui el máximo p o echo de ella. Es a base de da os con iene in o mación de dos ipos de pacien es: los que padecen la en e medad celiaca y los que no. Con es a in o mación se p oyec an los siguien es desa íos: Análisis de la base de da os: en es e paso se p o undiza á en los di e en es a ibu os, comp obando su u ilidad en o os es udios médicos y en p oyec os an e io es. Es lo que se conoce cómo ingenie ía de a ibu os. Aumen a la u ilidad de los a ibu os que se han de inido como ú iles pa a el p oyec o. U iliza Machine Lea ning pa a agiliza la búsqueda de los algo i mos que mejo e- sul ado puedan da . Selección y de inición de los algo i mos de Machine Lea ning a u iliza . Desa ollo, implemen ación y pues a en p oducción de los algo i mos. 2 Selección de mé icas de pun uación de los di e en es algo i mos de Machine Lea ning. Análisis de esul ados y exposición de posibles mejo as pa a siguien es lineas de a- bajo. 1.3. Es uc u a de la memo ia El es o de la memo ia en la que se p esen a es e T abajo de Fin de G ado es á es uc- u ada en los siguien es capí ulos: Fo ma eo de los da os. Fundamen os de los algo i mos u ilizados. Mé odos de e aluación. Resul ados. Con ibuciones indi iduales al p oyec o. Conclusiones y abajos u u os. 3 de que la can idad de in o mación es escasa, ya que pa imos de un a chi o de poco peso. Es o a p ime a is a pod ía no se un p oblema, según un es udio ealizado po Michele Banko y E ic B ill, in es igado es de Mic oso , en el que concluye on según los esul ados que “es mejo econside a gas a más ecu sos económicos en adqui i una da os ú iles que en los p opios algo i mos que se an a u iliza ” [3]. Po ello, g an pa e del p oyec o se cen a á en eo ganiza los da os que amos a analiza pa a que sean de u ilidad. Es e p oceso inicial se conoce como Fea u e Enginee ing, el cual u iliza emos en los apa ados siguien es. 2.1.1. Es udio de p o iling En es e apa ado se a a examina y isualiza la in o mación del da ase que nos han acili ado. U iliza emos una he amien a de p o iling que nos pe mi i á ealiza un análisis es adís ico de la calidad de los da os, eso nos da á la capacidad de comp ende de qué ipo de da os disponemos. Nues a idea es de e mina qué da os no son ep esen a i os o esenciales, ya sea po pacien es con mucha in o mación incomple a o con da os i ele an es, que nos pueden pe judica a la ho a de aplica nues o algo i mo; ambién e i amos que los da os engan bias, es deci , que alguna de las ca ac e ís icas con las que abajamos engan p io idad sob e o as. Pa a ello no maliza emos la in o mación. Pa a ealiza es e análisis, u ilizamos la biblio eca de pandas P o iling 1, un módulo Py hon de código abie o. Es o nos ayudó en la manipulación de la in o mación con un análisis exhaus i o del da ase , acili ando la comp ensión de es e, c eando un in o me in- e ac i o en un documen o HTML. Pa a empeza c eamos un in o me a pa i de la base de da os comple a, que con iene la in o mación sin manipula ex aída di ec amen e de los da os p opo cionados po los médicos. El in o me gene ado se di ide en cua o secciones. La p ime a sección, que se mues a en la Figu a 2.1, con iene la in o mación gene al de la base de da os. Es a consis e en un esumen de es adís icas que incluye el núme o de a iables, el po cen aje de celdas 1h ps://pandas-p o iling.yda a.ai/docs/mas e /index.h ml 10 acías o ilas duplicadas y el amaño o al de los da os. Uno de los apa ados más impo an es de es a sección son los wa nings, ya que indican las a iables que ienen una g an pé dida de da os o co elación con o as a iables y ale as sob e ca dinalidad. Figu a 2.1: Es adís icas gene ales La siguien e sección nos mues a un análisis de allado de odas las a iables que con ie- ne la base de da os, dependiendo del ipo de a iable la in o mación que se mues e se á di e en e. Es a sección es la que más hemos u ilizado pa a comp ende los da os. 11 Figu a 2.2: Va iable ipo s ing En la Figu a 2.2 mues a las a iables ipo s ing donde se pueden e los alo es únicos, el po cen aje de di e encias, el po cen aje de pé dida de da os y el amaño de los da os. Además, ealiza una ep esen ación his og á ica de los alo es ecuen es o una ep esen ación en g á ico ci cula . En cuan o a las a iables de ipo numé icas, es as no p esen an la misma in o mación que las an e io es, ya que se añade el cálculo de los alo es mínimos y máximos, además de la media a i mé ica, los alo es nega i os y la can idad de ce os que con iene. Es a in o mación iene dada po his og amas como se mues a en la Figu a 2.3. 12 Figu a 2.3: Va iable ipo numé ica Figu a 2.4: In o mación pe dida 13 La e ce a sección del in o me consis e en las co elaciones de los da os, es deci , la elación lineal que hay en e las a iables. En el análisis del in o me inicial nos hemos dado cuen a de la g an can idad de alo es a ípicos, epe idos, nulos o acíos que con enía el da ase . Es os e o es p o ocan que exis an muchas co elaciones alsas en e las a iables, dándonos in o mación inexac a que no es de u ilidad, po lo cual es e apa ado del epo e es i ele an e. Po úl imo, en la Figu a 2.4, se ep esen a la pé dida de in o mación del da ase comple o en una g á ica. 2.1.2. Es udio de la base de da os T as el análisis del p o iling, encon amos columnas con mucha pé dida de in o mación y que po lo an o no son ele an es pa a el p oyec o. De mane a que, pa iendo de la base de da os comple a, y as un es udio de allado de las columnas del da ase , hemos decidido queda nos con las columnas que conside a emos a con inuación: Diagnós ico(Figu a 2.5): Es la columna e ique a, es deci , aquella que usa emos en el algo i mo pa a clasi ica si padece o no celiaquía según las p uebas, o si iene sín omas pe o no su e es a en e medad. Figu a 2.5: Análisis del diagnós ico País de o igen o en su de ec o la in o mación disponible(Figu a 2.6): como su nomb e indica con iene la in o mación del país de o igen del pacien e. 14 Figu a 2.6: Análisis del país de o igen Sexo(Figu a 2.7): Es impo an e conoce el géne o del pacien e ya que la en e medad se desa olla de o ma di e en e en homb es y muje es, po ejemplo, las muje es en es ado de ges ación son p opensas a padece la en e medad. Figu a 2.7: Análisis del sexo Edad del pacien e(Figu a 2.8): La en e medad puede apa ece a cualquie edad, pe o se suele diagnos ica con más ecuencia en e los 20 y 40 años, po ello es a a iable es signi ica i a ya que nues o g upo de es udio iene una media de edad de 39 años. 15 Figu a 2.8: Análisis de la edad G upo de iesgo(Figu a 2.9): Pe sonas que debido a dis in os ac o es ienen más iesgo al con ae la en e medad. La celiaquía iene ca ác e au oinmune y po lo an o las pe sonas con o as en e medades de es e ipo son g upo de iesgo. O o de los p incipales g upos de iesgo son po p edisposición gené ica, sob e odo si se a a de amilia es de p ime g ado. Figu a 2.9: Análisis del g upo de iesgo O o/s iesgo/s(Figu a 2.10): Es a a iable con iene o os iesgos que no son an comunes, pe o que son necesa ios pa a nues o es udio, como el Sínd ome de Tu ne , Lupus e i ema oso sis émico (LES) , o Hipogammaglobulinemia. 16 Figu a 2.10: Análisis de o os iesgos G ado de pa en esco(Figu a 2.11): G ado de pa en esco del amilia que padece la en e medad celiaca si es que lo iene. Es in e esan e conoce si hay amilia es que padecen la en e medad ya que, sin se una en e medad he edi a ia, hay mayo iesgo a padece la si hay amilia es a ec ados. A a és de es udios se ha concluido que si el 7,06 % de los p ogeni o es padece es a en e medad, hab á más p obabilidad de que se he ede [1]. Figu a 2.11: Análisis del pa en esco En e medad inmunológica(Figu a 2.12): Es e campo incluye las en e medades que su- e el pacien e, al se en e medades sis émicas a ec a a odos los ó ganos del cue po, p o ocando que los sín omas puedan se muy a iados. En conc e o, las en e medades diges i as au oinmunes como la en e medad de Hashimo o, que a ec a al in es ino, puede se una a ección al amen e elacionada y que debemos ene en cuen a a la ho a de diagnos ica dicha en e medad. 17 Figu a 2.12: Análisis de la en e medad inmunológica Sín omas especí icos, o os sín omas(Figu a 2.13): Es a columna con iene los sín- omas que p esen a el pacien e. Puede lle a en muchos casos a que se iden i ique co ec amen e una En e medad Celíaca Clásica pe o exis en algunos casos en los que no es á elacionado di ec amen e y se pod ía diagnos ica de o ma e ónea. Figu a 2.13: Análisis de los sín omas Signos(Figu a 2.14): Los signos, a di e encia de los sín omas, son mani es aciones obje i as, medibles, u o de un es udio médico. En ello incluimos dé ici de hie o o i amínico. 18 Figu a 2.14: Análisis de los signos HLA: g upos de iesgo, Haplo ipo1, Haplo ipo2(Figu a 2.15): La en e medad celiaca es á asociada con los genes localizados en la egión HLA (Human Leukocy e An igen). HLA-DQ2 y HLA-DQ8 son dos haplo ipos (conjun o de genes que se he edan jun os) que es án asociados a una mayo p edisposición de desa olla es a en e medad. En es a columna apa ecen los alo es del HLA que se calculan a pa i de los Haplo ipos de los p ogeni o es. En caso de que los p ogeni o es no engan iesgo, se asigna á el alo “Sin iesgo”. Es os son los alo es que puede oma es e campo, o denados de mayo a meno iesgo: 1. DQ2.5, doble dosis: Dos haplo ipos con alo DQ2.5, o un haplo ipo con alo DQ2.2 y o o con alo DQ2.5. Que po ando es e alelo, jun o con o os nos puede indica en un 82 % que puede padece la [4] 2. DQ2.5 una dosis y DQ8 doble dosis: HLA DQ2.5 una dosis es ene un haplo ipo con alo DQ2.5, o un haplo ipo con alo DQ7.5 y o o con alo DQ2.2. Pa a ene HLA DQ8 es p eciso ene ambos Haplo ipos con alo DQ8. jun o con o os nos puede indica en un 31 % que puede padece la [4] 3. DQ8 una dosis: Uno de los haplo ipos con alo DQ8. 4. DQ2.2. DQ7.5: Pa a que el alo sea HLA DQ2.2 es p eciso ene al menos un haplo ipo DQ2.2 (y en caso de que solo sea uno, que el o o haplo ipo sea sin iesgo). Pa a ene HLA DQ7.5, es p eciso que al menos un hapl ipo sea DQ7.5, jun o con o os nos puede indica en un 43 % que puede padece la. [4] 19 DCG Biopsia-AP1, DCG Biopsia-AP2, AP Biopsia DCG LIEs_1(Figu a 2.28): Mues- a el esul ado de las biopsias ealizadas cuando el pacien e sigue una DCG. Re leja el daño in es inal del pacien e que cuan o mayo sea el núme o, mayo es el daño p o ocado. Figu a 2.28: Análisis del DCG Biopsia AP1 Helicobac e pylo i en el momen o de la biopsia(Figu a 2.29): Se de e mina si el pa- cien e enia la bac e ia Helicobac e pylo i en su in es ino en el momen o de ealiza se la biopsia. Simplemen e con end á alo es de SI o NO. Figu a 2.29: Análisis del Helicobac e pylo i LIEs DCG %GD_1, LIEs DCG %iNK_1(Figu a 2.30): LIEs se e ie e a la p ueba de lin og ama de lin oci os in aepi eliales. Es una p ueba que esul a ú il a la ho a de de ec a la en e medad celiaca en pacien es con un diagnós ico anómalo o asin omá ico. En es a columna se mues an los esul ados de la p ueba cuando el pacien e sigue una DCG. Si %GD es mayo o igual que 10 y el pa áme o%iNK es meno que 10, en onces 26 el pacien e se cali ica como “Compa ible con la en e medad celiaca”. Si solo se cumple la p ime a p opiedad mencionada pe o la segunda no, en onces el pacien e se cali ica como “Compa ible con EC en DSG”. Figu a 2.30: Análisis del LIEs DCG %GD_1 LIEs DSG %GD_1, LIEs DSG %iNK_1(Figu a 2.31): Se a a de la misma p ueba que la columna an e io cuando el pacien e sigue una DSG, así que su a amien o se ha á de o ma simila . Figu a 2.31: Análisis del LIEs DSG %iNK_1 2.2. Manipulación de da os Pa a pode empeza a abaja con los algo i mos de clasi icación nues a base de da os debe con ene ca ac e ís icas su icien emen e ele an es pa a llega a los esul ados co ec os, 27 con el in de llega a es os esul ados segui emos con el p oceso de Fea u e Enginee ing, que hace e e encia a las écnicas de ingenie ía u ilizadas pa a selecciona y ans o ma a iables más ele an es y comp ensibles a pa i de nues o da ase sin puli . El p oceso de Fea u e Enginee ing cuen a con cua o pasos a segui , c eación, ans o - mación, ex acción y selección de las a iables, que son a o ables pa a consegui que nues o algo i mo uncione de o ma ace ada. 2.2.1. Selección y ans o mación de ea u es Es e apa ado consis e en econoce las a iables más signi ica i as pa a nues o algo i - mo, es e p oceso es subje i o, en cuan o al obje i o del p oyec o, y se ealiza obse ando el epo e de calidad de da os. Si exis en columnas/ca ego ías con un po cen aje de in o ma- ción pe dida o si la ca dinalidad de las ca ego ías es uno en ez de dos o es, po elemen o den o de las ca ego ías. Pa a ello, se c ea la ABT (Analy ical Base Table), que nos indica que columnas se an a u iliza y con iene una desc ipción de su u ilidad e in o mación adicional, como se mues a en la igu a 2.32. 28 Figu a 2.32: Selección de ea u es ele an es: ABT Además, se han e isado las a iables numé icas, y si es as con ienen un alo pe dido la ans o mamos a su alo nulo pa a que el algo i mo uncione co ec amen e. De es a o ma, añadimos ambién un alo más pa a que no haya da os pe didos en las siguien es a iables. DCG_ATG2_1,DSG ATG2_1, DCG EMA, DSG EMA, DSG A-PDG_1 ,DCG A- PDG_1 (Figu a 2.33): Todas es as a iables se ans o man de la misma o ma, los alo es que oman son “Posi i o” o “Nega i o”, y “No Hecho” en el caso de que no se ha haya ealizado la p ueba o sea un alo pe dido. 29 Figu a 2.33: T ans o mación de DCG_ATG2_1 Helicobac e pylo i en el momen o de la biopsia (Figu a 2.34): Es a ca ac e ís ica solo admi e los alo es “Si” o “No”. En es e caso la a iable nula po la que se sus i uye los alo es pe didos es “No”. Figu a 2.34: T ans o mación de Helicobac e pylo i DCG Biopsia-AP1,DSG Biopsia-AP1, DCG Biopsia-AP2,DsG Biopsia-AP2 (Figu a 2.35): Las a iables elacionadas con las biopsias ealizadas admi en los siguien es 30 alo es, Ma sh 1, Ma sh 2, Ma sh 3a, Ma sh 3b y Ma sh 3c. Si el alo es a acío se añadi á “Sin biopsia hecha en DCG”. Figu a 2.35: T ans o mación de DCG Biopsia-AP1 AP Biopsia DCG LIEs_1, AP Biopsia DSG LIEs_1 (Figu a 2.36): Es as a iables pueden ob ene los siguien es alo es Ma sh 0, Ma sh 0-Hp nega i o, Ma sh 0-Hp posi i o, M1-Hp nega i o, M3b, Ma sh 1, M3a, M3c, M1-Hp posi i o, Ma sh 2 y M3b-Hp nega i o. En el caso de que haya alo es acíos se sus i ui án po Ma sh 0. En las dos columnas an e io es, los alo es que ep esen an son: •Ma sh 0: indica que no se ha p oducido daño en el in es ino delgado. •Ma sh 1: el in es ino delgado iene las ILS dañadas en un 25 %. •Ma sh 2: las ellosidades son no males pe o con ienen c ip as hipe plásicas. 31 •Ma sh 3: en es e caso exis e una a o ia en las ellosidades in es inales, c ip as hipe plásicas y aumen o de ILS. Figu a 2.36: T ans o mación de AP Biopsia DSG LIEs 2.2.2. Ex acción y c eación de ea u es En es e p oceso se combinan y ans o man las columnas, pa a c ea una ca ego ía inal pa a el modelo, u ilizando una nue a hoja de Excel como se p esen a en la igu a 2.37, se alo a si las a iables debe ían uni se pa a o ma una nue a y así ex ae las pa a educi el olumen de pé dida de da os. En es a e apa, además, se ha ealizado una explo ación de los da os, pa a ello se ha gene ado un epo e de calidad po cada ca ego ía, en es e epo e se incluye in o mación como, en las ca ego ías con inuas como el alo mínimo, los pe cen iles, el ango de alo que oman y las a iables desc ip i as como la des iación es ánda o la a ianza; las ca ego ías 32 ca egó icas con ienen, po su pa e, los alo es que con iene, es deci , los elemen os que o man la ca ego ía, la moda y un his og ama. Figu a 2.37: Ex acción y c eación de ea u es: ABT Ex endida Fecha nacimien o (Figu a 2.38) : Con es a columna se c ea Años del pacien e, si la echa es a acía se coloca el alo de edad diagnós ico, y pa a los alo es que es án acíos se coloca la media o 0. Es o gene a un da ase ex a, alo a emos cual de ellos nos da mejo esul ado. 33 Figu a 2.38: Ex acción y c eación de Fecha nacimien o País de o igen (Figu a 2.39): se c ea una nue a ca ac e ís ica llamada País y se añade el alo “ ie a” pa a los alo es pe didos. Figu a 2.39: Ex acción y c eación de Pais G upo de iesgo, G upo de iesgo.1, O o/s iesgo/s (Figu a 2.40): Se unen es as es ca ac e ís icas pa a o ma una nue a. La o ma de combina las a a se ag upa dis in os ipos de iesgo o combinaciones de es os g upos de iesgo de o ma que se puedan p esen a en una sola columna. 34 Figu a 2.40: Ex acción y c eación de G upo de iesgo G ado de pa en esco (Figu a 2.41): Se unen odas las ca ac e ís icas de g ado de pa en esco en una sola. Pa a los casos en los que exis en a ios g ados de pa en esco po un pacien e, se c ean g ados nue os que simbolizan la pe enencia a ambos g ados. Los alo es acíos pasa an a se G ado 0. Figu a 2.41: Ex acción y c eación de G ado de pa en esco En e medad Inmunológica (Figu a 2.42): Se unen odas las ca ac e ís icas de En e - medad Inmunológica en una, y se ellenan los alo es acíos como “Sin en e medad” Figu a 2.42: Ex acción y c eación de En e medad Inmunológica Sín omas (Figu as 2.43,2.44): Se unen odas las ca ac e ís icas de sín omas en una sola. Al habe an os sín omas dis in os, los hemos ag upado po ipos de sín omas y po g upos. Los alo es acíos se clasi ican como asin omá icos. 35 Figu a 2.50: Ex acción y c eación de sín omas Signos (Figu a 2.51) •Dé ici Hie o: Anemia e opénica o e openia. •Dé ici Vi amina: Dé ici Vi amina B12 •Al as T ansaminasas: Hipe ansaminasemia •Dé ici Nu icional: Dé ici nu icional debidos a malabso ción •De ici hie o y i amina: Anemia e opénica o e openia y Dé Vi B12 42 •Dé ici nu icional y i amina: Dé ici nu icional debidos a malabso ción y Dé Vi B12 •De ici hie o y nu icional: Anemia e opénica o e openia y Dé ici s nu icio- nales debidos a malabso ción •Dé ici hie o, nu icional y i amínico Figu a 2.51: Ex acción y c eación de Signos HLA (Figu a 2.52): 43 •HLA: g upos de iesgo •Haplo ipo1 •Haplo ipo2 Figu a 2.52: Ex acción y c eación de HLA 2.2.3. Codi icación de las columnas ca ego izadas Una ez ans o mados los da os, la in o mación se á decodi icada pa a pode se ejecu- ada po los algo i mos, muchos de ellos necesi an un p e-p ocesamien o y una codi icación. En es e caso según el ipo de columna se ha ealizado un ipo de codi icación: 44 Coun Vec o ize : con ie e una ca ego ización de ex o a su ep esen ación simbólica del con ado del ex o. Se p oduce po ejemplo en las columnas de signos o en e medad inmunológica. Label Encode : ca ego iza numé icamen e las e ique as de ex o que enemos. Se p o- duce en las columnas: sín omas, HLA, g ado pa en esco o g upo de iesgo One Ho Encode : ealiza una ans o mación bina ia del ex o, asociando 0 o 1 a las ca ego ias. En es e caso, se ha ejecu ado po ejemplo en la columna sexo. 2.3. Da ase s gene ados Finalmen e, as la selección de los a ibu os del algo i mo y eniendo en cuen a que no amos a elimina pacien es del da ase , se han gene ado los siguien es da ase : Da ase I (sín omas sepa ados con echa comple a): en es e caso al p oduci mucha in o mación el a ibu o sín oma, se ha decidido es ablece que se man ienen las co- lumnas o iginales pe o con la ca ego ización an e io y las echas ellenas con la edad media.2 Da ase II (sín omas no sepa ados con echa comple a) la columna a a ans o ma se en una, gene ando al a combinaciones de las ca ego ías de sín omas y las echas es an comple as.3 Da ase III (sín omas sepa ados con echa incomple a): es el p oceso de man ene la ca ego ización y no ellena las echas. 4 Da ase IV (sín omas no sepa ados con echa incomple a): es el p oceso de man ene la ca ego ización y ellena las echas. 5 2h ps://d i e.google.com/ ile/d/19oGMhl7VT0QebSSmHyRsdp8gDi yI 0Q/ iew?usp=sha ing 3h ps://d i e.google.com/ ile/d/1S4bQKBEuc-EJ SL84ITeoJ2YjR T25a / iew?usp=sha ing 4h ps://d i e.google.com/ ile/d/1DBUw4M_V2YZ-JmmDM4ZCXiB-OJI Xh T/ iew?usp=sha ing 5h ps://d i e.google.com/ ile/d/13j5YJNnEaPs6o5DyjzjsX3MiObn ob1/ iew?usp=sha ing 45 Con es os da ase lo que se desea consegui es p o undiza en la impo ancia de los alo es nulos, acíos o con in o mación edundan e. Realizando un análisis p e io pod íamos llega a conclui que en el caso de la sepa ación de sín omas, se p oduci ía un caso de o e i ing, que ocu e cuando las p edicciones del modelo seleccionado po el algo i mo es complejo, al que, el modelo encaja di ec amen e con los da os p opo cionados, y se con ie e en un modelo sensible a los cambios po uido de los da os. En es e caso, se p oduce po que la columna sín omas iene una g an a ie- dad de opciones y casos acíos o huecos que puede que no engan elación con la e ique a seleccionada. El o e i ing se elaciona con los pa áme os de a ianza ele ada y bias bajo. Po con as e, el unde i ing es el p oblema que ocu e cuando la p edicción del modelo seleccionado es demasiado simple pa a ep esen a la elación en e las a iables desc ip i as del da ase . En nues o caso, hemos e i ado es e ipo de p oblemas eliminando las columnas Indica í ulo del an icue po ATG que ienen una elación di ec a con los las columnas DSG/DCG ATG. Se elaciona con los pa áme os de a ianza baja y bias ele ado. Figu a 2.53: Relación en e las ca ego ías que p oducen unde i ing 46 Como se puede obse a en la ma iz de con usión de la co elación Pea son, Figu a 2.53, los alo es ce canos a 1 nos indican una mayo elación y los ce canos a -1, lo con a io. Pa a calcula es a medida se di ide la co a ianza de la ca ego ía x en e el p oduc o de la des iación es ánda de la ca ego ía del x e y. Es o es un análisis p e io, en capí ulos pos e io es comp oba emos la u ilidad de dicha sepa ación, y que soluciones se pod ía ealiza pa a e i a p oblemas y mejo a el e ec o de las medidas sob e los obje i os plan eados. 47 48 Capí ulo 3 Tecnologías En es e apa ado amos a habla sob e las ecnologías que hemos u ilizado pa a almace- na y isualiza la in o mación, además de las he amien as en las que nos hemos apoyado pa a ealiza el código y la op imización de selección de algo i mos 3.1. A chi os El o ma o de los a chi os que más hemos u ilizado pa a isualiza la in o mación y almacena la son el Excel o CSV, sob e odo pa a obse a las ablas de da os y clasi ica la in o mación, del mismo modo pa a el análisis de los epo es empleamos el o ma o HTML. Es os a chi os los explicamos de o ma más de allada en los siguien es apa ados 3.1.1. CSV/ Excel En el pun o de inicial del p oyec o, an solo se con aba con un a chi o en o ma o CSV que cons i uía la base de da os comple a de los pacien es, la cual p o enía di ec amen e de las uen es médicas. El p ime paso ha sido con e i a o ma o Excel dicha base de da os pa a acili a nos la isualización inicial de ilas y columnas, además de las en ajas que iene el abaja con es e ipo de o ma os, que incluye la posibilidad de ans o ma , anspone y edi a columnas 49 o ilas. 3.1.2. HTML Aun así, abaja con los da os en o ma o an c udo no acili a el análisis de es os, y no pe mi e ene una isión gene al de los da os. Po ello, haciendo uso de lib e ías que se comen a en o os apa ados (Panda P o iling), se ha gene ado un in o me de allado sob e la base de da os. Dicho in o me es en o ma o HTML. Se a a de una página in e ac i a con nume osas opciones y es adís icas. Es a con iene : De alles de cada columna, como los alo es dis in os que iene, el núme o de eces que apa ece cada alo , núme o de alo es nulos, o el ango de alo es en caso de columnas con alo es numé icos. In e acciones en e columnas: la página nos pe mi e selecciona dos columnas y es a nos mos a á un diag ama de Dispe sión mos ando la elación que es as ienen en e ellas. Co elaciones: disponemos de dis in as es adís icas que miden la co elación en e pa es de da os. Tenemos cua o medidas dis in as: 1. Coe icien e de Co elación de Pea son ( ): Nos da un alo en e -1 y 1 po cada pa de columnas, siendo -1 co elación nega i a, 0 co elación inexis en e, y +1 co elación linea posi i a. Pa a calcula de dos columnas X e Y, se di ide la co a ianza de X e Y en e el p oduc o de sus des iaciones ípicas. 2. Coe icien e de co elación de Spea man (ρ): Es la co elación monó ona en e dos columnas. El alo esul an e es el mismo que en el an e io caso, un alo en e -1 y 1. Se calcula di idiendo la co a ianza de los coe icien es de X e Y, en e el p oduc o de sus des iaciones ípicas. 3. Coe icien e de co elación de ango de Kendall (τ): Mide la asociación o dinal en e dos columnas. Es simila al Coe icien e de co elación de Spea man, y su 50 alo es de -1 a 1, -1 siendo co elación nega i a, 0 al a de co elación y 1 co e- lación posi i a. Pa a calcula de dos a iables X e Y, se de e mina el núme o de pa es de obse aciones conco dan es y pa es de obse aciones disco dan es. Es as dos magni udes se es an y se di iden en e el núme o o al de pa es. 4. Coe icien e de Co elación de Phik ϕ(κ): Se a a de una nue a o ma de analiza el coe icien e de co elación. Se basa en una mejo a del Coe icien e de Co elación de Pea son, diseñada pa a unciona consis en emen e con a iables ca egó icas, o dinales y de in e alos. Es capaz de de ec a dependencia no lineal. Además, usa al coe icien e de co elación de Pea son en caso de una dis ibución de en ada no mal bi a iada. Es as son ca ac e ís icas ú iles cuando se es udia la ma iz de co elación de a iables con ipos mix os. Da os pe didos: nos mues a in o mación sob e los Missing alues de cada columna. Es os da os los podemos encon a en cua o o ma os: G á ica simple, Ma iz, Mapa de calo o Dendog ama. 3.2. Lenguaje de p og amación A lo la go del p oyec o, se han enido que p og ama pa a di e sos ines: el epo e del da ase mencionado en el Capí ulo 2, la modi icación de las ilas y columnas del da ase ,y la implemen ación de algo i mos de clasi icación, en e o os. El lenguaje usado ha sido Py hon, es el p incipal lenguaje que se u iliza pa a implemen a Machine Lea ning; po su e sa ilidad, su sen encia sencilla y ácil de lee , y la can idad de mac os que se han implemen ado pa a acili a su uso en es a á ea. En es e p oyec o, se ha empleado las siguien es lib e ías y mac os. 3.2.1. Anaconda Anaconda es una dis ibución lib e y abie a, su p incipal uso es en Da a Science y el ap endizaje au omá ico. En esencia, es un ges o de paque es y en o nos que cuen a con 51 Es a aplicación nos pe mi e no maliza es os alo es, de al mane a, que nos de uel e un ango en e 0 y 1. Es a sigue una cu a sigmoidea, con o ma de S, como se puede ap ecia en la imagen 4.1 Figu a 4.1: Función Sigmoidea Una ez es imada la p obabilidad de que una ins ancia o ca ac e ís ica pe enezca a una de las clases, la es imación de yes simple 4.3: ˆy=     0 ˆp < 0,5 1 ˆp >= 0,5 (4.3) Si el alo es 0 pa a nues a ca ac e ís ica en la ecuación 4.2, al aplica la unción de p obabilidad nos da á un alo nega i o y, po lo an o, no pe enece a la e ique a seleccio- nada. El obje i o de en ena un algo i mo es encon a un conjun o de pa áme os de la unción sigmoidea que es ime la mayo p obabilidad de e ique as posi i as pa a nues as a iables ca ac e ís ica, que se llama unción de cos e. La u ilizada es la siguien e: J(θ) = −1 m m X i=1 y(i)log(ˆp(i)) + (1 −y(i)) log(1 −ˆp(i)(4.4) 58 Lo que hace es a unción es ealiza una co ección po cada ins ancia, aplicando a cada p obabilidad calculada el loga i mo de la media nega i a. Cuan o meno sea es e alo , mejo es el esul ado ob enido. Aunque es una unción complicada de minimiza , es con exa po lo que exis e un mínimo global. Como se explica al inicio de la de inición de es e algo i mo, es e se u iliza pa a el cálculo de dos e ique as, es deci , es bina io. Si bien no es nues o caso, enemos a ias clases y necesi amos aplica dicho algo i mo con más de dos e ique as di e en es, pa a ello exis e el algo i mo So max Reg esión o lo que iene a se lo mismo, Reg esión Logís ica Múl iple. Hay que hace hincapié en que es Mul iclase, es deci , pe mi e a ias e ique as o clasi icación, no di e en es salidas pa a una misma e ique a.[2] Así bien, el modelo p ime o calcula la pun uación pa a cada clase, k: sk(x) = xT∗θ(k)(4.5) Después del p ime paso, se enca ga de calcula la p obabilidad de que una a iable o ca ac e ís ica pe enezca a una clase k: ˆ Pk=σ(s(x))k=exp sk(x) PK j=1 exp sj(x)(4.6) En la ecuación 4.6: K es el núme o de clases s(x) es el ec o que con iene las pun uaciones de las ins ancias σ(s(x))kes la es imación de que la p obabilidad de la ins ancia x pe enezca a la clase k, dando la pun uación po cada a iable o ins ancia. Como se puede en ende , es a unción, al hace po cada conjun o de ins ancia una p obabilidad pa a odas las clases que exis e, se debe elegi la que mayo p obabilidad iene: ˆy= a g max x σ(s(x))k= a g max x sk(x) = a g max x (θ(k))T∗x(4.7) 59 Una ez calculada la p obabilidad, enemos que minimiza la unción de cos e, en nues o caso se llama en opía c uzada, que nos indica como de bien es imadas es án las p obabili- dades calculadas con las di e en es clases. J(θ) = −1 m m X i=1 K X k=1y(i) klog(ˆp(i))(4.8) Si sus i uimos k = 2, nos encon amos con la ecuación 4.8, po lo que ienen las mismas ca ac e ís icas. Una ez explicada la e sión eó ica del algo i mo, en la pa e p ác ica se aduce a la selección de los alo es hipe pa áme os: mul i_class: lo p ime o que hay que en ende es, que po de ec o, la eg esión logís- ica no puede se usada pa a a eas de clasi icación que ienen más de dos e ique as de clase, ambién llamadas clasi icación mul i-clase. Po ello, Sciki nos o ece he- amien as pa a modi ica el p oblema y hace que acep e a eas mul i-clase. Hemos implemen ado las siguien es: •One s Res : consis e en u iliza un solo clasi icado po cada clase. Requie e que es as sean columnas bina ias. •Mul inominal:es el modelo de eg esión pa a que sea compa ible con la pe dición de clases con múl iples e ique as. C: se a a de la in e sa de la ue za de egula ización, dada po la siguien e ó mula (donde C es un núme o de ipo loa posi i o): C=1 λ(4.9) Es e alo nos p opo ciona el núme o de a iables a elegi , que se an a sob e-ajus a al modelo, se ía como los g ados de libe ad que iene el modelo sob e las a iable. Los alo es que se han u ilizado son: 0,5, 10000 y 4700, es os se han ido eligiendo alea o iamen e. 60 Class_Weigh : de e mina si se le da más peso a cie as columnas sob e o as. Se han u ilizado los alo es null y balanced, es a úl ima sigue la siguien e ó mula: n a iables nclases ∗np.bincoun (y)(4.10) Penal y: especi ica la no ma de la penalización. Los alo es opcionales del pa áme o de penalización son "l1 2 "l2", es as son sus de iniciones: •L1 - Lasso Reg ession: nos ayuda a mejo a la P ediccion Accu a e y disminui el núme o de coe icien es, añadiendo una penalización absolu a a lambda. Es o p o oca que el modelo se en ene con menos a iables, las ce canas a 0 se eliminan. n X i=1 (yi−X j xijβj)2+λ p X i=1 |βj|(4.11) •L2 - Ridge Reg ession: nos pe mi e analiza los da os pa a encon a si exis e alguna elación muy es echa en e los coe icien es, pa a e i a ene una a ianza muy al a, añadiendo una penalización cuad á ica a lambda. n X i=1 (yi−X j xijβj)2+λ p X i=1 β2 j(4.12) El alo que se ha elegido es la egula ización de L2, po que es el que combina con el hipe pa áme o mul inominal. Sol e : de e mina la o ma de op imización pa a la unción de pé dida de Reg esión logís ica. Hay cua o algo i mos pa a elegi , que son liblinea , lb gs, new on-cg y sag. Se ha elegido el mé odo lb gs, lo que nos pe mi e ealiza una minimización de la unción de op imización, con menos cos es de memo ia. 61 4.2.2. A boles de decisión Como indica su nomb e, es e ipo de algo i mos oman la decisión de clasi icación como un modelo ipo á bol. Es impo an e des aca , que se puede u iliza , an o en algo i mos de eg esión como en clasi icación debido a la acilidad de la oma de decisiones. La decisión de la oma de qué ama del algo i mo es á dando mejo esul ado se decide a a és de una lógica en la implemen ación, po lo que, es o es lo que di e encia a los á boles en e o os de alles como el cos e de memo ia. Se puede deci que es e ipo de algo i mos no necesi an mucho p ep ocesamien o, de- bido a que es e suele i mejo ando po i e ación, ya que, ap ende de los esul ados de los subconjun os del da ase an e io es. Pe o es impo an e añadi que no es ecomendado usa con columnas que añadan uido po que puede p o oca o e i ing ápidamen e. Random Fo es Classi ie Es e clasi icado se encuen a en el g upo de algo i mos de á boles de decisión po con- jun o, es o quie e deci , que la decisión inal se oma de la selección del esul ado medio de cada p edic o . El ecu so que se u iliza es di e en e pa a cada á bol u ilizado, es os es án alimen ados con una po ción o almen e di e en e del da ase , eu ilizando es as pa es pa a cada p edic o . Se u ilizan, an o pa a algo i mos de clasi icación como de eg esión. En es e caso, como se puede deduci , los p edic o es ienen un al o ni el de bias po habe sido en enado con pa es del da ase , as la ag egación se educe el bias y la a ianza. Lo que se p oduce con la ag egación de los esul ados, es que suelen ene un bias pa ecido pe o una a ianza meno con espec o a si hubiese sido en enado con el da ase comple o. n_es ima o s: el núme o de á boles de decisión c eados pa a la p edicción. La media u ilizada en es e p oyec o es de 10. max_ ea u es: la unción o ó mula usada pa a que cada nodo seleccione un conjun o 62 de a ibu os. Se ha seleccionado log2 en odos los casos. log max_ ea u es =pn_ ea u es min_sample_lea : de e mina el núme o mínimo de hojas eque idas pa a cada no- do. Se han seleccionado 0,01 a 0,03. Se ealiza un uncado del alo hacia a iba. min_sample_spli : el mínimo núme o de conjun os pa a cada hoja del nodo. Se ha seleccionado 0,1 y 0,01. c i e ion: la unción mide la calidad de cada pa ición. Es la que nos pe mi e selec- ciona la mejo pa ición de los a ibu os. La ó mula es: X k pi(1 −pi) Ex eme Random T ees Los á boles ex emadamen e alea o ios añaden a los á boles an e io es una nue a ca ac- e ís ica, es a ez, el co e a di idi cada nodo es alea o io. No se escoge una di isión que nos dé el mejo esul ado, sino que se ealiza de mane a alea o ia. . También, hab ía que añadi que a la ho a de escoge el subconjun o pa a en ena , no lo eemplaza, po lo que se u iliza el pas ing. Se u ilizan los mismos pa áme os que en Random Fo es . G adien Boos ing Es e ipo de algo i mos en an en la ca ego ía ambién de en enamien o con á boles de decisión po conjun os, es a ez los á boles que se an c eando ap enden de los .e o es de sus á boles p edeceso es".Pa a la implemen ación de es e algo i mo, se han u ilizado dos lib e ías: Ligh GBM y XGBoos . El uso de es as dos lib e ías nos p opo cionan di e en es en ajas: Ligh GBM: u iliza la écnica de GOOS, en la que las amas que c ecen son las que 63 es án gene ando mejo es esul ados. Es o es debido a que si c ece mucho el conjun o de da os empleado, y es os da os ienen un mayo g adien e, c ea un subconjun o con el que se ealiza nue amen e las p uebas. XGBoos : se con ola su c ecimien o po el pa áme o de ap endizaje, po lo que los mismos ni eles del á bol an a ene las mismas ca ac e ís icas has a que se llegue al máximo o has a que se consiga el mejo esul ado. U iliza los mismos hipe pa áme os usados con an e io idad, añadiendo es os ex as: e a: es el coe icien e de ap endizaje. Suele acomoda se en cada paso. Se ha empleado 0.5. alpha: é mino de egula ización L1. El alo usado ha sido 0,4. lambda: é mino de egula ización L2. El alo u ilizado ha sido 0,7. bos ing ype: nos indica el ipo de á bol de decisión empleado. En nues o caso es: gbd , que es G adien Boos ing Decision T ee. 64 Capí ulo 5 Fundamen os de los mé odos de e aluación En la ase de e aluación, el obje i o es de e mina como de buenos son los algo i mos u ilizados. Al a a se de un p oyec o elacionado con el sec o sani a io, se deben e alua los modelos, pa a asegu a nos de que son iables, y que consiguen la e icacia clínica deseada. 5.1. Accu acy Si e pa a calcula el po cen aje de acie os. Es la mé ica más in ui i a y di ec a pa a medi un modelo. Ma emá icamen e hablando, es el po cen aje de p edicciones co ec as. Se exp esa median e un núme o del 0 (ninguna p edicción co ec a) al 1 ( odas las p edicciones son co ec as), y iene la siguien e ó mula: accu acy =#p edicciones_co ec as #p edicciones_ o ales O su ó mula bina ia: accu acy =V e dade os_posi i os +V e dade os_nega i os V e dade os_posi i os +V e dade os_nega i os +F also_posi i o +F also_nega i o 65 Es a medida es ú il po lo gene al, en caso de que engamos un conjun o de da os i egula o no balanceado, no nos lo mos a á. 5.1.1. P ecisión La p ecisión es la obse ación de los alo es posi i os p edichos en la medida de Accu acy. La ó mula es la siguien e: p ecision =V e dade os_posi i os V e dade os_posi i os +F alsos_posi i os Vemos que es a medida igno a comple amen e los casos en los que el esul ado es nega- i o. Po es a azón, suele complemen a se con la medida Recall. 5.1.2. Recall Es a mé ica se e ie e a la exhaus i idad o sensibilidad del modelo. Es o se e ie e a la acción de odos los esul ados posi i os eales, que coinciden con el alo que debe ían ene : ecall =V e dade os_posi i os V e dade os_posi i os +F alsos_nega i os Es as úl imas medidas son las que usa emos pa a de e mina la ma iz de con usión, que se e en los esul ados del Capí ulo 6 5.1.3. F1 F1 es la combinación de la medida de p ecisión y ecall. Es a combinación se hace a a és de una media a mónica. Es a nue a aplicación ponde a con mayo peso a las medidas con alo es más pequeños, po lo que sólo se ob end á un alo al o cuando p ecisión y ecall sean ambas al as. El dominio de es a medida es 0 a 1, su ó mula es: 66 F1 = 2 1 p ecision +1 Recall Es especialmen e ú il cuando se abaja con bases de da os no balanceadas. Pa ecido a las unciones an e io es, exis en dos ipos: F1 mic o: calcula la media a mónica globalmen e, con ando e dade os y alsos posi- i os y e dade os y alsos nega i os. F1 mac o: u iliza los da os indi iduales an o de e dade os y alsos posi i os como de e dade os y alsos nega i os. Hace la media en e p ecisión y exhaus i idad sin conside a la p opo cionalidad de las clases en los da os. 5.1.4. Speci y Es a medida nos indica los alo es nega i os que se han p edicho como nega i os. Es una ó mula que no la calculamos di ec amen e, pe o es ú il pa a las siguien es medidas: speci y =V e dade os_nega i os V e dade os_nega i os +F alsos_posi i os 5.2. ROC Cu e Es un g á ico que mues a el esul ado del endimien o de los modelos en odos los umb ales. Pa a ello, ealiza una compa ación de las medidas de Recall y la e aluación de los alsos posi i os. Es o nos pe mi e comp ende la capacidad del modelo de dis ingui en e las clases e ique as. La ó mula de alsos posi i os es la siguien e: FPR =Falsos_posi i os Falsos_posi i os +V e dade os_nega i os O ambién, si ya se iene calculado Speci i y: 67 Figu a 6.2: Seleccion de Fea u es Rele an es: Da ase II Como podemos obse a en la Figu a 6.2, las columnas indicadas con an e io idad son las que mejo ienen po cen aje de acie o sob e sí padece la en e medad. Cuan o más alejado del 0, más han in luido a la ho a de p onos ica la en e medad. Pasa emos a mos a los medidas que se han ob enido en los algo i mos en la abla 6.2. Po cen aje po Algo i mo Algo i mo Accu acy AUC me- dia Media P e- cision Sco- e Balanced Accu acy F1 Random Fo es 86,6 % 95,1 % 89,3 % 69,3 % 86 % Ligh GBM 88,8 % 94,0 % 90,0 % 80,0 % 88,0 % XGboos Classi ie 87,0 % 94,0 % 89,0 % 73,0 % 87,0 % Ex emeRandomT ees 83,3 % 94,0 % 87,0 % 61,0 % 83,0 % Logis ic Reg ession 78,0 % 68,0 % 85,0 % 63,0 % 78,0 % Cuad o 6.2: Resul ado del Da ase II Pa a es os algo i mos que nos han dado los mejo es esul ados, se les ha ealizado el siguien e p ep ocesamien o: 74 XGboos Classi ie con Max Abs Scale Ligh GBM con Max Abs Scale Random Fo es con S anda d Scale W appe Ex eme Random Fo es con Max Abs Scale Logis ic Reg essioin con Max Abs Scale 6.1.3. Da ase III En es a sección es amos a ando el da ase con sín omas sepa ados en di e en es co- lumnas y con echa incomple a. Pa a empeza amos a indica que a iables ha conside ado más ele an es a la ho a de clasi ica : DCG Biopsia AP1 LIE DCG %INK DCG ATG 2 LIE DCG %GD Figu a 6.3: Seleccion de Fea u es Rele an es: Da ase III Como podemos obse a en la Figu a 6.3, las columnas indicadas con an e io idad son las que mejo ienen po cen aje de acie o sob e sí padece la en e medad. Cuan o más alejado 75 del 0, más han in luido a la ho a de p onos ica la en e medad. Pasa emos a mos a los medidas que se han ob enido en los algo i mos en la abla 6.3. Po cen aje po Algo i mo Algo i mo Accu acy AUC me- dia Media P e- cision Sco- e Balanced Accu acy F1 XGboos Classi ie 95 % 99 % 98 % 83,3 % 95,0 % Ligh GBM 95,0 % 98,0 % 96 % 83 % 95 % RandomFo es 80 % 96 % 94,3 % 58 % 80 % Ex emeRandomT ees 90 % 97 % 95 % 79 % 90 % Logis ic Reg ession 82 % 95 % 89 % 60,1 % 82 % Cuad o 6.3: Resul ado del Da ase III Pa a es os algo i mos que nos han dado los mejo es esul ados, se les ha ealizado el siguien e p ep ocesamien o: XGboos Classi ie con S anda d Scale W appe Ligh GBM con Max Abs Scale Random Fo es con Max Abs Scale Ex eme Random Fo es con Max Abs Scale Logis ic Reg ession con Max Abs Scale 6.1.4. Da ase IV En es e apa ado a amos el da ase con sín omas en una sola columna y con echa incomple a. Pa a empeza amos a indica que a iables ha conside ado más ele an es a la ho a de clasi ica : 76 DCG Biopsia AP1 DCG ATG 2 LIE DCG %GD DCG A-PDG Figu a 6.4: Seleccion de Fea u es Rele an es: Da ase IV Como podemos obse a en la Figu a 6.4, las columnas indicadas con an e io idad son las que mejo po cen aje de acie o ienen sob e sí padece la en e medad. Cuan o más alejado del 0, más han in luido a la ho a de p onos ica la en e medad. Pasa emos a mos a los medidas que se han ob enido en los algo i mos en la abla 6.4. 77 Po cen aje po Algo i mo Algo i mo Accu acy AUC me- dia Media P e- cision Sco- e Balanced Accu acy F1 XGboos Classi ie 85 % 94 % 89 % 68 % 69 % Ligh GBM 84 % 95 % 90 % 64 % 84 % Random Fo es 85 % 94 % 89 % 68 % 69 % Ex emeRandomT ees 81 % 94 % 88 % 59 % 81 % Logis ic Reg ession 80 % 94 % 87 % 59 % 56 % Cuad o 6.4: Resul ado del Da ase IV Pa a es os algo i mos que nos han dado los mejo es esul ados, se les ha ealizado el siguien e p ep ocesamien o: XGboos Classi ie con S anda d Scale W appe Ligh GBM con Max Abs Scale Random Fo es con S anda d Scale W appe Ex eme Random Fo es con Max Abs Scale Logis ic Reg essioin con S anda d Scale W appe 6.2. Compa ación da ase es s Exis en muchas mane as de selecciona la pa e de es de un da ase , en nues o caso nos hemos decan ado po una di isión po po cen aje, el 70 % de los da os del da ase se des inan a alidación y en enamien o y el o o 30 % a la pa e de p ueba. Los esul ados ob enidos se mues an en la abla 6.5. 78 Po cen aje es po Da ase Da ase s Algo i mo P e p ocesimien- o AUC Accu acy Da ase III Random Fo es S anda d Scale W appe 91,5 % 82 % Da ase IV XGBoos Classi- ie Max Abs Scale 95 % 88 % Da ase II XGBoos Classi- ie S anda d Scale W appe 94,5 % 86 % Da ase I XGBoos Classi- ie S anda d Scale W appe 94,9 % 87 % Cuad o 6.5: Resul ado del es Pa a complemen a es a in o mación, se ha gene ado los siguien es g á icos co espon- dien es a las ma ices de con usión. La Figu a 6.5 es el esul ado del Da ase I. Figu a 6.5: Ma iz con usión Da ase I Pa a el Da ase II, se ha gene ado la ma iz de con usión mos ada en la Figu a 6.6. 79 Figu a 6.6: Ma iz de con usión Da ase II Pa a el Da ase III, se ha gene ado la ma iz de con usión mos ada en la Figu a 6.7. Figu a 6.7: Ma iz de con usión Da ase III Pa a el Da ase IV, se ha gene ado la ma iz de con usión mos ada en la Figu a 6.8. 80 Figu a 6.8: Ma iz de con usión Da ase IV Es os g á icos mues an la elación en e las e ique as p edichas co ec amen e y las e ique as que no se han p edicho co ec amen e y es án gene ando con usión en e lo que debe ía p edeci y lo que ealmen e ha p edicho. Son los alo es ob enidos de ecall y p eci- sion. 81 82 Capí ulo 7 Conclusión y abajo u u o En es e úl imo apa ado ealiza emos un esumen de los esul ados ob enidos, una pe- queña compa ación con o os p oyec os y las líneas u u as que debe ía segui . 7.1. Conclusión Es e abajo iene como obje i o el desa ollo de un algo i mo de Machine Lea ning, pa a la iden i icación y clasi icación, de los pacien es que padecen la en e medad de celiaquía. Los esul ados ob enidos han sido su icien es pa a pode co obo a la e acidad de un diagnós ico au omá ico y iable, ealiza emos una explicación de allada de los pasos y pun os que han sido c uciales, pa a que dicha segu idad haya sido e ec i a. 7.1.1. T a amien o de la in o mación Como e a de espe a , la base de da os no enía su icien e in o mación, po di e sas azo- nes, po lo que al inicio del p oyec o, lo p ime o que se plan eó, ue analiza exhaus i amen e qué alo es enían los a ibu os o campos del Excel. Es un p oceso len o e impo an e, po que ca ego iza la in o mación nos pe mi e educi el núme o de pacien es con in o mación acía o nula, en e o as azones, es o se daba po ep esen a un mismo da o en di e sas colum- nas, lo que iende el algo i mo a ecibi uido y se p oduzca un o e i ing de las medidas; 83 educ ion ion o emp y alues is a e y impo an s ep oo, h ough a selec ion p ocess in which we ex ac ed he minimum alues o he ze o ca ego ies. Ano he dilemma om which we s a is ha mos algo i hms do no allow s ing alues, his is ob iously sol ed wi h a in e media e s ep, be ween he ca ego iza ion and he applica ion/execu ion o he algo i hms, and his was sol ed by applying a ious encodings on hese columns, o see which ones bes i he ype o da a and ca ego ies co ec ly. This was e en mo e impo an han ans o ma ion, since many o he esul s ob ained be o e his coding we e ze o o hey had a max. accu accy o 10 %. Due o his p e ious wo k, we hi he inal esul s. This p ocess is o en unde es ima ed, pa icula ly in p ojec s whi h la ge amoun o da a. Howe e , i is he solu ion ha mus be p ac iced p elimina ily, because he cu en algo i hms lea n om he in o ma ion and, he e o e, he mo e p ocessed i is, he be e i will unde s and and lea n i . 7.1.2. Algo i hm Selec ion In his p ojec we ha e ocused on classi ica ion algo i hms. The esul s ha e been ob ai- ned by uning he hype pa ame e s and es ing he di e en p ep ocessing o each di e en hype pa ame e . The esul s ha e been as expec ed. I we look a he con usion ma ix o he bes algo i hms, we can conclude ha he minimum alue o iden i y i a pa ien has he disease is 89 %, and sa,e alue o co ec ly iden i y ha hey do no ha e he disease. Wha we ealize is ha pa ien s wi h po en ial disease usually gene a e ouble o di e en ia e be ween CD (Celiac Disease) and non-CD labels, his may be due o he impo ance o some columns in he classi ica ion algo i hms, hey a e minimum alues in a ound 10 % in cases ha do ha e he disease, and 60% in hose ha do no ha e he disease. This espe- cially occu s in da ase s ha ha e sepa a e symp oms o comple e da es, ha is, da ase II. Al hough i is one o he bes pe o ming da ase s, i is gi ing us p oblems in case he pa ien does no ha e he disease and he diagnose gi en will be po en ial CD. As o he algo i hms and combina ions wi h p e-p ocessing, he ones ha include S an- da d Scale W appe use o be high pe cen age, and he one ha gi es he bes esul s is 90 XGBoos Classi ie . 7.2. Fu u e Wo k The de elopmen o his p ojec has allowed us o know in dep h he p ocessed in o ma- ion and he use ulness o he pa ame e iza ion o he algo i hms. The e o e, once hese main cha ac e is ics we e done, we expose a lis o u u e de elopmen s, o implemen new me ho- dologies when aining an algo i hm o de ec celiac disease. I has been di ided acco ding o he in o ma ion collec ed and he algo i hms o be used. 7.2.1. Collec ed in o ma ion The diagnosis column could be imp o ed in e ms o he labels ha hey con ain cu en ly, i a e iew is ca ied ou wi h he doc o s. The p oposal is he ollowing: •Asymp oma ic o silen CD: hose who ha e he disease bu do no ha e appa en symp oms •Classic CD: hey a e hose ha p esen he symp oms o diges i e p oblems. •Non-classical CD: does no p esen he symp oms o a ypical pic u e o celiac disease such as malabso p ion. •Subclinical CD: wi h mani es a ions below a pic u e o celiac disease. •Symp oma ic CD: he symp oms a e clea . •Po en ial CD: pa ien s wi h posi i e se ology bu no mal in es inal biopsy. •No EC: he does no ha e he disease. We belie e his di ision i s be e a ue pa ien . Imp o emen o he deg ee o amily ela ionship: wi hin he da ase i sel , a column ha associa es di e en pa ien s, i hey ha e a posi i e o doub ul CD could be 91 added. This would allow symp oms, signs, o isks in a ious pa ien s o be co ela ed among ela i es Con inuous analysis o po en ial pa ien s: an analysis o he pa ien o e a pe iod o ime, decided by he doc o , could help us in he e olu ion o he symp oms, signs and diseases ha he pa ien may de elop o e ime. The way o collec ing he in o ma ion: his is impo an because he in o ma ion has equi ed a ans o ma ion and a deep selec ion o a iables, due o he ac ha i was poo in da a and in quan i y. I he way o ob ain he in o ma ion o he signs and symp oms is easie , i will imp o e i s quali y. I is p oposed o do his collec ion h- ough a desk op o able applica ion in he case o doc o s, and o pa ien s o collec hei cu en s a us, ha is, daily symp oms. A mobile o able applica ion is ecom- mended. Physicians would be able o access s udy pa ien in o ma ion con inuously and ill in he da a hey ecei e om he analyses. A ield would be added o he da ase in he e en ha he pa ien is p egnan o no , since his along wi h o he symp oms a e incen i es when i comes o de eloping he illness. I would associa e images o he colonoscopies o his p ojec , al hough hey a e no pa o he da ase , new in o ma ion could be used o analyze i hese images de e mine some ype o anomaly. 7.2.2. Algo i hms The use o neu al ne wo k algo i hms (DNN) is ecommended, his could allow dis ibu- ing he weigh s o he neu ons in he mos impo an alues, o example in he case o he HLA column, he alues o DQ2.5 ha ha e double dose will weigh mo e han hose ha ha e DQ8 o DQ2.2 wi h a dose. This would imp o e he labeling o he da a. I images a e being used, con olu ional neu al ne wo k o CNN is ecomended o indica e i a ophy has happened. 92 Capí ulo 8 Con ibuciones indi iduales al p oyec o 8.1. Con ibuciones de Jenni e Ma molejos U baez Del p oyec o me he enca gado de di idi el p oyec o en di e sas e apas y, asigna las a eas co espondien es. En la e apa inicial, de análisis de la base de da os y de las a iables que an a o ma pa e del p oyec o, he analizado: Helicobac e pylo i en el momen o de la biopsia, Olmesa án en el momen o de la biop- sia, Gia dia en el momen o de la biopsia, Sob ec ecimien o bac e iano en el momen o de la biopsia, Fecha DCG Biopsia2, DCG Biopsia-AP2, Comen a ios Biopsia-AP2, Más de- e minaciones DCG, Fecha DSG biopsia1, DSG Biopsia AP1, Fecha DSG biopsia2, DSG Biopsia AP2, Más de e minaciones DSG, FECHA LIEs DCG_1, LIEs DCG%GD_1, LIEs DCG %iNK_1, Valo ación DCG LIEs1, Día p ocesamien o DCG1, AP Biopsia DCG LIEs_1, FECHA LIEs DCG_2, LIEs DCG%GD_2, LIEs DCG%iNK_2, Día p ocesamien o DCG2, Valo ación LIEs2, AP en Biopsia DCG LIEs_2, FECHA LIEs DSG_1, LIEs DSG %GD_1, LIEs DSG %iNK_1, AP Biopsia DSG LIEs_1, Comen a ios AP en Endoscopia de LIEs, Va- lo ación DSG LIEs1, Día p ocesamien o DSG1, FECHA LIEs DSG_2, LIEs DSG%GD_2, LIEs DSG %iNK_2, Valo ación DSG LIEs2, Día p ocesamien o DSG2, AP en Biopsia DSG LIEs_2, FECHA LIEs DSG_3, LIEs DSG %GD_3, LIEs DSG %iNK_3, Valo ación DSG LIEs3, AP en Biopsia DSG LIEs_3, Respues a DSG, Respues a DSG Clínica, Respues- 93 a DSG Se ológica, Respues a DSG His ológica, Fecha p o ocación, Tiempo DSG, Edad en p o ocación, Comen a ios, Clínica 6 días, Fla ulencia, Dis ensión abdominal, Males a abdominal En la segunda e apa, ans o mación y c eación de la lógica de la ETL, me he enca gado del desa ollo en py hon del p oyec o. Así, as la selección y análisis, he aplicado la elimi- nación de aquellas que no e an necesa ias, ans o ma y limpia las que se han elegido pa a o ma pa e del algo i mo. En la e ce a e apa, he seleccionado los algo i mos necesa ios pa a aplica en el p oyec o basándome en el esul ado ob enido con la he amien a de Azu e. En es a e apa se han aplicado los algo i mos y se han gene ado los g á icos. Po úl imo, he pa icipado en la esc i u a del documen o del TFG en los siguien es capí ulos: 2, 4, 5, 6 y 7. 8.2. Con ibuciones de Jenni e Zapa a A ciénega La p ime a pa e del p oyec o es el p ep ocesamien o de los da os y pa a ello, necesi aba in o ma me sob e el ema que íbamos a abaja , es deci , en ende la base de da os que nos había p opo cionado nues a u o a jun o con el p oyec o an e io de Clues e ing. Nos di idimos las columnas de la base de da os comple a pa a ealiza una leyenda donde explicamos cada a iable si e a ú il o no, de las cuales he analizado las siguien es a iables: Al e aciones hábi o in es inal, Cansancio, I i abilidad, Vómi os, Clínica día 6, P o ocación la ga, Du ación p o ocación la ga, P o ocación 3 días, N CD8 o al d0, N CD8 iple posi i a d0, N CD8 o al d6, N CD8 iple posi i a d6, Cocien e N CD8 día 6/día 0, % CD8 iple posi i a d0, % CD8 iple posi i a d6, N GD o al d0, N GD iple posi i a d0, N GD o al d6, N GD iple posi i a d6, % GD iple posi i a d0, % GD iple posi i a d6, CD62L nega i os CD8 día 0, CD62L low CD8 día 0, Po cen aje CD62L neg en CD8_0, CD62L nega i os GD día 0, CD62L low GD día 0, Po cen aje CD62L neg en GD_0, CD62L nega i os CD8 día 6, CD62L low CD8 día 6, Po cen aje CD62L neg en CD8_6, CD62L nega i os GD día 6, CD62L low GD día 6, Po cen aje CD62L neg en GD_6, Ma cado es ci ome ía, Comen a ios, ELISPOT, ELISPOT SFC/106 QS17 día 0, ELISPOT SFC/106 QS17 día 6, ELISPOT SFC/106 SQ14 día 0, ELISPOT SFC/106 SQ14 día 6, ELISPOT SFC/106 QL10 94 día 0, ELISPOT SFC/106 QL10 día 6, ELISPOT comen a ios, Solo sue os, FECHA LIEs, LIEs %GD, LIEs %iNK, Día p ocesamien o 1, Valo ación LIEs, AP Biopsia LIEs, Die a en de e minación de LIEs, Comen a ios, Na alia-pendien e, PACIENTE COMPLETO, EC REVISADA Y CONFIRMADA, Comen a ios. Al ene las a iables necesa ias seleccionadas con inuamos con la ans o mación de es as, con las columnas epa idas cada uno se enca gaba de decidi , según la in o mación que nos apo aba la a iable, si necesi aba una ans o mación o c eación de una a iable nue a. T as e mina la e apa de p ep osesamien o de da os, jun o con mis compañe os nos enca gamos de ecopila in o mación sob e los algo i mos que íbamos a u iliza Finalmen e, me he enca gado esc ibi la mo i ación y abs ac , además de co egi la memo ia an o e o es g ama icales y o og á icos como imágenes y ablas. 8.3. Con ibuciones de C is ian Emanuel Anei La p ime a a ea de la que me he enca gado, ha sido analiza una sección de la base de da os inicial, y decidi cuales de los da os de los que se me han asignado esul a ían inalmen- e ú iles pa a nues o p oyec o. De es a mane a, he decidido que las siguien es columnas no se ian enidas en cuen a pa a el p oyec o. Reco d Id, G upo p o ocación, Edad diagnós ico, Especi ique el amilia /es a ec ado/s, O os ki s, Fecha DCG ATG2_2, DCG ATG2_2, In- dique í ulo de an icue po (DCG ATG_2_2), Indique el í ulo del an icue po (A-PDG_2), O os Ki s, A-PDG ki , A_pdg_ki _o os, Fecha DSG ATG2_2, DSG ATG2_2, Indique el í ulo del an icue po (DSG ATG2_2), Fecha DCG Biopsia1, AP al diagnós ico. A con inuación, hab ía que hace el análisis del es o de columnas que si se ían ele an es pa a el abajo. Es e análisis consis e en una pequeña de inición de las columnas, un análisis de los alo es que puede oma , y inalmen e de e mina la impo ancia eal pa a el p oyec o. Las siguien es columnas son las que han pasado la selección: Fecha nacimien o, Diagnós ico, Indique país de o igen o en su de ec o la in o mación disponible, Sexo, G upo de iesgo, G ado de pa en esco, G ado de pa en esco (si hay más 95 de 1), En e medad inmunológica, En e medad inmunológica (si hay más de 1), En e medad inmunológica (si hay más de 2), O o/s iesgo/s, Sín omas especí icos, Sín omas especí icos, Sín omas especí icos, O os sín omas, Signos, Signos 2, Signos 3, HLA: g upos de iesgo, Haplo ipo1, Haplo ipo2, DCG_ATG2_1, Indica i ulo del an icue po (DCG ATG_2_1), Ïndica el ki empleado con el pun o de co e en e pa én esis", DCG EMA, DCG A-PDG_1, Indique el í ulo del an icue po (A-PDG_1), Ïndica el ki empleado con el pun o de , co e en e pa én esis", DCG A-PDG_2, DSG ATG2_1, Indique el í ulo del an icue po (DSG ATG2_1), Indica el ki empleado con el pun o de co e en e pa én esis, DSG EMA, DSG A-PDG_1, Valo A-PDG_1, DCG Biopsia-AP1. A con inuación hacia al a ealiza una de inición mas de allada de cada columna, la cual se i ía pa a inclui la en el Capi ulo 2. Pa a es a a ea he ealizado la explicación de las columnas mencionadas en el pá a o an e io , pe o solo de las comp endidas en e la columna "Diagnos ico 2 "Signos 3". Una ez de e minados los da os y e minadas las a eas elacionadas a ellos, me he enca gado de ecopila in o mación ace ca de las he amien as de abajo que nos podían se ú iles, como se e e lejado en el capi ulo 3. A con inuación, me enca gue de ealiza un análisis de los algo i mos que ya han sido p e iamen e seleccionados. Dicho análisis ha sido ealizado po ca ego ías de algo i mos y consis e en una desc ipción de cada algo i mo y algún ipo de ó mula ma emá ica que lo de ina. Pa a empeza , se analiza on los algo i mos de escalado de los da os, seguidos de los algo i mos de eg esión y los a boles de decisión. Además, he buscado in o mación de los mé odos de e aluación de dichos algo i mos. Dichos mé odos han sido p e iamen e seleccionados ambién, po lo que yo solo he buscado la in o mación necesa ia. De nue o, como en el capi ulo an e io , una b e e desc ipción de cada mé odo, y una o mula ma emá ica que lo espalde. Has a aquí mi con ibución al p oyec o, aunque cabe menciona alguna con ibución en la edacción inal de la memo ia, así como la aducción de algunos capí ulos al inglés. 96 Bibliog a ía [1] A. Pinzón-Ri adenei a E. Na alón-Ramon, . Juan-Ga cía. P e alencia y ca ac e ís icas de la en e medad celíaca en la achada medi e ánea peninsula . 42(8):514–522, 2016. [2] Au elien Ge on. Hands-On Machine Lea ning wi h Sciki -Lea n, Ke as Tenso Flow. 1996. [3] E ic B ill Michele Banko. Scaling o e y e y la ge co po a o na u al language disam- bigua ion. pages 26–33, 2001. [4] Felipe Moscoso and Rod igo Que a. En e medad celíaca: e isión. Re is a Médica Clínica Las Condes, 26(5):613–627, 2015. [5] Muhammad Khawa Sana, Zeshan M Hussain, Pi Ahmad Shah, and Muhammad Hai- sum Maqsood. A i icial in elligence in celiac disease. Compu e s in Biology and Medi- cine, 125:103996, 2020. 97