Aplicación de sistemas de consenso sobre modelos de Machine Learning

Aplicación de sis emas de consenso sob e modelos de Machine Lea ning Po Raúl Do ado Pulido, Ja ie Mendoza Ga cía G ado en Ingenie ía de Compu ado es Facul ad de In o má ica Jo ge Jesús Gómez Sanz Aplicación de sis emas de consenso sob e modelos de Machine Lea ning Mad id, 2018–2019 Resumen En es e abajo se in es igan y compa an dis in os algo i mos de consenso aplicados en e modelos de Machine Lea ning. Más conc e amen e, se aplican algo i mos de consen- so basados en la me odología Delphi sob e cua o da ase s con di e en es ca ac e ís icas. P ime o se seleccionan los da ase s y se aplica una limpieza sob e los mismos, y a con- inuación se gene an di e sos modelos de clasi icación median e algo i mos de Machine Lea ning (K-Nea es Neighbo s, Máquinas de Sopo e Vec o ial, Bosques Alea o ios, Á - boles de decisión, Redes Neu onales y Reg esión Logís ica). Jun o a es os modelos se aplican los algo i mos de consenso ideados en base al mé odo Delphi, analizando los e- sul ados ob enidos con los mismos. Además, se inco po a una in e az g á ica pa a obse a los esul ados de o ma mas sencilla y pode aplica dis in os ejemplos indi iduales de o ma manual sob e los algo- i mos de consenso y los modelos de clasi icación deseados. Palab as cla e: mé odo Delphi, consenso, p edicción, jupy e no ebook, clasi icado es, en enamien o, Py hon, limpieza de da os, in e az g á ica III Abs ac In his p ojec a ious consensus algo i hms a e in es iga ed, compa ed and applied o eal wo ld p oblems. The consensus algo i hms a e based on he Delphi me hod and applied wi h ou di e en da ase s. Fi s ly, he da ase s a e selec ed and cleaned, and hen Machine Lea ning algo i hms a e used o c ea e di e en classi ica ion models (K- Nea es Neighbo , Suppo Vec o Machines, Random Fo es , Decision T ees, Neu al Ne - wo ks and Logis ic Reg ession).Along hese models, he men ioned consensus algo i hms c ea ed wi h ou own app oach a e applied. Finally, he esul s a e analyzed, eaching a conclusion abou he use o me a-classi ie s ins ead o he Machine Lea ning models alone. Also and use in e ace is implemen ed so he esul s and he p ocess can be ollowed by he use s, making i easie o anyone o apply he de eloped me hods. The accu acy o he applica ion o hose algo i hms can be compa ed o he use s’ models, so he use can decide whe e o use o no he algo i hms wi h hei pa icula p oblems. Keywo ds: Delphi me hod, consensus, p edic ion, jupy e no ebook, classi ica o s, aining, Py hon, da a cleaning, GUI V Sob e TEFLON Te lon(cc0 1.0(documen ación) MIT(código))es una plan illa de L A T EX c eada po Da id Pacios Izquie do con echa de Ene o de 2018. Con a i- buciones de uso CC0. Es a plan illa ue desa ollada pa a acili a la c eación de documen ación p o esional pa a T abajos de Fin de G ado o T abajos de Fin de Más e . La e sión usada es la 1.3. V:1.3 O e lea V2 wi h pd LaTeX, ma gin 1in, NO-bib VII Índice gene al Página 1. In oducción 1 1.1. Obje i os ................................... 2 1.2. Plande abajo................................ 2 1.3. Es uc u a del documen o . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.4. Lenguaje y en o nos u ilizados . . . . . . . . . . . . . . . . . . . . . . . . 3 1.4.1. Py hon ................................ 3 1.4.2. Jupy e no ebook........................... 4 2. In oduc ion 1 2.1. Obje i os ................................... 2 2.2. Wo kingplan ................................. 2 2.3. Documen s uc u e ............................. 2 2.4. Language and en i omen s used . . . . . . . . . . . . . . . . . . . . . . . 3 2.4.1. Py hon ................................ 3 2.4.2. Jupy e no ebook........................... 3 3. Es ado del a e 5 3.1. Algo i mos de clasi icación . . . . . . . . . . . . . . . . . . . . . . . . . . 5 3.1.1. K-Nea es Neighbou . . . . . . . . . . . . . . . . . . . . . . . . . 6 3.1.2. K-Means Clus e ing . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.1.3. Suppo Vec o Machine . . . . . . . . . . . . . . . . . . . . . . . 9 3.1.4. DecisionT ees ............................ 10 3.1.5. RandomFo es ............................ 11 3.1.6. Logis ic Reg ession . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.1.7. Redes Neu onales . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.2. Algo i mos y ecnologías de consenso . . . . . . . . . . . . . . . . . . . . 14 3.2.1. Vo opo mayo ía........................... 15 3.2.2. Elmé odoDelphi........................... 16 3.2.2.1. Re isando el Mé odo Delphi pa a Agen es . . . . . . . . 17 3.2.3. Fusión de modelos p edic i os median e mé odo de ponde ación local 18 3.2.4. Mé odos de consenso basados en écnicas de Machine Lea ning pa a la de ección de i oplanc on . . . . . . . . . . . . . . . . . . 18 3.3. In e p e abilidad de modelos . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.4. En o no de Jupy e No ebook . . . . . . . . . . . . . . . . . . . . . . . . 20 3.4.1. Lib e ías ele an es . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.4.1.1. Lib e ía Pandas . . . . . . . . . . . . . . . . . . . . . . 22 3.4.1.2. Lib e ía NumPy . . . . . . . . . . . . . . . . . . . . . . 22 IX G ado en Ingenie ía de Compu ado es Facul ad de In o má ica p edic ions, such as hose o medical ield. These a e some o he easons why he usion o models is being an in e es ing op ion. 2.1. Obje i os E alua e he ac ual imp o emen in he pe o mance ha can be ob ained wi h classi ica ion algo i hms using some consensus’ algo i hms such as majo i y o e o mo e elabo a ed algo i hms based on he Delphi me hod, which is explained a sec ion 3.2.2. De elop a s aigh o wa d GUI ha helps he use in he p ocess o loading models lis and da ase s and using he de eloped algo i hms. I allows es ing he pe o - mance o consensus mechanisms o a speci ic p oblem, so ha he use can decide whe e i s use is wo h o no . The algo i hms could also be applied on single cases. In bo h op ions, he use will see he eedback o he p ocess ha led o he inal answe , including esul s om all he classi ica o s and how hei answe s change i hey do. 2.2. Wo king plan Resea ch o he cu en s a e o he use o o ing and consensus me hods in he Machine Lea ning ield, looking o in o ma ion abou consensus me hods and usion o models al eady used and sui able da ase s o es he de eloped algo i hms. Da a cleaning, by using Pandas lib a y. This cleaning is done in ins ances wi h unknown pa ame e s and emo ing columns ha a e no ha ele an o which do no p o ide enough in o ma ion. Bina y and mul iclass da ase s a e used, due o he in e es in analyze i he e a e signi ican di e ences be ween using he algo i hms in any speci ic ype o da ase s. A e his, Machine Lea ning models a e c ea ed, es ing di e en con igu a ions looking o an accep able goodness o hem. Implemen a ion o majo i y o e be ween n models, whe e some ins ances om es da a a e es ed and i is checked i ha p ac ice imp o es he esul s hanks o he combina ion o di e en ypes o classi ie s. Nex , a consensus mechanism based on Delphi me hod is implemen ed, in which models ha e some communica ion be ween hem and o e s a eedback so he use can ake a look a he p ocess. C ea ion o a GUI which allows he use o load models and hei da ase s o execu e he de eloped me hods. This GUI, shows he consensus ou pu in an in elligible way o he use . 2.3. Documen s uc u e Chap e 3: he s a e o he a is explained in his chap e . I enume a es he di e en consensus mechanisms ound in a ious esea ches and hei esul s. The e is also a explana ion abou models’ in e p e abili y and he algo i hms used o gene a e hem. 2 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM Chap e 4: his chap e explains he o igin o he di e en da ase s used du ing he p ojec , hei con en and he da a cleaning applied on hem. Chap e 5: consensus mechanisms implemen ed o his p ojec and hei imple- men a ions a e exposed and explained in his chap e . Chap e 6: du ing his chap e , he GUI is shown along some cases o use. Chap e 7: in his chap e he esul s ob ained by applying he mechanisms de- eloped on he da ase s a e shown and analyzed. Chap e 8 & 9: he conclusions abou he p ojec a e and he possible u u e wo k. Chap e 10: inally, pe sonal con ibu ions o he p ojec collabo a o s a e indi- ca ed he e. 2.4. Language and en i omen s used The language used in he p ojec is Py hon, 3.7.0 e sion, and he en i onmen used o edi and un he applica ion is Jupy e No ebook, 5.6.0 e sion. 2.4.1. Py hon Py hon is a p og amming language ha b ings a lo o lib a ies o ien ed o Machine Lea ning. To achie e he expec ed esul s by he algo i hms and ob ain g aphics and ables, which make isual ep esen a ions o he esul s, he use o lib a ies such as Pandas, NumPy, Ma plo Lib, o Seabo n is needed. Models a e sa ed using he Pickle lib a y. 2.4.2. Jupy e no ebook Jupy e no ebook is an open-code web applica ion ha allows o c ea e and sha e documen s, including da a cleaning and da a mapping, nume ical simula ions, s a is ics models, da a isualiza ion, machine lea ning... The use o his en i onmen p o ides an easy and as way o wo k ha he command p omp , being also mo e isual and in e ac i e. 3 Capí ulo 3 Es ado del a e En es e capí ulo se habla á del es ado del a e. Aquí se enume an los dis in os ipos de algo i mos encon ados, además de un b e e esumen de los pape s co espondien es de donde se ha ex aído dicha in o mación. Además, ambién se explican los dis in os ipos de algo i mos de ap endizaje u ilizados du an e el p oyec o, en qué consis e la me- odología Delphi en la que es á basado el algo i mo de consenso y la in e p e abilidad de modelos ( ambién llamados clasi icado es) de ap endizaje au omá ico. Es os clasi icado es se e alúan a endiendo a de e minadas mé icas, y se dice que la bondad de un modelo (lo bueno que es dicho modelo p ediciendo) es á elacionado con los alo es de las mismas. Las mé icas más u ilizadas son la p ecisión, aunque ambién es común acudi a o as medidas como el ecall o el 1 sco e. Es os úl imos se ob ienen median e la aplicación de ó mulas cuyas a iables son los alsos posi i os y nega i os y los e dade os posi i os y nega i os, explicados a con inuación con alo aciones médicas: Falso posi i o: un ejemplo se ía la e aluación de p esencia de en e medad cuando ealmen e hay una ausencia de la misma. Falso nega i o: un ejemplo se ía la e aluación de ausencia de en e medad cuando es a es á p esen e. Ve dade o posi i o y e dade o nega i o: es os son casos de ins ancias co- ec amen e clasi icadas, es deci , se de e mina que hay en e medad cuando es a es á p esen e y la ausencia de la misma cuando es a es á ausen e. El plan eamien o inicial es el de desa olla una aplicación de consenso en e modelos con el in de que sus p edicciones sean más ace adas que de o ma indi idual. También se quie e que los usua ios puedan usa es os algo i mos jun o a sus p opios modelos y que obse en si mejo an las p edicciones pa a su p oblema conc e o. La búsqueda de in o mación se cen a en localiza mé odos de consenso y sis emas de usión de modelos p e ios. Pues o que ambién se quie e pode u iliza de o ma gene al, debe a ende se ambién a la cues ión de la in e p e abilidad. 3.1. Algo i mos de clasi icación En Machine Lea ning exis en una amplia a iedad de algo i mos y es posible clasi ica - los a endiendo a dis in os ac o es. Se puede así, po ejemplo, dis ingui en e algo i mos 5 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica de eg esión o de clasi icación; un algo i mo de eg esión de uel e un alo con inuo, como puede se el alo es imado de una i ienda de un ba io conc e o (conociendo de an emano o os casos de i iendas de dicho ba io), mien as que un algo i mo de clasi- icación de uel e un alo conc e o den o del posible conjun o de alo es e ique ados en los da os de en enamien o (las ins ancias de los da os u ilizadas pa a el en enamien o del modelo de clasi icación), como puede se la especie de plan a a la que pe enece una de e minada hoja. O o de los p incipales c i e ios a iende al ipo de ap endizaje, que puede se su- pe isado, semisupe isado o no supe isado. La supe isión como concep o indica si ealmen e a la ho a de aplica el algo i mo se conocen o no las e ique as de caso de ejem- plo, si son odas, o en qué medida. Po oma un ejemplo, no malmen e un algo i mo K-Means se u iliza de o ma no supe isada, aunque en cie as ocasiones sí se conocen las e ique as del p oblema y puede e alua se su endimien o. También hay que ene en cuen a que cie os algo i mos admi en pa ame ización y o os no, y es a ambién es una ca ac e ís ica cla e. Un ejemplo de pa ame ización se ía la p o undidad de un á bol de decisión, es deci , al algo i mo se le puede indica cómo de p o undo que emos que llegue en la cons ucción del á bol, y es o iene una epe cusión en el esul ado inal. También es de especial impo ancia la in e p e ación de los esul ados. Es ácil dis in- gui po qué un À bol de decisión ha dado una espues a inal, aunque es o se complica signi ica i amen e si aplicamos un Random o es en su luga . Po o a pa e, hay algo- i mos que son p ác icamen e una caja neg a, donde no se puede dis ingui po qué ha dado una espues a, como po ejemplo en una ed neu onal. Los ipos de algo i mos se pueden sepa a bajo muchos o os c i e ios simila es a los an e io es, ya que, po ejemplo, no es el mismo ipo de clasi icación aquella ealizada median e clus e s que median e á boles de decisión o edes neu onales. En es a sección se explican, a g andes asgos, algunos de los algo i mos más comunes, y más en pa icula aquellos que se han plan eado pa a u iliza du an e el p oyec o pa a gene a nues os modelos. 3.1.1. K-Nea es Neighbou El algo i mo KNN (del inglés K Nea es Neighbou , K ecinos más ce canos) [1][2] es un algo i mo de ap endizaje supe isado u ilizado an o pa a clasi icación como pa a eg esión. El en enamien o de es e algo i mo unciona median e la en ada de N casos de ejem- plo, en o ma de ec o , que ubica á en un hipe espacio y cuyas dimensiones coinciden con la longi ud de los ec o es de los da os. Es e algo i mo u iliza una cons an e K, de inida po el usua io, que es u ilizada a la ho a de ealiza la clasi icación de un caso de p ueba: cuando al modelo le p egun amos po un caso sin clasi ica , pa a él la clase de dicha ins ancia se á in e ida eniendo en 6 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM cuen a cuáles son las clases de los K casos más ce canos, según la mé ica de simili ud u ilizada, y se asigna á la clase más ecuen e. Figu a 3.1 : El nue o ejemplo pa a clasi ica se encuen a en un pun o bas an e di uso, a simple is a, no se puede clasi ica de o ma cla a debido a que se encuen a odeado de casos de la clase A y de la clase B. Puede ap ecia se que, asignando dis in os alo es de K pa a ob ene los ecinos ce canos, se ob ienen más ecinos de la clase B cuando el alo K = 3, y más de la case A cuando el núme o de ecinos es K = 7. Figu a 3.1: In luencia de K al de e mina la clase de una nue a ins ancia [2] Pues o que el alo de K debe se elegido a la ho a de c ea el modelo y no exis e un alo K adecuado pa a odos los ipos de da os, es impo an e analiza cuál es el alo óp imo pa a un de e minado caso: un núme o bajo de ecinos puede p o oca p oblemas po el uido, y un alo muy al o es, compu acionalmen e hablando, cos oso. De la mis- ma o ma, un núme o de ecinos bajo e i a la pa cialidad y man iene un alo al o de a ianza, mien as que un núme o mayo de ecinos iende a p oduci cie o o e i ing y a ene un alo de a ianza más bajo. Pa a analiza un caso en pa icula , se puede u iliza el mé odo del codo (Figu a 3.2), que consis e en e la elación en e el alo de e o de cada modelo en unción del nú- me o de ecinos que le hemos dado. Median e una g á ica, se puede e cuál es el alo más adecuado eniendo en cuen a lo an e io men e mencionado. 7 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica Figu a 3.2: G á ica gene ada con el mé odo del codo 3.1.2. K-Means Clus e ing El algo i mo de K-Means [3][4] es un algo i mo no supe isado en ocado exclusi amen- e al clus e ing. Es e a a de ag upa los casos de en ada simila es, es deci , aquellos que son ce canos en el hipe espacio, de al o ma que se gene an una se ie de clus e s en unción del núme o K de cen oides (el pun o ep esen an e del cen o del clus e ) que se le haya indicado. Es a asignación de cada elemen o a un clus e se ealiza eniendo en cuen a cuál es el clus e con el alo medio más ce cano, es deci , dónde es án los elemen os más simila es. Exis en dis in as mé icas u ilizadas pa a de e mina la dis ancia, como pueden se la Manha an o la Euclidea. Es os cen oides son gene ados de o ma a bi a ia, y con cada i e ación (cada ez que incluimos un alo ) el alo medio de cada clus e cambia á. Es o es debido a que el alo medio se usa como medida pa a elegi a qué clus e pe enece un elemen o, pe o dicho elemen o ambién a a de ini el alo medio de ese clus e una ez sea añadido. El algo i mo segui á su cu so has a cie o núme o de i e aciones o has a que los cen oides queden es abilizados. Figu a 3.3 : se encuen an los k-cen os de los g upos y en es e caso se di iden en 3, de o ma que el cuad ado de las dis ancias del g upo al cen o es án minimizadas. Suelen se g upos del mismo amaño, debido a que se asigna á el ipo según el cen oide más ce cano. 8 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM Figu a 3.3: Rep esen ación g á ica de K-Means de es clases [5] 3.1.3. Suppo Vec o Machine Las SVM (Máquinas de Sopo e Vec o ial) [6] son un conjun o de algo i mos de ap en- dizaje supe isado u ilizados an o pa a clasi icación como pa a eg esión. Conc e amen e du an e es e p oyec o, se u ilizan las SVC, es deci , aquellas que es án o ien adas a la clasi icación, an o bina ia como mul iclase. En e sus pun os ue es es posible des aca que son e ec i as en espacios dimensionales g andes, incluso en aquellos en los que el núme o de dimensiones es mayo que el de casos de ejemplo, donde hab á que p es a especial a ención al ke nel u ilizado; es una unción median e la cual se gene an los hipe planos que sepa a án los casos de ejemplo. Algunos de es os ke nel se ían el lineal, el RBF o los polinomiales. Po o a pa e, el cos e de sus cálculos ambién puede se mayo que el de o os algo i mos. Figu a 3.4 : puede ap ecia se como aplicando dis in os ipos de ke nel, se ob ienen di e en es ipos de á eas pa a la p edicción de clases. 9 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica Figu a 3.4: Dis in os ipos de ke nel aplicados sob e el i is da ase con SVC [7] Es e algo i mo necesi a además que se le especi iquen dos pa áme os de en ada: el cos e y el gamma. El cos e, C, indica la igidez con la que el algo i mo busca sepa a los pun os median e el hipe plano. Gamma, po su pa e, es un pa áme o lib e de los ke nel y su alo indica has a qué dis ancia un caso de ejemplo in luencia a la ho a de cons ui el modelo: un alo al o implica ía una mayo pa cialidad y meno a ianza y un alo bajo lo con a io. Un aspec o a des aca es que pa a clasi icaciones mul iclase se u ilizan dos es a egias di e en es según el algo i mo conc e o u ilizado: One s One: se cons uyen nclass * (nclass - 1) / 2 clasi icado es, donde nclass es el núme o de clases, ya que se en ena un clasi icado pa a cada pa de de las mismas. Una unción de decisión de e mina después de habe aplicado odos los clasi icado es cuál es el esul ado. One s All: se en enan an os modelos como clases haya y nos quedamos con la clase cuyo clasi icado asociado ha dado el alo más al o. 3.1.4. Decision T ees El algo i mo á bol de decisiones es un modelo analí ico, llamado así po su ep esen- ación esquemá ica de las al e na i as disponibles. [8] Es e algo i mo acili a la oma de mejo es decisiones pa a la esolución de un p oblema, po lo gene al es á o mado po un único nodo aíz, el cual se ami ica dando luga a nue os nodos adicionales, los cuales solo se pueden alcanza po un único camino desde el nodo aíz. A pa i de es os nue os nodos, se llega a los nodos hoja, que ep esen an 10 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM un da o de p edicción. Pa a a anza po las dis in as ami icaciones que conec an a los nodos, se a iende a su conjun o de eglas de clasi icación, asociada a su e ique a que se halla al inal de la ami icación. Figu a 3.5 : En el ejemplo, puede e se como se a anza en e amas dependiendo del núme o de unidades que se hayan solici ado, y si es necesa io, dependiendo del luga de en ío. Pa a aplica un 20 % de descuen o, se ía necesa io solici a en e 10 y 50 unidades del p oduc o y en ia a España. Si el núme o de unidades no llega a 10, no se aplica ía descuen o pa a España ni pa a Eu opa. Figu a 3.5: Ejemplo de un á bol de decisión [9] 3.1.5. Random Fo es Random Fo es (o Bosques Alea o ios) [10] es el nomb e que ecibe un algo i mo de ap endizaje supe isado que se basa en uni dis in os á boles de decisión. Es u ilizado an o pa a clasi icación como pa a eg esión. Se ca ac e iza po se un algo i mo muy lexible y sencillo de u iliza : un bosque es á o mado po dis in os á boles de decisión c eados median e se s de da os seleccionados de o ma alea o ia. Después se da á median e o ación la espues a inal, siendo es a más o menos p ecisa dependiendo de la can idad de á boles que lo con o men. O os aspec os a des aca ambién son que pe mi e e la impo ancia ela i a de cada a iable de los da os y que po no ma gene al suelen e i a el o e i ing ípico de á boles de decisión de cie a p o undidad, ya que al o ma su espues a con aquellas dadas po muchos á boles gene ados de o ma dis in a, se e i a la pa cialidad. Es o a su ez gene a una mayo ca ga compu acional, ya que es amos hablando de a ios á boles de decisión, y su in e p e abilidad se complica conside ablemen e. 11 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica Dada una espues a álida, es a debe pode da una in o mación, ex aída de o ma au omá ica, que gene e una nue a p egun a. 3.2.3. Fusión de modelos p edic i os median e mé odo de pon- de ación local En es e pape [19] se habla de una in es igación que se ealizó u ilizando edes neu- onales y el mé odo ”Locally Weigh ed Models”, mé odo que, según los au o es de es e documen o, consigue educi la a ianza, aunque no la pa cialidad. Es o consigue esul- ados más adap ados al p oblema en conc e o, aunque no mejo a su capacidad en e a posibles nue os casos. El oco p incipal es c ea un sis ema de usión, en el que p ime o se a iende a la c ea- ción de modelos y su selección y después al diseño del mecanismo de la usión, basándose en c ea modelos di e sos que usen dis in os da os de en enamien o y con di e en es con igu aciones. El en enamien o se lle ó a cabo seleccionando una po ción de o ma alea o ia pa a c ea un pequeño da ase de e i icación a iado, y el es o se sepa a de al o ma que queden dis in os subse s, an os como modelos se quie en en ena . Pa a la usión, se iene en cuen a el endimien o local de los modelos c eados pa a un caso en conc e o sob e el que se quie e hace la p edicción. Pa a es o, hay que ija se en cuáles de los modelos en enados lo ue on con casos simila es al de p ueba; es os casos son escogidos median e una ó mula que de ine un hipe - ec ángulo del cual ex ae di- chos casos. Después se e alua ía el endimien o local de cada modelo, calculando en onces el e o de p edicción de cada uno de o ma indi idual, an o el e o medio como el e o medio absolu o; el p ime o indica la pa cialidad del modelo y el segundo indica la p ecisión global del mismo. Finalmen e, se u ilizan dos mé odos de e aluación pa a usiona los modelos: uno a en- diendo únicamen e a la p ecisión y o o conside ando, además, la pa cialidad. Los e- sul ados indica on una mejo a no able en la media del e o absolu o, de en e 20-40%, concluyendo así que exis e una mejo a de endimien o de los modelos. Es o indica que es a usión de modelos ienen un e ec o ele an e, ob eniendo así un me amodelo que mejo a el endimien o ob enido an e io men e de un único modelo. 3.2.4. Mé odos de consenso basados en écnicas de Machine Lea ning pa a la de ección de i oplanc on En es e pape [18] se e leja la in es igación ealizada sob e un da ase de de ección de planc on ma ino, u ilizando mé odos de consenso a iados sob e modelos de Machine Lea ning. Se conside a on a ias ap oximaciones pa a usiona modelos gene ados con algo i mos a iados, desde SVMs y Random Fo es a algo i mos lineales y écnicas de boos ing. Fi- 18 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM nalmen e, se conside a on seis dis in os mé odos de consenso, e aluados con di e en es da ase s del mismo ámbi o (de ección de p esencia o ausencia de planc on en mues as ma inas) y a ios de o os ámbi os de acceso lib e. Se encon ó que pa a el 72% de los da ase s p obados, los mé odos de consenso o ecían una mejo a en el e o espec o al uso de modelos indi iduales. En conc e o, uno de los mé odos mos ó unos mejo es esul ados: es e enía en cuen a la p ecisión indi idual de los modelos y les asignaba una ele ancia aco de en la o ación. El es udio se cen a en hace una ap oximación en pa icula hacia la mejo a de clasi- icado es bina ios pa a es udia la p esencia de cie as especies de planc on. En el pape [18], se ilus an los esul ados ob enidos en conjun o, e lejando el núme o de ic o ias (pa a ese da ase e a quien ob enía un endimien o mayo ) que ob u o cada algo i mo y mé odo de consenso. 3.3. In e p e abilidad de modelos La in ep e abilidad de los modelos gene ados con algo i mos de Machine Lea ning em- peo a cuan o más complejo sea el algo i mo, aunque ambién suelen ene unos mejo es esul ados. Así, algunos algo i mos, como el del Á bol de decisión, son especialmen e áci- les de in e p e a , pe o o os, como los SVM, son especialmen e complicados, más cuan o mayo sea la dimensionalidad del p oblema en cues ión. T as ealiza una búsqueda de di e sos pape s [21] [22] al espec o de es e p oblema, no se ha encon ado ningún mé odo conc e o median e el que se pueda explica de o ma simple y di ec a el esul ado p opo cionado po un modelo o incluso el p opio modelo, aunque sí se hacen unas ap oximaciones ele an es. En el pape [23], se explica cómo el ámbi o de la salud se e e o zado po el uso de modelos, pe o sin emba go esul an di ícilmen e explicables los esul ados, y es un á ea en el que encon a la con ibución conc e a de cada a iable y en ende el po qué de un esul ado es impo an e. También se expone b e emen e que la o ma de hace in e p e able el modelo es p opo ciona al usua io cie a in o mación, como pod ían se las con ibuciones de cada clase al esul ado o la p obabilidad de cada clase. En es e caso de in es igación en conc e o, se la posible mo alidad, ilus ado en la siguien e imagen: 19 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica Figu a 3.10: Da os p opo cionados al usua io al u iliza un modelo complejo [21] En es e pape [22], se discu e sob e los dos p incipales p oblemas a la ho a de medi la in e p e abilidad de los modelos: el uso, en la li e a u a al espec o, de dis in os é minos (algunos de ellos e e idos a p ác icamen e el mismo concep o, como puede se ’comp en- sible’ y ’en endible’ y o os a un concep o más conc e o y dis in o, como pod ía se la usabilidad) y la poca dis inción en e la in e p e abilidad de los modelos en sí y de sus ep esen aciones, siendo ambas medidas álidas pa a medi la in e p e abilidad. Las compa aciones pa a la in e p e abilidad de modelos o ep esen aciones dependen así de las heu ís icas y a encues as de usua io. Sin emba go, según el au o , no hay su icien e in o mación al espec o de es o úl imo como pa a in e i una elación en e ambas cosas y conclui que, e ec i amen e, las heu ís icas modelan la comp ensión del usua io. 3.4. En o no de Jupy e No ebook Jupy e no ebook es un en o no de abajo que, en e o os, pe mi e desa olla código en py hon, in eg ando jun o al mismo o os ecu sos, ales como imágenes, g á icas o ex o, lo cual es muy ú il en análisis y machine lea ning, en e o os campos de la in o - má ica y las ma emá icas. Pa a empeza a u iliza es e en o no, hay que ene ins alado Py hon: es e se puede desca ga desde la web [24] o podemos ealiza un pip ins all desde nues o cmd. Una ez ins alado, se a a de ac ualiza al paque e más ecien e con pip ins all –upg ade pip. El siguien e paso es ins ala se jupy e no ebook con pip ins all jupy e y al e mina la ins alación, es a ía lis o pa a ejecu a con el comando jupy e no ebook, lo cual nos ab i ía el wo kspace en la ubicación desde la que lo ejecu emos en la consola. Se c ea un nue o Py hon 3 no ebook desde la in e az de jupy e , al y como se puede e en la Figu a 3.11. 20 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM Figu a 3.11: C ea un nue o no ebook Es e ab e una nue a pes aña con la ba a de menú y una celda acía, donde se pueden esc ibi una o a ias líneas de código y comen a ios, al y como puede e se en la Figu a 3.12. También se puede esc ibi ex o, de modo que al ejecu a la celda no se ejecu a como código, sino que hace que el ex o uncione como ma kdown. Una celda puede ma ca se como ma kdown desde el desplegable de la ba a de he amien as. Figu a 3.12: Imagen de un nue o no ebook con una celda Pa a ejecu a se puede selecciona la celda y pulsa el bo ón Run de la ba a de he- amien as, o u iliza los a ajos Shi + En e pa a simplemen e ejecu a o Al + En e pa a ejecu a la celda y c ea una nue a debajo pa a segui codi icando. Pa a sabe si una celda se ha ejecu ado hay que mi a su cabece a, si apa ece In[] aún no se ha ejecu ado, si apa ece In[*] la ejecución es á en p oceso, y si apa ece un núme o en e los co che es ya ha e minado de ejecu a y el núme o indica el o den de ejecución de las celdas. Se mues a con el ejemplo de la igu a 3.13, como se aplica código en lenguaje Py hon, y se ealiza un bucle que cuen a y esc ibe po pan alla en que uel a del p opio bucle se encuen a. 21 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica Figu a 3.13: Codi icando en no ebook 3.4.1. Lib e ías ele an es Cie as lib e ías pueden impo a se pa a ealiza de o ma más simple unciones que ya es án de inidas po dicha lib e ía, las más impo an es pa a es e abajo son pandas, numpy y sklea n. 3.4.1.1. Lib e ía Pandas La lib e ía Pandas es ampliamen e u ilizada en análisis de da os, y apo a algunas es uc u as de da os ales como los Da aF ame (es uc u as simila es a las ablas de las bases de da os elacionales) o las Se ies (a ays unidimensionales con indexación e ique- ada, simila es a los dicciona ios). P opo ciona además unciones pa a ca ga los da os desde o ma os como hojas Excel o CSV a es uc u as como los Da aF ame, lo que pe mi e hace odo ipo de ope aciones sob e ellos, acili ando la ase de limpieza de da os. 3.4.1.2. Lib e ía NumPy Es a lib e ía p opo ciona un mayo sopo e pa a ec o es y ma ices, a pa e de un- ciones ma emá icas pa a ope a con es e ipo de elemen os, son una buena al e na i a a las lis as, ya que son ápidos, áciles de usa y pe mi en ealiza cálculos a a és de a ays comple os. 3.4.1.3. Lib e ía Sklea n G acias a la lib e ía de Sklea n, podemos gene a modelos de machine lea ning de o ma ápida e in ui i a. Además, dichos modelos ienen un amplio abanico de posibilidades de con igu ación median e los pa áme os que c ean los obje os modelo. 22 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM 3.4.1.4. Lib e ía Pickle Es a lib e ía es de g an u ilidad pa a la pe sis encia de modelos. Con ella, podemos gua da los modelos gene ados en el o ma o .pkl, y pos e io men e ca ga los con o a unción de es a misma lib e ía. 3.4.1.5. Tkin e La lib e ía de Tkin e es una lib e ía ampliamen e u ilizada pa a la c eación de in- e aces en el lenguaje Py hon. Con ella se ha implemen ado el apa ado isual de la aplicación. (Capí ulo 6). 3.5. Conclusiones Pues o que es e mé odo del o o po mayo ía es habi ual y ampliamen e usado, inco - po a lo pa ecía un paso e iden e, especialmen e eniendo en cuen a que es p obable que se equie a un o o de la mayo ía y, de se posible, sob e el que se enga cie o con ol. Es po ello que se ha implemen ado es e mé odo con una unción en la que se ecogen las espues as de odos los modelos lis ados y se e ec úa un ecuen o de o os. Respec o a la c eación de modelos, se decide u iliza aquellos de ap endizaje supe isado y siemp e y cuando los esul ados engan una p ecisión supe io al 70 %. Algunos de los posibles p oblemas que se mani ies an con es e mé odo son los casos en los que dos o más de los posibles esul ados coinciden en núme o de o os. En es e pun o hay que oma una decisión a la ho a de implemen a una solución que enga en cuen a dicha posibilidad, y inalmen e, en es a implemen ación, como se explica á en el capí ulo co espondien e 5.1.1, se plan eó ecoge en un ec o auxilia las posibles modas. Pues o que se han podido encon a an eceden es de mejo a al u iliza sis emas de con- senso, se decide implemen a uno p opio basado en el mé odo Delphi. Más en conc e o, se plan ea u iliza in o mación de los p opios modelos, aunque es o limi a las posibilidades a u iliza aquellos algo i mos que no sean de caja neg a y que además puedan p opo ciona algún ipo de in o mación una ez c eados. Con ello se cumplen los equisi os pa a pode aplica Delphi. Respec o a la in e p e abilidad de los modelos se op a po mos a azas del p oceso de los o os, de o ma que el usua io pueda ene acceso a la in o mación de cómo se desa olla el consenso y las espues as indi iduales de cada modelo y cómo es as cambian en caso de hace lo. 23 Capí ulo 4 P epa ación de los da os En el Machine Lea ning, uno de los p ocedimien os iniciales y básicos es p ep ocesa y limpia los da ase s pa a c ea los dis in os modelos [25], consiguiendo además así e- duci su complejidad. An es de empeza a modela , es impo an e que los da os engan la misma o ma, de modo que hay que analiza los casos que con ienen campos acíos, en e o as cues iones, a lo la go de es a ase. Es e p oceso ayuda ambién a en ende el da ase y a a mejo con el mismo. El p ocedimien o a segui puede se di e en e en unción de la uen e y o ma o de los da os: dependen del ipo de iche o que se u iliza pa a gua da los da os y qué ipos de da os son los que con iene, pe o las a eas p incipales de p ep ocesamien o de da os no se e a ec ada po ello. Las a eas p incipales son [25]: Limpieza de da os: elimina o sus i ui da os sin alo , elimina da os con uido y ou lie s. T ans o mación de da os: no maliza los da os pa a educi la dimensionalidad y el posible uido. Reducción de da os: ealiza sampling de los da os ele an es o educi el núme o de a ibu os a únicamen e los más ele an es. Disc e ización de da os: con e i da os con inuos a disc e os o ca egó icos. En es e p ocedimien o, donde se busca cons ui modelos op imizados pa a que su endimien o sea el máximo posible, el da ase debe acili a dicho come ido. En muchas ocasiones, se mapean los da os pa a que sea posible u iliza los independien emen e del algo i mo. Es posible, a su ez, que sea in e esan e no maliza o es anda iza los da os en de e minadas ci cuns ancias pa a en ena con cie os algo i mos. Como el p oceso de mapeado y no malización se hace ex emadamen e cos oso cuan o mayo sea el núme o de a iables localizadas en los da os, un paso impo an e es a a de es a complejidad, eliminando a iables desde el p incipio, pe o solo aquellas cuyo apo e a las p edicciones sea bajo. Pa a la ealización de es e abajo se han u ilizado dis in os da ase s con dimensiones y ca ac e ís icas di e en es. El obje i o e a encon a una se ie da ase s, comp ende los da os que es os ep esen an y c ea unos modelos u ilizando dis in os ipos de algo i mos 25 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica de ap endizaje au omá ico con ellos. Más adelan e se encuen a la explicación de los da- ase s. Pa a lle a a cabo la limpieza, se u iliza án dis in os no ebooks de Jupy e pa a cada da ase . Los da ase s son de dis in os ámbi os, pe enecen a di e sas uen es y con ienen ipos de da os di e en es. El obje i o de es o es e cómo se adap a el mé odo de consenso plan eado a dichos ámbi os y cómo esponde an e clasi icaciones bina ias y mul iclase. Es e úl imo es el p incipal mo i o de u iliza a ios da ase en luga de únicamen e uno, ya que es p obable que el compo amien o en clasi icaciones bina ias o mul iclase sea dis- in o, y que po an o los esul ados ue an mejo es o peo es pa a unos da os en conc e o, haciendo que se pudie a llega a conclusiones e óneas. Si bien el uso de di e en es da- ase s no ga an iza pode da una espues a de ini i a, sí pe mi e e una cie a endencia. La limpieza de da os se ha ealizado sob e es os da ase a endiendo a cada uno de o ma di e en e y siemp e que se ha podido. Es a pa e es una p ác ica común, ya que muchos da ase con ienen casos con alo es inde e minados que acaban p oduciendo uido en los modelos. Algunos de los da ase u ilizados enían di ididos en dos di ec amen e de las uen es: uno con da os pa a en ena y o o con da os pa a es ea los modelos c eados. Es común que los da os se di idan en en enamien o pa a un 70-80 % de los casos disponibles y el es o se u ilicen pa a alidación y es ing. O os en cambio no enían di ididos, y se indica en su sección p opia si es así y cómo se ha ealizado la di isión. En es e caso, e a de i al impo ancia p oba el consenso sob e los mismos, con lo cual en algunos no se ha p es ado an a a ención a cómo de p ecisos e an los modelos o se han seleccionado po su sencillez en es e aspec o. Finalmen e se han u ilizado dos da ase s mul iclase y dos bina ios: Masas anómalas en mamas: da ase que ecoge da os sob e pacien es con masas sospechosas en las mamas, siendo casos de mamas malignas y benignas. Reconocimien o de dígi os esc i os a mano: da ase mul iclase donde se e- cogen da os sob e dígi os esc i os a mano de di e sas pe sonas. Da os de Telescopio MAGIC Gamma: da ase bina io con ins ancias pa a de ección de pa ículas gamma en la a mós e a. Tipos de ino: da ase mul iclase que ep esen a di e sas mues as de ino de es ipos di e en es. A con inuación se de allan aspec os impo an es sob e los di e en es da ase de o ma más conc e a y se especi ican las ans o maciones, si p oceden, ejecu adas sob e los mis- mos pa a c ea los modelos. 26 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM 4.1. Da ase de masas anómalas en mamas Es os da ase a an sob e masas y calci icaciones cance ígenas en mamas. [26] [27] [28]. Su es udio se basa en imágenes eales de mamog a ías, de las que se ob ienen los dis- in os da os de en ada analizando dichas imágenes y se gene an an o el da ase de en enamien o como el de p uebas con es a mecánica. Las ilas son los pacien es y las columnas los da os ecopilados, los cuales son: pa ien _id: el id asignado a cada pacien e, que puede epe i se ya que quizás se de ec en a ias masas sospechosas, o se lis en desde dis in a pe spec i a (indicado en image iew). b eas _densi y: indica la densidad de la mama. le o igh b eas : a iable pa a indica si la anomalía se localiza izquie do o de echo. image iew: C aniocaudal (CC) o Medio-la e al oblicuo (MLO). abno mali y_id: núme o de anomalía pa a ese pacien e. Es a a iable apa ece po que es necesa io en casos de pacien es con múl iples anomalías, necesi ándose e ique a cada una de o ma indi idual. abno mali y_ ype: indica si la anomalía es debido a una masa o calci icación. En es e caso, masas y calci icaciones ienen en da ase s sepa ados, y se decidió abaja sob e el p ime o, po lo que siemp e iene como alo ’mass’. mass_shape: o ma de la masa. mass_ma gins: es ado del bo de de la masa. assessmen : e aluación BI-RADS de los adiólogos. pa hology: indica si la masa es benigna o maligna. sub le y: clasi icación de los adiólogos de que an complicado e a iden i ica y analiza la anomalía en la imagen. image ile pa h: u l a la imagen comple a. c opped image ile pa h: u l a la imagen eco ada a la zona de la masa. ROI mask ile pa h: u l a la imagen con il o de píxels. Pa a es os da os, p ime o se ealiza una limpieza de aquellos que no son necesa ios o no apo an su icien e in o mación pa a pode ealiza las p edicciones (Figu a 4.1). Una ez que se ob ienen los da os necesa ios, es os se mapean pa a pode abaja con ellos ácilmen e. 27 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica 4.4. Da ase de clasi icación de inos Es e da ase [29] con iene mues as de es inos di e en es de la misma egión de I alia, pe o p oceden es de dis in as cul i a es. Conc e amen e, las a iables de las que cons an los casos de ejemplo son ca ac e ís icas (como puede se la in ensidad del colo ) o el an o po cien o de los componen es químicos p esen es en cada una. Todos los a ibu os son con inuos, y no exis e ningún caso de alo desconocido, po lo cual es e da ase no equie e ninguna ans o mación p e ia necesa ia en es os aspec os pa a abaja con el mismo, siendo es e el p incipal mo i o de selección del mismo. El da ase es pequeño, pe o no hay un g an desbalance en la ep esen ación de ninguna de las clases, la cual cons a de la siguien e o ma Figu a 4.2: Tipo Ins ancias 1 59 2 71 3 48 Cuad o 4.2: Núme o de ejemplos en wine da ase No cons a ninguna in o mación más al espec o del p oceso de ob ención de los a ibu- os ni se jus i ica la di e encia en ep esen ación de los es ipos de ino, pe o sí cons a que o ece unos esul ados sa is ac o ios, siendo es e o o mo i o po el cual se selecciona el da ase . Las a iables que con o man el da ase , aunque no son odos los esul ados del análisis químico, son las siguien es: Alcohol: can idad de alcohol en an o po cien o que con iene la mues a. Malic acid: can idad de ácido málico p esen e. Ash: can idad de ceniza. Alcalini y o ash: alcalinidad de dicha ceniza. To al phenols: núme o o al de ácidos enoles en la mues a. Fla anoids: po cen aje de compues os la anoides. Non la anoid phenols: po cen aje de enoles no la anoides. P oan hocyanins: po cen aje de es e ipo de enoles. Colo in ensi y: in ensidad del colo de la mues a. Hue: o o indicado que ma iza el colo po el ono. OD280/OD315 o dilu ed wines: mediciones sob e con enidos p o eicos. P oline: aminoácidos de la mues a. 34 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM 4.5. Conclusiones Como conclusiones, cabe des aca que el p oceso ha sido muy di e en e pa a el p ime da ase , pues o que sus da os es aban en b u o al habe se ob enido un da ase con da os ex aídos di ec amen e de las imágenes. Es po ello que el abajo pa a el mismo ha sido mayo , ya que eque ía la limpieza que se equie e en un caso eal. Pa a el es o de da ase s, al habe se ob enido de o ma que es e p oceso ya había sido aplicado an e io men e po los au o es, y al encon a se así en la uen e [29], la limpieza de da os necesa ia no es an pesada como en el p ime o. Es o explica que sus secciones y la can idad de pasos ealizados en su limpieza son meno es. La azón de es o es que se eque ían da ase s que pe mi iesen c ea modelos de o ma más ágil que el p ime o, ya que e a undamen al ene disponibles modelos de dis in os p oblemas. En cuan o a los ipos de da ase , pa a la búsqueda se iene en cuen a si son bina ios o mul iclase, pa a aplica p uebas en ambos ipos y pode ob ene un análisis de esul ados más elabo ado y undamen ado. 35 Capí ulo 5 Diseño e implemen ación de los algo i mos de consenso En es e capí ulo se explican los di e en es ipos de consenso que se han implemen ado du an e el p oyec o. Los mé odos se han implemen ado de ce o y han sido ejecu ados en dis in as con igu aciones y con di e en es p oblemas pa a conoce has a qué pun o esul a de in e és aplica es e ipo de algo i mos jun o a una se ie de modelos. 5.1. Implemen ación de mé odos En es a sección se explican los mé odos implemen ados, es deci , el mé odo de o o po mayo ía y los consensos de una y dos uel as, exponiendo desde su plan eamien o has a la lógica de ás de los mismos. Además se ilus a, de o ma esquemá ica, el uncionamien o paso a paso. 5.1.1. Vo o mayo ía Figu a 5.1: Diag ama de ac i idad de la unción del o o po mayo ía 37 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica El o o po mayo ía, al y como se puede obse a en el diag ama de ac i idad de la Figu a 5.1, unciona de o ma sencilla: se ecibe un caso a p oba , y es e es pasado pa a su e aluación a una lis a de modelos. Es os modelos gene a án una salida cada uno, y una ez ob enidos odos, se calcula la moda ( alo más epe ido), que se á la espues a inal. La implemen ación de es e algo i mo se ha lle ado a cabo median e el uso de uncio- nes de algunas lib e ías, las cuales son Coun e , de la lib e ía Collec ions y la unción G oupby de la lib e ía i e ools. El p ocedimien o implemen ado es el siguien e: el algo i mo ealiza un con eo median e median e la c eación de una lis a de uplas, donde apa ecen los alo es encon ados y su ecuencia. A con inuación, es os alo es se ag upan en un ec o de lis as median e la mencionada unción de G oupby, ag upando así los alo es de las uplas que ienen la misma ecuencia. Po an o, los alo es de la p ime a lis a del ec o de lis as son los alo es (o único alo ) más epe idos. Po decisión de implemen ación, el alo escogido es siemp e el p ime alo de la p ime a lis a del ec o . El código puede e se en la Figu a 5.2: Figu a 5.2: Código p incipal del o o po mayo ía Es a implemen ación se ha lle ado a cabo en luga de u iliza unciones de biblio ecas po es mo i os p incipales: La lib e ía s a is ics es la lib e ía que iene una unción mode, la cual calcula la moda de un ec o . Un p oblema que se encon ó es que en caso de habe más de una posible moda, se lanzaba una excepción. El segundo mo i o es consecuencia di ec a de la p ime a, y es que a pesa de pode a a dichas excepciones, esul aba más in e esan e pode ene más con ol sob e la unción en sí y que pudiese adap a se a posibles u u as necesidades. Además, es a implemen ación se ha lle ado a cabo de o ma que se e i a el p oblema mencionado an e io men e. El e ce mo i o es que que ía asegu a se el hecho de que se man u iese una p io i- dad en el o den, ya que los modelos es án o denados po sus mé icas de p ecisión (de o ma que p ime o se encuen an los modelos más p ecisos) den o de la lis a de modelos. Debido a es o, nos in e esa que se man enga el o den pa a da p io- idad de o ma implíci a a las espues as los modelos de mayo p ecisión. Du an e la implemen ación se iene especial a ención a es e de alle,y se ha co obo ado que los mé odos mencionados man ienen dicho o den. 38 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM Tal y como se comen ó en 3.2.1, es un mé odo ampliamen e u ilizado y de suma sim- pleza, que además de ac ua como un pseudo me aclasi icado en sí mismo, e a necesa io pa a ealiza la implemen ación de los algo i mos de consenso que se habían plan eado. Po an o, su inclusión no solo a o ece la a iedad de algo i mos p opo cionados, sino que si e de base pa a los consensos implemen ados. También se debe menciona que el hecho de que los modelos es én o denados de o - ma dec ecien e ( espec o a las mé icas de p ecisión) es una decisión omada en base a la p ác ica, en cuyas p uebas se comp obó que o ecía mejo es esul ados que un o den alea o io o c ecien e: es o se debe a la mencionada p io idad implíci a a los modelos más p ecisos. 5.1.2. Consenso con modelo KNN y el mé odo Delphi La implemen ación de los modelos se ha implemen ado eniendo como base el mé odo Delphi, cuya explicación podemos encon a en 3.2.2, ealizando po an o unas ondas de o aciones y discusiones. Es necesa io de ini un mode ado y unas nue as p egun as pa a gene a dichas discusiones. Es o se ha conseguido de iniendo un modelo Más e , cuya inalidad es ac ua como mode ado y p opo ciona nue as p egun as. Se ha op ado po que dicho modelo sea del ipo KNN, pudiendo con igu a a su ez el núme o de ecinos (nue as p egun as) que se de uel en po el mismo, lo cual p opo ciona una cie a posibilidad de adap abilidad a los di e en es da ase s según la dis ibución de los da os que p esen en. Pa a en ende po qué se ha u ilizado un modelo como mode ado y po qué conc e a- men e un KNN, hay que analiza el plan eamien o hecho du an e el desa ollo. La p ime a necesidad es una ealimen ación de algún ipo a los modelos una ez han dado ya una espues a an e un caso de p ueba: pues o que los modelos son de e minis as, de nada se - i ía p oba dándoles de nue o el mismo caso, ya que p opo ciona ían la misma espues a. Pa a soluciona las si uaciones de no unanimidad, había que in oduci un mecanismo de o ación (apoyado en el de la mayo ía, pa a aquellos casos donde no se alcance unani- midad pode da una espues a álida) que in odujese cie as a iaciones que pe mi iesen que la salida pueda se di e en e. An e es o se pueden plan ea a ias al e na i as: Una de las opciones se ía a ia lige amen e el caso de p ueba. Si se hiciesen pe- queñas a iaciones en los da os, es posible que la espues a sea dis in a pa a algún modelo y que el esul ado inal cambie. Es o iene más iesgos, pues o que sin se expe os en la ma e ia que a e el da ase en conc e o, no se puede sabe si se in- oduce un caso eal ni que ealmen e sea simila al p opo cionado. Tampoco exis e la posibilidad de indica a un modelo que a ienda con mayo ele ancia a unas u o as a iables, aunque bien es cie o que pueden abs ae se con cie as écnicas las a iables más ele an es, y no se ía lógico hace lo según un c i e io imp eciso y espe a un esul ado sa is ac o io de ello. La segunda opción pasa po encon a casos simila es al de p ueba. Pa a ello, se- ía necesa io algún mecanismo pa a consegui dichos casos, y no se ía muy lógico 39 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica in en a concebi un c i e io pa a disce ni si un caso es simila a o o dado y bus- ca lo den o de nues os p opios da os, ya que es o úl imo se ía ine icien e. An e es a si uación, las opciones pasaban po acudi a los p opios modelos, quienes ya es aban en enados con dichos da os. Aunque la mayo ía de algo i mos gene an un modelo de caja neg a, como las edes neu onales, sí hay algunos algo i mos que son capaces de de ol e un eedback una ez en enados median e alguna unción p opia, como lo son po ejemplo los clus e s de K-Means, capaces de de ol e el cen oide de cada clus e , o los modelos KNN, capaces de de ol e sus ecinos. En es e caso, la opción conside ada más segu a y iable e a la segunda: u iliza los modelos en enados pa a consegui un eedback que pe mi iese in oduci nue os casos como ealimen ación. Además es un plan eamien o más gene al, y no a iende al ipo de da ase o de da os, po lo que es más sencillo que puedan se p obados en e a es os mé odos. En p ime a ins ancia, an o K-Means como KNN e an capaces de ello, ya que en ambas posibilidades las ins ancias de los da ase s es án ubicadas en el hipe espacio de o ma ce cana a un caso de p ueba conc e o. También esas ins ancias son aquellas que ienen unas ca ac e ís icas más simila es al mismo, siendo los candida os más álidos pa a es e plan eamien o. Sin emba go, había que ene un pa de conside aciones en cuen a: La p ime a e a que, al menos en los expe imen os ealizados, no esul aban mejo es los modelos de K-Means que aquellos gene ados con KNN. La segunda, que K-Means solamen e podía de ol e un único caso po cada clus e con el API ac ual, el cen oide, mien as que KNN es capaz de de ol e has a K ecinos en unción de cómo haya sido c eado el modelo. Finalmen e se op ó po la ía de u iliza KNN po es os dos mo i os y po que el hecho de que haya, po encialmen e, más de un caso ecino (y no únicamen e uno, el co espondien e al clús e más ce cano). Hay que des aca que no es di ec o ob ene ecinos, ya que la unción enca gada de- uel e an o la dis ancia desde el caso de p ueba inicial a cada caso ecino como el índice que ocupa cada uno de dichos ecino en el se de en enamien o. Po an o, pa a ob- ene los da os de dichos ecinos, es necesa io acudi a dicho se , u ilizado o iginalmen e pa a en ena el modelo. En el siguien e agmen o de código, se puede e el uncionamien o del algo i mo pa a ob ene casos ecinos. Los pa áme os de en ada co esponden a la ins ancia del caso del que se quie en ob ene los ecinos y al núme o de los mismos deseados. Después se de uel e una lis a con los casos ecinos de uel os en la lis a indices, la cual con iene un núme o K de ecinos, siendo K el núme o de ecinos con el que se en enó a ese clasi icado KNN en conc e o. El código en cues ión puede e se en la Figu a 5.3 40 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM Figu a 5.3: Código pa a la ob ención de casos ecinos Una ez hecho es o, se puede gene a un nue o subse de da os de amaño 0 <n <= K, donde K se ía el núme o de ecinos con los que el modelo KNN se en enó. También hay que ene en cuen a que la mé ica que se indique como pa áme o al KNN se á i al a la ho a de gene a unos esul ados sa is ac o ios con ambos, pa a que las dis ancias en e casos semejan es se calcule con mayo p ecisión; un modelo gene ado de o ma inco ec a o con un da ase con uido pod ía p o oca que los ecinos no sean necesa iamen e casos simila es al de p ueba y po an o gene a ía más e o es. 41 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica 5.1.2.1. Consenso de una uel a Figu a 5.4: Consenso de modelos u ilizando Consenso de una uel a Tal y como se puede obse a en la Figu a 5.4, el p ocedimien o del consenso de una uel a iene a ias ases di e enciadas, u ilizando en las úl imas de ellas el algo i mo del o o de la mayo ía implemen ado, explicado en la sección 5.1.1. En el p ime compás de es e algo i mo se ecibe un caso de p ueba y se p egun a a la lis a de los modelos po el mismo. A con inuación, se comp ueba si exis e un consenso o al en las espues as, es deci , si hay una unanimidad. En caso de que es e sea el caso, el g ueso del algo i mo no se ejecu a, pues o que ya se ha llegado a un es ado que no puede mejo a se. En cambio, en caso de que no haya consenso, se calcula el alo más epe ido, es deci , la moda en e las espues as de los modelos y ambién se ealiza una pe ición al Más e pa a que p opo cione K casos ecinos, al y como puede e se en el 42 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM siguien e agmen o de código de la Figu a 5.5: Figu a 5.5: Ob ención de casos ecinos en si uación de no consenso y ealimen ación a la mino ía T as es o, se p egun a a los modelos cuya espues a no ue el alo más epe ido po sus esul ados pa a los K ecinos. Con es o cada modelo gene a un a ay de K espues as, calculando ac o seguido la moda del mismo pa a ob ene una nue a espues a de cada modelo. Una ez ob enidas esas nue as espues as de los modelos, es as se cambian en el a ay o iginal de espues as, calculando de nue o la moda del mismo y omando dicha espues a como inal. En la imagen a con inuación de la Figu a 5.6 puede e se el código de dicha onda de consenso: Figu a 5.6: Código de una onda de consenso Puede da se el caso de que no haya unanimidad e incluso de que haya a ias modas, en cuyo caso se op a po de ol e , ambién en es e algo i mo como ya se hacía en el o o de la mayo ía (explicado en la sección 5.1.1), la p ime a de las modas. 43 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica Figu a 6.4: Ca ga de iche o de p ueba U ilizando el mismo p oceso pe o con Load T aining Da ase , como se indica en la Figu a 6.5, se ca ga el iche o con los da os de en enamien o. En ambos casos solo se admi en iche os de ex ensión cs . Figu a 6.5: Ca ga de iche o de en enamien o Se debe indica pa a ambos a con inuación si los da ase s ienen o no cabece a: Figu a 6.6: Diálogo pa a indica si ienen cabece a los da ase s Una ez se han ca gado los da ase s co ec amen e, se p ocede a ca ga los modelos de clasi icación en la sección de load, se selecciona Load models como puede e se en la Figu a 6.7, y se indica el di ec o io del que se desean ob ene los modelos, al y como se indica en la Figu a 6.8. 50 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM Figu a 6.7: Ca ga de los modelos de clasi icación Figu a 6.8: Selección del di ec o io con los modelos 6.2. Caso de uso de la ejecución de modelos y mé o- dos de consenso No es necesa io un modelo Más e pa a ejecu a el consenso po mayo ía (pa a más in- o mación al espec o, se puede lee en 5.1.1), po ello pulsando el bo ón de Run Da ase s- Tes cases con es e algo i mo, se ob ienen los esul ados de los es s de p ueba: 51 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica Figu a 6.9: Vo o po mayo ía En la Figu a 6.9 podemos e la salida co espondien e a la ejecución del o o de la mayo ía pa a los da os de es . En la misma se indica el núme o co espondien e al caso, las a iables del mismo y las espues as pa a cada modelo, además del esul ado inal del algo i mo. Pa a ejecu a los algo i mos de consenso, sí es necesa io ca ga el modelo Más e , po ello hay que selecciona en la sección de Load el apa ado de Load Mas e Model, como puede e se en la Figu a 6.10, y una ez se despliega la en ana de ayuda, selecciona un modelo del ipo KNN, como se indica en la Figu a 6.11, pa a que la ca ga se ealice co ec amen e. Figu a 6.10: Ca ga del modelo Más e 52 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM Figu a 6.11: Selección del modelo Más e T as la co ec a ca ga de da os, se ejecu a el algo i mo de consenso de una onda (más in o mación al espec o en la sección 5.1.2.1), seleccionándolo en el combobox de la pa e supe io izquie da de la in e az. En es e caso se selecciona One Round Consensus,y el alo de la K en el spinbox, y así indica cuán os ecinos se u ilizan pa a con ence a los modelos en sus nue as espues as. P ime o se u iliza k = 2, cuya ejecución se mues a en la Figu a 6.12, y luego pa a k = 4, cuya ejecución se mues a en la Figu a 6.13 pa a compa a los dis in os esul ados del consenso. Figu a 6.12: Resul ados del consenso de una uel a K = 2 53 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica Figu a 6.13: Resul ados del consenso de una uel a K = 4 En las an e io es imágenes se puede e el eedback que o ece la aplicación, mos an- do al igual que en el o o de la mayo ía el núme o de caso, los da os del mismo y las espues as de cada modelo. Dependiendo de si hay consenso o no, se mues a la espues a inal, como puede e se en el Caso 4 de la imagen, o se pasa a la onda de consenso, como ocu e en el Caso 5, donde se p egun a a los modelos cuya espues a no ha sido el alo de moda po el núme o K de ecinos del spinbox de la pa e supe io . Puede a su ez obse a se que el a ay de espues as en el mencionado caso cambia as la onda de consenso. También puede selecciona se el algo i mo Two Rounds Consensus (más in o mación puede encon a se en la sección 5.1.2.2) en el combobox y p oba dis in os alo es de K, en los ejemplos siguien es de la Figu a 6.14 y la Figu a 6.15 se mues an los esul ados u ilizando K = 2 y K = 4: 54 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM Figu a 6.14: Resul ados del consenso de doble uel a K = 2 Figu a 6.15: Resul ados del consenso de doble uel a K = 4 Aquí, al igual que an e io men e, podemos e que se ejecu an ondas de consenso en caso de no ene unanimidad. El eedback es p ác icamen e el mismo que en el consenso de una onda, sal o po el hecho de que puede habe has a dos ondas di e en es. También podemos obse a los cambios que se dan en el a ay de espues as de los modelos. Una ez se han ob enido los esul ados en las p edicciones con las ejecuciones de los dis in os algo i mos, se puede compa a es os esul ados con los clasi icado es adicio- nales. La p ecisión de es os úl imos puede compa a se con la de los algo i mos que se 55 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica hayan ejecu ado, como se mues a en la Figu a 6.16, y alo ando así si el uso de los algo i mos de consenso es posi i o con espec o a los esul ados en e ellos y los modelos de clasi icación adicional. Figu a 6.16: P ecisiones en los esul ados de los clasi icado es y los algo i mos de consenso Pues o que el consenso de dos uel as ha sido el que ha demos ado una mejo mé ica, se u iliza ía pa a p edeci casos simples esc i os a mano en el inpu supe io de echo de la in e az, como puede e se en la Figu a 6.17, y pa a ejecu a lo y ob ene la p edicción a es e caso simple, hab ía que pulsa el bo ón de Run Inpu Case. Figu a 6.17: P edicción pa a un Inpu Case 56 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM Además, desplegando la sección de Models, como puede e se en la Figu a 6.18, puede selecciona se la opción de añadi o elimina clasi icado es de la lis a ac ual. Pa a ello, seleccionamos el modelo que quie a añadi se o elimina se de la lis a, como se indica en la Figu a 6.19 Figu a 6.18: Opciones en la sección de Models Figu a 6.19: Selección del modelo a bo a También pueden ejecu a se modelos adicionales con o ma o .pkl desde la opción de la sección Models de la ba a de menú. En la Figu a 6.20 puede e se el eedback en dicho caso. Figu a 6.20: U iliza un clasi icado adicional pa a p edeci el caso del inpu Los esul ados ob enidos po los algo i mos de consenso, p edicción pa a cada caso y po cen aje inal de acie o, se han dejado comple ados en el no ebook Main-da a en el di ec o io del p oyec o. 57 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica 6.3. Modelo-Vis a-Con olado Pa a diseña una in e az que enga el compo amien o an e io , se p opone la a qui- ec u a que puede e se en la Figu a 6.21. Figu a 6.21: Diag ama de clases La aplicación sigue la es uc u a del pa ón modelo- is a-con olado . La comunicación en e es as pa es se ealiza de o ma que si el usua io in e ac úa con los bo ones de la GUI, es a se lo ansmi e al con olado , y el con olado c ea una ins ancia del comando 58 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM adecuado e indica que se ejecu e la unción co espondien e en el modelo. La in o mación que debe mos a se al usua io es de uel a al ejecu a se un e en o du an e la ejecución de la unción del modelo, esc ibiendo así en la is a la in o mación ele an e pa a el usua io. En la Figu a 6.22 puede e se un diag ama de secuencia de una in e acción con la aplicación. Figu a 6.22: Diag ama de secuencia Ven ana: pa e g á ica que ep esen a el modelo de o ma adecuada, donde el usua io puede in e ac ua ácilmen e con la aplicación. Ac úa como ecep o (lis ene ) du an e la ejecución de e en os que se p oducen en el modelo pa a isualiza lo que a ocu iendo du an e la ejecución en la consola de salida y comunica las acciones ealizadas po el usua io di ec amen e al con olado . Con olado : ac úa de in e media io en e el modelo y la is a, ealizando las pe iciones de in o mación y ejecución al modelo, pe mi iendo sepa a así la lógica de la aplicación de la pa e isual. Comandos: con el pa ón de comandos se consigue solici a acciones al modelo, c eándose una ins ancia de un obje o Comando adecuada a la acción a ealiza . Es o pe mi e, además, pode inclui con acilidad o os comandos nue os pos e io men e pa a aumen a la uncionalidad. Lis a de modelos: es la ep esen ación de la in o mación ela i a a los modelos y da ase s, ges ionando el acceso a dicha in o mación y las ope aciones que se ealizan sob e las mismas. Ac úa como emiso (emi e ) de in o mación pa a que la is a eciba in o mación sob e la ejecución. E en os: son señales que la GUI ecibe desde el modelo pa a ejecu a cie as acciones en la salida de la in e az. Cada una de las clases mencionadas han sido implemen adas en un a chi o de ex ensión .py, aunque cabe menciona que odas las clases de comandos se han implemen ado en el 59 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica Figu a 7.4: P ecisiones ela i as al da ase de ipos de ino La ejecución de los casos de es pa a es as con igu aciones y odos los modelos pue- den encon a se en la ca pe a Resul ados del p oyec o, con el nomb e co espondien e al da ase . 7.2. Conclusiones gene ales T as analiza odos los esul ados, se puede conclui que en gene al es especialmen e impo an e que el modelo KNN que ac úe de Más e u ilice una mé ica adecuada al p oblema, es deci , que consiga p opo ciona unos ecinos que e ec i amen e sean casos simila es. Dependiendo de la mé ica u ilizada y de la dis ibución de los da os en un da ase conc e o, es posible que, a pesa de que un modelo KNN sea supe io si a ende- mos a su p ecisión, la mé ica del en enamien o no se ajus e adecuadamen e a la unción que lle a a cabo como Más e . Po an o, podemos deci que la p ecisión no a ec a en úl ima ins ancia a los esul ados, pues o que ac úa como una uen e de la que ob ene nue os casos. La p ecisión solo a ec a en el caso que es é si uado jun o a la lis a de modelos que an a lle a a cabo el consenso Pa a co obo a es o, se han lle ado a cabo dis in as p uebas en odos los da ase s, e i ando únicamen e no a ia la mé ica du an e el en enamien o, y los esul ados han sido exac amen e los mismos en odos los casos pa a el mismo alo de K. Podemos deci , po an o, que a la ho a de u iliza un modelo KNN como Más e debemos a ende únicamen e a la cons an e K, que de e mina á el núme o de ecinos que podemos pedi le al modelo y a la mé ica u ilizada. Es o implica ía que quizá sea adecuado gene a un modelo exclusi amen e pa a ealiza es a unción. 66 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM Así, los equisi os pa a u iliza de o ma adecuada los algo i mos de consenso se ían: Una lis a de modelos donde exis an al menos dos modelos Un modelo KNN que ac úe como Más e y cuya mé ica es é adecuada al p oblema. P opo ciona los da os con los que se en ena on los modelos, con el in de pode de ol e casos ecinos. Una ez p opo cionada esa base, se puede deci que los algo i mos de consenso pueden ejecu a se con cie as ga an ías, si bien es o no signi ica que los esul ados ayan a me- jo a , como ocu e en 7.1.4. Más que hace de apoyo sob e el modelo con mejo po cen aje y ayuda a ace a los casos que no son co ec os, ambién puede da se que casos co ec os pasen a se inco- ec os, ya que odos los modelos ponde an po igual, a excepción de una si uación de empa e, donde se ponde a según el o den de apa ición en la lis a. Es po ello que si la di e encia en el% en e modelos es de un in e alo g ande, al ejecu a con odos los modelos es muy di ícil supe a al mejo de es os, aunque sob epasa la media sí es ac ible. Pues o que el po cen aje del KNN no a ec a en las p edicciones, sino en los ecinos ge- ne ados pa a la búsqueda del consenso, si su% de acie o es mucho mayo que el es o de modelos, es muy di ícil alcanza lo, ya que las p edicciones las ha ían el es o de modelos y los esul ados a ia ían en o no a ellos. La si uación ideal es que el in e alo en e la mejo de las p ecisiones y la peo sea lo meno posible y que el modelo KNN enga la mé ica más ap opiada. Po úl imo, me ece la pena explica un pa de casos hipo é icos donde se isualice el po qué exis e una di e encia en e el algo i mo del o o de la mayo ía y el consenso de una onda en da ase s mul iclase y no en bina ios, podemos ilus a lo con los siguien es: Ejemplo bina io: si se dispone de la siguien e p edicción [1 1 1 0 0 0] (caso lími e donde ambos alo es son moda), la mayo ía es uno, po que hay an os unos como ce os, pe o es e apa ece an es (o den po p ecisión), y si a amos de con ence a los ce os con el consenso de 1 uel a, en ningún caso el esul ado se á dis in o de 1. Es o se debe a que es os ce os segui án con su alo o cambia án a uno, mien as que el es o no a ia á, no cambiando así el esul ado inal. El amaño de la lis a de modelos a con ence es meno o igual al amaño de la lis a de modelos que cumplen la mayo ía, po lo que nunca se á o o alo inal as ejecu a el consenso. Ejemplo mul iclase: si se dispone de la siguien e p edicción [5 5 5 3 3 8 8], la mayo ía es cinco, pe o en el consenso de 1 uel a, donde se an a in en a con ence a los modelos que espondie on 3 y 8, es os pueden pone se de acue do y alcanza una mayo ía dis in a de cinco, como pod ía se [5 5 5 8 8 8 8], pues o que los modelos que espondie on con 3 pueden cambia de opinión y esul a en o o núme o dis in o al de la mayo ía. Si el amaño de la lis a de modelos a con ence es mayo que el amaño de la lis a modelos que cumplen la mayo ía, en onces puede da se un caso como el del ejemplo y que el esul ado inal cambie. 67 Capí ulo 8 Conclusiones y abajo u u o Vis os los esul ados y análisis de los mismos expues os en el capí ulo 7, puede a i - ma se que la adecuación del algo i mo de consenso al p oblema es de especial impo ancia. Se han implemen ado es os algo i mos de consenso con una unción en la que se ecogen las espues as de odos los modelos lis ados y se e ec úa un ecuen o de o os. Respec o a la c eación de modelos, se decide u iliza aquellos de ap endizaje supe isado y siemp e y cuando los esul ados engan una p ecisión supe io al 70 %. Los casos en los que dos o más de los posibles esul ados coinciden en núme o de o os se e ique an de pelig osos, ya que la unción mode() de la lib e ía ma hs no es capaz de esol e es os casos y se p oducen excepciones que de ienen la ejecución. Se implemen a una moda que sea capaz de esol e es os casos donde a ias modas ienen el mismo g ado de apa ición (Apa ado 5.1.1). En los inicios del p oyec o, se plan eó la u ilización de un único da ase , aunque du an- e el análisis de los esul ados del mismo, se obse ó que no exis ía una di e encia en e los esul ados ob enidos con el algo i mo de o o de la mayo ía y los ob enidos con el consenso de una única onda. 7.2. Es o se debía a que el da ase es del ipo bina io, es deci , las e ique as posibles de las ins ancias son o bien 0 o bien 1. An e es o, se llegó a la conclusión de que e a necesa io plan ea dichos algo i mos con di e en es ipos de da ase si que ía e se con una pe spec i a más obje i a el endimien o de odos los algo i mos de consenso. Po ello, se op ó a la u ilización de da ase s mul iclase, es deci , uno en el que las posibles e ique as de cada ins ancia sean más que 0 o 1. Como se comen ó en 4.5, la búsqueda de dichos da ase se hizo a endiendo ambién a su p edisposición a la limpieza, ya que se que ía p io iza la u ilización de más da ase s. En cuan o a los esul ados ob enidos, queda pa en e que en nues os algo i mos en pa icula es muy ele an e la mé ica (usada como pa áme o) pa a el en enamien o del modelo KNN u ilizado como Más e , como ya se comen ó en la sección 7.2, ya que es a mé ica u ilizada es la que de e mina á los ecinos de uel os pa a su análisis en las ondas de discusión de los algo i mos. Se puede deci que la dependencia de la bondad de dichos casos ecinos es muy al a, y que es de i al impo ancia ene es e ac o en cuen a. Se ía impo an e que el modelo u ilizando como Más e u ilice una mé ica que se adap e al p oblema conc e o, es deci , se ía ecomendable gene a modelos KNN cuya 69 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica inalidad sea exclusi amen e ac ua como Más e con los dis in os ipos de mé icas que o ecen en la lib e ía de sklea n, dejando de lado las mé icas de p ecisión, y u iliza el modelo que o ezca mejo es esul ados jun o a los algo i mos. Es o se debe a que la ubicación en el hipe espacio de los da os es un ac o que cambia de o ma d ás ica de un p oblema a o o, y pa a cada uno es con enien e la u ilización de un sis ema de mé icas dis in o. También cabe des aca que, aunque los esul ados espe ados e an que las mé icas de bondad de los algo i mos de consenso ue an mejo es que aquellas alcanzadas po los modelos, no es así en odos los casos. También se espe aba que el consenso de dos ondas mejo ase los esul ados del consenso de una sola onda, quien a su ez mejo a ía aquellos del o o de la mayo ía. Tal y como se comen a en 7.2, es o no es siemp e así, y depende del p oblema en conc e o y las ca ac e ís icas del da ase , más conc e amen e de la dis- ibución de los da os. Es o queda e lejado en los esul ados ob enidos en 7.1.3, 7.1.4. En de ini i a, podemos conclui que los algo i mos de consenso y la usión de modelos puede po encialmen e aumen a el endimien o de los modelos de Machine Lea ning gene- ados con los algo i mos adicionales, a pesa del aumen o de la ca ga compu acional que eso conlle a. Es impo an e p es a a ención especialmen e a cuál usa en cada p oblema y ene una isión pano ámica de los esul ados que nos o ecen odas las posibilidades an es de usa cualquie me aclasi icado , al y como se hace con cualquie algo i mo más adicional. 8.1. T abajo u u o Respec o al abajo u u o, pod ía deci se que hay a ias posibilidades al espec o: Exis en algo i mos de o ación y consenso, como los encon ados du an e la ase de in es igación, que pod ían inclui se en e las posibilidades que acili e la aplicación. Es o ha ía que la misma u ie a un mayo espec o de posibles aplicaciones, ya que pod ía alo a se el uso de una can idad mayo de me aclasi icado es. Cabe des aca al espec o que el p oyec o se ha lle ado a cabo de o ma que nue os mé odos de consenso puedan inclui se ácilmen e. Algunos aspec os de la in e az pod ían amplia se, añadiendo más uncionalidades o secciones que pudiesen conside a se con enien es. Quizá ambién, con una in- clusión de algo i mos de consenso o usión di e en es, sean necesa ias secciones no conside adas du an e es e p oyec o. Los algo i mos desa ollados pod ían in es iga se más en p o undidad, usando un mayo núme o de p oblemas y analizando los esul ados ob enidos. Una a ian e de los mismos de especial in e és se ía aquella ealizada con p ediccio- nes es adís icas, donde el esul ado sea la p obabilidad de pe enencia a las clases en luga de la p opia clase. Es o di e encia ía los esul ados del o o de la mayo ía y del consenso de una uel a pa a los da ase s bina ios. 70 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM Ac ualmen e los da os a u iliza deben pe enece a ipos numé icos, ya que odos nues os da ase s u ilizan únicamen e dichos ipos, y pod ía amplia se pa a acep a cualquie ipo de da o de en ada. Ac ualmen e la columna de clase se supone siemp e po de ec o que es la úl ima, ya que puede habe p oblemas en de ec a es o dependiendo de si el da ase iene o no cabece as. Una posible mejo a se ía p egun a al usua io el nomb e en caso de que enga heade o p egun a po el núme o de columna co espondien e a la clase, haya heade o no. Exis e un incon enien e en el en ío de e en os, ya que aunque p og amá icamen e los e en os es án implemen ados de o ma que debe ían en ia se de o ma paula ina, se p oduce una espe a y se en ían odos jun os. El p oblema pod ía posiblemen e e i a se median e la inclusión de los e en os de o ma asínc ona, aunque no ha sido posible comp oba es o po al a de iempo. 71 Capí ulo 9 Conclusions and u u e wo k A e analyzing he esul s as shown in chap e 7, he adecua ion o he consensus algo i hms is specially impo an . These consensus algo i hms ha e been implemen ed as a unc ion in which he espon- ses o all lis ed models a e collec ed and hen a o e coun is made. Abou he models’ c ea ion, i is decided o use hose o supe ised lea ning and as long as he esul s ha e an accu acy g ea e han 70%. The cases we e wo o mo e possible ou pu s a e e en in numbe o o es a e labeled as cases ha need a en ion, since he mode unc ion o he Ma h lib a y is no capable o esol e his kind o si ua ion, so a excep ion is aised. The implemen a ion o a majo i y o e unc ion was conside ed he bes way o go, we e we could manage his and some o he possible p oblems in he u u e, ha ing mo e con ol o e ha . When he p ojec s a ed, i was only conside ed o use only one da ase , bu du ing he analysis o he esul s i was obse ed ha he e was no di e ence be ween he esul s o he majo i y o e and he one ound consensus7.2. This is due o he da ase being bina y, his is, he labels o he ins ances a e ei he 0 o 1. The conclusion so was ha he use o mo e da ase s was manda o y i he analysis o he esul s was expec ed o be ai and obje i e. This is why he mul iclass da ase (da ase s we e he possible labels a e mo e han 0 o 1) is used. As commen ed a 4.5, he esea ch o he da ase s was a ending o his ac , looking o hose who we e mo e p one o be cleaned and mapped, p io izing hose da ase o be used. Abou he ob ained esul s, i is clea ha in ou algo i hms he me ic used aining he KNN model ha will be used as Mas e model is he mos ele an hing abou i , as al eady men ioned in sec ion 7.2. This is because his me ic will de e mine which neighbo s will be e u ned o i s analysis in he discussion ounds o he algo i hms. We can say ha he depence o he goodness o hese neighbo s is e y high, and ha is e y impo an o ake his ac o in o accoun . I is impo an ha he model used as Mas e implemen s a me ic adap ed o he p oblem, his is, i is ecommendable o gene a e as much models as possible me ics a e in sklea n lib a y and which i s only pu pose is being used as a candida e Mas e . Me ics like accu acy a e i ele an o his pu pose, so he me ic ha shows be e accu acy 73 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica when used along he algo i hms is he one which should be used. The eason why is because he da a dis ibu ion is di e en in each p oblem, so he bes me ics a e also di e en om one o ano he . E en i he esul s and he goodness o he consensus algo i hms we e expec ed o be be e ha hose o he models, ha is no always he case. I was also expec ed a be e pe o mance o he wo ounds consensus algo i hm o e he pe o mance o he one ound consensus, which was also expec ed o ha e be e esul s han hose o he majo i y o e. As is commen ed a 7.2, his is no always he case nei he , and i depends on he pa icula p oblem and he da ase cha ac e is ics, specially he da a dis ibu ion. This is also commen ed a 7.1.3, 7.1.4. All in all, we can say ha he consensus algo i hms and he usion o models can po- en ially boos he pe o mance o he Machine Lea ning models, despi e he compu ional cos . I is impo an o ake a deep look a he pe o mance in e e y pa icula p oblem and ha e an o e iew o he esul s o all he possibili ies be o e using any o he me a classi ie algo i hms be ode we use hem, jus as we do wi h he adional ones. 9.1. Fu u e wo k Abou u u e wo k, he e a e a ew possibili ies: The e a e o ing and consensus algo i hms, like hose ound du ing he in es iga- ion, ha could be included in he applica ion. This would made i mo e a ied and mo e p oblems would i in he possibili ies, which would also imp o e he amoun o possible me aclassi ie s o use. The p ojec has been done wi h his in mind, so new algo i hms could be included wi h ease. Some ma e s abou he in e ace could be be e , adding some new uncionali ies i needed o new sec ions ha could be conside ed o ele ance. Maybe he inclusion o new algo i hms would make his manda o y as no all he possibili ies ha e been conside ed. The de eloped algo i hms could be in es iga ed mo e deeply, using mo e da ase s and analysing he ob ained esul s. A a ian o in e es would be one in which he esul s a e p obabili ies o class ins ead o he class i sel . This would di e ence he esul s o bina y da ase s be ween he majo i y o e and he one ound consensus. Cu en ly he only accep ed inpu da a a e nume ic ypes, as all o ou da ase s a e ype numbe ed, and his could be ex ended o any ype o da a. Cu en ly he label column is supposed o be he las one, as he e a e p oblems wi h heade s and wi hou hem, so he las one is expec ed o be he label by de aul . A possible imp o emen would be o ask he use he name o he column i he e is a heade o he numbe in any case. 74 Aplicación de sis emas de consenso sob e modelos de Machine Lea ning UCM The e is a p oblem ega ding he e en s. E en hough he e en s a e supposed o be sen g adually, he e is an implici wai and all o hem a e sen all oghe e . This may be ixed by he use o asynch onous e en s, bu i could no be checked due o lack o ime a he end o he p ojec . 75 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica 6.6. Diálogo pa a indica si ienen cabece a los da ase s . . . . . . . . . . . . 50 6.7. Ca ga de los modelos de clasi icación . . . . . . . . . . . . . . . . . . . . 51 6.8. Selección del di ec o io con los modelos . . . . . . . . . . . . . . . . . . . 51 6.9. Vo opo mayo ía............................... 52 6.10. Ca ga del modelo Más e . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 6.11. Selección del modelo Más e . . . . . . . . . . . . . . . . . . . . . . . . . 53 6.12. Resul ados del consenso de una uel a K = 2 . . . . . . . . . . . . . . . 53 6.13. Resul ados del consenso de una uel a K = 4 . . . . . . . . . . . . . . . 54 6.14. Resul ados del consenso de doble uel a K = 2 . . . . . . . . . . . . . . 55 6.15. Resul ados del consenso de doble uel a K = 4 . . . . . . . . . . . . . . 55 6.16. P ecisiones en los esul ados de los clasi icado es y los algo i mos de consenso 56 6.17. P edicción pa a un Inpu Case . . . . . . . . . . . . . . . . . . . . . . . . 56 6.18. Opciones en la sección de Models . . . . . . . . . . . . . . . . . . . . . . 57 6.19. Selección del modelo a bo a . . . . . . . . . . . . . . . . . . . . . . . . 57 6.20. U iliza un clasi icado adicional pa a p edeci el caso del inpu . . . . 57 6.21.Diag amadeclases.............................. 58 6.22. Diag ama de secuencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 7.1. P ecisiones ela i as al da ase de masas en mamas . . . . . . . . . . . . 62 7.2. P ecisiones ela i as al da ase de dígi os . . . . . . . . . . . . . . . . . . 63 7.3. P ecisiones ela i as al da ase de pa ículas . . . . . . . . . . . . . . . . 65 7.4. P ecisiones ela i as al da ase de ipos de ino . . . . . . . . . . . . . . 66 82 Índice de cuad os 4.1. Núme o de ejemplos en el da ase de en enamien o de pendigi s . . . . . 32 4.2. Núme o de ejemplos en wine da ase . . . . . . . . . . . . . . . . . . . . 34 7.1. Ma iz de con usión pa a el consenso de doble uel a con K = 3 . . . . . 64 83 Bibliog a ía [1] Wikipedia con ibu o s. K-nea es neighbo s algo i hm. 9 2019. h ps://en. wikipedia.o g/wiki/K-nea es _neighbo s_algo i hm. [2] A inash Na lani. Knn classi ica ion using sciki -lea n. 08 2018. h ps://www. da acamp.com/communi y/ u o ials/k-nea es -neighbo -classi ica ion-sciki -lea n. [3] Zoha Ka nin Gi ansh Chadh, Piali Das. K-means clus e- ing. 11 2018. h ps://aws.amazon.com/es/blogs/machine-lea ning/ k-means-clus e ing-wi h-amazon-sagemake /. [4] Sciki lea n de elope s. Clus e ing. 2007 - 2019. h ps://aws.amazon.com/es/blogs/ machine-lea ning/k-means-clus e ing-wi h-amazon-sagemake /. [5] Wikimedia Commons. Kmeans-gaussian-da a.s g, 2017. h ps://commons. wikimedia.o g/w/index.php? i le=File:KMeans-Gaussian-da a.s g&oldid= 271403304. [6] Wikipedia con ibu o s. Suppo - ec o machine. 9 2019. h ps://en.wikipedia.o g/ wiki/Suppo - ec o _machine. [7] sciki -lea n de elope s. Plo di e en s m classi ie s in he i is da ase , 2010 - 2016. h ps://sciki -lea n.o g/0.18/au o_examples/s m/plo _i is.h ml. [8] Wikipedia. Á bol de decisión, 2019. h ps://es.wikipedia.o g/w/index.php? i le= %C3%81 bol_de_decisi%C3%B3n&oldid=117562795. [9] Wikimedia Commons. A bol decision, 2013. h ps://commons.wikimedia.o g/w/ index.php? i le=File:A bol_decision.jpg&oldid=103073462. [10] Sciki lea n de elope s. Ensemble me hods. 2007 - 2019. h ps://sciki -lea n.o g/ s able/modules/ensemble.h ml# o es /. [11] A inash Na lani. Unde s anding andom o es s classi ie s in py hon. 05 2018. h ps: //www.da acamp.com/communi y/ u o ials/ andom- o es s-classi ie -py hon. [12] Wikipedia. Reg esión logís ica, 2019. h ps://es.wikipedia.o g/w/index.php? i le= Reg esi%C3%B3n_log%C3%ADs ica&oldid=116126298. [13] ODSC Open Da a Science. Logis ic eg ession wi h py hon. 04 2019. h ps:// medium.com/@ODSC/logis ic- eg ession-wi h-py hon-ede39 8573c7. [14] Wikipedia. Red neu onal a i icial, 2018. h ps://es.wikipedia.o g/w/index.php? i le=Red_neu onal_a i icial&oldid=117638543. 85 G ado en Ingenie ía de Compu ado es Facul ad de In o má ica [15] Fe nando Sancho Capa ini. Redes neu onales: una isión supe icial, 2018. h p: //www.cs.us.es/~ sancho/?e=72. [16] Wikimedia Commons. Colo ed neu al ne wo k, 2018. h ps://commons.wikimedia. o g/w/index.php? i le=File:Colo ed_neu al_ne wo k.s g&oldid=279111871. [17] Md Kam uzzaman Sa ke , Kazi Alam, and Md A i uzzaman. Emo ion ecogni ion om speech based on ele an ea u e and majo i y o ing. pages 1–5, 05 2014. [18] Ma hias Bou el, Ca olina C isci, and Ana Ma ínez. Consensus me hods based on machine lea ning echniques o ma ine phy oplank on p esence-absence p edic ion. Ecological In o ma ics, 42, 09 2017. [19] F ed Xue, R Subbu, and P Bonissone. Locally weigh ed usion o mul iple p edic i e models. pages 2137 – 2143, 01 2006. [20] Jo ge Gómez-Sanz and Rubén Fuen es-Fe nández. Re isi ing he delphi me hod o agen s. olume 524, pages 367–376, 06 2015. [21] Gajend a Ka uwal and Robe Chen. Machine lea ning model in e p e abili y o p ecision medicine. 10 2016. [22] Ad ien Bibal and Benoî F énay. In e p e abili y o machine lea ning models and ep esen a ions: an in oduc ion. 04 2016. [23] Gajend a J. Ka uwal and Robe Chen. Machine lea ning model in e p e- abili y o p ecision medicine. 2016. h ps://pd s.seman icschola .o g/7070/ 95416e8d814c08a2 33e7533ddae d 4 338.pd . [24] Web o icial de py hon. h ps://www.py hon.o g/downloads/ elease/py hon-364. [25] azu e-docs.es es. Ta eas pa a p epa a los da os pa a el ap endizaje au omá i- co mejo ado. 11 2017. h ps://docs.mic oso .com/es-es/azu e/machine-lea ning/ eam-da a-science-p ocess/p epa e-da a. [26] Assa Hoogi Daniel Rubin Rebecca Sawye Lee, F ancisco Gimenez. Cu a ed b eas imaging subse o ddsm. he cance imaging a chi e. 2016. [27] Assa Hoogi Kanae Kawai Miyake Mia Go o oy Daniel L. Rubin. Rebecca Saw- ye Lee, F ancisco Gimenez. A cu a ed mammog aphy da a se o use in compu e - aided de ec ion and diagnosis esea ch. scien i ic da a olume 4. 2017. h ps: //www.na u e.com/a icles/sda a2017177. [28] Smi h K F eymann J Ki by J Koppel P Moo e S Phillips S Ma i D P ingle M Ta box L P io F. Cla k K, Vend B. The cance imaging a chi e ( cia): Main aining and ope a ing a public in o ma ion eposi o y, jou nal o digi al imaging, olume 26, numbe 6. pages 1045 – 1057, 12 2013. h ps://link.sp inge .com/a icle/10.1007% 2Fs10278-013-9622-7. [29] Dhee u Dua and Casey G a . UCI machine lea ning eposi o y, 2017. h p://a chi e. ics.uci.edu/ml. 86 PASCAL ENERO 2018 Ul . ac ualización 20 de sep iemb e de 2019 L A TEX lic. LPPL & powe ed by TEFLONCC-ZERO Es e documen o es a ealizado bajo licencia C ea i e Com- mons “CC0 1.0 Uni e sal”.