El papel de la estadística en la detección del fraude bancario

Facul ad de es udios es ad ´ ıs icos T abajo de Fin de G ado El papel de la es ad´ıs ica en la de ecci´on del aude banca io Ma ´ıa Te esa Villanue a Mo eno supe isado po D. En ique Gonz´alez A ang¨uena Julio Cu so 2019-2020 Abs ac Es e documen o p esen a un p ime ace camien o a algunas ´ecnicas es ad´ıs icas u ilizadas pa a la de ecci´on del aude banca io. Aplicando modelos p obabil´ıs icos, se p e ende e ique a ansacciones como audulen as o leg´ı imas. Pa a es e p oceso de clasi icaci´on a menudo se in en a cap u a pa ones de aude. Sin emba go, la cons an e inno aci´on en las es a egias de enga˜no di icul a es a a ea. Po es e mo i o, se in oducen ambi´en modelos de de ecci´on de cualquie compo amien o di e en e, pa a examina los con de enimien o despu´es. Pa iendo de una abla que con iene in o maci´on sob e miles de ansacciones y de modelos de clasi icaci´on, ¿se pod ´a de ec a ´agilmen e el aude en u u as ansacciones? English Abs ac This documen is an app oach o some s a is ical echniques used o c edi ca d aud de ec ion. Using p obabilis ic models, ansac ions a e supposed o be co ec ly classi ied in o aud ansac ions and non- aud ones. This classi ica ion p oblem is o en sol ed by cap u ing aud pa e ns. Howe e , he cons an inno a ion in aud s a egies makes i di icul . The e o e, i is also in oduced a model ha p oposes de ec ing any anomaly beha iou o check i s na u e la e . Taking housands o de ailed ansac ions and some classi ica ion models, will i be possible o de ec c edi ca d aud quickly? ´ Indice 1. In oducci´on 3 2. Es ado del a e 6 3. Sopo e e´o ico 8 3.1. In oducci´on al Machine Lea ning . . . . . . . . . . . . . . . . . . . . 8 3.2. Di isi´on y p epa aci´on de la mues a . . . . . . . . . . . . . . . . . . 9 3.3. Cons ucci´on del modelo . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.3.1. CART (´a bol de decisi´on) . . . . . . . . . . . . . . . . . . . . 11 3.3.2. Bagging .............................. 16 3.3.3. Random o es (bosque alea o io) . . . . . . . . . . . . . . . . 17 3.3.4. Ex emely andomized ees . . . . . . . . . . . . . . . . . . . 18 3.3.5. Isola ion o es (bosque de soledades) . . . . . . . . . . . . . . 19 3.4. Medidas de endimien o . . . . . . . . . . . . . . . . . . . . . . . . . 19 4. Aplicaci´on 22 4.1. An´alisis de los da os . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.2. P epa aci´on de los da os de la mues a . . . . . . . . . . . . . . . . . 30 4.3. Cons ucci´on de los modelos . . . . . . . . . . . . . . . . . . . . . . . 31 4.3.1. CART............................... 32 4.3.2. Bagging .............................. 33 4.3.3. Random o es .......................... 35 4.3.4. Ex emely andomized ees . . . . . . . . . . . . . . . . . . . 37 4.3.5. Isola ion o es .......................... 39 4.4. Compa aci´on de los modelos . . . . . . . . . . . . . . . . . . . . . . . 40 5. Conclusiones 43 6. Bibliog a ´ıa 44 7. Anexo 46 Ma ´ıa Te esa Villanue a Mo eno 1 In oducci´on 1. In oducci´on La eno me can idad de ansacciones banca ias ha enido acompa˜nada de un aumen o signi ica i o en el n´ume o de audes come idos. Adicionalmen e, las nue as ecnolog´ıas han a o ecido la cons an e inno aci´on en las ´ecnicas de es a a, p o ocando que muchos de ec o es de aude queden p on o o almen e obsole os. La p o esionalizaci´on de los de audado es y el inc emen o en el n´ume o de canales de acceso banca io han pe mi ido el aumen o de los ipos de aude y del ama˜no de las p´e didas que ocasionan. Es e p oblema en expansi´on p o oca p´e didas millona ias cada a˜no y pe judica eno memen e a los bancos. Al mismo iempo, leyes eu opeas, como la no ma i a PSD21, obligan a las en idades banca ias a con i ma la au en icidad de una ansacci´on an es de au o iza la, sancion´andola si su sis ema de de ecci´on no cumple cie os es ´anda es. Luego las en idades banca ias necesi an i emediablemen e e adica es e p oblema y deben cons ui un sis ema de de ecci´on de aude iable pa a ello. Mo i ado po la necesidad mencionada, es e documen o p opone a ios modelos de clasi icaci´on2de Machine Lea ning como sis emas de de ecci´on del aude banca io. El Machine Lea ning es una disciplina cien ´ı ica del ´ambi o de la in eligencia a i icial, que c ea sis emas que iden i ican pa ones complejos en millones de da os a a ´es de algo i mos. Se dice que son algo i mos que ap enden de o ma au ´onoma con el iempo, es deci , que se desa ollan y ac ualizan sin la in e enci´on humana. Se dis inguen undamen almen e dos ipos de ap endizaje au om´a ico: el ap endizaje supe isado y el ap endizaje no supe isado. Un modelo de clasi icaci´on de ap endizaje supe isado es aquel que se elabo a con un g upo de da os ya clasi icado. En es e caso, se buscan pa ones de compo amien o en e las acciones conocidas como audulen as pa a iden i ica o as en un u u o. G acias al ap endizaje desa ollado con es os da os que si en de ejemplo, se pueden hace p edicciones adecuadas de obse aciones a´un no e ique adas. Po o a pa e, se encuen a el ap endizaje no supe isado, ambi´en llamado Clus e ing. En es e caso, el conjun o de da os del que se dispone no es ´a clasi icado en ca ego ´ıas ni se conoce la es uc u a que posee. Se busca ag upa las obse aciones en unci´on de sus simili udes y pe ila as´ı su o ma. Es e documen o p esen a caminos al e na i os desde el Machine Lea ning pa a dis ingui el aude en un conjun o de ansacciones. Son modelos que alcanzan un g an esul ado. No obs an e, a menudo son ca alogados como modelos de caja neg a, es deci , modelos de al a complejidad en los que di ´ıcilmen e se conoce con cla idad qu´e hace el modelo. Pese a dicha limi aci´on, los modelos de Machine Lea ning son al amen e u ilizados po las en idades banca ias. De hecho, a´un con in´uan desa oll´andose con es a inalidad. 1PSD2 (Paymen Se ices Di ec i e) es la segunda di ec i a eu opea que egula los se icios de pago ealizados en Eu opa con la inalidad de impulsa la anspa encia, la compe encia y la inno aci´on de los se icios de pago del sec o inancie o. 2Modelo es ad´ıs ico en el que el esul ado a p edeci es una e ique a disc e a. En es e caso, se ecogen cie os da os de una ansacci´on y se p e ende que el modelo la clasi ique como leg´ı ima o como audulen a. 3 Ma ´ıa Te esa Villanue a Mo eno 1 In oducci´on Pa a da consis encia al es udio, se de alla cada uno de los modelos de clasi icaci´on an es de su aplicaci´on a una abla de da os. Los egis os de la abla de la que se dispone se co esponden con ansacciones banca ias y una de las ca ac e ´ıs icas ecogidas indica si dicha ansacci´on es audulen a o no. Es e campo habili a el uso de modelos de clasi icaci´on basados en el ap endizaje supe isado, ya que e ique a a los da os. La mayo ´ıa de los modelos que se an a cons ui siguen un ap endizaje supe isado. Se plan ea adem´as un modelo de ap endizaje no supe isado ´alido pa a la de ecci´on del aude. No p e ende cap u a un pa ´on de aude, sino de ec a cualquie anomal´ıa. De ese modo, se clasi ica como audulen a oda ansacci´on que p esen a un compo amien o muy dis in o al de las dem´as ansacciones. La abla en cues i´on iene casi 300.000 ilas. Es o pe mi e di idi la mues a en dos y di e encia los da os con los que se c ea el modelo de los da os con los que se alida. La submues a de en enamien o es la que se emplea pa a la elabo aci´on del modelo. Po o o lado, es ´a la submues a es , que es menos nume osa y que queda apa ada en odo el p oceso de elabo aci´on del modelo pa a pode p oba con c edibilidad su p ecisi´on despu´es. Es a es a egia de di isi´on de la mues a es muy ecu en e en la ciencia de los da os. La abla cuen a con la en aja de es a ya limpia, es deci , no hay alo es pe didos, duplicados o inco ec os. No obs an e, s´ı se ´a con enien e ealiza le cie as modi icaciones pa a que algunos modelos consigan clasi ica co ec amen e. Los da os equilib ados son aquellos que cuen an con una buena ep esen aci´on de cada clase de la a iable dependien e pa a la cons ucci´on del modelo de clasi icaci´on. En es e caso, hay dos ipos de ansacciones, las leg´ı imas y las audulen as. Las acciones audulen as son mucho menos ecuen es que las leg´ı imas, p o ocando que no es ´en lo su icien emen e ep esen adas. Luego la abla no es ´a equilib ada y, po consiguien e, la submues a con la que se elabo a el modelo ampoco lo es a ´a. Es e hecho puede ocasiona p oblemas de de ecci´on de la clase mino i a ia en los modelos de ap endizaje supe isado. El algo i mo asume que las ansacciones son leg´ı imas en su mayo ´ıa y las acciones audulen as pueden no se pe cibidas como al. Una posible soluci´on es a a de ga an iza el equilib io en e las clases leg´ı ima y audulen a en la mues a de en enamien o. Pa a ello, exis en dis in as p opues as de sob emues eo y de submues eo3. En conc e o, es de g an in e ´es la ´ecnica SMOTE (Bowye e al, 2002), que c ea ejemplos sin ´e icos de la clase menos nume osa. En es e es udio, se compa an de i ados del ´a bol de decisi´on, que es un modelo de Machine Lea ning que se expond ´a de alladamen e. Se p ueba la e icacia de los modelos con la po ci´on de la mues a que se man en´ıa apa ada. Se clasi ica la mues a es seg´un cada uno y se elabo a la ma iz de con usi´on, que p esen a las obse aciones audulen as y leg´ı imas clasi icadas co ec a e inco ec amen e y es al amen e ilus a i a. Adem´as, exis en medidas de endimien o que acili an la 3En el ´ambi o de la es ad´ıs ica, se e ie e a un conjun o de ´ecnicas u ilizadas pa a aumen a o educi el ama˜no de una mues a. 4 Ma ´ıa Te esa Villanue a Mo eno 1 In oducci´on compa aci´on en e los modelos. Con on ados los modelos, se concluye cu´al es el que o ece un mejo esul ado y, de es a mane a, se p opone una soluci´on con as ada al p oblema del aude banca io. En de ini i a, ac ualmen e las en idades banca ias deben ena el aude si no quie en en en a se a p´e didas millona ias e incluso a p oblemas legales. Es e abajo quie e colabo a a la mejo de ecci´on del aude banca io y, pa a ello, es udia posibles soluciones y hace una alo aci´on de cu´al de ellas se ´ıa la m´as e ec i a. 5 Ma ´ıa Te esa Villanue a Mo eno 2 Es ado del a e 2. Es ado del a e Desde 2006, se es ´a an e una explosi´on del Machine Lea ning en la que nume osas emp esas es ´an ans o mando sus negocios hacia el da o e inco po ando ´ecnicas de in eligencia a i icial en sus p ocesos, p oduc os y se icios, pa a ob ene en ajas sob e la compe encia. En e es e conjun o de emp esas, se encuen an las en idades banca ias siendo la cons ucci´on de modelos pa a la de ecci´on del aude banca io una de las aplicaciones m´as popula es en e ellas. El uso del Machine Lea ning pa a la de ecci´on de acciones ileg´ı imas se emon a a m´as de dos d´ecadas. Ya a inales del siglo XX, se publica on abajos que apoyaban el uso de las edes neu onales4pa a es e come ido (Aleske o , F eisleben y Rao, 1997). No obs an e, no es has a unos a˜nos m´as a de, cuando se ex iende el uso de la in eligencia a i icial pa a la de ecci´on del aude. Los es udiosos se en incen i ados po los bancos, que mues an g an in e ´es en ena lo a a ´es de la de ecci´on au om´a ica. Han sido innume ables las ´ecnicas aplicadas y los dis in os en oques empleados pa a la esoluci´on del p oblema. En su mayo ´ıa, los modelos siguen el denominado ap endizaje supe isado. Cons uyen sus algo i mos haciendo uso de ansacciones banca ias de las que se conoce su condici´on leg´ı ima o audulen a, pa a a a de ace a la na u aleza de las ansacciones u u as. En cie o modo, es os modelos examinan el nue o mo imien o y deciden si se co esponde con una acci´on audulen a o no con base a las simili udes con ansacciones bien conocidas. En conc e o, es e documen o desa olla modelos cons uidos sob e los ´a boles de decisi´on, que siguen una ´ecnica de ap endizaje supe isado que se desa olla ´a m´as adelan e. Los ´a boles de decisi´on sob eajus an con acilidad. Pa a lidia con es e p oblema su ge el andom o es (B eiman, 2001), que cons uye a ios ´a boles de decisi´on de mane a independien e pa a su pos e io pues a en com´un. Es e modelo esul ´o se muy e icaz y supuso una au ´en ica e oluci´on pa a el Machine Lea ning. Po ello, se con inu´o es udiando y se p opusie on ex ensiones de es e. En es e es udio se hace uso de la ´ecnica ex emely andomized ees (E ns , Geu s y Wehenkel, 2006), basada en el andom o es . Es os modelos de de ecci´on a menudo se complemen an. Se suele habla de ci cuns ancias en las que con iene aplica un modelo en e a o o, y de las o alezas y las debilidades de cada uno. Hay mul i ud de a ´ıculos publicados en es e sen ido. Po ejemplo, se compa a la e ec i idad en la de ecci´on del aude banca io de la conocida eg esi´on log´ıs ica con el inno ado modelo andom o es (Bha acha yya e al, 2011). Los au o es concluyen que el andom o es p esen a g andes en ajas en e a la eg esi´on log´ıs ica. Adem´as, ale an de que la de ecci´on del aude banca io po medio de es as ´ecnicas se en en a a una limi aci´on impo an e po el hecho de que los da os son no equilib ados. Se a a de da os no equilib ados po que, con ca ´ac e gene al, las acciones 4T´ecnica de ap endizaje y p ocesamien o au om´a ico inspi ado en la o ma en la que unciona el sis ema ne ioso de las pe sonas (Spech , 1997). 6 Ma ´ıa Te esa Villanue a Mo eno 2 Es ado del a e audulen as son poco ecuen es. Como se adelan aba, es e hecho puede di icul a el p oceso de ap endizaje del algo i mo. Po ello, es de u ilidad a a de alcanza el equilib io en e las clases. Pa a hace lo, esul a de g an in e ´es la ´ecnica SMOTE (Bowye e al, 2002). Adem´as del mencionado ap endizaje supe isado, ambi´en se usa el ap endizaje no supe isado, que pa e de da os de los que no hay un conocimien o a p io i sob e su na u aleza. Desde el comienzo, hay au o es que apoyan su uso pa a la de ecci´on del aude banca io. Su aplicaci´on en es e es udio se e sos enida po el hecho de que las ´ecnicas de aude es ´an inno ando cons an emen e. Luego no bas a con busca simili udes con casos de aude ya conocidos, sino que hay que i m´as all´a (Domingues e al, 2018). As´ı, se apues a po la de ecci´on de anomal´ıas en las ansacciones banca ias en e a la b´usqueda de pa ones de compo amien o. En e odos los algo i mos, des aca la ´ecnica de de ecci´on de anomal´ıas denominada isola ion o es (Liu, Ting y Zhou, 2008), que se basa en el modelo andom o es . Como se adelan aba, es un ema muy ac ual, que iene a ances cons an emen e. Po lo an o, in e esa a ende a a ´ıculos ecien es. Kha e y Sai (2018) apoyan el uso del ap endizaje supe isado pa a la de ecci´on de aude. En conc e o, esal an las en ajas o ecidas po el andom o es . A su ez, se con inua apoyando el uso del isola ion o es pa a de ec a cualquie compo amien o banca io ex a˜no (Hyde y Sameena, 2019). Po lo an o, se ap ecia como el Machine Lea ning o ece dis in os en oques pa a sol en a el p oblema del aude en ansacciones banca ias. Pa ece cla o que los bancos apues an po m´e odos es ad´ıs icos pa a ena las p´e didas que el aude banca io p o oca. Es p eciso menciona que la g an mayo ´ıa de es udios se han ealizado en los ´ul imos a˜nos y que a´un con in´uan en desa ollo. 7 Ma ´ıa Te esa Villanue a Mo eno 3 Sopo e e´o ico 3. Sopo e e´o ico El obje i o inal de es e documen o es es ablece una compa a i a en e la aplicaci´on de a ios modelos es ad´ıs icos en la de ecci´on del aude banca io. Pa a da consis encia a es e abajo, en p ime luga , se p esen a su sopo e e´o ico. Los modelos co esponden al campo del Machine Lea ning. Po ello, se pa e de una in oducci´on a es a disciplina, que p opo ciona una isi´on global del algo i mo que siguen los modelos pa a su cons ucci´on. 3.1. In oducci´on al Machine Lea ning Pa a ealiza un modelo de clasi icaci´on, se oma un conjun o de da os. En es e caso, es una abla en la que cada egis o co esponde a una ansacci´on banca ia. Los campos son dis in as ca ac e ´ıs icas ecogidas de cada ansacci´on, como puede se la can idad de dine o implicada. En e ellas, es ´a la a iable obje i o o a ge Class, que oma un alo u o o en unci´on de si la ansacci´on se co esponde con un aude o no. Es a a iable dico ´omica es la que se quie e p edeci en u u as ansacciones. Dicho conjun o de da os se emplea pa a c ea un modelo de clasi icaci´on con el obje i o de ca aloga una u u a obse aci´on como leg´ı ima o audulen a, po medio de un ap endizaje supe isado o no supe isado. En es e abajo, se in oduce el ap endizaje no supe isado, cuya mues a inicial no cuen a con una clasi icaci´on conocida y ag upa la mues a en base a cie as e idencias. En conc e o, se p esen a un modelo que sepa a la mues a en ansacciones comunes y al amen e a ´ıpicas, pa a e ique a es as ´ul imas como audulen as. Sin emba go, la mayo ´ıa de los modelos de clasi icaci´on de los que se hace uso en es e documen o sigue un ap endizaje supe isado. La c eaci´on del modelo de clasi icaci´on se es ablece con un conjun o de da os pa a los que se conoce la salida deseada. Es os modelos hacen un a amien o pa icula de la mues a, que se p esen a a con inuaci´on y que se ´a de allado pos e io men e. Pa a la c eaci´on de modelos de clasi icaci´on es sumamen e impo an e con a con una abla de da os limpia y uni o me. No obs an e, cuando se cuen a con una g an can idad de da os ya e ique ados, an es de ealiza cualquie manipulaci´on, in e esa di idi la mues a en dos: el conjun o de en enamien o y el conjun o es . El conjun o de en enamien o suele comp ende del 60 al 80 % de la mues a inicial y se u iliza pa a la c eaci´on del modelo, que es p obado despu´es con el conjun o es . N´o ese que es e ´ul imo conjun o es o almen e independien e a la c eaci´on del modelo, ga an izando que se hace una co ec a alidaci´on de es e. Di idida la mues a, se oma el conjun o de en enamien o y, en p ime luga , se ealiza un an´alisis p o undo de los da os. Es e paso iene encomendado ga an iza la limpieza y la uni o midad de los da os de la abla. Suele se cos oso, pe o es imp escindible que el algo i mo eciba la in o maci´on co ec amen e pa a que d´e p edicciones de al a calidad y con ianza. 8 Ma ´ıa Te esa Villanue a Mo eno 3 Sopo e e´o ico Hipe pa ´ame os: Funci´on de impu eza. M´ınimo n´ume o de obse aciones pa a di idi un nodo. M´axima p o undidad del ´a bol. M´ınimo dec ecimien o de la unci´on impu eza pa a di idi un nodo. Dependiendo del p oblema, el alo ´op imo pa a los hipe pa ´ame os se ´a uno u o o. Pa a llega has a ese conjun o ´op imo puede u iliza se la alidaci´on c uzada. Po de ec o, el so wa e Py hon iene de inido cie os alo es y no siemp e se ´a necesa io modi ica los odos. Ven ajas y limi aciones Los ´a boles de decisi´on son undamen ales en Machine Lea ning y apa ecen en muchos o os modelos. G an n´ume o de p oblemas de Machine Lea ning pueden esol e se bien con alg´un desa ollo de su ´ecnica. No obs an e, es cie o que los ´a boles de decisi´on po s´ı solos no clasi ican an bien y caen con acilidad en el sob eajus e. Una o ma de ena el sob eajus e es es ableciendo un c i e io de pa ada que impida su m´axima ex ensi´on. Como odo modelo, los ´a boles de decisi´on ienen a gumen os a a o de su uso y a gumen os en con a. Una g an en aja que p esen an es su ´acil in e p e aci´on. De hecho, la ep esen aci´on del ´a bol pe mi e en ende el modelo y jus i ica lo de ca a a un po encial clien e. Aunque si el ´a bol ue a muy ex enso, la ep esen aci´on no se ´ıa nada cla a. Adem´as, como cada subdi isi´on u iliza una a iable di e en e, puede cap u a pa ones no lineales y de g an complejidad. Es cie o que puede esul a poco ´op imo pa a de ec a pa ones mon´o onos y que es sensible a la elecci´on de sus hipe pa ´ame os. Valo es dis in os en los hipe pa ´ame os pueden da como esul ado clasi icaciones demasiado di e en es. No obs an e, el mayo p oblema con el que lidian los ´a boles de decisi´on se co esponde con la al a de equilib io en e el sesgo y la a ianza. Se ecue da que el sesgo cuan i ica cu´an o en p omedio di ie en los alo es p edecidos de los alo es eales. Mien as que la a ianza cuan i ica cu´an o de di e en es se ´an las p edicciones de un modelo en un mismo pun o si mues as dis in as se oma an de la misma poblaci´on. Al cons ui un ´a bol peque˜no se ob end ´a un modelo con baja a ianza, pe o al o sesgo. No malmen e, si se inc emen a la complejidad del ´a bol, disminuye el sesgo pe o, el exceso de complejidad p o oca el sob eajus e del modelo, que se e ´a e lejado en un inc emen o impo an e de la a ianza. El modelo ´op imo debe man ene un balance en e es os dos ipos de e o es. A es o se le conoce como el equilib io en e los e o es de sesgo y de a ianza y es di ´ıcil de alcanza en ´a boles de decisi´on, que gene almen e ienen una al a a ianza. El uso de ag upaciones de modelos es una o ma de consegui es e equilib io. 15 Ma ´ıa Te esa Villanue a Mo eno 3 Sopo e e´o ico 3.3.2. Bagging El bagging es una ´ecnica muy com´un usada pa a educi la a ianza a a ´es de la combinaci´on de a ios clasi icado es. Cada uno de ellos son modelados con di e en es conjun os omados alea o iamen e de la misma poblaci´on. Cons ucci´on del modelo La Fig. 3 mues a la ´ecnica bagging aplicada con ´a boles de decisi´on. Se e c´omo se oman di e en es subconjun os de la mues a de en enamien o con los que se o man dis in os ´a boles. Figu a 3: Bagging de ´a boles Una ez cons uidos odos los ´a boles, se combinan su p edicciones pa a da una p edicci´on inal. En el caso de un p oblema de clasi icaci´on, como el plan eado con la de ecci´on del aude banca io, la ansacci´on pod ´ıa se clasi icada con la clase m´as o ada en e odos los ´a boles. Hipe pa ´ame os Los hipe pa ´ame os del bagging de ´a boles en su mayo ´ıa son los hipe pa ´ame os del CART. No obs an e, el bagging iene hipe pa ´ame os p opios. N´ume o de ´a boles. N´ume o de elemen os con los que se cons uye cada ´a bol. Si las mues as son omadas con eemplazamien o o no en cada ´a bol. Ven ajas y limi aciones Gene almen e, es m´as e icaz que el ´a bol de decisi´on, aunque es m´as cos oso compu acionalmen e. Mejo a la a ianza al hace a ios ´a boles, pe o co e el pelig o de acaba elabo ando ´a boles muy simila es en e s´ı. 16 Ma ´ıa Te esa Villanue a Mo eno 3 Sopo e e´o ico 3.3.3. Random o es (bosque alea o io) El modelo andom o es su ge pa a p o ee una mejo a signi ica i a a los CART, ya que su en al os p oblemas de sesgo y a ianza. El andom o es es una e si´on m´as compleja de la ´ecnica bagging. De nue o, se cons uyen a ios ´a boles, de ah´ı su nomb e (bosque alea o io). La complejidad adicional del andom o es eside en que en cada nodo se pod ´a eligi la condici´on de sepa aci´on s´olo con algunas de las a iables. Conc e amen e, con un subconjun o de a iables que se oma ´a alea o iamen e en cada nodo. Es o di icul a que los ´a boles del bosque sean muy pa ecidos en e s´ı. As´ı hay un con as e mayo en e las p edicciones y se educe a´un m´as la a ianza. Cons ucci´on del modelo Cada ´a bol de decisi´on se cons uye como sigue. 1. Se oma una mues a del conjun o de en enamien o o mado po Ncasos. In oduce alea o iedad al algo i mo, ya que cada ´a bol se o ma de una mane a di e en e. 2. Si exis en M a iables de en ada, un n´ume o m < M se especi ica al que, pa a cada nodo, la condici´on de sepe aci´on del nodo se puede elegi s´olo en e las m a iables que se seleccionan alea o iamen e. El alo mse man iene cons an e du an e la gene aci´on de odo el bosque. 3. Cada ´a bol c ece has a su m´axima ex ensi´on posible, si no se ha es ablecido un c i e io de pa ada. En la o maci´on del bosque se in oduce en g an medida la alea o iedad, ya que cada ´a bol es ´a cons uido con una mues a dis in a y a iables escogidas de mane a di e en e. Es a alea o iedad consigue educi la co elaci´on en e los ´a boles. Una ez cons uido el bosque, se u iliza pa a clasi ica nue as obse aciones. Al igual que en la ´ecnicas bagging, en p oblemas de clasi icaci´on, la p edicci´on inal puede se la clase m´as o ada en e odos los ´a boles. Hipe pa ´ame os Los bosques alea o ios con ienen a los hipe pa ´ame os de los ´a boles de decisi´on y adem´as poseen algunos p opios. Se mencionan algunos de es os ´ul imos. N´ume o de ´a boles que o man el bosque. N´ume o de a iables que se seleccionan en cada nodo. N´ume o de elemen os con los que se c ea cada ´a bol. Si en cada ´a bol las mues as son omadas con eemplazamien o o no. El e o en las p edicciones ealizadas po el andom o es es ´a ue emen e elacionado con los dos p ime os hipe pa ´ame os nomb ados. 17 Ma ´ıa Te esa Villanue a Mo eno 3 Sopo e e´o ico Al educi el n´ume o mde a iables, se educe la co elaci´on en e los ´a boles, ya que cada nodo iene menos posibilidades en e las que elegi . Sin emba go, al educi m, ambi´en se educe la p ecisi´on del ´a bol. Luego hay que llega a un equilib io. El alo ecomendado pa a un p oblema de clasi icaci´on es oma m=√M. El n´ume o de ´a boles ambi´en iene e ec o en la p ecisi´on de la p edicci´on. Como es l´ogico, a mayo n´ume o de ´a boles, mejo se ´a la p edicci´on. Sin emba go, exis e un alo pa a el cual el e o ya no disminuye apenas y aumen a conside ablemen e la complejidad del algo i mo. Ven ajas y limi aciones El andom o es consigue un buen equilib io en e el sesgo y la a ianza mejo ando no ablemen e al CART. Adem´as de ealiza una buena clasi icaci´on de las obse aciones, acili a in o maci´on ace ca de las a ibles p edic o as. Una de las salidas del modelo es la impo acia de las a iables, que de alg´un modo cuan i ica cu´an o apo a cada a iable al modelo6. Es una in o maci´on de g an u ilidad. Su mayo limi aci´on es que se iene poco con ol de lo que hace el modelo. Al a a se de un bosque con decenas de ´a boles, se pie de la in e p e aci´on con la que se pod´ıa con a en los ´a boles peque˜nos. 3.3.4. Ex emely andomized ees El modelo ex emely andomized ees (E ns , Geu s y Wehenkel, 2006) es conside ado un andom o es que ha su ido cie as modi icaciones. Cons ucci´on del modelo Se p ocede igual que en el andom o es , sal o po el hecho de que los ´a boles se cons uyen usando odos los elemen os y po la mane a de oma las condiciones en cada nodo. En cada nodo, se elige alea o iamen e un subconjun o de m a iables. Pos e io men e, pa a cada a iable, se elige una condici´on de mane a alea o ia en e odas las posibles: 1< a1, 2< a2, . . . , s < as, pa a a1, ..., as alo es alea o ios en el ango de la a iable. Finalmen e, se oma la di isi´on que minimiza la unci´on de impu eza. Ven ajas y limi aciones La alea o iedad hace que los ´a boles di ie an m´as en e s´ı y que el en enamien o del modelo sea m´as ´apido. No obs an e, los ´a boles son m´as p o undos y la elocidad de p edicci´on es m´as len a. Respec o al andom o es , educe a´un m´as la a ianza. Suele o ece buenos esul ados. 6M´as de alles al espec o pueden encon a se, po ejemplo, en A che y Kimes (2008) 18 Ma ´ıa Te esa Villanue a Mo eno 3 Sopo e e´o ico 3.3.5. Isola ion o es (bosque de soledades) El isola ion o es no esponde al ap endizaje supe isado como los modelos an e io es, sino al ap endizaje no supe isado. De hecho, no si e pa a p oblemas de clasi icaci´on en gene al, sino pa a la de ecci´on de anomal´ıas. Su aplicaci´on en es e caso consis e en a a de de ec a el aude poniendo bajo sospecha de aude cualquie mo imien o an´omalo. Cons ucci´on del modelo El isola ion o es ambi´en se basa en el andom o es . Como en el ex emely andomized ees, en cada ´a bol se oman odos los elemen os. Pe o, en es e caso, cada co e se ealiza escogiendo una a iable y un pun o de co e de mane a o almen e alea o ia. Se man ienen los ´a boles c eciendo has a que solo queda un elemen o en cada nodo e minal. Ob iamen e, los elemen os an´omalos ienen mayo p obabilidad de acaba en nodos de poca p o undidad, de se aislados an es. Mien as que elemen os muy pa ecidos a o os acaba ´an en nodos p o undos. Luego la idea es calcula cu´an a p o undidad en media necesi a cada obse aci´on pa a queda aislada. As´ı, cuan as menos di isiones haya necesi ado el ´a bol pa a aisla a cie a obse aci´on, m´as an´omala se ´a. Hipe pa ´ame os Po cen aje de obse aciones m´as an´omalas que se quie e ex ae de la mues a. Ven ajas y limi aciones De ec a a ´ıpicos sin necesidad de medidas de dis ancia, simili ud o densidad, que suele se compu acionalmen e muy cos oso. Tiene la capacidad de escala en ablas de da os g andes y con muchas a iables i ele an es. Adem´as, dado que las anomal´ıas se encon a ´an a poca p o undidad, no in e esa desa olla ´a boles muy g andes y no se ´a an cos oso compu acionalmen e. Como limi aci´on p incipal es ´a el ene que de ini la p opo ci´on de a ´ıpicos a p io i. 3.4. Medidas de endimien o Una ez ob enido el modelo de clasi icaci´on, se a a de p oba su alidez con la mues a es , que es o almen e independien e a la c eaci´on del modelo. Cuan i ica el endimien o pe mi i ´ıa compa a la e icacia de los dis in os modelos. Clasi icada la mues a es seg´un un modelo, se puede es ablece la siguien e abla donde Yes la a iable dico ´omica a p edeci e ˆ Yla clasi icaci´on ealizada. En es e caso, el alo 1 se co esponde con los casos de aude y el alo 0 con los casos leg´ı imos. 19 Ma ´ıa Te esa Villanue a Mo eno 3 Sopo e e´o ico Es a abla es conocida como la ma iz de con usi´on de un modelo de clasi icaci´on. ˆ Y /Y 1 0 1 VP (Ve dade o Posi i o) FP (Falso Posi i o) 0 FN (Falso Nega i o) VN (Ve dade o Nega i o) Tabla 1: Ma iz de con usi´on En la medida de lo posible, se p e ende que las obse aciones sean clasi icadas co ec amen e. Es deci , que la mayo ´ıa de alo es se encuen en en VP (Ve dade o Posi i o) o en VN (Ve dade o Nega i o). En gene al, se ´a di ´ıcil ga an iza que la clasi icaci´on sea co ec a al 100 %. Po desg acia, se asume que la clasi icaci´on p obabil´ıs ica come e e o es. La labo del modelado se ´a que dichos e o es sean m´ınimos y supongan el meno cos e posible. Pa a e c´omo de bien p edice un modelo, se hace uso de las dis in as medidas de endimien o. Una medida de endimien o muy in ui i a es accu acy, que calcula la p opo ci´on de eces en la que se ha clasi icado co ec amen e. Accu acy =V P +V N V P +FP +FN +V N Sin emba go, no bas a con oma aquel modelo que haya ace ado en un mayo n´ume o de ocasiones. De se as´ı, se pod ´ıa op a po conside a que oda ansacci´on es no audulen a. Se ace a ´ıa en la bas a mayo ´ıa de los casos, pe o pa ece ob io que no es un buen modelo de clasi icaci´on al no de ec a ning´un caso de aude. El obje i o de es e abajo es de ec a el aude banca io. Luego e a cuando Y=1 supone no de ec a que una ansacci´on es audulen a. Se ´ıa muy cos oso y gene a ´ıa g an descon ianza en el modelo. As´ı, con iene p es a una a enci´on especial a es e ipo de e o . Se encuen a la medida ecall, que calcula el po cen aje de ansacciones audulen as co ec amen e clasi icadas. Recall =V P V P +FN O a medidas es p ecision, que calcula el po cen aje de ansacciones ealmen e audulen as den o de las clasi icadas como al. P ecision =V P V P +FP 20 Ma ´ıa Te esa Villanue a Mo eno 3 Sopo e e´o ico F1Sco e combina las medidas de ecall yp ecision en una sola, haciendo una media ponde ada de las dos. F1Sco e iene en cuen a an o los alsos nega i os (FN) como los alsos posi i os (FP), que iendo educi ambos. F1Sco e = 2 ∗Recall ∗P ecision Recall +P ecision Es a medida se conside a m´as adecuada pa a el p oblema que accu acy, con olando la p ecisi´on en la clasi icaci´on de las ansacciones audulen as. No obs an e, se le p es a ´a una especial a enci´on a ecall. An e odo, es necesa io de ec a los casos de aude. 21 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on 4. Aplicaci´on Se ha escogido una abla de da os que ecoge los de alles de muchas ansacciones banca ias y su condici´on audulen a o leg´ı ima pa a p oba , pa a ese caso pa icula , los dis in os modelos analizados. En p ime luga , se debe menciona que no es ´acil dispone de una abla de da os que mues e la in o maci´on comple a de las ansacciones. Po un lado, po que son da os p o egidos y cada en idad banca ia iene que cumpli con su comp omiso de p i acidad. Po o o, po que son da os aliosos que los bancos no es ´an dispues os a o ece g a ui amen e. An e dicha di icul ad, se ha op ado po u iliza una abla acili ada po la pla a o ma kaggle7cuyas a iables co esponden en su mayo ´ıa con las componen es p incipales de un PCA (P incipal Componen Analysis)8. Se en iende que las a iables es ´an en PCA p ecisamen e pa a ocul a in o maci´on que pueda esul a sensible. No ha de se un incon enien e pa a el pos e io desa ollo del modelo, aunque s´ı que debili a la secci´on de an´alisis explo a o io. Se p ocede a analiza los da os que hay en la abla. Pos e io men e, se debe ´an hace cie as manipulaciones pa a desa olla algunos modelos co ec amen e. Elabo ados los modelos, se p ueba el endimien o de cada uno y se compa an en e ellos. 4.1. An´alisis de los da os La abla escogida cuen a con 284.807 egis os y 31 campos. No hay ning´un alo pe dido, duplicado o inco ec o. Lo que es una g an en aja y aho a una inmesa can idad de abajo en depu aci´on de da os. Las a iables ecogidas po cada ansacci´on son: Time: N´ume o de segundos en e la p ime a ansacci´on de la abla de da os y la co espondien e. V1-V28: Componen es p incipales del an´alisis de componen es p incipales. Amoun : Can idad en d´ola es que en uel e la ansacci´on. Class: Va iable dico ´omica: 1 si es un aude, 0 en o o caso. La in e p e abilidad de las a iables es escasa, pues o que no se conoce el signi icado de ninguna de ellas, sal o el de Time,Amoun yClass. Como bien es sabido, cada una de las componen es p incipales co esponde a una combinaci´on lineal de las a iables o iginales, po lo que no e ela in o maci´on en s´ı. El obje i o se encuen a en p edeci la a iable Class en u u as ansacciones de las que se con a ´a con el alo en el es o de a iables. Es deci , el modelo ecibi ´a odos los da os ace ca de una ansacci´on, sal o su condici´on, y a a ´a 7Comunidad en l´ınea pe enecien e a Google de cien ´ı icos de da os y p o esionales del ap endizaje au om´a ico. 8M´as de alles al espec o pueden encon a se, po ejemplo, en Ho elling (1933). 22 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on de clasi ica la. Po an o, la a iable Class es la a iable a ge en es e p oblema e in e esa especialmen e. Cabe menciona que, an e odo, el modelo ha de clasi ica bien a las acciones audulen as. De no se as´ı, el banco se en en a ´ıa con p´e didas innecesa ias. En cambio, el e o en la clasi icaci´on de las acciones leg´ı imas no p eocupa an o. Clasi ica como audulen a una ansacci´on leg´ı ima no supond ´ıa ninguna p´e dida a p io i, an solo hab ´ıa que e isa la si uaci´on y co egi la clasi icaci´on, si ue a el caso. A con inuaci´on, la Fig. 4 mues a la dis ibuci´on de la a iable Class. Figu a 4: Ca dinalidad de cada ipo de ansacci´on Hay 492 casos de aude en e a 284.314 casos de no aude. Las ansacciones audulen as se co esponden con an solo el 0,17 % de la mues a, que es un po cen aje muy bajo. La ma ginalidad del aude es una buena no icia pa a los bancos, la mayo ´ıa de ansacciones en an en el ma co de la legalidad. Pe o no lo es an o pa a la elabo aci´on de algunos modelo. Cuan o m´as ejemplos se engan de casos de aude, m´as sencillo esul a ´a encon a pa ones de compo amien o en e ellos. Adem´as de obse a la a iable obje i o Class, se examinan el es o de a iables. Se analiza la dis ibuci´on que sigue cada una y se obse a si di ie e mucho en unci´on del alo de Class. De se as´ı, se in ui ´ıa que ambas a iables se encuen an elacionadas. En p ime luga , se analiza la a iable Amoun , que e ela la can idad de dine o implicada. ¿Tend ´a un compo amien o di e en e en unci´on del ipo de ansacci´on? Se mues an los de alles de la a iable po clase. 23 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on Figu a 5: De alles de Amoun po Class Pa a p esen a de una mane a m´as ilus a i a es os da os, se ealiza un g ´a ico box-plo . As´ı, se pod ´an saca conclusiones con mayo cla idad. Adem´as del g ´a ico box-plo de Amoun po Class, se mues a ambi´en el co espondien e con la ans o maci´on loga ´ı mica de Amoun . Es a ans o maci´on pe mi e una mejo isualizaci´on de la a iable. Muchas ansacciones oman alo es muy ele ados y dis o sionan el g ´a ico. Figu a 6: G ´a icos box-plo 24 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on Figu a 11: Dis ibuci´on de cada clase as SMOTE Es a nue a mues a de en enamien o se a a u iliza pa a la elabo aci´on de los modelos de ap endizaje supe isado que se compa a ´an con los modelos c eados u ilizando la mues a o iginal. 4.3. Cons ucci´on de los modelos En p ime luga , se cons uyen los modelos de ap endizaje supe isado. Como se ha mencionado, los modelos son c eados con la mues a de en enamien o y cada uno equie e la de inici´on de cie os hipe pa ´ame os. El so wa e Py hon de ine po de ec o el alo de dichos hipe pa ´ame os, pe o pueden se al e ados po el desa ollado del modelo. Se p e ende oma los alo es que, en e odos los posibles, op imicen cie a medida de endimien o. Se puede usa la alidaci´on c uzada con es a inalidad. No obs an e, p oba odos los conjun os de alo es posibles pa a e cu´al es el que o ece mejo esul ado alen iza ´ıa eno memen e la c eaci´on del modelo. Po ello, los modelos se apoya ´an en la alidaci´on c uzada, pe o solo de mane a limi ada. E iden emen e, el modelo de clasi icaci´on a a ´a de ace a en la clasi iciaci´on de la mues a de en enamien o, ya que conoce los alo es que oma. Lo que no implica que la p edicci´on sea buena pa a mues as di e en es. De hecho, una adecuaci´on excesi a a la mues a de en enamien o conduce al sob eajus e y a la mala p edicci´on de obse aciones u u as. Po ello, la clasi icaci´on de la mues a de en enamien o no es concluyen e, pudiendo con undi al desa ollado haci´endole c ee que el modelo clasi ica mejo de lo que lo hace ealmen e. Se usa en onces la mues a es , pa a alida lo a a ´es de su ma iz de con usi´on y de cie as medidas de endimien o. Adem´as, se compa a si exis en di e encias en e oma la mues a de en enamien o no equilib ada y la equilib ada con ejemplos sin ´e icos, y en qu´e consis e el cambio. 31 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on Pa a la compa aci´on, se emplea exac amen e el mismo modelo en ambos casos. Los modelos de ap endizaje supe isado que se p ueban son: el ´a bol de decisi´on, el bagging, el andom o es y el ex emely andomized ees. 4.3.1. CART El ´a bol de decisi´on es el modelo m´as b´asico que se desa olla en es e documen o. Es p e isible que no o ezca el mejo esul ado. A´un as´ı, se p e ende adap a lo pa a que clasi ique lo mejo posible. Pa a su c eaci´on se man ienen los hipe pa ´ame os que es ´an po de ec o, como el c i e io de di isi´on de Gini o el no es ablecimien o del n´ume o m´ınimo de elemen os en un nodo pa a su di isi´on. No obs an e, s´ı que se emplea ´a iempo en busca el mejo alo pa a la p o undidad m´axima del ´a bol. Como se ha mencionado an e io men e, los ´a boles de decisi´on sob eajus an con acilidad. Simpli ica el modelo ayuda a que es e no se adecue en exceso a los da os de los que dispone. Una mane a de es a complejidad es ijando un c i e io de pa ada del ´a bol que impida su m´axima ex ensi´on. En es e caso, se abaja con la p o undidad m´axima. A p io i, esul a d´ı icil sabe cu´al es la p o undidad m´axima adecuada. Po ello, se p ueba con odas las p o undidades del 1 al 20 y, po alidaci´on c uzada, se coge la que o ezca un mayo ecall po es e m´e odo. Se ecue da que ecall es una medida de endimien o y que cuan o mayo es su alo , m´as acciones audulen as se de ec an. Se p ueba el modelo en la mues a o iginal y en la mues a elabo ada a a ´es de SMOTE. Pa a la mues a o iginal, la p o undidad que o ece un mejo esul ado po alidaci´on c uzada es 4. Pa a la mues a equilib ada, es 19. CART sin SMOTE Figu a 12: Ma iz de con usi´on del ´a bol de decisi´on sin SMOTE 32 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on CART con SMOTE Figu a 13: Ma iz de con usi´on del ´a bol de decisi´on con SMOTE Compa aci´on de las medidas de endimien o con SMOTE sin SMOTE P ecision 0.39 0.84 Recall 0.84 0.80 F1Sco e 0.53 0.82 Tabla 2: Medidas de endimien o del ´a bol de decisi´on El ´a bol de decisi´on con la mues a equilib ada de ec a el 84 % de los casos de aude, mien as que sin la aplicaci´on de la ´ecnica SMOTE, solo el 80 %. No obs an e, cabe menciona que el modelo aplicando SMOTE ye a mucho m´as en los casos leg´ı imos. De hecho, an solo el 39 % de los casos de ec ados como audulen os ealmen e lo son. 4.3.2. Bagging Pese a que es gene almen e acep ado que el endimien o del bagging es peo que el del andom o es , conside o ´u il su apo aci´on a es e abajo. El andom o es es una ex ensi´on del bagging, as´ı se cuan i ica cu´an o, en la p ´ac ica, lo mejo a. La ´ecnica bagging es muy cos osa compu acionalmen e, ya que en ella se ealizan muchos ´a boles de decisi´on. No esul a con enien e cons ui demasiados ´a boles. En p ime luga , po que a˜nadi ´ıa m´as complejidad al algo i mo. En segundo luga , po que p on o los ´a boles comienzan a se muy pa ecidos en e s´ı y no suman p ecisi´on al modelo. Se ecomienda u iliza en o no a la decena de ´a boles. 33 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on En el modelo desa ollado, se cons uyen cada uno de los 10 ´a boles con una mues a alea o ia omada con eemplazamien o de la mues a de en enamien o y con su misma ca dinalidad. Bagging sin SMOTE Figu a 14: Ma iz de con usi´on del bagging de ´a boles sin SMOTE Bagging con SMOTE Figu a 15: Ma iz de con usi´on del bagging de ´a boles con SMOTE 34 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on Compa aci´on de las medidas de endimien o con SMOTE sin SMOTE P ecision 0.70 0.95 Recall 0.82 0.80 F1Sco e 0.76 0.87 Tabla 3: Medidas de endimien o del bagging De nue o, usando los da os equilib ados se de ec an m´as casos de aude, aunque se pie de p ecisi´on en la clasi icaci´on de las ansacciones no audulen as, del 95 % al 70 %. Es e modelo es cos oso compu acionalmen e. La mues a equilib ada es m´as nume osa y aumen a el iempo de c eaci´on del algo i mo, luego hab ´ıa que conside a si ealmen e in e esa. En es e caso, oma la mues a equilib ada ayuda a de ec a m´as casos de aude, pe o aumen an en mayo medida los alsos posi i os. Respec o al ´a bol de decisi´on, es un modelo m´as elabo ado, po lo que mul iplica el iempo de compilaci´on. Es cie o que co ige no ablemen e el n´ume o de alsos posi i os, siendo aho a mucho meno . No obs an e, no mejo a nada la clasi icaci´on de las ansacciones audulen as. De hecho, la empeo a. La ´ecnica bagging no pa ece habe apo ado mucho al ´a bol de decisi´on po s´ı sola. Sin emba go, con peque˜nas modi icaciones que in oducen ex ensiones del modelo se consigue mejo a conside ablemen e el endimien o. 4.3.3. Random o es El algo i mo del andom o es cons uido es igual al del bagging, sal ando que se oma una mues a de √M a iables10 a elegi en cada nodo, donde M es el n´ume o o al de a iables p edic o as. C ea muchos ´a boles es cos oso, pe o es e cambio educe mucho el iempo de compilaci´on espec o al modelo an e io . En cada nodo, se busca la condici´on ´op ima en e √M a iables, no M. Ayuda a no sob eajus a , po eso aho a se deja c ece cada ´a bol has a su ex ensi´on m´axima. Adem´as, p o oca mayo es di e encias en e lo ´a boles, po eso se con uyen 100, y no 10 como en el bagging. Es e n´ume o de ´a boles es el que se es ima necesa io pa a educi el e o conside ablemen e sin alen iza demasiado el algo i mo. De nue o, como en el bagging, cada ´a bol es ´a elabo ado con una mues a omada con eemplazamien o de la mues a de en enamien o y con su misma ca dinalidad. 10M´as de alles al espec o pueden encon a se, po ejemplo, en F iedman, Has ie y Tibshi ani (2009). 35 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on Random o es sin SMOTE Figu a 16: Ma iz de con usi´on del andom o es sin SMOTE Random o es con SMOTE Figu a 17: Ma iz de con usi´on del andom o es con SMOTE Compa aci´on de las medidas de endimien o con SMOTE sin SMOTE P ecision 0.89 0.97 Recall 0.84 0.83 F1Sco e 0.87 0.89 Tabla 4: Medidas de endimien o del andom o es 36 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on O a ez, se sigue el pa ´on encon ado en los modelos an e io es. U ilizando la mues a con alo es sin ´e icos, el modelo de ec a un mayo n´ume o de acciones audulen as, pe o ambi´en aumen an los alsos posi i os. Tomando el modelo elabo ado con la mues a equilib ada, se iene que el 84 % de los casos de aude es ´a co ec amen e clasi icado y el 89 % de los casos de ec ados como audulen os ealmen e lo son. Es a ´ul ima medida mejo a cla amen e espec o a la co espondien e del bagging, donde apenas alcanzaba el 70 % pa a la mues a equilib ada. En e ec o, el andom o es supe a al modelo bagging. El modelo andom o es elabo a una salida muy aliosa que se co esponde con la impo ancia de las a iables en la c eaci´on del modelo. Se ex ae pa a el andom o es elabo ado con la mues a de en enamien o equilib ada. Figu a 18: Impo ancia de a iables pa a andom o es con SMOTE Las a iables que cob an mayo impo ancia en el modelo son, po es e o den, V14, V12, V4 y V10. Se ecue da que odas ellas ue on esal adas al es udia su unci´on de densidad po ipo de ansacci´on. Adem´as, an o V14 como V12 en´ıan un ´ındice de co elaci´on nega i o con Class des acable en e a los dem´as. 4.3.4. Ex emely andomized ees Es e modelo no induce alea o iedad en la mues a con la que se c ea cada ´a bol, pues cada uno de ellos se cons uye con la mues a de en enamien o al comple o. 37 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on Sin emba go, s´ı que oma de mane a cuasi-alea o ia las condiciones de sepa aci´on de los nodos. Es o p o oca que los ´a boles no sob eajus en con an a acilidad. Po ello, ambi´en se deja que c ezcan has a su m´axima ex ensi´on posible. Se elabo an 100 ´a boles y, como en el andom o es , s´olo se puede oma la condici´on de sepaci´on en e √M a iables. Ex emely andomized ees sin SMOTE Figu a 19: Ma iz de con usi´on del ex emely andomized ees sin SMOTE Ex emely andomized ees con SMOTE Figu a 20: Ma iz de con usi´on del ex emely andomized ees con SMOTE 38 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on con SMOTE sin SMOTE P ecision 0.91 0.96 Recall 0.86 0.83 F1Sco e 0.88 0.89 Tabla 5: Medidas de endimien o del ex emely andomized ees Es e modelo es el que o ece una mejo clasi icaci´on. Alcanza el 86 % de ecall con la mues a equilib ada y disminuye a´un m´as los alsos posi i os. Adem´as, su alea o iedad pe mi e que el modelo se ejecu e ´apido. De nue o, la mues a equilib ada de ec a m´as casos de aude a ca go de clasi ica e ´oneamen e ansacciones leg´ı imas como audulen as. Se pasa a p oba el modelo de ap endizaje no supe isado isola ion o es . Aho a se p escinde de la in o maci´on que indica de qu´e ipo es cada ansacci´on pa a la elabo aci´on del modelo. S´ı que se ha ´a uso de dicha in o maci´on al p oba su endimien o con la mues a es , que adem´as pe mi i ´a la compa aci´on con el es o de modelos. 4.3.5. Isola ion o es El isola ion o es p opone una o ma al e na i a de de ec a de aude. Asume que hay una elaci´on di ec a en e las ansacciones audulen as y los compo amien os an´omalos. Po ello, plan ea la de ecci´on de anomal´ıas como equi alen e a la de ecci´on del aude. Al igual que con los modelos an e io es, se a a elabo a con el conjun o de en enamien o y se a a p oba con el conjun o es . Sin emba go, aho a no se necesi a de una mues a equilib ada. De hecho, en p incipio, es bueno que haya pocas ansacciones audulen as, as´ı se ´an il adas como an´omalas con mayo acilidad. Como se ha mencionado con an e io idad, es necesa io indica el po cen aje de obse aciones an´omalas que se quie e de ec a . En es e caso, se pa e con en aja, al dispone de la mues a ya e ique ada. En el an´alisis de los da os, se de e min´o que las ansacciones audulen as con o maban el 0,17 % de la mues a o al. Luego, iene sen ido oma es a can idad como po cen aje de obse aciones m´as an´omalas a de ec a . No malmen e no se dispone de es e da o. Se a a compa a el endimien o del modelo con dis in os alo es pa a el hipe pa ´ame o mencionado. En conc e o, se a a compa a pa a el 0,2 %, el 0,5 %, el 1 % y el 5 %. A con inuaci´on, apa ecen las ma ices de con usi´on pa a cada uno de los modelos desa ollados. 39 Ma ´ıa Te esa Villanue a Mo eno 4 Aplicaci´on (a) De ecci´on del 0,2 % (b) De ecci´on del 0,5 % (c) De ecci´on del 1 % (d) De ecci´on del 5 % Figu a 21: Ma iz de co elaciones de isola ion o es A medida que aumen a el po cen aje de anomal´ıas que se e iene, aumen a el n´ume o de casos de aude que se de ec an. No obs an e, aumen a ambi´en el n´ume o de alsos posi i os, siendo es e demasiado ele ado. 4.4. Compa aci´on de los modelos Los cinco modelos u ilizan ´a boles de decisi´on. Sin emba go, se obse a c´omo la e ec i idad alcanzada po cada uno es di e en e. El modelo de ap endizaje no supe isado isola ion o es p esen a una cla a des en aja en e a los dem´as. Pa a alcanza un n´ume o simila a los o os modelos de casos de aude de ec ados co ec amen e, clasi ica e ´oneamen e muchas ansacciones leg´ı imas. Po lo an o, es e modelo queda desca ado. Los o os modelos co esponden al ap endizaje supe isado y la siguien e abla p esen a el endimien o de cada modelo pa a cada una de las dos mues as empleadas. 40 Ma ´ıa Te esa Villanue a Mo eno 7 Anexo ## CART ee pa ams = {”max dep h”: lis ( ange(1 , 20) ) } g i d e e = G idSea chCV ( D e c i s i o n T e e C l a s s i i e ( ) , ee pa ams , sc o i ng = ’ e c a l l ’ ) # sin SMOTE g i d e e . i ( X ain , y ain ) m bes 1 = g i d e e . b es e s im a o p e d i c i o n s c a 1 = m bes 1 . p ed ic ( X es ) # con SMOTE g i d e e . i ( X ai n e s , y a i n e s ) m bes 2 = g i d e e 2 . b e s e s im a o p e d i c i o n s c a 2 = m bes 2 . p ed ic ( X es ) ## BAGGING bagging = Ba g g i n g C lass i i e ( D e c i s i o n T e e C l a s s i i e ( max dep h = 10 , c i e i o n = ’ g i n i ’ ) , n es ima o s = 10 , andom s a e = 10) # sin SMOTE model bag1 = bagging . i ( X ain , y a i n ) p ed ic ions ba g1 = model bag1 . p e dic ( X es ) # con SMOTE model bag2 = bagging . i ( X ain es , y a i n e s ) p ed ic ions ba g2 = model bag2 . p e dic ( X es ) ## RANDOM FOREST = RandomFo es Classi ie ( n es ima o s = 100 , max ea u es = ’ sq ’ , andom s a e = 10) # sin SMOTE mode l 1 = . i ( X ain , y a i n ) p e d i c i o n s 1 = model 1 . p ed ic ( X es ) # con SMOTE model 2 = . i ( X ain es , y a i n e s ) p e d i c i o n s 2 = model 2 . p ed ic ( X es ) ## EXTREMELY RANDOMIZED TREES ex a = E x a T e e sCla s s i i e ( n es ima o s = 100 , max ea u es = ’ sq ’ , c i e i o n = ’ g i n i ’ , andom s a e = 10) # sin SMOTE model ex a1 = ex a . i ( X ain , y a i n ) p e d i c i o n s e x a 1 = model ex a1 . p ed ic ( X es ) # con SMOTE 47 Ma ´ıa Te esa Villanue a Mo eno 7 Anexo model ex a2 = ex a . i ( X ai n e s , y a i n e s ) p e d i c i o n s e x a 2 = model ex a2 . p ed ic ( X es ) ## ISOLATION FOREST i s 1 = I s o l a i o n F o e s ( n es i ma o s =100, con amina ion =0.002 , andom s a e =10, e bose =0) i s 2 = I s o l a i o n F o e s ( n es i ma o s =100, con amina ion =0.005 , andom s a e =10, e bose =0) i s 3 = I s o l a i o n F o e s ( n es i ma o s =100, con amina ion =0.01 , andom s a e =10, e bose =0) i s 4 = I s o l a i o n F o e s ( n es i ma o s =100, con amina ion =0.05 , andom s a e =10, e bose =0) y p e d i s 1 = mod el is 1 . p ed ic ( X es ) y p e d i s 2 = mod el is 2 . p ed ic ( X es ) y p e d i s 3 = mod el is 3 . p ed ic ( X es ) y p e d i s 4 = mod el is 4 . p ed ic ( X es ) 48