Reconocimiento de Entidades Nombradas en Textos Legales en Español

Reconocimien o de En idades Nomb adas en Tex os Legales en Espa˜nol Recogni ion o Named En i ies in Spanish Legal Tex s TRABAJO FIN DE GRADO GRADO EN INGENIER´ IA INFORM ´ ATICA CURSO 2022–2023 ´ Al a o L´opez Olmos ZhenBo Chen Di ec o es Luis Ja ie Ga c´ıa Villalba Luis Albe o Ma ´ınez He n´andez Depa amen o de Ingenie ´ıa del So wa e e In eligencia A i icial Facul ad de In o m´a ica Uni e sidad Complu ense de Mad id Mad id, Junio de 2023 Ag adecimien os Que emos exp esa nues o m´as since o ag adecimien o a odas las pe sonas que con ibuye on en el abajo de in de g ado. En p ime luga , nos gus a ´ıa ag adece a nues os di ec o es de TFG Luis Ja ie Ga c´ıa Villalba y Luis Albe o Ma ´ınez He n´andez, po su gu´ıa y apoyo incondicional a lo la go de odo el p oceso de in es igaci´on. Tambi´en que emos ag adece a Robson de Oli ei a Albuque que, Ana Lucila Sando al O ozco, Daniel Po edano ´ Al a ez y Sand a P´e ez A eaga po sus aliosas con ibuciones en di e en es e apas del p oyec o. Su colabo aci´on ue c ucial pa a el desa ollo del abajo y el log o de los esul ados espe ados. Adem´as, nos gus a ´ıa exp esa nues o ag adecimien o a odos nues os p o eso es, compa˜ne os y amilia es que nos die on su apoyo y mo i aci´on du an e el eco ido del p oyec o. Sus comen a ios, suge encias y c ´ı icas cons uc i as nos pe mi ie on mejo a cons an emen e nues o abajo y alcanza los obje i os p opues os. Sin el apoyo y la colabo aci´on de odas es as pe sonas, nues o p oyec o de in de g ado no hab ´ıa sido posible. iii ´ Indice Gene al ´ Indice de Figu as IX ´ Indice de Tablas XI Lis a de Ac ´ onimos XV Abs ac XIX Resumen XXI 1. In oducci´ on 1 1.1. Mo i aci´on .................................... 1 1.2. Con ex o ..................................... 2 1.3. Obje o de la In es igaci´on ............................ 2 1.4. Plan de T abajo ................................. 3 1.5. Es uc u a del T abajo .............................. 4 2. Con ex o de la In es igaci´ on 5 2.1. P ocesamien o del Lenguaje Na u al ...................... 5 2.2. Concep os espec´ı icos ............................... 6 2.3. His o ia de los P ocesado es del Lenguaje Na u al .............. 7 2.4. A qui ec u a T ans o me ............................ 8 2.4.1. Embeddings ................................ 9 2.4.2. Vec o Posicional ............................. 9 2.4.3. Mecanismo de a enci´on ......................... 10 i ´ INDICE GENERAL 2.4.4. Codi icado ................................ 10 2.4.5. Decodi icado ............................... 11 2.5. Modelos de Lenguaje P een enados ...................... 12 2.5.1. BERT ................................... 12 2.5.2. RoBERTa ................................. 15 2.5.3. ALBERT ................................. 15 2.5.4. Dis ilBERT ................................ 16 2.5.5. SpanBERT ................................ 17 3. Es ado del A e 19 3.1. Sc aping ...................................... 19 3.2. Modelos de P ocesamien o de Lenguaje Na u al ................ 20 4. Me odologia del P oyec o 25 4.1. Recolecci´on de los da os ............................. 26 4.1.1. Web Sc aping ............................... 26 4.1.2. PDF Sc aping .............................. 26 4.2. Da os de en ada ................................. 27 4.3. P e-P ocesamien o ................................ 27 4.3.1. P epa aci´on del e ique ado ....................... 27 4.3.2. P epa aci´on de los a chi os de en enamien o ............. 28 4.4. En enamien o del modelo ............................ 30 4.5. Lib e ´ıas U ilizadas ................................ 30 5. Expe imen os y Resul ados 33 5.1. Desc ipci´on del co pus .............................. 33 5.2. P e-P ocesamien o ................................ 34 5.3. En enamien o .................................. 35 5.3.1. RoBERTa Base BNE ........................... 36 5.3.2. XLM RoBERTa Base .......................... 37 5.4. E aluaci´on .................................... 37 ´ INDICE GENERAL ii 5.4.1. P ecisi´on ................................. 38 5.4.2. Recall ................................... 38 5.4.3. F-sco e .................................. 38 5.4.4. Ma iz de con usi´on ........................... 39 5.5. Ejemplo salida del modelo ............................ 39 6. Con ibuciones 43 6.1. ZhenBo Chen ................................... 43 6.2. ´ Al a o L´opez Olmos ............................... 44 7. Conclusiones y T abajo Fu u o 47 7.1. Conclusiones ................................... 47 7.2. T abajo Fu u o .................................. 47 8. In oduc ion 49 8.1. Mo i a ion .................................... 49 8.2. Con ex ...................................... 50 8.3. Objec o he In es iga ion ........................... 50 8.4. Wo kplan ..................................... 51 8.5. S u u e o he Wo k ............................... 52 9. Conclusions and Fu u e Wo k 53 9.1. Conclusions .................................... 53 9.2. Fu u e Wo k ................................... 53 Bibliog a ´ ıa 55 ´ Indice de Figu as 1.1. Diag ama de Gan del p oyec o ........................ 4 2.1. A qui ec u a ans o me s [VSP+17] ...................... 8 2.2. Ejemplo espacio Embedding ........................... 9 2.3. Es uc u a del codi icado ............................ 11 2.4. Es uc u a del decodi icado ........................... 11 2.5. En ada Be [DCLT19] ............................. 13 2.6. A qui ec u a Be [DCLT19] ........................... 13 2.7. Ejemplo usos de BERT - Clasi icaci´on [DCLT19] ............... 14 2.8. Ejemplo usos de BERT - P egun a Respues a y NER [DCLT19] ....... 14 2.9. Una ilus aci´on del en enamien o SpanBERT [JCL+20] ........... 17 4.1. Pipeline ...................................... 25 4.2. Ejemplo de Reconocimien o de En idades ................... 25 4.3. N´ume o de apa iciones po e ique a ...................... 29 5.1. Debug ....................................... 36 5.2. Ma iz de con usi´on de Legal-GASS ...................... 39 5.3. Ma iz de con usi´on de Legal-GASS-li e .................... 40 5.4. Salida de la p edicci´on .............................. 41 ix x i Lis a de Ac ´ onimos LOPD Ley O ganica de P o ecci´on de Da os LSTM Long Sho Te m Memo y ML Machine Lea ning MLM Modelado del Lenguaje Enmasca ado NER Name En i y Recogni ion NLP Na u al Language P occessing NSP P edicci´on de la F ase Siguien e RACE ReAding Comp ehension om Examina ions RNN Recu en Neu al Ne wo ks RoBERTa Robus ly Op imized BERT P e aining App oach SBO span-bounda y objec i e SOP Sen ence O de P edic ion SpanBERT BERT o Span-based Ex ac i e Ques ion Answe ingT SQuAD S an o d Ques ion Answe ing Da ase TA T aducci´on Au om´a ica TFG T abajo de Final de G ado TSV Tab Sepa a ed Values XML Ex ensible Ma kup Language Abs ac In his wo k, an exhaus i e in es iga ion o he use o language models o named en i y ecogni ion in Spanish ex s and o he echniques o collec ing, ex ac ing in o ma ion and e aining he models is ca ied ou . The main objec i e o his wo k is o de elop a model based on RoBERTa, using a balanced da ase ha gua an ees he obus ness and eliabili y o he model. In he s udy, emphasis is placed on he ield o na u al language p ocessing, aking ad an age o ad ances in machine lea ning o imp o e he ecogni ion o named en i ies in legal ex s in Spanish. The pe o mance o RoBERTa is e alua ed and compa ed wi h o he language models, such as BERT and ALBERT, in o de o choose he mos app op ia e model o he analysis o Spanish ex s. Fo he selec ion o he da ase , a wide a ie y o Spanish legal ex s a e collec ed, co e ing di e en a eas and o which di e en p ep ocessing echniques a e applied. The esul s ob ained a e e aining e lec a good pe o mance o he RoBERTa model in en i y ecogni ion in Spanish legal ex s. E alua ion me ics a e p esen ed ha demons a e i s e iciency and accu acy in he iden i ica ion o he men ioned en i ies. Keywo ds: In o ma ion Collec ion and Ex ac ion, Named En i y Recogni ion, Na u al Language P ocessing. xix Resumen En el p esen e abajo se lle a a cabo una exhaus i a in es igaci´on del uso de modelos de lenguaje pa a el econocimien o de en idades nomb adas en ex os en espa˜nol y de las ´ecnicas de ecopilaci´on, ex acci´on de in o maci´on y een enamien o de los modelos. El obje i o p incipal de es e abajo consis e en desa olla un modelo basado en RoBERTa, u ilizando un conjun o de da os balanceado que ga an ice la solidez y iabilidad del mismo. En el es udio, se hace ´en asis en el campo del p ocesamien o del lenguaje na u al, ap o echando los a ances en ap endizaje au om´a ico pa a mejo a el econocimien o de en idades nomb adas en ex os legales en espa˜nol. Se e al´ua y compa a el endimien o de RoBERTa con o os modelos de lenguaje, ales como BERT y ALBERT, pa a elegi el modelo m´as ap opiado pa a el an´alisis de ex os en espa˜nol. Pa a la selecci´on del conjun o de da os, se ecolec a una amplia a iedad de ex os legales en espa˜nol, cub iendo dis in as ´a eas y a los que se aplican di e en es ´ecnicas de p ep ocesamien o. Los esul ados ob enidos as el een enamien o e lejan un buen desempe˜no del modelo RoBERTa en el econocimien o de en idades en ex os legales en espa˜nol. Se p esen an m´e icas de e aluaci´on que demues an su e icacia y p ecisi´on en la iden i icaci´on de en idades mencionadas. Palab as cla e: P ocesamien o del Lenguaje Na u al, Reconocimien o de En idades, Recopilaci´on y Ex acci´on de in o maci´on. xxi Cap´ı ulo 1 In oducci´on 1.1. Mo i aci´on Los nume osos a ances cien ´ı icos de los ´ul imos a˜nos han dado luga a un aumen o exponencial de la ecnolog´ıa. G acias a In e ne , se ha hecho posible accede a g andes can idades de da os, conc e amen e en o ma de ex o esc i o en di e en es idiomas, lo que esul a muy ´u il pa a el ap endizaje humano o a i icial, conc e amen e pa a el P ocesamien o del Lenguaje Na u al (NLP). T as la apa ici´on de la p ime a a qui ec u a de NLP mode na, Wo d2Vec [MSC+13] en 2013, se p odujo un ´apido desa ollo de es a ecnolog´ıa, con a ios a ances, como los Recu en Neu al Ne wo ks (RNN) y los Long Sho Te m Memo y (LSTM) que son una modi icaci´on de los an e io es. En e los a˜nos 2015 y 2016 se popula iza on las edes basadas en a enci´on, que pe mi en al dise˜nado que especi ique en que ipo de da os quie e que se cen e el sis ema, a cuales p es a a enci´on. De en e es os, uno de los que mas des aca son los T ans o me , in oducidos en 2017 y que ac ualmen e copa el pa adigma del p ocesamien o del lenguaje. En la ac ualidad p edominan modelos como Bidi ec ional Encode Rep esen a ions om T ans o me s (BERT) [DCLT19], p esen ado en 2018, y sus especializaciones y op imizaciones, como Robus ly Op imized BERT P e aining App oach (RoBERTa) [LOG+19], 2019. Al se ambos modelos an ac uales, oda ´ıa no se han ealizado en enamien os pa a odos los lenguajes, ni pa a odos los ´ambi os de posible especializaci´on, po ello se p opone en es e abajo, la c eaci´on y p esen aci´on de an o un pipeline, como de un modelo en enado espec´ı icamen e pa a el ´ambi o legal en espa˜nol. Tambi´en cabe ci a o os modelos de i ados de BERT ales como A Li e BERT (ALBERT) [LCG+20], Dis illed BERT (Dis ilBERT) [SDCW20] y BERT o Span-based Ex ac i e Ques ion Answe ingT (SpanBERT) [JCL+20]. 1 2Cap´ ı ulo 1. In oducci´ on 1.2. Con ex o El p esen e T abajo Fin de G ado se enma ca den o de un p oyec o de in es igaci´on i ulado No el S a egies o Figh Child Sexual Exploi a ion and Human T a icking C imes and P o ec hei Vic ims – HEROES, ap obado po la Comisi´on Eu opea den o del P og ama Ma co Ho izon e 2020 (con oca o ia H2020-SU-SEC-2020) en i ud del acue do de sub enci´on n´ume o 101021801 y en el que pa icipa como coo dinado del p oyec o el G upo GASS de la Uni e sidad Complu ense de Mad id (G upo de An´alisis, Segu idad y Sis emas, h ps://gass.ucm.es, g upo 910623 del ca ´alogo de g upos de in es igaci´on econocidos po la UCM). Adem´as de la Uni e sidad Complu ense de Mad id pa icipan en HEROES 21 en idades ubicadas en 17 pa´ıses: 11 de pa´ıses de la UE (Aus ia, B´elgica, Bulga ia, F ancia, G ecia, I landa, Le onia, Li uania, Po ugal, Espa˜na, Reino Unido), 1 pa´ıs asociado (Suiza) y 5 e ce os pa´ıses (Bangladesh, B asil, Colombia, Pe ´u, U uguay). Dichas en idades son: Uni e si y o Ken (Reino Unido), The F ee Uni e si y o B ussels (B´elgica), The F ench Na ional Resea ch Ins i u e o Digi al Science and Technology – INRIA (F ancia), Cen e o Secu i y S udies – KEMEA (G ecia), In e na ional Cen e o Mig a ion Policy De elopmen – ICMPD (Aus ia), In e na ional Cen e o Missing and Exploi ed Child en – ICMEC (Suiza), IDENER Resea ch De elopmen Ag upaci´on de In e ´es Econ´omico (Espa˜na), A hena Resea ch Cen e – ARC (G ecia), T ila e al Resea ch and Consul ing (Reino Unido), Cen e o Women and Child en S udies – CWCS (Bangladesh), Cen e Agains Human T a icking and Exploi a ion – KOPZI (Li uania), Po uguese Associa ion o Vic im Suppo – APAV (Po ugal), Fundaci´on Renace (Colombia), The G eek Council o Re ugees – GCR (G ecia), B azilian Associa ion o he De ense o Child en o Child en and You h – ASBRAD (B asil), Hellenic Police (G ecia), La ia Na ional Police (Le onia), Gene al Di ec o a e o he Figh agains O ganized C ime (Bulga ia), Di ecci´on Gene al de la Polic´ıa – DGP (Espa˜na), Fede al Police (B asil), Fede al Highway Police (B asil), Sec e a ´ıa de In eligencia Es a ´egica de Es ado – P esidencia de la Rep´ublica O ien al del U uguay (U uguay). Tienen m´as in o maci´on en: h ps://co dis.eu opa.eu/p ojec /id/101021801 h ps://he oes- c .eu 1.3. Obje o de la In es igaci´on El obje i o de es e p oyec o es el dise˜no e implemen aci´on de un modelo de NLP capaz de econoce en idades nomb adas en idioma espa˜nol en un ex o con una o ien aci´on a p ocesos legales. Con es e modelo se p e ende au oma iza el p oceso que ealiza un 1.4. Plan de T abajo 3 in es igado al ealiza una an´alisis de los a chi os con enidos en un disposi i o incau ado en idioma espa˜nol. Po lo an e io es necesa io ealiza una an´alisis de los di e en es algo i mos de p ocesamien o de NLP que pe mi an un p ocesamien o ´agil y la iden i icaci´on p ecisa del con ex o de la ase analizada y ealiza el econocimien o de en idades. Adem´as, es e es udio a a de comp ende el p oceso de ex acci´on de en idades nomb adas, analiza su es uc u a e iden i ica los p incipales e os a los que se en en an los ingenie os in o m´a icos a la ho a de c ea es os modelos. Es e abajo p opone un modelo que pe mi a educi el iempo empleado po pa e de los in es igado es pa a el an´alisis de a chi os en espa˜nol con enidos en disposi i os incau ados en un p oceso judicial. 1.4. Plan de T abajo El desa ollo de es e p oyec o es a es uc u ado en es e apas ( e Figu a 1.1): 1. In es igaci´ on del Es ado del A e: Es a e apa se cen a en la in es igaci´on de los abajos y p oyec os pun e os ele an es pa a es e abajo, an o as´ı como la adquisici´on de los conocimien os necesa ios pa a la ealizaci´on de es e abajo. Una ez aco dado el T abajo de Final de G ado (TFG), se ealizo una euni´on in oduc o ia pa a explica la inalidad y los pun os a lle a a cabo a lo la go de es e p oceso. Es a euni´on ue seguida de euniones semanales pa a con el in de ealiza un seguimien o del p oyec o y pa a esol e las dudas que su gie an. En es as euniones ambi´en se explica on las co ec as o mas de busca documen aci´on acad´emica, los o ma os eque idos y las he amien as usadas, siendo una de ellas Google Schola , que se decidi´o que se ia la usada pa a es e p oyec o. Como los in eg an es del equipo no dispon´ıan de odos lo conocimien os necesa ios elacionados con las In eligencias A i iciales, se ealiza on a ios cu sos pa a ob ene dichos conocimien os. Finalmen e, una ez adqui idos los conocimien os base y es udiado los emas cen ales del p oyec o basados en los obje i os del mismo, el equipo comenz´o con el desa ollo de modelo. 2. Desa ollo: Una ez ob enida la in o maci´on necesa ia, se empez´o a abaja en el desa ollo del modelo, pe o sin deja de lado la in es igaci´on de soluciones ´op imas. Po ello, en es a ase se examin´o el lenguaje de p og amaci´on Py hon y concep os a anzados de biblio ecas como Spacy yTo ch. Adem´as, los ex os ecogidos de las uen es p opo cionadas po las ob as le´ıdas du an e la ase an e io se e ique a on con en idades pa a p opo ciona los conjun os de en enamien o del modelo. Tambi´en se ealizo el despliegue del en o no donde se ealiza ´ıan an o los en enamien os, como las e aluaciones del modelo. 10 Cap´ ı ulo 2. Con ex o de la In es igaci´ on 2.4.3. Mecanismo de a enci´on Sabiendo es o, lo p ime o es en ende el mecanismo de a enci´on en el que se basa es a ecnolog´ıa, o mado po un dicciona io ipo hashmap. La inalidad es encon a la simili ud en e dos Embeddings. Es o se ealiza median e la Funci´on 2.1. Z=So max(QKT √dk )V(2.1) Siendo Qla ma iz que con iene el Embedding de los Tokens que se es ´a e aluando, la ma iz Kcon iene los Tokens como las cla es del dicciona io y la ma iz Vque con iene el Embedding de salida. La unci´on So max() con ie e los alo es de a enci´on en alo es del ango [0-1] pa a as´ı pode en ende los como po cen ajes e e en es a la a enci´on o elaci´on que se p esen a en e dos Tokens ( e Tabla 2.1). Conociendo es o, ya es posible con inua con la explo aci´on de los dis in os componen es. Tabla 2.1: Ejemplo a enci´on - El abuelo do m´ıa en la habi aci´on anquilamen e El 0.5 0 0 0 0 0 0 abuelo 0 0.5 0.8 0 0 0.4 0.8 do m´ıa 0 0.8 0.5 0 0 0 0 en 0 0 0 0.5 0 0 0 la 0 0 0 0 0.5 0 0 habi aci´on 0 0.4 0 0 0 0.5 0 anquilamen e 0 0.8 0 0 0 0 0.5 2.4.4. Codi icado Cada codi icado se cons uye po una capa de sel -a en ion y una ed neu onal eed- o wa d, a la salida gene ada po ambos elemen os se le aplica un p oceso de Add & No m an es de se en egada al elemen o siguien e. La Figu a 2.3 mues a es a es uc u a. En es e apa ado se explica la inalidad y el m´e odo de uso de los dis in os componen es an e io men e mencionados. Sel -a en ion: En es a capa se p oduce una compa aci´on de cada uno de los Tokens con el es o de los Tokens de la misma ase, median e el uso de la Funci´on 2.1, siendo los alo es de las ma ices los elemen os de la misma ase. Red neu onal eed- o wa d: Es un ipo de ed neu onal que cons a de nen adas ynsalidas, en la que la in o maci´on luye en un ´unico sen ido, desde la en ada has a la salida sin la exis encia de bucles ni eg esiones. 2.4. A qui ec u a T ans o me 11 Add &No m: Es la uni´on de dos a eas, la p ime a, es una conexi´on esidual que une la en ada de cada capa con la salida de la misma, es o nos pe mi e man ene los pesos a lo la go del iempo de ejecuci´on. Dicha me odolog´ıa ue ampliamen e explo ada en las edes ResNe [HZRS15]. Y la segunda es una a ea de no malizaci´on de capa [BKH16], que se asegu a de que no se p oduzcan cambios muy b uscos sob e los da os al pasa de una capa a o a y as´ı acele a el en enamien o del modelo y con un mayo ni el de gene alizaci´on. Figu a 2.3: Es uc u a del codi icado 2.4.5. Decodi icado Aho a se con inua con la es uc u a de decodi icado , que como se obse a en la Figu a 2.4, es muy simila a la del codi icado (Figu a 2.3). Figu a 2.4: Es uc u a del decodi icado 12 Cap´ ı ulo 2. Con ex o de la In es igaci´ on Las ´unicas di e encias son la apa ici´on de una nue a capa de a enci´on, en es e caso de a enci´on enmasca ada, y o a de Add &No m. La a enci´on enmasca ada no es mas que el mecanismo de a enci´on an e io men e mencionado, pe o ocul ando la pa e supe io de echa, con es o se e i a que el modelo conozca el alo de cie as a enciones an es de llega a ellas, ya que en el decodi icado se gene an en o den de apa ici´on, al ocu i es o y como se mues a en la Tabla 2.2, no puede conoce la a enci´on de “abuelo- anquilamen e”, ya que es a a´un no se ha gene ado. Tabla 2.2: Ejemplo a enci´on enmasca ada - El abuelo do m´ıa en la habi aci´on anquilamen e El 0.5 - - - - - - abuelo 0 0.5 - - - - - do m´ıa 0 0.8 0.5 - - - - en 0 0 0 0.5 - - - la 0 0 0 0 0.5 - - habi aci´on 0 0.4 0 0 0 0.5 - anquilamen e 0 0.8 0 0 0 0 0.5 La salida del codi icado es a conec ada al decodi icado median e la capa segunda capa de a enci´on del mismo, donde se uel en a ealiza las unciones sob es las ma ices Q,K, V, solo que en es e caso Q,Kson las salidas del codi icado y Ves lo que se ecibe del mecanismo de a enci´on enmasca ada. En el caso de ealiza el en enamien o pa a la a ea de TA el modelo ecibi ´ıa “El abuelo do m´ıa” y “G andpa was sleeping”, mien as que en el momen o de ealiza la a ea el modelo ecibi ´a solamen e “El abuelo do m´ıa” y as pasa po ncodi icado es yndecodi icado es se ia capaz de gene a la salida “G andpa was sleeping” de o ma au ´onoma. Los ncodi icado es y ndecodi icado es p esen an el mismo uso que las capas de las ampliamen e conocidas RNN. 2.5. Modelos de Lenguaje P een enados En es a secci´on se p esen an los modelos BERT,RoBERTa,ALBERT,Dis ilBERT y SpanBERT. La Tabla 2.3 p esen a un esumen de las ca ac e ´ıs icas m´as ep esen a i as de es os modelos. 2.5.1. BERT La Rep esen aci´on de Codi icado Bidi eccional de T ans o mado es (BERT del ingl´es Bidi ec ional Encode Rep esen a ions om T ans o me s), p esen ado po p ime a ez en [DCLT19], es una me odolog´ıa basada en la a qui ec u a T ans o me pa a la 2.5. Modelos de Lenguaje P een enados 13 Tabla 2.3: Resumen de modelos NLP p e-en enados Modelo #Pa ´ ame os Laye /Hidden/Heads M´ e odo BERT [DCLT19] Base:110M 12/768/12 T ans o mado bidi eccional MLM, NSP BERT [DCLT19] La ge:340M 24/1024/16 T ans o mado bidi eccional MLM, NSP RoBERTa [LOG+19] Base:123M 12/768/12 BERT sin NSP usando enmasca amien o din´amico RoBERTa [LOG+19] La ge:355M 24/1024/16 BERT sin NSP usando enmasca amien o din´amico ALBERT [LCG+20] Base:11M 12/768/12 BERT con pa ´ame os educidos, SOP (no NSP) ALBERT [LCG+20] La ge:17M 24/1024/16 BERT con pa ´ame os educidos, SOP (no NSP) Dis ilBERT [SDCW20] 66M 6/768/12 T ans o me s, des ilaci´on de BERT SpanBERT [JCL+20] Base:110M 12/768/12 T ans o me s, Ap endizaje supe isado SpanBERT [JCL+20] La ge:340M 24/1024/16 T ans o me s, Ap endizaje supe isado MLM: M´asca a de Lenguaje, NSP: P edicci´on de la siguien e o aci´on, SOP: P edicci´on de o aciones ep esen aci´on del lenguaje [VSP+17]. Pa a es e modelo se u iliza la ep esen aci´on ec o ial de las palab as jun o con el ec o de posici´on, como se mues a en la Figu a 2.5, pe o modi ica dicha a qui ec u a y solo se u ilizan los codi icado es. Figu a 2.5: En ada Be [DCLT19] Es e mismo p esen a dos es uc u as, con di e encias m´ınimas, dependiendo de si el p oyec o se encuen a en la ase de p e-en ena el modelo o de ealiza el ine- uning del mismo ( e Figu a 2.6). Figu a 2.6: A qui ec u a Be [DCLT19] Den o de la ase de p e-en enamien o, se pueden dis ingui dos a eas dis in as, Modelado del Lenguaje Enmasca ado (MLM), del ingl´es Masked Language Modeling y P edicci´on 14 Cap´ ı ulo 2. Con ex o de la In es igaci´ on de la F ase Siguien e (NSP), del ingl´es Nex Sen ence P edic ion. MLM: pa a es a a ea, du an e la ase de p e-p ocesamien o, se enmasca an el 15 % de los okens de una ase de o ma alea o ia y se in en a p edeci el alo de ese oken, den o de ese 15 % de okens enmasca ados no siemp e se enmasca a, el 80 % ealmen e se enmasca a, el 10 % se le asigna el alo de o o oken alea o io, y el ´ul imo 10 % se deja con el alo o iginal. NSP: se en ena el modelo pa a que dadas dos ases, A y B, es e sea capaz de de ec a si la ase B es la siguien e a la ase A. Pa a consegui es o, el 50 % de las eces se ma ca la ase B como isNex y el o o 50 % como No Nex . Es o es ex emadamen e ´u il pa a la a ea de espues a a p egun as. En la ase de ine- uning, la idea es een ena el modelo con nue os da os pa a el uso especi ico que se quie e da al modelo ( ´ease en las Figu as 2.7,2.8), bas´andose en los pesos ya conocidos po el mismo. Al ealiza se sob e es os pesos ya conocidos, es a a ea se ealiza con m´ınimo cos e en ecu sos. (a) Ta ea de Clasi icaci´on de Pa es de F ases: MNLI, QQP, STS-B, MRPC, RTE, SWAG. (b) Ta eas de Clasi icaci´on de F ases Indi iduales: SST-2, CoLA Figu a 2.7: Ejemplo usos de BERT - Clasi icaci´on [DCLT19] (a) Ta ea de Respues a a P egun as SQuAd V1.1 (b) Ta ea de E ique ado de F ases Indi iduales: CoNLL-2003 NER Figu a 2.8: Ejemplo usos de BERT - P egun a Respues a y NER [DCLT19] 2.5. Modelos de Lenguaje P een enados 15 2.5.2. RoBERTa RoBERTa, p esen ado en [LOG+19] y es una op imizaci´on de BERT [DCLT19] implemen ada en Py o ch [PGM+19] que se cen a en la a ea del MLM, en la que se modi ican an o algunos pa ´ame os cla e y el co pus de en enamien o como algunos m´e odos del p opio en enamien o. En e los cambios conc e os, se p oduce una sus i uci´on del m´e odo de enmasca ado es ´a ico usado en BERT, po un enmasca ado din´amico, que consis e en duplica la ase 10 eces y en ega la en cada ´epoca cambiando el oken enmasca ado. Con es o se consigue que el modelo ea dis in as e siones de la misma ase, cosa que mejo a la p ecisi´on. Tambi´en se elimina el obje i o de NSP que p o ocaba una pe dida de endimien o y p ecisi´on al ealiza a eas de downs eam, en el a iculo [LOG+19] se p opone la hip´o esis de que es o se debe a la incapacidad del modelo de ap ende elaciones si uadas a una g an dis ancia. Es a pe dida se consigui´o educi ag upando ases con iguas, que pueden no p ocede de un mismo documen o. O o de los cambios ealizados en el en enamien o es el aumen o del ama˜no de los mini-ba ches y del By e-Pai Encoding (BPE) [SHB16] a ni el de by e. Es o, sumado al aumen o de i e aciones y del ama˜no del co pus de en enamien o, en e lo que se encuen a el uso de los conjun os “BOOKCORPUS” [ZKZ+15] y “CC-NEWS”, es e ´ul imo ecolec ado po ellos, jun o con o os que no se pudie on publica , es o se aduce en un aumen o de la p ecisi´on del modelo, que se e leja al ejecu a la e aluaci´on sob e los benchma ks.RoBERTa consigui´o una pun uaci´on de 88.5 de media sob e odas las a eas p opues as po GLUE [WSM+19],lo que lo si ´ua como el mejo modelo seg´un es e benchma k. Tambi´en se ealiza on e aluaciones sob e los benchma ks SQuAD yRACE [LXL+17] en los que RoBERTa consigui´o pun uaciones que igualan a las del es ado del a e sin ealiza en enamien o especi ico pa a las a eas que p oponen dichos benchma ks. Sus esul ados demues an la impo ancia de un co pus de ama˜no adecuado y de la op imizaci´on an o como la ele ancia. 2.5.3. ALBERT ALBERT [LCG+20] en compa aci´on con el modelo BERT, que es conocido po se cos oso en memo ia y iempo, debido a los nume osos pa ´ame os usados en su en enamien o, 110 millones en la e si´on base y 340 millones en la e si´on ampliada, ALBERT a i ma ene una educci´on del 89 % en pa ´ame os en compa aci´on con BERT, con casi el mismo endimien o en el benchma k, y odo es o es g acias a sus mejo as aplicadas, ales como , ac o izaci´on de los pa ´ame os de inc us aci´on, compa i pa ´ame os en e capas, ´ecnicas de educci´on de pa ´ame os, e c [LCG+20]. 16 Cap´ ı ulo 2. Con ex o de la In es igaci´ on Compa i pa ´ame os en e capas, lo que educe la can idad de pa ´ame os ´unicos, es una de las p incipales inno aciones y modi icaciones de ALBERT, mien as que en el BERT con iene un conjun o de pa ´ame os ´unicos pa a cada codi icado . Ag ega una capa de ama˜no m´as peque˜no en e el ocabula io y la capa ocul a pa a descompone la ma iz de inc us aci´on de ama˜no V·Hen dos ma ices m´as peque˜nas de ama˜no V·EyE ·H. O a inno aci´on que des aca en ALBERT es la p´e dida de P edicci´on de O den de O aciones (Sen ence O de P edic ion (SOP),del ingl´es Sen ence O de P edic ion), que es p edeci +1 pa a pa es consecu i os de o aciones en el mismo documen o y -1 si se in e cambia el o den de las o aciones o si son de documen os di e en es. En gene al, es as mejo as de i an a una educci´on signi ica i a en el n´ume o de pa ´ame os, 11 millones en la e si´on base y 17 millones en la e si´on ampliada, lo que se aduce en una educci´on de la memo ia necesa ia pa a almacena los pa ´ame os del modelo. A pesa de ene menos pa ´ame os, ALBERT alcanza un endimien o simila e incluso mejo (GLUE benchma k 0.894, en la e si´on ensamble) al de BERT(GLUE benchma k 0.821, e sion ampliada) en el benchma k. 2.5.4. Dis ilBERT Dis ilBERT es un modelo T ans o me peque˜no, ´apido, econ´omico, lige o p een enado con des ilaci´on del conocimien o y ue en enado median e el co pus con el que el modelo BERT ue en enado o iginalmen e. Tiene un 40 % menos de pa ´ame os que be -base-uncased, unciona un 60 % m´as ´apido mien as p ese a m´as del 95 % del endimien o de BERT seg´un se mide en la GLUE [WSM+19]. La des ilaci´on del conocimien o [SDCW20] es un m´e odo de comp esi´on de modelos en el que un modelo m´as peque˜no se en ena pa a imi a las acciones de un modelo o g upo de modelos m´as g andes. En su abajo, el modelo compac o,Dis ilBERT yBERT compa en una a qui ec u a gene al simila pe o a meno escala. Se eliminan las inc us aciones de ipo de oken y el poole mien as que el n´ume o de capas se educe a la mi ad. La mayo ´ıa de las ope aciones u ilizadas en la a qui ec u a del T ans o me han sido muy op imizadas po los amewo ks mode nos de ´algeb a lineal, y sus in es igaciones han demos ado que los cambios en la dimensi´on inal del enso , ambi´en conocida como dimensi´on de ama˜no ocul o, ienen poco impac o en la e iciencia compu acional pa a un n´ume o ijo de pa ´ame os. Po lo an o, se cen an en educi el n´ume o de capas. En conclusi´on, Dis ilBERT es una e si´on m´as peque˜na y ´apida de BERT que se en ena median e des ilaci´on del conocimien o, lo que pe mi e una educci´on signi ica i a en el n´ume o de pa ´ame os mien as se man iene un al o ni el de endimien o en a eas de comp ensi´on del lenguaje na u al. 2.5. Modelos de Lenguaje P een enados 17 2.5.5. SpanBERT Figu a 2.9: Una ilus aci´on del en enamien o SpanBERT [JCL+20] SpanBERT [JCL+20] es un modelo de lenguaje basado en BERT que se p e-en ena en selecci´on de agmen os de ex o. A di e encia de BERT, que enmasca a okens indi iduales, SpanBERT u iliza una dis ibuci´on geom´e ica pa a enmasca a agmen os comple os de palab as. Adem´as, in oduce un span-bounda y objec i e (SBO) que impulsa al modelo a p edeci odo el agmen o enmasca ado a pa i de los okens obse ados en su l´ımi e. Es as di e encias pe mi en que SpanBERT ep esen e y p ediga mejo compa aci´on con BERT. SpanBERT puede u iliza se pa a di e sas ac i idades de GLUE, as´ı como pa a una amplia gama de a eas de PNL, como la ex acci´on de elaciones, la esoluci´on de elaciones y la espues a a p egun as. En los expe imen os [JCL+20], SpanBERT supe a no ablemen e a BERT y o os modelos en es as a eas. Po ejemplo, en GLUE,SpanBERT log a el mejo endimien o en sie e de las nue e a eas. Pe o al igual que BERT,SpanBERT equie e una g an can idad de da os de en enamien o y ecu sos compu acionales pa a log a un endimien o ´op imo. En cuan o a la mejo a de la ep esen aci´on y p edicci´on de las pa es del ex o, SpanBERT ha ob enido en gene al esul ados alen ado es. Cap´ı ulo 3 Es ado del A e En es a secci´on se hace un epaso de los abajos ecien es pe inen es pa a es e TFG. 3.1. Sc aping La ´ecnica sc aping [Zha17]consis e en la ex acci´on au oma izada de da os. Es deci , es un p oceso al que un sc ip cap u a in o maci´on de algun luga de mane a es uc u ada y au oma izada. El p oceso de sc aping se equie e el uso de he amien as de so wa e, y seg´un el luga que es as ecopilan usas de e minadas he amien as, en web sc aping algunas de las he amien as m´as popula es son: 1. Beau i ulSoup: Es un m´odulo de Py hon que acili a y hace m´as e icaz el es udio y la ex acci´on de da os de Hype ex T ans e P o ocol (HTML) yEx ensible Ma kup Language (XML). 2. Sc apy: un amewo k de Py hon que se u iliza pa a cons ui sc ape s de o ma ´apida y e icien e. 3. Selenium: una he amien a que pe mi e au oma iza la in e acci´on con una p´agina web, lo que es ´u il pa a ex ae in o maci´on de p´aginas web que equie en m´ul iples in e acciones ya sea como inicia sesi´on, egis a , e c. A di e encia de las dos an e io es selenium es m´as so is icado. Pa a el p oceso de sc aping de a chi os PDF, algunas de las he amien as m´as u ilizadas son: 1. PyPDF2: una biblio eca de Py hon que pe mi e analiza a chi os PDF y ex ae su con enido an o im´agenes como ex os, es sencillo de maneja y e icien e pa a pd que solo nos in e ese su ex o o la imagen. 19 26 Cap´ ı ulo 4. Me odologia del P oyec o 4.1. Recolecci´on de los da os Es e p ime paso del pipeline p opues o, in oluc a la ecopilaci´on de los ex o de em´a icas legal que cons i ui ´an los co pus necesa ios pa a el en enamien o de los modelo de NLP. La a ea de ecopilaci´on de da os se e ie e a la adquisici´on de los da os de ex o que se p ocesa ´an. Es os da os pueden p o eni de di e sas uen es, como bases de da os, si ios web, cha s, documen os, e c. Hay que ecopila los da os y limpia los an o como sea posible, eliminando in o maci´on innecesa ia y e isando los ex os pa a ob ene los mejo es esul ados. 4.1.1. Web Sc aping Web Sc aping [Zha17] es una ´ecnica que si e pa a ex ae o ecolec a in o maci´on de in e ne , y gua da lo en un sis ema de base de da os, donde pos e io men e se le aplica an ´ecnicas de p ocesamien o. Los pasos a segui : 1. Iden i icaci´on del si io web del cual ex ae la in o maci´on. 2. Se ealiza la inspecci´on del c´odigo HTML del si io pa a de e mina qu´e in o maci´on se desea ex ae y d´onde se encuen a ubicada. 3. C eaci´on de un sc ip que au oma iza el p oceso de ex acci´on de da os. 4. Ejecuci´on del sc ip , en es e paso hay que ene en cuen a las pol´ı icas de p i acidad y ´e minos de se icio del si io web escogido. 5. Fil ado del con enido ecopilado, como la eliminaci´on de ca ac e es especiales innecesa ios o e a as p oducido a la ho a de la desca ga, en e o as. 6. Almacena los da os ex a´ıdos en un o ma o es uc u ado, pa a su u ilizaci´on m´as a de ya sea pa a an´alisis u o a aplicaciones. 4.1.2. PDF Sc aping Se pa e de una idea simila a la de web Sc aping siguiendo los siguien es pasos: 1. Se iden i ica el pd que se necesi a ex ae in o maci´on. 2. Se selecciona la he amien a de pd sc aping PyPDF2 y se c ea un sc ip que au oma iza el p oceso de ex acci´on de da os. 3. Se ealiza el il ado del con enido. 4. Almacena los da os. 4.2. Da os de en ada 27 4.2. Da os de en ada El segundo paso del pipeline se en oca en la en ada de da os de ex o, los cuales son oda la in o maci´on ecolec ada du an e el paso an e io . Es os da os pueden se de cualquie ipo, desde a ´ıculos de no icias has a his o iales de cha . Sin emba go, el conjun o de ex o en s´ı no es su icien e pa a en ena los modelos de NLP, ya que es necesa io e ique a los da os con in o maci´on adicional. Es e e ique ado pe mi i ´a a los modelos ap ende a iden i ica y ex ae en idades y elaciones espec´ı icas de los ex os de en ada. Es e e ique ado se lle a ´a a cabo en el siguien e paso del p oceso. 4.3. P e-P ocesamien o Una ez ob enidos los ex os que se an a u iliza , en es a secci´on se expond ´an y explica ´an las acciones necesa ias que hay que segui an es de en ena el modelo. 4.3.1. P epa aci´on del e ique ado El p ime paso ue ealiza el anonimizado de los da os de ca a al cumplimien o de la Ley O ganica de P o ecci´on de Da os (LOPD), median e un so wa e que sus i u´ıa los alo es ele an es po o os con simila es uc u a, pe o sin ninguna elaci´on con el o iginal. T as es o se de inie on las e ique as ele an es pa a la cues i´on dada. Debido a la em´a ica legal que se p e ende da al modelo, las e ique as deben se ele an es en el ´ambi o o “je ga” delic i o-judicial, po es o las e ique as seleccionadas ue on: 1. PER : Nomb es de Pe sonas, eales o ic icios. 2. ORG : O ganizaciones, compa˜n´ıas, agencias, ins i uciones, e c. 3. LOC : Ubicaciones. 4. DATE : Fechas en cualquie o ma os. 5. DRUGS : Nomb es de d ogas. 6. WEAPON : Nomb es o ca ego ´ıas de a mas. 7. NAL : Nacionalidades. 8. LAW : Nomb es de documen os legales. 9. DI : Documen os de Iden idad. 10. PASP : Pasapo es. 28 Cap´ ı ulo 4. Me odologia del P oyec o 11. MISC : P o esiones, pues os, en e medades..., concep os ele an es sin ca ego ´ıa especi ica. Pa a ealiza el e ique ado de los co pus se u iliza on he amien a p´ublicas que son compa ible con el modelo p opues o. La he amien a elegida po el equipo de in es igaci´on dada sus en ajas ´ecnicas ue UBIAI, la cual es una he amien a eemium de ano aci´on que ayuda a e ique a da os, con unciones de ano aci´on de ex o au om´a ico pa a agiliza el p oceso de e ique ado, adem´as ans o ma los da os no es uc u ado en in o maci´on ´u il. Los pasos que se ealiza on pa a el e ique ado son: 1. De alla el e ique ado y selecci´on de ipo, en el p esen e abajo se u iliz´o Ano aci´on basado en in e alo. 2. A˜nadi el dicciona io de e ique a. 3. En el paso de a˜nadi dicciona io de elaciones se a˜nade de la misma o ma que la del e ique a, luego se selecciona la clasi icaci´on bina ia y se selecciona a chi o que se a a abaja . 4. Se selecciona la opci´on de Au o De ec si uado en la pa e de la izquie da, es o es la de ecci´on au om´a ica, que una ez que se e ique a una palab a, las epe idas se e ique an au om´a icas. Y Label dialog mues a una abla de ipos de e ique as pa a selecciona , una ez que se sub ayan las palab as o conjun os de palab as que in e esen, se escoge su e ique a adecuada. 5. Una ez inalizado, se desca ga el p oyec o en el o ma o necesa io dependiendo de la u ilidad que se le da, la salida que se busca es de IOB Fo ma , es o nos da un a chi o en o ma o .Tab Sepa a ed Values (TSV) modi icable. 4.3.2. P epa aci´on de los a chi os de en enamien o Una ez ya ob enido el co pus del modelo, se ealiza la sepa aci´on del mismo en los spli s de en enamien o y p ueba. Es a sepa aci´on se hizo man eniendo in ac a la es uc u a de cada una de la ases pa a no pe de el con ex o de la misma de ca a al en enamien o. Es o se ealiz´o median e una unci´on de la lib e ´ıa sklea n que pe mi e la sepa aci´on equilib ada po e ique a y ase, lle ando el 80 % del co pus a en enamien o y el 20 % es an e a es eo. Es o pe mi i´o ealiza una dis ibuci´on de e ique as equilib adas ( e Figu a 4.3), siendo o al, en enamien o y p ueba espec i amen e, pe o se obse ´o que la e ique a PASP solo apa ec´ıa una ez en los 33 documen os que componen el co pus. Con es o se decidi´o elimina dicha e ique a po los p oblemas y la imposibilidad de en enamien o que gene aba. 4.3. P e-P ocesamien o 29 (a) Conjun o de da os Comple o (b) Conjun o En enamien o (c) Conjun o de P ueba Figu a 4.3: N´ume o de apa iciones po e ique a Adem´as se ealiz´o una comp obaci´on manual con el in de e i ica que las e ique as es u ie an equilib adas en cuan o al n´ume o de apa iciones en las po ciones pa a en enamien o y p ueba y con es o minimiza el iesgo del ing esa uido a los modelos de Machine Lea ning (ML). Se man u o el po cen aje de spli 80/20 % lo que se aduce en 26 a chi os de los 33 o ales pa a en enamien o y los 7 es an es pa a p ueba. Debido a la g an di e encia en longi ud de los a chi os, se decidi´o que inalmen e ue an 23 pa a en enamien o y 10 pa a es eo. Una ez gene ados los dos a chi os TSV se usa la biblio eca SpaCy pa a con e i es os en a chi os bina ios que la llamada ain pueda sopo a . Es a no ue el p ime plan de p epa aci´on de los a chi os que se p opuso, o iginalmen e se p opuso con e i es os a chi os TSV en a chi os JSON, pa a pode comp oba la in eg idad y es uc u a de los mismo. Pe o es o supuso la co upci´on de cie os okens po el ipo de codi icaci´on del a chi o, cosa que imped´ıa que el modelo ap endie an dichas palab as. Con lo cual se paso a ealiza la con e si´on an e io men e explicada, que es la que se usa pa a odas las pos e io es ejecuciones y p uebas. En es e pun o se gene a el a chi o de con igu aci´on, que con iene los pa ´ame os bajo los cuales se ealiza an los en enamien os de los dis in os modelos. Es os pa ´ame os se explica an en la siguien e secci´on. Sob e es e a chi o de con igu aci´on se ealizan una se ie de comp obaciones sob e su in eg idad y es uc u a. Pa a ealiza es a comp obaciones se u iliza la biblio eca SpaCy an e io men e mencionada. Tambi´en median e el uso de es a biblio eca se comp ueba el es ado de los a chi os en enamien o y es eo, pe mi iendo comp oba si el n´ume o de mues as de cada e ique a cumple el m´ınimo ecomendable pa a el en enamien o y o as m´e icas ecomendables pa a el en endimien o de la calidad del en enamien o. Ya ealizadas es as comp obaciones es posible en ena el modelo. 30 Cap´ ı ulo 4. Me odologia del P oyec o 4.4. En enamien o del modelo Se dispone de dos conjun os de da os: el p ime o comple o con X e ique as y el segundo un poco mas educido con Y e ique as. El en enamien o se ealiza median e la biblio eca SpaCy, que simpli ica eno memen e es a a ea. Pa a el modelo de NLP p e-en enado se ha seleccionado RoBERTa, que ha demos ado un excelen e endimien o en a eas de p ocesamien o de lenguaje na u al, y lo is o en el Cap´ı ulo 3en el es ado del a e. An es de p ocede al en enamien o, se ealiza el ajus e del modelo RoBERTa u ilizando un spli alea o io. De es a o ma, se consigue una mejo ajus e de los pesos del modelo y una mayo e icacia en la a ea de ex acci´on de en idades. Una ez ajus ado, se inicia el p oceso de en enamien o con los pa ´ame os especi icados en el a chi o de con igu aci´on. Es e paso es undamen al pa a log a un modelo de calidad que sea capaz de ex ae las en idades co ec amen e del ex o. Una ez ya ealizado el en enamien o el siguien e paso se ia el es udio de las m´e icas espec o a la e icacia del modelo. 4.5. Lib e ´ıas U ilizadas Beau i ul Soup (BS): es una lib e ´ıa ex e na de Py hon, que pe mi e ex ae in o maci´on de documen os HTML yXML, con i i´endolo en un ´a bol de obje os de Py hon que puede se eco ido. De es a mane a se puede ealiza un il ado a base del nomb e de la e ique a de la pagina web escogida pa a as´ı pode il a con el con enido necesa io pa a la a ea. Una ez il ado el con enido se u iliza la he amien a MongoDB pa a el gua dado de da os. PyPDF2: es una lib e ´ıa de Py hon que pe mi e ex ae ex o y me ada os del pd escogido To ch: es un paque e de c´odigo abie o que pe mi e gene a a eas y asigna las a la G aphics P ocessing Uni s (GPU). De es a o ma se consigue acele a el p ocesamien o de g andes can idades de da os debido a la es uc u a de las GPU. Fue c eado en el lenguaje de sc ip ing Lua. Py o ch: es un amewo k de Py hon basado en la biblio eca To ch y que pe mi e la c eaci´on de edes neu onales p o undas basado en el manejo de GPU que apo a To ch. Jun o a Tenso Flow es una de las pla a o mas mas usadas en es e campo. Py o ch es la m´as usada pa a la in es igaci´on debido a su g an capacidad de pa ame izaci´on. SpaCy: es una biblio eca de c´odigo abie o cuyo in es el manejo de NLP en Py hon. Es a biblio eca pe mi e el uso de Py o ch sin ene que modi ica odos 4.5. Lib e ´ ıas U ilizadas 31 los pa ´ame os disponibles en el mismo, cosa que acili a mucho la c eacion de modelos NLP. Tambi´en pe mi e el uso de la a qui ec u a T ans o me explicada an e io men e. En e las ca ac e ´ıs icas disponibles en SpaCy es a la de pode e alua an o el co pus, como las m´e icas del modelo, as´ı como ealiza el en enamien o del modelo en si y mul i ud de a eas di e sas elacionadas con la c eaci´on, e aluaci´on y gua dado de un modelo NLP. Cap´ı ulo 5 Expe imen os y Resul ados En es a secci´on se an a discu i el o mulado de los expe imen o y los esul ados ob enidos. En e es os pun os es ´an an o la desc ipci´on del co pus como del p oceso de en enamien o y e aluaci´on del modelo. 5.1. Desc ipci´on del co pus Los dis in os documen os que con o man el co pus gene ado pa a es e TFG co pus p o ienen de la base de da os de sen encias judiciales del Consejo Gene al del Pode Gene al (CGPJ), odos es os ex os p esen an una em´a ica com´un de los deli os que e lejan, siendo es a, la ag esi´on al bienes a psicol´ogico y ´ısico de las ´ıc imas. Es os ex os p esen a una amplia can idad de e e encias a no mas legales. El co pus co pus es ´a compues o po dis in os documen os que e lejan casos judiciales elacionados con deli os que suponen la ag esi´on al bienes a psicol´ogico y ´ısico de las ´ıc imas. Es os documen os han sido ecopilados a pa i de la base de da os de em´a icas legales. Todos ellos con ienen e e encias a no mas legales ele an es pa a el caso, lo que les con ie e un al o g ado de complejidad ´ecnica y ju ´ıdica. Es impo an e des aca que se dispone de dos co pus iguales, pe o con algunas di e encias. El p ime o, denominado ”da ase comple o”, con iene cua o e ique as adicionales, DRUGS(d ogas), WEAPON(a mas), NAL(nacionalidad), DI(documen o de iden idad). Po su pa e, el segundo co pus, denominado ”li e”, se cen a en las e ique as m´as gen´e icas, que son: PER (pe sona), LOC (localizaci´on), DATE ( echa), ORG (o ganizaci´on), MISC (miscel´anea) y LAW (leyes y no ma i as). Ambos co pus se han some ido a un me iculoso a amien o p e io pa a ga an iza la exac i ud de la in o maci´on. Adem´as, se han ealizado di e sas a eas de limpieza y no malizaci´on, como la eliminaci´on de ca ac e es especiales, signos de pun uaci´on y 33 34 Cap´ ı ulo 5. Expe imen os y Resul ados palab as ac´ıas, as´ı como la lema izaci´on y la eliminaci´on de palab as epe idas. De es a mane a, se ha ob enido un conjun o de da os de al a calidad y consis encia que se u iliza pa a el en enamien o y e aluaci´on de modelos de p ocesamien o de lenguaje na u al en el ´ambi o ju ´ıdico. Tabla 5.1: N´ume o e ique as po clase del da ase comple o -TRAIN TEST TOTAL PER 5645 1796 7440 LOC 927 344 1271 DATE 5223 1663 6886 WEAPON 102 4 106 DRUGS 31 6 37 MISC 1702 668 2370 ORG 6014 1848 7862 DI 13 5 18 LAW 11864 3745 15609 NAL 9 4 13 La Tabla 5.1 mues a la dis ibuci´on de las dis in as e ique as (PER, LOC, DATE, WEAPON, DRUGS, MISC, ORG, DI, LAW y NAL) del da ase comple o. La e ique a LAW es la que iene mayo can idad de mues as, con un o al de 15609 en el co pus comple o. Le sigue ORG con 7862 mues as, PER con 7440, DATE con 6886, MISC con 2370, LOC con 1271, WEAPON con 106, DI con 18 y NAL con 13. DRUGS es la e ique a con meno can idad de mues as, con un o al de 37 en el co pus comple o. Pos e io men e, se ealiza un spli alea o io pa a o ma dos conjun o, uno de en enamien o y o o de p ueba. El conjun o de en enamien o con iene la mayo ´ıa de las mues as y se dis ibuye de la siguien e mane a: PER 5645, LOC 927, DATE 5223, WEAPON 102, DRUGS 31, MISC 1702, ORG 6014, DI 13, LAW 11864 y NAL 9. El conjun o de p ueba, po su pa e, con iene menos mues as en odas las e ique as: PER 1796, LOC 344, DATE 1663, WEAPON 4, DRUGS 6, MISC 668, ORG 1848, DI 5, LAW 3745 y NAL 4. Y en la siguien e Tabla 5.2 se mues a el mismo spli que la Tabla del da ase comple o, solo que sin las e ique as DRUGS, WEAPON, NAL, DI. 5.2. P e-P ocesamien o Pa a la p epa aci´on de los spli s se ealiz´o median e la siguien e unci´on de la biblio eca sklea n. 1 om sklea n . model_selec ion impo ain_ es _spli 2T_ ain , T_ es , E_ ain , E_ es = ain_ es _spli (X, y, 5.3. En enamien o 35 Tabla 5.2: N´ume o e ique as po clase del conjun o de da os li e -TRAIN TEST TOTAL PER 5645 1796 7440 LOC 927 344 1271 DATE 5223 1663 6886 MISC 1702 668 2370 ORG 6014 1848 7862 LAW 11864 3745 15609 3 es _size =0.2 , andom_s a e =0) C´odigo 5.1: Gene aci´on de Spli s con Sklea n. Es o gene a cua o lis as T ain, T es , E ain, E es , siendo las Tlas lis as de okens y las Elas lis as de e ique as de los a chi os de en enamien o y es eo espec i amen e. Una ez almacenadas las lis as se p ocedi´o a ealiza las comp obaciones an e io men e mencionadas, pa a es o es necesa io ene ya gene ado el a chi o de con igu aci´on, es e se explica ´a m´as adelan e, y los a chi os en el o ma o de ex o bina io Spacy. 1$ ! py hon -m spacy con e . ( A chi o de en enamien o ) 2. ( Ca pe a des ino ) - spacy -c ne Es o con ie e los a chi os al o ma o SpaCy pa a el en enamien o y es eo de modelos NER. Es as coomp obaciones de los a chi os de en enamien os se ealiza on median e la siguien e llamada de la biblio eca SpaCy: 1$ ! py hon -m spacy debug da a -V . ( A chi o de c o n i g u a c i n ). c g Es as comp obaciones son ejecu adas pa a cualquie a de los dos m´e odos de sepa aci´on. En el caso de la sepa aci´on au om´a ica se de uel e un mensaje de incompa ibilidad de a chi os, pa a el o o caso no se mues a ning´un mensaje de e o , solamen e las in o maciones ela i as a la ep esen aci´on de las clases ( e Figu a 5.1). Con es as comp obaciones ealizadas se consigue asegu a el co ec o uncionamien o del p oceso de en enamien o. 5.3. En enamien o Todos los en enamien os y p uebas se lle a on a cabo en una compu ado a con Windows 10, con un p ocesado In el Co e i7-7920HQ a 3.10 GHz y una memo ia RAM de 16 GB. Adem´as, se u iliz´o una GPU con las siguien es especi icaciones: GeFo ce RTX 3070 OC Edi ion con 8 GDDR6. Pa a la comunicaci´on en e la compu ado a y la GPU, se u iliz´o una caja ex e na Raze Co e X Ch oma. En es e pun o, como se ha mencionado an e io men e, Cap´ı ulo 6 Con ibuciones El equipo de dos pe sonas enca gado de lle a a cabo es e TFG en´ıa que comunica se bien en e s´ı. Del mismo modo, desde el inicio del p oyec o, ap oximadamen e a mediados de sep iemb e de 2022, has a su conclusi´on en mayo de 2023, se han man enido euniones pe i´odicas con los miemb os del G upo GASS y el es o de compa˜ne os median e encuen os celeb ados odos los jue es a a ´es de Google Mee . Adem´as, las aplicaciones de mensaje ´ıa m´o il ab ie on un canal de comunicaci´on m´as luido que pe mi i´o esol e p oblemas de o ma m´as ´apida y di ec a. En es e apa ado se desc iben las apo aciones que han ealizado los pa icipan es en es e T abajo de in de G ado. 6.1. ZhenBo Chen Lle ´e a cabo una in es igaci´on pun e a a lo la go de la p ime a ase del p oyec o, que du ´o desde p incipios de sep iemb e has a inales de diciemb e, u ilizando la he amien a Google Schola suge ida po el G upo GASS. Tambi´en me en oqu´e en es udia las he amien as y ´ecnicas necesa ias pa a nues o TFG, con el obje i o de comp ende sus ca ac e ´ıs icas y de alles de implemen aci´on. Una ez adqui idos los conocimien os necesa ios, los compa ´ı con mis compa˜ne os a a ´es de euniones en Google Mee . Una ez comple ada e minada la mayo pa e de la ase de in es igaci´on, al ededo de p incipios de ene o, comenzamos con el desa ollo de la p opues a, que du ´o has a inales de ab il. Du an e es a e apa, mi p incipal a ea ue la c eaci´on del conjun o de da os (da ase ), pa a lo cual desa oll´e sc ip s en Py hon pa a ealiza Web Sc aping y PDF Sc aping. U ilic´e biblio ecas como Beau i ul Soup,PyPDF2, en e o as. Adem´as, jun o con la ayuda de mi compa˜ne o, ealizamos la clasi icaci´on de e ique as u ilizando UBIAI. Al mismo iempo, lle ´e a cabo di e sas p uebas de en enamien o de modelos con conjun os de da os peque˜nos, con el obje i o p incipal de comp ende su uncionamien o. Du an e es e p oceso, compa ´ı mis conocimien os adqui ido con las peque˜nas p uebas de 43 44 Cap´ ı ulo 6. Con ibuciones en enamien os con mi compa˜ne o, quien es aba abajando en el desa ollo del modelo de ini i o. Una ez concluida la ase de desa ollo, mi compa˜ne o y yo empezamos a edac a el in o me pa a el T abajo de Fin de G ado. En dicha edacci´on ealic´e: Resumen. El Cap´ı ulo de In oducci´on del TFG (Cap´ı ulo 1). Desc ipci´on de los Modelos de Lenguaje P e-en enados(el pun o 2.5) (Cap´ı ulo2). Desc ipci´on del Es ado del A e (Cap´ı ulo 3). Los apa ados pa a la desc ipci´on del p oceso de ecolecci´on de da os, desc ipci´on de los da os necesa ios pa a el TFG y el apa ado de p e-p ocesamien o de los da os necesa ios pa a el en enamien o de los modelos de la Me odolog´ıa del P oyec o (Cap´ı ulo 4). Desc ipci´on del co pus de los Expe imen os y Resul ados (Cap´ı ulo 5). Cap´ı ulo de Conclusiones y abajo u u o (7). 6.2. ´ Al a o L´opez Olmos La p ime a ase del p oyec o aba c´o desde mi inicio en el g upo has a inales de diciemb e. En es a e apa, comenc´e ealizando una in es igaci´on exhaus i a de nume osos a ´ıculos cien ´ı icos elacionados con emas simila es. Una ez adqui idos los conocimien os necesa ios, me en oqu´e en in es iga las ´ecnicas exis en es pa a el desa ollo de modelos. Todos los conocimien os adqui idos sob e es os emas, he amien as y ´ecnicas, los compa ´ı con mis compa˜ne os a a ´es de euniones semanales que se celeb aban median e Google Mee . Una ez inalizada la p ime a ase, a p incipios de ene o comenzamos la segunda ase, que consis ´ıa en la c eaci´on del da ase y el desa ollo de la he amien a. A inales de ab il, despu´es de que la he amien a hubie a pasado po un amplio p oceso de desa ollo y p uebas, es a ase es aba e minada. Dado que se u iliz´o Py hon pa a el desa ollo, u e que es udia cie as ideas elacionadas con las dis in as biblio ecas, unciones y plugins que pueden u iliza se en la c eaci´on de la he amien a. Adem´as, lib e ´ıas como PyTo ch yspaCY me ense˜na on nue as ideas y he amien as. Empezamos a desa olla el p og ama u ilizando el en o no de desa ollo Jupy e No ebook despu´es de habe e isado y ap endido odos los p incipios ele an es. Mien as mi compa˜ne o ealizaba p uebas de en enamien o de modelos, yo comenc´e a desa olla el modelo inal. El p ime paso ue ealiza el p e-p ocesamien o del da ase con una di isi´on de en enamien o de 80 % 6.2. ´ Al a o L´ opez Olmos 45 de en enamien o y 20 % de p ueba, con la ayuda de la lib e ´ıa sklea n. A con inuaci´on, ajus amos los pa ´ame os de en enamien o en el a chi o de con igu aci´on y, una ez inalizado el en enamien o, analizamos los esul ados y ealizamos ajus es en los modelos pa a ob ene mejo es esul ados. Aunque oda ´ıa quedaban muchas p uebas po hace cuando e min´o la ase de desa ollo, mi compa˜ne o de g upo y yo empezamos a edac a el in o me pa a el p oyec o de in de ca e a despu´es de eso. Pa icip´e en odas las secciones siguien es de la edacci´on de la memo ia: In oducci´on del TFG (Cap´ı ulo 1). Los apa ados de P ocesamien o de Lenguaje na u al, concep os base pa a en ende la e molog´ıa del abajo y la a qui ec u a de los ans o me s del Con ex o de la In es igaci´on (Cap´ı ulo 2). Los apa ados de la explicaci´on de las uncionalidades de To ch y PyTo ch, Spaycy, y una desc ipci´on gene al del en enamien o del modelo de la Me odolog´ıa del P oyec o (Cap´ı ulo 4). Desc ipci´on de los a eas de P e-P ocesamien o, en enamien o, e aluaci´on y salida del modelo de los expe imen os y esul ados (Cap´ı ulo 5). Cap´ı ulo de Conclusiones y abajo u u o (7). T aducci´on de la in oducci´on y conclusi´on (Cap´ı ulo 8y9). Es impo an e se˜nala que odos los miemb os del g upo pa icipa on en la co ecci´on de las e a as o e o es que su gie on du an e la edacci´on del in o me. Cap´ı ulo 7 Conclusiones y T abajo Fu u o 7.1. Conclusiones El an´alisis de con ex o es un m´e odo que ha a anzado mucho en los ´ul imos a˜nos y iene nume osos usos en di e sos sec o es. Dicha ´ecnica se en oca en el p ocesamien o del lenguaje na u al (NLP). En es e sen ido, el p esen e abajo ha p o undizado en la his o ia del NLP, los modelos que exis en en la ac ualidad y sus es ados del a e. Se mencionan modelos como BERT,RoBERTa,ALBERT,Dis ilBERT,SpanBERT, en e o os, que han enido un g an impac o en la comunidad de NLP. Es os modelos p e-en enados son u ilizados como base pa a se e-en enado, de i ando a modelos pa a a a eas m´as espec´ı icas, como an´alisis de sen imien o, ex acci´on de in o maci´on, e c. En es e abajo se p esen a el uso de modelos p een enados (RoBERTa) pa a en ena un modelo espec´ı ico pa a la ex acci´on de en idades en ocado a la em´a ica legal, y pa a es o se a seleccionado un conjun o de da os de em´a ica legal, y es o es jus amen e uno de los pasos m´as impo an e del en enamien o del modelo, es deci el conjun o de da os debe se lo su icien e amplio y di e so pa a cub i la mayo can idad de casos, y a su ez ene una calidad que pe mi a la c eaci´on de un modelo s´olido y con iable. Finalmen e los esul ados ob enidos en el abajo mues an la capacidad del modelo pa a ealiza a eas de ex acci´on de en idades en ex os legales, con una p ecisi´on signi ica i a. La exac i ud del modelo es impo an e, ya que los esul ados ob enidos pueden ene implicaciones legales en casos donde se u ilice como p ueba. 7.2. T abajo Fu u o Como posibles abajos u u os pueden se˜nala se los siguien es: •Se pueden explo a m´e odos m´as e icien es y p ecisos pa a la iden i icaci´on de 47 48 Cap´ ı ulo 7. Conclusiones y T abajo Fu u o en idades complejas y en idades de m´ul iples palab as, que, po su complejidad y a iedad, suelen se m´as di ´ıciles de iden i ica . Adem´as, se pueden in es iga ´ecnicas pa a mejo a la de ecci´on de en idades ambiguas, i ´onicas, el sa casmo, e c. •Es posible abaja en la c eaci´on de modelos que pe mi an ex ae y analiza los ´ınculos en e en idades, ya que es o pod ´ıa pe mi i la iden i icaci´on de pa ones y elaciones sem´an icas ele an es en ex os complejos, lo que end ´ıa aplicaciones impo an es en a eas como la gene aci´on de de e minados ex os y la ex acci´on de in o maci´on. •La in eg aci´on de conocimien os ex e nos, po ejemplo a˜nadi bases de da os de ´a eas especi icas a pa e de la que ya es a p ede e minadas, puede mejo a la calidad de las elaciones ex a´ıdas. Es os conocimien os pueden p opo ciona in o maci´on adicional sob e las en idades •En esumen, el abajo u u o en elaci´on al econocimien o de en idades puede abo da se desde m´ul iples pe spec i as, incluyendo el desa ollo de ´ecnicas m´as e icien es y p ecisas pa a la iden i icaci´on de en idades complejas, as´ı como la explo aci´on y desa ollo de modelos que pe mi an la ex acci´on y an´alisis de elaciones en e en idades pa a mejo a el p ocesamien o del lenguaje na u al Cap´ı ulo 8 In oduc ion 8.1. Mo i a ion Nume ous scien i ic ad ances in ecen yea s ha e led o an exponen ial inc ease in echnology. Thanks o he In e ne , i has become possible o access la ge amoun s o da a speci ically in w i en ex in di e en languages, which is e y use ul o human o a i icial lea ning, speci ically o NLP. A e he appea ance o he i s mode n NLP a chi ec u e, Wo d2Vec [MSC+13] in 2013, he e was a apid de elopmen o his echnology, wi h se e al ad ances, such as he RNN and he LSTM, which a e a modi ica ion o he p e ious ones. Be ween 2015 and 2016, a en ion-based ne wo ks became popula , which allow he designe o speci y he ype o da a he o she wan s he sys em o ocus on and pay a en ion o. Among hese, one o he mos p ominen is he T ans o me , in oduced in 2017 and cu en ly he op o he language p ocessing pa adigm. A p esen , he e is a p edominance o models such as BERT [DCLT19], in oduced in 2018, and i s specialisa ions and op imisa ions, such as RoBERTa [LOG+19], 2019. As bo h models a e s ill s a e o he a , aining has no ye been ca ied ou o all languages, no o all possible a eas o specialisa ion, so we p opose in his pape he c ea ion and p esen a ion o bo h a pipeline and a model ained speci ically o he legal en i onmen in Spanish. O he models de i ed om BERT such as ALBERT [LCG+20], Dis ilBERT [SDCW20] and SpanBERT [JCL+20] a e also wo h men ioning. 49 50 Cap´ ı ulo 8. In oduc ion 8.2. Con ex This Final Deg ee P ojec is pa o a esea ch p ojec called No el S a egies o Figh Child Sexual Exploi a ion and Human T a icking C imes and P o ec hei Vic ims - HEROES, app o ed by he Eu opean Commission wi hin he Ho izon 2020 F amewo k P og amme (call H2020-SU-SEC-2020) unde g an ag eemen numbe 101021801 and in which he GASS G oup o he Uni e sidad Complu ense de Mad id (G upo de An´alisis, Segu idad y Sis emas, h ps://gass.ucm.es, g oup 910623 o he ca alogue o esea ch g oups ecognised by he UCM). In addi ion o he Uni e sidad complu ense de Mad id, 21 o ganisa ions om 17 coun ies a e pa icipa ing in HEROES: 11 om EU coun ies (Aus ia, Belgium, Bulga ia, F ance, G eece, I eland, La ia, Li huania, Po ugal, Spain, Uni ed Kingdom), 1 associa ed coun y (Swi ze land) and 5 hi d coun ies (Bangladesh, B azil, Colombia, Pe u, U uguay). These en i ies a e: Uni e si y o Ken (UK), The F ee Uni e si y o B ussels (Belgium), The F ench Na ional Resea ch Ins i u e o Digi al Science and Technology - INRIA (F ance), Cen e o Secu i y S udies - KEMEA (G eece), In e na ional Cen e o Mig a ion Policy De elopmen - ICMPD (Aus ia), In e na ional Cen e o Missing and Exploi ed Child en - ICMEC (Swi ze land), IDENER Resea ch & De elopmen Ag upaci´on de In e ´es Econ´omico (Spain), A hena Resea ch Cen e - ARC (G eece), T ila e al Resea ch and Consul ing (Uni ed Kingdom), Cen e o Women and Child en S udies - CWCS (Bangladesh), Cen e Agains Human T a icking and Exploi a ion - KOPZI (Li huania), Po uguese Associa ion o Vic im Suppo - APAV (Po ugal), Fundaci´on Renace (Colombia), The G eek Council o Re ugees - GCR (G eece), B azilian Associa ion o he De ense o Child en o Child en and You h - ASBRAD (B azil), Hellenic Police (G eece), La ia Na ional Police (La ia), Gene al Di ec o a e o he Figh agains O ganized C ime (Bulga ia), Di ecci´on Gene al de la Polic´ıa - DGP (Spain), Fede al Police (B azil), Fede al Highway Police (B azil), Sec e a ia de In eligencia Es a ´egica de Es ado - P esidencia de la Republica O ien al del U uguay (U uguay). Mo e in o ma ion is a ailable a : h ps://co dis.eu opa.eu/p ojec /id/101021801 h ps://he oes- c .eu 8.3. Objec o he In es iga ion The aim o his p ojec is he design and implemen a ion o a NLP model capable o ecognising named en i ies in Spanish in a ex wi h a legal p ocess o ien a ion. The aim o his model is o au oma e he p ocess ha an in es iga o pe o ms when analysing he iles con ained in a seized Spanish-language de ice. The e o e, i is necessa y o ca y 8.4. Wo kplan 51 ou an analysis o he di e en NLP p ocessing algo i hms ha allow o agile p ocessing and accu a e iden i ica ion o he con ex o he analysed sen ence and o ca y ou en i y ecogni ion. In addi ion, his p ojec aims o unde s and how he named en i y ex ac ion p ocess wo ks, o analyse how i is s uc u ed and o ind he main di icul ies ha compu e enginee s encoun e when de eloping hese models. This wo k p oposes a model o educe he ime spen by esea che s in he analysis o Spanish iles con ained in de ices seized in a judicial p ocess. 8.4. Wo kplan The de elopmen o his p ojec is s uc u ed in h ee s ages: 1. S a e-o - he-a esea ch This s age ocuses on he esea ch o leading wo ks and p ojec s ele an o his wo k, as well as he acquisi ion o he necessa y knowledge o ca y ou his wo k. Once he TFG was ag eed upon, an in oduc o y mee ing was held o explain he pu pose and he poin s o be ca ied ou h oughou his p ocess. This mee ing was ollowed by weekly mee ings o moni o he p ojec and o esol e any doub s ha a ose. These mee ings also explained he co ec ways o sea ching o academic documen a ion, he o ma s equi ed and he ools used, one o hem being Google Schola , which i was decided would be used o his p ojec . As he membe s o he eam did no ha e all he necessa y knowledge ela ed o A i icial In elligences, se e al cou ses we e ca ied ou o ob ain his knowledge. Finally, once hey had acqui ed he basic knowledge and s udied he cen al hemes o he p ojec based on he p ojec objec i es, he eam s a ed wi h he de elopmen o he model. 2. De elopmen : Once he necessa y knowledge was ob ained, he de elopmen o he model began, bu wi hou neglec ing he in es iga ion o op imal solu ions. Fo his eason, du ing his phase, ad anced concep s o lib a ies such as Spacy and To ch and he p og amming language o Py hon we e in es iga ed. In addi ion, he aining se s o he model we e cons uc ed, ca ying ou he labelling o en i ies on he ex s ob ained om he sou ces p o ided by he wo ks ead du ing he p e ious phase. We also deployed he en i onmen whe e bo h he aining and he e alua ions o he model would be ca ied ou . 3. Resul s: A his poin , and wi h he model al eady ained, we p oceeded o e alua e he model on he main me ics, using di e en ools p o ided by he same lib a ies explained abo e. The model was also es ed wi h ex s gene a ed by he eam. Once he esul s we e ob ained, we p oceeded o w i e his documen .