Análisis Automatizado de sentimientos en YouTube: Un enfoque basado en Machine Learning

Análisis Au oma izado de sen imien os en YouTube: Un en oque basado en Machine Lea ning Au oma ed Sen imen Analysis on YouTube: A Machine Lea ning App oach T abajo de Fin de G ado Cu so 2023–2024 Au o es Jo ge Villaco a Alejand o Tabe ne o Alonso Ma a Di ec o es Me cedes Ga cía Me ayo Manuel Méndez Hu ado G ado en Ingenie ía In o má ica Facul ad de In o má ica Uni e sidad Complu ense de Mad id Análisis Au oma izado de sen imien os en YouTube: Un en oque basado en Machine Lea ning Au oma ed Sen imen Analysis on YouTube: A Machine Lea ning App oach T abajo de Fin de G ado en Ingenie ía In o má ica Au o es Jo ge Villaco a Alejand o Tabe ne o Alonso Ma a Di ec o es Me cedes Ga cía Me ayo Manuel Méndez Hu ado Con oca o ia: Junio 2024 G ado en Ingenie ía In o má ica Facul ad de In o má ica Uni e sidad Complu ense de Mad id Dedica o ia A nues a amilia, po su apoyo incondicional y no pe de la e en noso os Ag adecimien os A Manuel y Me cedes po su guía y ayuda du an e odo el desa ollo del p o- yec o, a nues os pad es po odo el apoyo emocional p opo cionado, a Nina po no desespe a se con los pe iodos de es és, y a odos los que nos han ayudado a llega has a aquí. ii Resumen Análisis Au oma izado de sen imien os en YouTube: Un en oque basado en Machine Lea ning El p opósi o undamen al de es e T abajo de Fin de G ado adica en examina de enidamen e los sen imien os de la población en o no a un ema polémico, hacien- do uso de modelos y écnicas de machine lea ning con el in de ex ae in o mación ele an e y ealiza un análisis exhaus i o de la opinión pública. Las edes sociales, como Twi e o YouTube, se p esen an como uen es de in o mación excepcionalmen- e aliosas pa a cap a la pe cepción sob e di e sos emas, independien emen e de su emá ica o na u aleza. Po lo an o, los comen a ios que con o ma án nues o co pus de análisis se án ex aídos de una de es as dos pla a o mas, como de alla emos más adelan e. Una ez ob enidos es os comen a ios, se eque i á lle a a cabo un p oceso de p ep ocesamien o que inclui á una limpieza de ex o, eliminando elemen os como emo iconos, ma cas de iempo y demás in o mación no ele an e. Pos e io men e, se ealiza á un p ocesamien o de lenguaje na u al con el obje i o de ans o ma los comen a ios en da os que un modelo de ap endizaje au omá ico pueda u iliza de mane a e ec i a. Una ez comple ado es e p ep ocesamien o, se p ocede á a la selección de di e sos modelos de ap endizaje y a su co espondien e en enamien- o. La elección de es os modelos es c ucial, especialmen e en el ámbi o de análisis de sen imien os, donde algunos modelos son más ap opiados pa a es a casuís ica que o os, como se de alla á en los capí ulos siguien es. En nues o caso pa icula , hemos op ado po emplea seis modelos dis in os, los cuales analiza emos pos e io - men e. Es a can idad nos p opo ciona una a iedad su icien e pa a lle a a cabo un en enamien o comple o y con a con di e sas opciones al momen o de ealiza nues o análisis inal. En la e apa inal, lle a emos a cabo la e aluación de odos los modelos, compa ando sus mé icas y ex ayendo a ibu os esenciales del conjun o de da os. En e es os a ibu os se incluyen las palab as más ele an es pa a cada clase, el balance de clases en sí, así como mé icas cla e como p ecisión, exhaus i idad y pun uación F1. He amien as adicionales, como la ma iz de con usión de cada modelo, se i án como e e encia pa a selecciona el modelo que mejo se ajus e a nues o conjun o de da os, pe mi iéndonos ealiza análisis de sen imien os u u os con un al o ni el de p ecisión. ix Índice de igu as 1.1. Diag amadeGan ............................ 3 3.1. sc ip P incipal.............................. 11 3.2. Ex acción de comen a ios . . . . . . . . . . . . . . . . . . . . . . . . 12 3.3. Combinación de a chi os CSV . . . . . . . . . . . . . . . . . . . . . . 12 3.4. Fo ma eodeTex o ............................ 13 3.5. De eccióndeIdioma ........................... 14 3.6. Análisis de Sen imien o . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.7. Análisis de Sen imien o . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4.1. K-Nea es Neighbou s . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.2. k=1 en eak=3 ........................... 21 4.3. k=5 en eak=7 ........................... 22 4.4. Ca ga de da os y ain- es spli . . . . . . . . . . . . . . . . . . . . . 23 4.5. Vec o ización K-Nea es Neighbou s . . . . . . . . . . . . . . . . . . . 23 4.6. G id sea ch y c eación del modelo . . . . . . . . . . . . . . . . . . . . 23 4.7. Código pa a c ea la ma iz de con usión del K-NN . . . . . . . . . . 23 4.8. Código pa a mos a los esul ados . . . . . . . . . . . . . . . . . . . 24 4.9. Código pa a ca ga los da os . . . . . . . . . . . . . . . . . . . . . . . 26 4.10. Código de la ec o ización . . . . . . . . . . . . . . . . . . . . . . . . 26 4.11. Código de la c eación, en enamien o y p edicciones . . . . . . . . . 26 4.12. Código ma iz de con usión . . . . . . . . . . . . . . . . . . . . . . . 26 4.13. Código Tabla de mé icas . . . . . . . . . . . . . . . . . . . . . . . . 26 4.14.RandomFo es .............................. 27 4.15. Código del modelo Random Fo es (En enamien o) . . . . . . . . . . 31 4.16. Código del modelo Random Fo es (Mé icas) . . . . . . . . . . . . . 31 4.17. Mé icas as ejecución con T -Id . . . . . . . . . . . . . . . . . . . . 31 4.18. Mé icas as ejecución del modelo con Coun Vec o ize . . . . . . . . 31 4.19.Funciónsigmoide............................. 32 4.20. Mé icas de la eg esión logís ica . . . . . . . . . . . . . . . . . . . . . 35 4.21. Código del modelo Reg esión Logís ica Mul iclase (En enamien o) . 36 4.22. Código del modelo Reg esión Logís ica Mul iclase (Mé icas) . . . . . 36 x ii 4.23. Tipos de Ke nel pa a SVM [1] . . . . . . . . . . . . . . . . . . . . . 37 4.24. Código pa a la ec o ización y p epa ación del da ase de los modelos SVM.................................... 38 4.25. Código pa a la búsqueda de pa áme os con G idSea ch en el modelo SVMconSVC............................... 40 4.26. Código del modelo SVM con SVC . . . . . . . . . . . . . . . . . . . . 40 4.27. Código pa a la isualización de los esul ados del modelo SVM con SVC .................................... 40 4.28. Código de búsqueda de pa áme os con G idSea ch pa a el modelo SVMconO R............................... 41 4.29. Código del modelo SVM con O R . . . . . . . . . . . . . . . . . . . . 41 4.30. Código pa a la isualización de los esul ados . . . . . . . . . . . . . 41 4.31. A qui ec u a y amaño de los modelos BERT [2] . . . . . . . . . . . . 42 4.32. A qui ec u a de los modelos BERT pa a a eas de clasi icación [3] . . 44 4.33. ConFigu a uso de GPU . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.34. Código pa a ca ga el modelo y okenizado de BERT-base . . . . . . 45 4.35. Código pa a ca ga los da os de commen s. x . . . . . . . . . . . . . 45 4.36. Código pa a p epa a los da os de en ada al modelo . . . . . . . . . 45 4.37. Código pa a di idi da ase de en enamien o y e aluación . . . . . . 46 4.38. Código pa a c ea el op imizado y el schedule pa a el en enamien o ye aluaciónpo épocas ......................... 46 4.39. Código pa a di idi da ase de en enamien o y e aluación . . . . . . 46 4.40. Código pa a el en enamien o del modelo po lo es . . . . . . . . . . . 47 4.41. Código de el en enamien o y la e aluación po épocas . . . . . . . . 48 4.42. Código de la unción e alua eBes Model ................ 48 4.43. Código pa a di idi da ase de en enamien o y e aluación . . . . . . 48 5.1. Ma iz de con usión del KNN . . . . . . . . . . . . . . . . . . . . . . 53 5.2. Resul adosdelKNN ........................... 54 5.3. Ma iz de con usión del Mul inomial Nai e Bayes . . . . . . . . . . . 55 5.4. Ma iz de con usión del Random Fo es con Coun Vec o ize . . . . . 57 5.5. Ma iz de con usión de Random Fo es con T -Id . . . . . . . . . . . 58 5.6. Ma iz de con usión de la eg esión logís ica . . . . . . . . . . . . . . 59 5.7. In o me de mé icas del modelo SVM con SVC . . . . . . . . . . . . . 59 5.8. Ma iz de con usión del modelo SVM con SVC . . . . . . . . . . . . . 60 5.9. In o me de las mé icas pa a el modelo SVM con O R . . . . . . . . 61 5.10. Ma iz de con usión del Modelo SVM con O R . . . . . . . . . . . . . 61 5.11. In o me de las mé icas pa a el modelo BERT . . . . . . . . . . . . . 62 5.12. Ma iz de con usión del Modelo BERT . . . . . . . . . . . . . . . . . 64 6.1. Código inicial pa a la in e p e ación del modelo BERT con IG de Cap um .................................. 66 6.2. Salida del código de la igu a 6.1 . . . . . . . . . . . . . . . . . . . . . 66 6.3. Función de o wa d de la igu a 6.1 adap ada . . . . . . . . . . . . . . 66 6.4. Salida del código con la unción o wa d de la igu a 6.3 adap ada . . 66 6.5. Llamada a la unción a ibu e adap ada pa a esol e el e o de la igu a6.4 ................................. 66 6.6. Salida pa a la llamada a a ibu e de la igu a 6.5 . . . . . . . . . . . 67 6.7. Código pa a ob ene las palab as más impo an es po Sen imien o . 68 6.8. Palab as más impo an es po sen imien o . . . . . . . . . . . . . . . 68 6.9. Código pa a ob ene las palab as más impo an es exclusi as po Sen- imien o .................................. 69 6.10. Palab as más impo an es pa a la clase nega i a . . . . . . . . . . . . 69 6.11. Palab as más impo an es pa a la clase neu al . . . . . . . . . . . . . 69 6.12. Palab as más impo an es pa a la clase posi i a . . . . . . . . . . . . 70 6.13. Dis ibución de sen imien o en e los comen a ios más popula es . . . 72 6.14. Palab as más usadas en los comen a ios más popula es . . . . . . . . 73 6.15. Código pa a mos a las palab as más impo an es de cada clase . . . 73 6.16. Código pa a mos a ins ancias inco ec as . . . . . . . . . . . . . . . 74 6.17. Palab as más impo an es pa a la clase nega i a . . . . . . . . . . . . 74 6.18. Palab as más impo an es pa a la clase posi i a . . . . . . . . . . . . 74 6.19. Palab as más impo an es pa a la clase neu al . . . . . . . . . . . . . 75 6.20. Palab as más impo an es pa a las clases nega i a, neu al y posi i a 75 6.21.Ins anciase óneas ............................ 75 6.22. Top 10 palab as en ex os mal clasi icados po sen imien o . . . . . . 76 6.23. Top 10 palab as en ex os mal clasi icados . . . . . . . . . . . . . . . 76 Índice de ablas 3.1. Módulos del sc ip p incipal....................... 10 3.2. Módulos del sc ip de ex acción de comen a ios con la API de YouTube 11 3.3. Módulos del sc ip de combinación de iche os .cs . . . . . . . . . . . 12 3.4. Módulos del sc ip de limpieza y o ma eo de los comen a ios . . . . . 13 3.5. Módulos del sc ip de de ección de idioma . . . . . . . . . . . . . . . 14 3.6. Módulos del sc ip de de ección de sen imien o . . . . . . . . . . . . . 15 3.7. Módulos del sc ip de okenización y lema ización . . . . . . . . . . . 18 4.1. Módulos u ilizados en la implemen ación del K-Nea es Neighbou s . 22 4.2. Módulos u ilizados en la implemen ación de Mul inomial Nai e Bayes 25 4.3. Módulos u ilizados en la implemen ación de Random Fo es . . . . . 30 4.4. Módulos u ilizados en la implemen ación de eg esión logís ica . . . . 34 4.5. Módulos u ilizados en la implemen ación del modelo SVM . . . . . . 39 4.6. Módulos u ilizados en la implemen ación del modelo BERT . . . . . . 49 5.1. Mé icas de clasi icación K Nea es Neighbou s . . . . . . . . . . . . . 54 5.2. Mé icas de clasi icación K-Nea es Neighbou s . . . . . . . . . . . . . 54 5.3. Mé icas de clasi icación Mul inomial Nai e Bayes . . . . . . . . . . . 55 5.4. P omedios de mé icas de clasi icación Mul inomial Nai e Bayes . . . 55 5.5. Mé icas de clasi icación Random Fo es con Coun Vec o ize . . . . . 56 5.6. Mé icas a e age de Random Fo es con Coun Vec o ize . . . . . . . 57 5.7. Mé icas de clasi icación Random Fo es con T -Id . . . . . . . . . . 57 5.8. Mé icas a e age pa a Random Fo es con T -Id . . . . . . . . . . . . 57 5.9. Mé icas de clasi icación Reg esión Logís ica . . . . . . . . . . . . . . 59 5.10. Mé icas a e age de Reg esión Logís ica . . . . . . . . . . . . . . . . . 59 5.11. Mé icas de clasi icación del modelo SVM con SVC . . . . . . . . . . 60 5.12. Mé icas globales del modelo SVM con SVC . . . . . . . . . . . . . . 60 5.13. Mé icas de clasi icación po clase . . . . . . . . . . . . . . . . . . . . 62 5.14.Mé icasp omedio ............................ 62 5.15. Mé icas de clasi icación po clase pa a el modelo BERT . . . . . . . 62 5.16. Mé icas p omedio pa a el modelo BERT . . . . . . . . . . . . . . . . 63 xxi Cap´ ı ulo 1 In oducción “Nues a in eligencia es lo que nos hace humanos, y la IA es una ex ensión de esa cualidad” — Yann LeCun Es amos en la que p obablemen e sea la época de mayo conexión in e pe sonal de la his o ia de la humanidad, en e el siglo XX y XXI se han conseguido g andes hi os cul u ales, la in ención de la adio, el ansis o , el mic op ocesado o In e ne . Es e úl imo in en o ha condicionado el p esen e y u u o de nues a especie de una o ma que nadie pudo imagina , po ejemplo, nadie se imagina ya un mundo en el que no exis an aplicaciones como Google Maps pa a escoge al ins an e la mejo u a en una ciudad en la que nunca habíamos es ado. Mucha gen e ni siquie a se in o ma a a és de medios con encionales como la ele isión o el pe iódico, con- siguen oda la in o mación a a és de medios digi ales o edes sociales. Hay edes sociales en e amen e dedicadas a exp esa opiniones como po ejemplo Twi e , o in- cluso You ube es habi áculo de medios de comunicación independien es, in luence s y demás hablado es. El ema elegido pa a ealiza el es udio es Open AI, buscamos comp ende cómo la gen e pe cibe y eacciona an e la compañía y cómo sus emociones y sen imien os e olucionan con el iempo. Pa a log a lo, ecopila emos una g an can idad de da os u ilizando écnicas de web sc aping y los clasi ica emos en unción del sen imien o que ansmi en. Pos e io men e, usa emos di e en es modelos de clasi icación pa a p oba y alida nues o análisis con los da os ob enidos. Aunque es e en oque se cen a especí icamen e en comen a ios de YouTube, c ee- mos que p opo ciona á pe cepciones aliosas sob e los sen imien os en o no a Open AI. Es amos segu os de que los da os ob enidos de es as uen es o ece án una com- p ensión in eg al de la opinión pública. En esumen, nues o es udio con ibui á al c ecien e cue po de in es igación so- b e el análisis de sen imien os de da os en edes sociales y p opo ciona á in o mación sob e las emociones y opiniones del público elacionadas con Open AI. 1 2Capí ulo 1. In oducción 1.1. Mo i ación Open AI ha pasado del absolu o desconocimien o po pa e del g an público a se uno de los emas más hablados en odo ipo de e ulias y deba es, an o a ni el académico como en cí culos más ín imos. Las discusiones en o no a es a compañía y sus p oduc os, siendo Cha GPT el más ele an e de odos, aba can desde el u u o de la humanidad has a esis que p oponen ees uc u a los mé odos de ap endizaje en odas las e apas del ciclo educa i o. Debido al in e és susci ado po Open AI en odas las es e as de las sociedad, es un ema ideal pa a ealiza un es udio pa a a a de encon a y analiza emociones y sen imien os exp esados po los usua ios en comen a ios de ídeos de You ube elacionados con Open AI aplicando écnicas so is icadas de p ocesamien o del lenguaje na u al. 1.2. Obje i os El in p incipal de es a in es igación es e alua las emociones y pun os de is a que los usua ios exp esan en YouTube sob e el impac o de las IAs en nues a socie- dad, más conc e amen e que impac o iene la emp esa OpenAI, desa ollado a de la IA más popula a día de hoy, Cha GPT. Median e es e análisis de allado, p e ende- mos de e mina la opinión de la sociedad espec o a es e ema, además de ob ene una isión más p o unda de las ca ac e ís icas de las di e en es opiniones y ayu- da nos a comp ende en p o undidad como uncionan es os modelos y que en ajas ienen en e ellos. 1.3. Plan de abajo Es e p oyec o se ha di idido en cinco g andes e apas, las cuales e an dependien es unas de o as. Es a dependencia ha p o ocado que se hayan ido ealizando de mane a secuencial, a excepción del desa ollo de es a memo ia que se ealizó de mane a concu en e al es o de e apas. Es udio inicial: En es a e apa el equipo se amilia izó con el p oyec o, ha- ciendo lec u as sob e análisis de sen imien os en edes sociales, di e en es ipos de modelos que se pueden emplea e in es igando que emas nos podían se de u ilidad. Es a úl ima pa e ue algo p oblemá ica más adelan e ya que se cambió de ema debido a di icul ades pa a p ocesa y analiza ex os en espa- ñol ya que la g an mayo ía de he amien as es án p epa adas pa a ex os en inglés. Selección de He amien as: T as el es udio inicial, el equipo se hizo una idea de como en oca el p oyec o y en es a nue a ase se es udia on los di e en es ipos de he amien as que se podían usa pa a lle a lo acabo. T as muchas p uebas con di e en es ipos de he amien as pa a Twi e , desde Twin has a Tweepy se desis ió, ya que con los cambios en la pla a o ma el acceso a la API e a de pago y es e hecho es á en con a de los p incipios mo ales del 1.3. Plan de abajo 3 equipo. Se seleccionó You ube como ed social pa a ealiza el es udio debido a la ape u a de su API y la acilidad pa a ex acción de da os. T as p oba a ias he amien as como Oc opa se, nos decan amos po un acceso di ec o a la API de You ube a a és de sc ip s de Py hon. Depués in es igamos sob e he amien as como Tex Blob o S anza, pa a ealiza el análisis de los sen imien os y e ique a los a ibu os, pe o inalmen e decidimos usa NLTK debido a su sencillez y anspa encia. P ep ocesamien o: Es a e apa, que inicialmen e no se conside ó que ue a a se demasiado labo iosa, esul ó se una de las más complejas y la gas en el iempo en é minos de desa ollo. P ime o ealizamos la selección de odos los ídeos del ema o iginal en español, y una ez ob u imos odos los da os de nues o da ase descub imos que la mayo ía de las he amien as de análisis de sen imien os sólo uncionaban con ex o en inglés, lo que p o ocó que ealizá- amos el cambio de ema a algo más in e nacional. T as es o la elabo ación de los sc ip s equi ió de a eas de es udio de Py hon pa a pode elabo a los de la mejo mane a posible. En enamien o: En es a ase del p oyec o, hicimos uso de los da os p ep o- cesados pa a en ena los modelos. T as el es udio inicial eníamos una idea de los modelos más popula es empleados en el ámbi o del análisis de sen imien o, pe o en es a ase se ealizó un es udio más en p o undidad de dichos modelos. Se p oba on a ios modelos y se in en ó mejo a odo lo posible los esul ados ob enidos, has a selecciona los más ele an es pa a es e abajo. E aluación de los esul ados: T as en ena los modelos de la o ma más óp ima posible, llegó el momen o de es udia los esul ados ob enidos pa a saca las conclusiones del p oyec o. Se diseña on sc ip s pa a c ea g á icas con da os que el equipo encon ó ele an es y ep esen a i as. Documen ación: Es a e apa se co esponde con el desa ollo de la memo ia del p oyec o. Se in en ó, den o de lo posible, que ue a a la pa con las a eas de desa ollo del p oyec o. En la igu a 1.1 podemos ap ecia de mane a g á ica el desa ollo del p oyec o. Figu a 1.1: Diag ama de Gan 10 Capí ulo 3. Ex acción de los Da os Modulo Lib e ía Desc ipción os os Funcionalidades dependien es del sis ema ope a i o. subp ocess subp ocess pe mi e lanza nue os p ocesos y conec a se a sus pipes de en ada/salida/e o . sys sys Funciones y a iables que in e ac úan con el sis ema ope a i o. Tabla 3.1: Módulos del sc ip p incipal 3.1. sc ip p incipal El sc ip p incipal, que apa ece en la Figu a 3.1, se enca ga de adminis a un a chi o CSV p opo cionado como a gumen o del sc ip , así como el a chi o de ex o mencionado an e io men e. Es e sc ip lle a a cabo di e sas modi icaciones en el a chi o CSV de des ino. En esumen, coo dina y ejecu a odas las ases de ex ac- ción y p ep ocesado de los comen a ios. En una p ime a ase, se eliminan odos los a chi os CSV exis en es p e iamen e, en caso de que no sea la p ime a ez que se ejecu a el sc ip y se necesi e elimina a chi os no ele an es. Luego, en un bucle, se ex aen los comen a ios de cada ídeo, los cuales se combinan pos e io men e en un único a chi o CSV des ino, aquel que ha sido suminis ado como a gumen o. Una ez ex aídos los comen a ios y combinados en nues o a chi o CSV de des ino, se da po inalizada la ex acción y empieza la e apa pu amen e de p ep ocesado, con pasos como la limpieza del ex o, de ección de sen imien o e idioma, okenización y lema ización. Al inaliza la ejecución de es e sc ip , end emos nues o conjun o de da os p epa ado pa a el en enamien o de nues os modelos de ap endizaje au o- má ico. En la Tabla 3.1 se pueden obse a los módulos u ilizados un poco más de allados, que son os [4], subp ocess [5], y sys. 3.2. Ex acción de comen a ios Es e sc ip , ilus ado en la Figu a 3.2, oma como a gumen o el ID del ídeo del cual se desean ex ae los comen a ios. Pos e io men e, p ocede a ex ae los comen a ios usando la API y de YouTube y el modulo eques s de Py hon [6], ha- ciendo sc oll en los comen a ios del ídeo pa a ob ene odos los comen a ios dis- ponibles (sin con a las espues as a los comen a ios), g acias al sopo e HTML que o ece eques s [7]. En e la in o mación ex aída, se incluye el nomb e del usua io que esc ibió cada comen a io, el núme o de likes que iene dicho comen a io, y el comen a io en sí. Es a in o mación se gua da en un a chi o CSV con el o ma o ideoID_commen s.cs . El sc ip se ejecu a de mane a i e a i a según la can idad de iden i icado es de ídeo p opo cionados en un a chi o de ex o especí ico. En la Tabla 3.2 se pueden obse a los módulos u ilizados. 3.3. Combinación de a chi os CSV 11 Figu a 3.1: sc ip P incipal Modulo Lib e ía Desc ipción pandas pandas Manipulación y análisis de da os de mane a e icien e y á- cil. eques s eques s Facili a el en ío de solici udes HTTP y la ges ión de apli- caciones web. sys sys Funciones y a iables que in e ac úan con el sis ema ope- a i o. Tabla 3.2: Módulos del sc ip de ex acción de comen a ios con la API de YouTube 3.3. Combinación de a chi os CSV Es e sc ip sencillo, como se puede ap ecia en la Figu a 3.3, iene la unción de combina odos los a chi os CSV gene ados po el sc ip an e io , co espondien es a cada ídeo. Los usiona en un solo a chi o CSV, cuyo nomb e se p opo ciona como a gumen o. La impo ancia de es e sc ip adica en su capacidad pa a simpli ica el abajo, pe mi iéndonos maneja odos nues os da os de mane a e icien e en un solo a chi o. A pa i de es e paso, odas las ases de p ep ocesado se ejecu a án en es e a chi o obje i o. En la Tabla 3.3 se pueden obse a los módulos u ilizados. 3.4. Fo ma eo de Tex o Después de ex ae y consolida odos los da os en un único a chi o, p ocedemos con la limpieza de es a in o mación. Dado que nues o en oque se cen a exclusi- 12 Capí ulo 3. Ex acción de los Da os Figu a 3.2: Ex acción de comen a ios Modulo Lib e ía Desc ipción os os Funcionalidades dependien es del sis ema ope a i o. pandas pandas Manipulación y análisis de da os de mane a e icien e y á- cil. sys sys Funciones y a iables que in e ac úan con el sis ema ope- a i o. Tabla 3.3: Módulos del sc ip de combinación de iche os .cs Figu a 3.3: Combinación de a chi os CSV 3.5. De ección de Idioma 13 Modulo Lib e ía Desc ipción h ml h ml U ilidades pa a modi ica HTML. pandas pandas Manipulación y análisis de da os. e e Ope aciones de coincidencia de exp esiones egula es [9] sys sys Funciones y a iables que in e ac úan con el sis ema ope- a i o. Tabla 3.4: Módulos del sc ip de limpieza y o ma eo de los comen a ios amen e en los comen a ios, la limpieza se ealiza únicamen e en la columna que con iene es os comen a ios. Es a e apa se dedica p incipalmen e a elimina in o ma- ción no necesa ia, como emo iconos, ma cas HTML, imes amps y cualquie o o con enido del comen a io que no sea una palab a álida pa a el u u o en enamien- o. Es o p incipalmen e se puede ealiza u ilizando exp esiones egula es [8]. Como esul ado de es a ope ación, la columna de comen a ios expe imen a una modi ica- ción, almacenando aho a únicamen e el ex o plano del comen a io. En la Figu a 3.4 se ilus a el sc ip empleado pa a es e p oceso. En la Tabla 3.4 se pueden obse a los módulos u ilizados. Figu a 3.4: Fo ma eo de Tex o 3.5. De ección de Idioma Al abaja con comen a ios de YouTube, nos en en amos a la posibilidad de que es os comen a ios es én edac ados en di e sos idiomas, lo que pod ía complica el p ep ocesado del ex o. La p esencia de a ios idiomas en el conjun o de da os pod ía aumen a conside ablemen e la complejidad compu acional de odo el sc ip . Po es a azón, hemos omado la decisión de uni ica odos los comen a ios en un único idioma empleando el sc ip ep esen ado en la Figu a 3.5, g acias al modulo 14 Capí ulo 3. Ex acción de los Da os Modulo Lib e ía Desc ipción langde ec langde ec De ección de idioma os os Funcionalidades dependien es del sis ema ope a i o. pandas pandas Manipulación y análisis de da os. sys sys Funciones y a iables que in e ac úan con el sis ema ope a i o. Tabla 3.5: Módulos del sc ip de de ección de idioma lang-de ec [10]. Dado que la emá ica y la mayo ía de los ídeos se encuen an en inglés, hemos op ado po que odos los comen a ios en nues o co pus es én en es e idioma. Los comen a ios que no es én en inglés son eliminados del co pus. Aunque es a decisión pod ía esul a en la pé dida de in o mación, el po cen aje de comen a ios en o os idiomas es muy pequeño, lo que no ep esen a un iesgo o incon enien e signi ica i o pa a el u u o en enamien o de da os. O a en aja de ealiza el en enamien o en ingles, es que exis en muchas más he amien as ac ualizadas en ingles que en español o en o o idioma, con lo cual disponemos de más posibilidades pa a ealiza un en enamien o ealmen e pe sonalizado. En la Tabla 3.5 podemos obse a los módulos u ilizados en es e sc ip . Figu a 3.5: De ección de Idioma 3.6. Análisis de Sen imien o Después de es anda iza el idioma del co pus, a anza emos con el análisis de sen imien o con el p opósi o de ob ene una a iable obje i o que sea ú il pa a el pos e io en enamien o de los da os. Es a a iable obje i o se ep esen a median e una columna de clases mul inominales, lo que implica que un comen a io puede se 3.6. Análisis de Sen imien o 15 Modulo Lib e ía Desc ipción nl k nl k Conjun o de biblio ecas y p og amas pa a el p ocesamien o del lenguaje na u al. pandas pandas Manipulación y análisis de da os. sys sys Funciones y a iables que in e ac úan con el sis ema ope- a i o. Tabla 3.6: Módulos del sc ip de de ección de sen imien o clasi icado en más de dos ca ego ías. En es e con ex o, un comen a io puede se e ique ado como “Posi i o”, “Nega i o” o “Neu al”. Es e sc ip esul a undamen al, ya que los comen a ios en sí no poseen un a ibu o que indique su sen imien o, po lo que es necesa io ag ega lo pa a que los modelos de ap endizaje au omá ico dispongan de una a iable/a ibu o obje i o en el que basa se. El análisis de sen imien o es c ucial en la mine ía de ex o, ya que pe mi e ex ae in o mación aliosa sob e la ac i ud de los usua ios hacia de e minados e- mas o p oduc os. Con la inco po ación de es a a iable obje i o, nues os da os es án p epa ados pa a se u ilizados en el en enamien o y e aluación de modelos de ap endizaje au omá ico, los cuales pod án ap ende pa ones y elaciones en e el ex o de los comen a ios y sus espec i os sen imien os, mejo ando así su capacidad de p edicción en u u as ins ancias. Pa a el análisis de sen imien o, hemos u ilizado NLTK (Na u al Language Tool- ki ), una biblio eca de p ocesamien o de lenguaje na u al en Py hon [11]. NLTK p opo ciona he amien as y ecu sos pa a abaja con ex o, incluyendo unciona- lidades especí icas pa a el análisis de sen imien o [12]. Al emplea es a biblio eca, hemos lle ado a cabo a eas como okenización, lema ización e incluso ec o ización, aunque es a ul ima la dejamos a ca go de cada modelo. Todo el p oceso se ealiza en el sc ip ilus ado en la Figu a 3.6. En la Tabla 3.6 podemos obse a los módulos u ilizados en es e sc ip . Figu a 3.6: Análisis de Sen imien o 16 Capí ulo 3. Ex acción de los Da os 3.7. Tokenización y lema ización Una ez de e minado el sen imien o de cada comen a io, que quizás sea el paso más ele an e en odo el p oceso de ex acción de da os, ya que sin el sen imien o nues os modelos no ienen una a iable obje i o sob e la que en ena , ealiza emos la okenización y lema ización de cada comen a io, haciendo uso del sc ip ep esen- ado en la Figu a 3.7, en el que el modulo p incipal que se u iliza es S anza, que es una colección de he amien as p ecisas y e icien es pa a el análisis lingüís ico. [13]. Es os pasos nos ayuda án a p esen a la in o mación de mane a simple y desglosada, pe mi iendo que nues os modelos la in e p e en más ápidamen e y de una o ma mucho más cla a. La okenización, especí icamen e, consis e en subdi idi el ex o en unidades más pequeñas llamadas okens, acili ando así su análisis y comp ensión po pa e de los algo i mos. Básicamen e, okeniza es di idi el comen a io en palab as. Pe o una ez enemos el comen a io okenizado en palab as, necesi amos educi esas palab as a su o ma básica, ya sean e bos, sus an i os, adje i os, e c. Es aquí donde en a la lema ización. S emming s lema ización Ambas son écnicas usadas en el p ocesado de lenguaje na u al que educe las palab as de en ada a su aíz o o ma base, lo que acili a la in e p e ación y compa- ación de di e en es o mas g ama icales de una misma palab a. Es e paso con ibuye a simpli ica el conjun o de da os y a mejo a la e icacia de los modelos en el análisis de pa ones lingüís icos, pe o ienen una se ie de di e encias [14]. El s emming [15] elimina los a ijos de las palab as (su ijos, p e ijos), dejando sólo la aíz o s em. El p oblema de es e mé odo es que puede esul a en palab as no álidas, po ejemplo, al aplica el s emming a las palab as “pensando”, ”pensado” y “pensamien o” la aiz esul an e se ía “pensa” lo cual no es una palab a exis en e en cas ellano. Es po es o que op amos po la lema ización, que aun siendo más compleja nos o ece mejo es esul ados. La lema ización [16] es el p oceso de educi las palab as a su o ma base o lema, siendo es e una palab a con signi icado. Es un p oceso más complejo que el s emming ya que no si e con elimina los a ijos, sino que hay que analiza la palab a mo ológicamen e, sin ác icamen e y con ex ualmen e. Además es común que se haga uso de una base de da os pa a consegui es os obje i os. Po ejemplo, conside emos las palab as co iendo yco e. Aplicando la lema- ización, ambas se educi ían al lema co e . Del mismo modo, las o mas e bales hablo yhablas se lema iza ían ambas como habla . Es e p oceso pe mi e que los modelos se cen en en el signi icado de las palab as o okens, igno ando las a iacio- nes g ama icales [17]. En la Tabla 3.7 podemos obse a los módulos u ilizados en es e sc ip . Una ez inalizado es e paso, ya pod íamos empeza a ealiza el en enamien o de los modelos. En un p incipio pensamos en inclui la ec o ización en el p ep oce- sado, pe o nos dimos cuen a que pa a dis in os modelos de ap endizaje au omá ico, podemos encon a di e en es ec o izaciones que se ajus en a es os y uncionen 3.7. Tokenización y lema ización 17 Figu a 3.7: Análisis de Sen imien o mejo , como e emos en el siguien e capí ulo. 18 Capí ulo 3. Ex acción de los Da os Modulo Lib e ía Desc ipción nl k nl k Conjun o de biblio ecas y p og amas pa a el p ocesa- mien o del lenguaje na u al. pandas pandas Manipulación y análisis de da os. s anza s anza S anza es una colección de he amien as p ecisas y e i- cien es pa a el análisis lingüís ico. sys sys Funciones y a iables que in e ac úan con el sis ema ope- a i o. nl k.co pus nl k NLTK co pus nos da acceso di ec o a a ias colecciones de ex os. Tabla 3.7: Módulos del sc ip de okenización y lema ización Cap´ ı ulo 4 Modelos En el p esen e capí ulo abo da emos la implemen ación de modelos de clasi ica- ción au omá ica de sen imien os aplicados a comen a ios de la pla a o ma YouTube, como pa e del campo de es udio del P ocesamien o de Lenguaje Na u al (NLP). La na u aleza ex ual y la iqueza exp esi a de los comen a ios hacen de es a uen- e un co pus de es udio ideal pa a el en enamien o y la e aluación de modelos de ap endizaje au omá ico. Den o del ap endizaje au omá ico, se dis inguen dos ca ego ías p incipales: el ap endizaje supe isado y el no supe isado. El p ime o se basa en conjun os de da os donde cada en ada es á asociada a una e ique a o clase especí ica, acili ando la a ea de p edeci la clasi icación de nue os da os. El segundo, po o o lado, in en a in e i la es uc u a de los da os sin e ique as p e ias, iden i icando pa ones y ag upaciones in ínsecas. Pa a el p opósi o de es a esis, hemos decidido emplea el ap endizaje supe i- sado pues o que abajamos con un conjun o de da os ya e ique ados como imos en el capí ulo in e io . Aunque es os e ique ados no han sido co obo ados manual- men e, c eemos que ep esen an un pun o de pa ida álido pa a el desa ollo de los modelos, dado el olumen y la a iabilidad de los da os con los que se abaja. A a és de un p oceso i e a i o de en enamien o, alidación y ajus e de hipe - pa áme os, busca emos op imiza la p ecisión y e ec i idad de nues os modelos, con el in de log a un análisis de sen imien os lo más cohe en e y con iable posible. En las siguien es secciones se p ocede á a de alla los modelos de clasi icación y eg esión seleccionados, des acando su adecuación al análisis de ex o y su capaci- dad pa a maneja las dimensiones del conjun o de da os en cues ión. Se explica á cómo dichos modelos son en enados pa a econoce pa ones en los comen a ios y clasi ica los según su sen imien o. Sin emba go, an es de pode en ena los da os necesi amos ec o iza los, ya que nues os modelos de ap endizaje no pueden en ena con ex o como al, si no que abajan con da os numé icos, es po eso que necesi amos con e i nues as palab as lema izadas p e iamen e a ec o es numé icos. No ealizamos la ec o iza- ción du an e el p ep ocesado ya que conside amos que podíamos u iliza dis in as ec o izaciones según el modelo, dándonos mas opciones a la ho a de op imiza nues- os modelos. En la siguien e sección se p o undiza más en la ec o ización y en las 19 26 Capí ulo 4. Modelos es necesa io que se ealice una sepa ación de los da os en dos subconjun os, uno de en enamien o y o o pa a es ea los esul ados [24]. El p oceso desc i o has a aho a se puede ap ecia en la Figu a 4.9. Figu a 4.9: Código pa a ca ga los da os Una ez se han sepa ado los da os, se p ocede con la ec o ización que podemos ap ecia en la Figu a 4.10. Figu a 4.10: Código de la ec o ización T as la ec o ización, llega el momen o de c ea el modelo, en ena lo haciendo uso del subconjun o de da os de en enamien o y inalmen e se hacen p edicciones sob e el subconjun o de es . Toda es a sección se puede ap ecia en la Figu a 4.11. Figu a 4.11: Código de la c eación, en enamien o y p edicciones Una ez se han hecho las p edicciones, es momen o de isualiza los esul ados. Pa a ello, se ha op ado po emplea una ma iz de con usión y una Tabla con di e- en es mé icas. El código empleado pa a compu a es as ep esen aciones se puede ap ecia en la Figu a 4.12 y la Figu a 4.13. Figu a 4.12: Código ma iz de con usión Figu a 4.13: Código Tabla de mé icas 4.4. Random Fo es 27 4.4. Random Fo es Random Fo es es un algo i mo de ap endizaje au omá ico basado en el uso de a boles de decisión, con di e en es conjun os de en enamien o, ex aídos no mal- men e del mismo da ase , solo que a iando la composición de los conjun os. Una ez cons uido cada á bol indi idual, se jun an odos los esul ados de cada á bol y median e un p oceso de o ación, se calcula el esul ado más ap o pa a dicho modelo [25]. En la Figu a 4.14 se puede ap ecia un esquema simpli icado del uncionamien o del modelo [26]. La cons ucción de es e algo i mo sigue los pasos que se desc iben a con inuación. Figu a 4.14: Random Fo es 4.4.1. Hipe pa áme os del modelo En es e modelo hemos u ilizado 200 es imado es, los cuales ep esen an 200 á - boles de decisión indi iduales. Es impo an e des aca que hemos con igu ado el núme o mínimo de mues as eque idas pa a di idi un nodo in e no del á bol en 2. Además, hemos es ablecido que el núme o mínimo de mues as en una hoja del á bol debe se 1. La ob ención de es os pa áme os se ealizó u ilizando G idSea ch. 4.4.2. Pasos en Random Fo es En es a sección se de allan en p o undidad los dis in os pasos que se ealizan du an e el en enamien o de es e modelo, desde la selección de los da os de en e- namien o has a la o ación de los dis in os á boles gene ados. Mues eo con eemplazo Se oman múl iples mues as alea o ias con eemplazo del conjun o de da os de en enamien o. Es o implica selecciona alea o iamen e ins ancias del conjun o de 28 Capí ulo 4. Modelos da os o iginal, pe mi iendo que una misma ins ancia apa ezca a ias eces o que algunas no apa ezcan en absolu o en una mues a especí ica. A boles de decisión Pa a cada una de es as mues as, se cons uye un á bol de decisión. Cada á bol se desa olla conside ando solo un subconjun o alea o io de las ca ac e ís icas dis- ponibles en cada di isión. Es o ayuda a di e si ica los á boles y e i a que odos dependan demasiado de las mismas ca ac e ís icas. Vo ación Una ez que odos los á boles se han cons uido, pa a p oblemas de clasi icación se ealiza una o ación en e ellos pa a de e mina la clase inal, mien as que en p o- blemas de eg esión se p omedian sus p edicciones. Pa a p oblemas de clasi icación enemos dos opciones: Vo ación Ponde ada: Cada á bol emi e una p edicción de la clase pa a una ins ancia dada. La p edicción inal se de e mina median e una o ación pon- de ada, donde se asigna un peso a cada á bol según su p ecisión en el conjun o de en enamien o. Los á boles más p ecisos ienen un mayo peso en la decisión inal. Clase Mayo i a ia: O a opción común es simplemen e oma la clase que es p edicha po la mayo ía de los á boles. En es e en oque, cada á bol iene el mismo peso en la o ación, independien emen e de su p ecisión indi idual. 4.4.3. Validación c uzada La alidación c uzada es una écnica esencial pa a e alua el endimien o de un modelo de ap endizaje au omá ico de mane a más obus a y con iable. En nues o caso, la alidación c uzada nos ayuda a es ima cómo se gene aliza el endimien o del modelo a nue os da os [27]. Pa a ealiza la alidación c uzada hemos ealizado 10 olds o pliegues, es deci , 10 subconjun os den o de nues o conjun o gene al de da os. Pa a ealiza la alidación c uzada ealizamos 10 i e aciones (una po pliegue), en la que se usa un pliegue como conjun o de es y el es o de pliegues como conjun o de en enamien o [28]. Po cada i e ación se a cambiando el pliegue de es y se calcula la mé ica que que emos e alua , en el caso de es e modelo la pun uación F1. Una ez se calculan odas las pun aciones F1 se calcula la media, y esa se á nues a mé ica “gene alizada”, lo cual nos indica la obus ez de nues o modelo y como unciona á con la in oducción de da os nue os. 4.4.4. Implemen ación En es a sección explica emos la implemen ación del modelo Random Fo es con Py hon y la ex acción de los esul ados, así como la ec o ización y los módulos u ilizados. Cabe des aca que la e sión Coun Vec o ize y la e sión TF-IDF son 4.4. Random Fo es 29 iguales, lo único que cambia es que en el pipeline [29] se incluye una ec o ización u o a. Modulos/lib e ias u ilizadas El la Tabla 4.3 se mues an odas las lib e ías y módulos u ilizados pa a el en enamien o de es e modelo, con una pequeña desc ipción. Vec o ización u ilizada En es e modelo, hemos empleado un Coun Vec o ize y T id Vec o ize con un lími e máximo de 200 ca ac e ís icas y un ango de n-g amas que aba ca desde 1 has a 2 (monog amas y big amas pueden se u ilizados). En el apa ado de esul ados compa a emos que ec o ización unciona mejo pa a nues o conjun o de da os y la elegi emos a la ho a de compa a odos nues os modelos en e sí. Código Una ez explicados los pasos y he amien as que con o man nues o modelo Ran- dom Fo es , podemos explica un poco po encima nues o código en Py hon en e- nando el modelos. En la Figu a 4.15 podemos obse a la p ime a pa e del código, en la que se en ena el modelo en si, en el que se an ealizando los siguien es pasos (en o den): En p ime luga ex aemos el conjun o de da os desde nues o a chi o .CSV y lo almacenamos en un da a ame. C eamos un pipeline en el que incluimos el ec o izado (Coun Veco i ze o TF-IDF según el caso) y nues o modelo con los hipe pa áme os. El pipeline simplemen e encadena la ec o ización y el en enamien o del modelo en un solo paso. Di idimos nues o conjun o de da os en da os de en enamien o y da os de alidación usando ain_ es _spli (80 % en enamien o - 20 % es ) [30]. U ilizamos nues o pipeline pa a en ena nues o modelo con alidación c u- zada (10 olds) [28]. Obse amos en la Figu a 4.16 que ob enemos las pun uaciones de la alidación c uzada y la pun ación media de es a. Cabe eco da que pa a la alidación c uzada es amos usando la pun uación F1 como mé ica obje i o. Una ez en enado el modelo, p obamos con nues o conjun o de da os el endimien o de nues o Random Fo es . U ilizamos un Classi ica ion Repo y una ma iz de con usión pa a pode analiza los esul ados [31]. Podemos obse a el esul ado de los epo es de clasi icación pa a ambos modelos en las Figu as 4.18 y 4.17. 30 Capí ulo 4. Modelos Modulo Lib e ia Desc ipción pandas pandas Manipulación y aná- lisis de da os de ma- ne a e icien e y ácil. sys sys Funciones y a iables que in e ac úan con el sis ema ope a i o. Coun Vec o ize sklea n. ea u e_ex ac ion. ex Pe mi e u iliza Coun Vec o ize en Py hon. T id Vec o ize sklea n. ea u e_ex ac ion. ex Pe mi e u iliza T -Id Vec o ize en Py hon. RandomFo es Classi ie sklea n.ensemble Incluye el es imado Random Fo es pa a Py hon. c oss_ al_sco e sklea n.model_selec ion E alúa una mé ica median e alidación c uzada. ain_ es _spli sklea n.model_selec ion Di ide da ase s en subconjun os de en- enamien o y p ue- ba. Pipeline sklea n.pipelines Conjun o de ans- o maciones con un es imado inal. classi ica ion_ epo sklea n.me ics Cons uye un in o - me que mues a las p incipales mé icas de clasi icación. ma plo lib.pyplo ma plo lib Des inado pa a g á i- cos in e ac i os. sciki plo sciki plo Funciones de isuali- zación ú iles pa a en- ende el endimien o de los modelos. Tabla 4.3: Módulos u ilizados en la implemen ación de Random Fo es 4.5. Reg esión Logís ica Mul inomial 31 Figu a 4.15: Código del modelo Random Fo es (En enamien o) Figu a 4.16: Código del modelo Random Fo es (Mé icas) Figu a 4.17: Mé icas as ejecución con T -Id Figu a 4.18: Mé icas as ejecución del modelo con Coun Vec o ize 4.5. Reg esión Logís ica Mul inomial La Reg esión Logís ica Mul inomial es una ex ensión de la Reg esión Logís ica binomial cuando se a a de p oblemas de clasi icación con más de dos ca ego ías [32]. Mien as que la Reg esión Logís ica binomial se u iliza pa a p edeci la p obabilidad de pe enencia a una de dos ca ego ías, la Reg esión Logís ica Mul inomial maneja si uaciones donde hay más de dos ca ego ías mu uamen e excluyen es. 32 Capí ulo 4. Modelos 4.5.1. Reg esión Logís ica Bina ia La eg esión logís ica es un mé odo es adís ico u ilizado pa a modela la p oba- bilidad de que un e en o bina io ocu a como una unción de una o más a iables p edic o as. Es pa icula men e ú il cuando la a iable dependien e es ca egó ica y iene dos ca ego ías, como sí o no,éxi o o acaso,posi i o o nega i o, como es nues- o caso. Pe o como noso os añadimos un clase neu a pa a añadi mas p o undidad al en enamien o de los da os, necesi a emos usa una eg esión mul iclase. En la eg esión logís ica, el modelo ma emá ico u iliza la unción logís ica ( am- bién conocida como unción sigmoide, ilus ada en la Figu a 4.19.) pa a ans o ma una combinación lineal de las a iables p edic o as en una a iable con enida en e 0 y 1, que de e mina la p oximidad de la in o mación a una clase u o a. Como enemos 3 clases, end emos que hace algo di e en e, ya que pa a más de dos cla- ses es mejo u iliza una unción so max, que es una gene alización de la unción sigmoide, como se explica á más adelan e. Figu a 4.19: Función sigmoide 4.5.2. Pasos de la eg esión logís ica mul inomial A con inuación se desc iben los dis in os pasos que se ealizan pa a comple a el en enamien o de nues os da os con eg esión logís ica. De inición del P oblema Es e mé odo se u iliza cuando se iene una a iable dependien e ca egó ica con es o más ca ego ías. Po ejemplo, puede se u ilizado pa a p edeci la ca ego ía de un p oduc o en e bajo, medio o al o basándose en di e sas ca ac e ís icas. En nues o caso enemos 3 clases que de inen el sen imien o del comen a io: Posi i o, Nega i o, y Neu o. 4.5. Reg esión Logís ica Mul inomial 33 Función So max La unción so max se de ine pa a cada clase ide la siguien e mane a [33]: P(y=i|x) = ewi·x PK j=1 ewj·x Donde: P(y=i|x)es la p obabilidad de que la obse ación xpe enezca a la clase i. Kes el núme o o al de clases. wies el ec o de pesos asociados a la clase i. En es e con ex o, wi·x ep esen a la combinación lineal de las ca ac e ís icas de la obse ación xponde adas po los pesos asociados a la clase i. La unción so max no maliza es as combinaciones lineales ele ando y di idiendo po la suma de las exponenciales pa a ob ene p obabilidades que suman 1. La p edicción inal pa a una obse ación xse á la clase con la p obabilidad más al a según la unción so max. En é minos más sencillos, la unción so max asigna p obabilidades a cada clase y pe mi e la clasi icación de ins ancias en una de las clases. Es imación de Pa áme os En eg esión logís ica, la es imación de pa áme os implica encon a los coe i- cien es que maximizan la unción de e osimili ud, la cual mide la p obabilidad de obse a los da os dados los pa áme os. Se u iliza un algo i mo de op imización, como el descenso de g adien e, pa a ajus a los coe icien es i e a i amen e. En es e caso los pa áme os del modelo que nos in e esan son el nume o de i e aciones y el sol e . En nues o caso ealizamos 500 i e aciones y usamos el sol e lb gs (Limi ed-memo y B oyden-Fle che -Gold a b-Shanno). El pa áme o max i e (núme o máximo de i e aciones) se e ie e al lími e má- ximo de i e aciones pe mi ido pa a que el algo i mo de op imización con e ja y encuen e los pa áme os óp imos del modelo. El sol e se e ie e al algo i mo u ilizado pa a op imiza los pa áme os del mo- delo du an e el p oceso de en enamien o. Di e en es sol e s implemen an di e en es algo i mos de op imización. En el con ex o de eg esión logís ica y o os modelos lineales gene alizados, el sol e lb gs se u iliza pa a encon a los coe icien es del modelo que maximizan la unción de e osimili ud. En o as palab as, se u iliza pa a encon a los pa áme os que hacen que los da os obse ados sean más p obables bajo el modelo logís ico. 4.5.3. Implemen ación A con inuación explicamos la implemen ación ealizada con Reg esión Logís ica, así como la ec o ización u ilizada y sus pa áme os más ele an es. 34 Capí ulo 4. Modelos Módulos/lib e ías u ilizadas El la Tabla 4.4 se mues an odas las lib e ías y módulos u ilizados pa a el en enamien o de es e modelo, con una pequeña desc ipción. Módulo Lib e ía Desc ipción pandas pandas Manipulación y análisis de da os de mane a e i- cien e y ácil. sys sys Funciones y a iables que in e ac úan con el sis ema ope a i o. Coun Vec o ize sklea n. ea u e_ex ac ion. ex Pe mi e u iliza Coun Vec o ize en Py hon. Logis icReg ession sklea n.linea _model Incluye el modelo de eg esión logís ica pa a Py hon. c oss_ al_sco e sklea n.model_selec ion E alúa una mé ica me- dian e alidación c uza- da. ain_ es _spli sklea n.model_selec ion Di ide da ase s en sub- conjun os de en ena- mien o y p ueba. Pipeline skelea n.pipelines Conjun o de ans o - maciones con un es ima- do inal. classi ica ion_ epo sklea n.me ics Cons uye un in o me que mues a las p inci- pales mé icas de clasi- icación. accu acy_sco e sklea n.me ics Pun uación de exac i- ud. ma plo lib.pyplo ma plo lib Des inado pa a g á icos in e ac i os. sciki plo sciki plo Funciones de isualiza- ción que son ú iles pa a en ende el endimien o de los modelos. Tabla 4.4: Módulos u ilizados en la implemen ación de eg esión logís ica 4.5. Reg esión Logís ica Mul inomial 35 Vec o ización u ilizada En es e modelo ambién hemos usado Coun Vec o ize , con 2000 como el nume o máximo de a ibu os y un ango de n-g amas en e 1 y 2. Código La implemen ación de es e modelo es p ác icamen e igual que la implemen a- ción del Random Fo es , ya que al usa un pipeline es mucho más ácil abs ae el uncionamien o gene al del en enamien o, cambiando solo el modelo a en ena en nues o pipeline. Es o lo podemos obse a en la Figu a 4.21, iendo que la imple- men ación es, en e ec o, igual que con Random Fo es . Aunque si bien es cie o que el en enamien o es muy simila , con la eg esión logís ica podemos hace más cosas a la ho a de hace un análisis más exhaus i o de los esul ados. Esa pa e del código no la incluimos en es a sección ya que p o undiza emos mas sob e es e en la sección de análisis de esul ados. A con inuación un esumen de los pasos ealizados: P ime o ex aemos el a chi o .cs a a és de los a gumen os del sc ip y gua damos el conjun o de da os en un da a ame. C eamos un pipeline con nues o ec o izado (Coun Vec o ize ) y el modelo con los pa áme os. Es os pa áme os ue on op imizados usando G idSea ch, pe o en nues o código inal no apa ece po el al o consumo de iempo en calcula los. Di idimos nues o conjun o de da os en da os de en enamien o y da os de alidación usando ain_ es _spli (80 % en enamien o - 20 % es ). U ilizamos nues o pipeline pa a en ena nues o modelo con alidación c u- zada (10 pliegues) [28]. Una ez en enado el modelo, ob end emos las mé icas que e lejan el endi- mien o del modelo con un conjun o de alidación. Es a in o mación se e leja en el Classi ica ion Repo (Figu a 4.22) y en la ma iz de con usión [31]. Figu a 4.20: Mé icas de la eg esión logís ica 42 Capí ulo 4. Modelos Figu a 4.31: A qui ec u a y amaño de los modelos BERT [2] 4.7.1. A qui ec u a T ans o me BERT se undamen a en la a qui ec u a T ans o me . Los T ans o me s son mo- delos que se basan en mecanismos de a ención pa a cap u a con ex os globales de las palab as en una o ación. La en aja más des acable de es a a qui ec u a pa a nues o caso es su mecanismo de a ención, el cual pe mi e al modelo ponde a po pa es la secuencia de en ada lo cual esul a en un mejo manejo de las dependen- cias de la go alcance. Es e en oque pe mi e al modelo conside a cada palab a en elación con odas las o as palab as de la o ación, p opo cionando un en endimien- o más p o undo del con ex o y la semán ica del ex o. La a qui ec u a o iginal de T ans o me u iliza un codi icado pa a p ocesa la en ada al modelo y un decodi- icado que gene a la salida. Sin emba go, BERT p escinde del decode y solo hace uso de encode s ya que el in p incipal de BERT es la comp ensión del lenguaje, no la gene ación del mismo. 4.7.2. En enamien o Bidi eccional A di e encia de los modelos an e io es de NLP que p ocesaban el ex o de mane a unidi eccional, BERT analiza los ex os de mane a bidi eccional, lo que signi ica que el modelo conside a an o el con ex o an e io de una palab a como el pos e io . Es e en oque bidi eccional pe mi e a BERT hace un en endimien o más ma izado y comple o del ex o. 4.7.3. P een enamien o y A inamien o (Fine-Tuning) El p oceso de en enamien o de BERT se di ide en dos ases. Inicialmen e, el modelo se p een ena en un as o co pus de ex o con dos a eas p incipales: el Mo- delado de Lenguaje Enmasca ado (MLM) y la P edicción de la Siguien e O ación (NSP). En la a ea MLM, al modelo se le p esen an o aciones con algunas palab as ocul as, y debe p edeci es as palab as basándose en el con ex o. La a ea NSP im- plica p edeci si una o ación es la con inuación lógica de o a. Una ez p een enado, BERT puede se a inado con da os especí icos pa a a eas conc e as, como el análi- sis de sen imien os. Es a ase de a inamien o ajus a los pa áme os de BERT a las peculia idades del conjun o de da os obje i o, lo que mejo a signi ica i amen e su 4.7. BERT 43 endimien o en a eas especí icas. 4.7.4. Tokens [CLS] y [SEP] en BERT Los modelos BERT u ilizan okens especiales, [CLS] y [SEP], que esul an c u- ciales en la comp ensión y es uc u ación de los da os de en ada. El oken de clasi icación ([CLS]), se coloca al inicio de cada en ada y si e como un ag egado ep esen a i o de oda la secuencia pa a a eas de clasi icación como la nues a. El oken de sepa ación ([SEP]) se u iliza pa a di e encia segmen os dis in os den o de la misma en ada. Es o es pa icula men e impo an e pa a a eas que in oluc an múl iples en adas, como la a ea de P edicción de la Siguien e O ación (NSP) du an e el p een enamien o de BERT. La Figu a 4.32 ilus a cómo se inco po an los okens [CLS] y [SEP] den o de la es uc u a de en ada de BERT. Cada oken es sumado con su co espondien e inc us ación posicional y de segmen o,las cuales si en pa a en ende la posición del oken en la o ación y la pe enencia a un segmen o de la en ada espec i amen e, an es de se p ocesado po las capas del codi icado de BERT. La salida del úl imo codi icado co espondien e al oken [CLS] se á la u ilizada pa a las a eas de clasi- icación pues o que ep esen a la secuencia de en ada comple a y con ex ualizada. 4.7.5. So max Se a a de una unción de ac i ación que ob iene una dis ibución de p obabili- dades a pa i de un ec o numé ico dado. Es a unción es no malmen e u ilizada como capa de clasi icación al inal de una ed neu onal, especialmen e en p oblemas mul iclase. Como emos en la Figu a 4.32, la unción so max ecoge un ec o que ep esen e los alo es de salida de la ed neu onal denominados logi s y lo con ie e en una p obabilidad pa a cada elemen o del ec o . Logi es un ec o de amaño [Nºde mues as][Nºde clases] que ep esen a la pun uación dada a cada clase pa a cada comen a io en es udio. En nues o caso el ec o de logi s se á una ep esen ación de la salida co espondien e al oken [CLS]. So max oma esas pun uaciones y ec ea una dis ibución no malizada de las pun uaciones pa a pode in e p e a los alo es pa a cada e ique a como una p obabilidad. 4.7.6. AdamW AdamW es un op imizado basado en Adam (Adap a i e Momen Es ima ion) al amen e econocido dado su manejo e icien e de g adien es en el en enamien o de una ed neu onal. La unción p incipal del op imizado es el uso de decaimien o de peso pa a e i a la equi ocación en el en enamien o de un modelo debido al sob e-ajus e de clases en las mues as. La di e encia que iene AdamW sob e su e sión o iginal eside en la mane a en la que se aplica el decaimien o de peso. AdamW, a di e encia de Adam, sepa a el p oceso de op imización de g adien es 44 Capí ulo 4. Modelos en el en enamien o de la egula ización de los pesos aplicando di ec amen e la egula ización a los pesos del modelo sin a ec a a la ac ualización de g adien es. En gene al, AdamW, nos p opo ciona á una o ma consis en e y e ec i a de apli- ca la egula ización du an e el en enamien o de nues o modelo. Figu a 4.32: A qui ec u a de los modelos BERT pa a a eas de clasi icación [3] 4.7.7. Implemen ación En es a sección e emos la implemen ación del modelo BERT en de alle. Módulos/lib e ías u ilizadas El la Tabla 4.6 se mues an odas las lib e ías y módulos u ilizados pa a el en enamien o de es e modelo, con una pequeña desc ipción. Vec o ización En el caso de modelos BERT no es necesa io u iliza ec o ización adicional p e ia ya que es os modelos son capaces de p ocesa el signi icado y con ex o de las palab as po su cuen a y de mane a más e icaz y p ecisa que la ec o ización adicional. A di e encia de mé odos como Coun Vec o ize oTF-IDF en los que se le asigna una ep esen ación ija a cada oken o palab a en modelos BERT u iliza inc us aciones (embeddings) dinámicas pa a e leja el con ex o de la palab a en cada caso de uso dis in o. Código A con inuación p ocedemos a mos a el código u ilizado pa a analiza los sen i- mien os de nues os da ase con un modelo BERT-base [39]. Pa a mejo a el endimien o de la ejecución de nues o código y ap o echa el uso de enso es en modelos BERT u iliza emos CUDA [40]. Comenzamos con igu ando py o ch pa a que u ilice la GPU del disposi i o en el que se ejecu e en caso de es a disponible (Figu a 4.33). Además u ilizamos la op imización de CUDNN [41] 4.7. BERT 45 Figu a 4.33: ConFigu a uso de GPU especialmen e desa ollada pa a la acele ación de edes neu onales p o undas, cuya guía de ins alación se puede encon a en [42]. Figu a 4.34: Código pa a ca ga el modelo y okenizado de BERT-base La Figu a 4.34 e leja la ca ga del modelo con el núme o de clases y el okenizado de BERT-base en las a iables model y okenize pa a después ca ga el modelo en el disposi i o de py o ch. Figu a 4.35: Código pa a ca ga los da os de commen s. x Con inuamos ca gando nues o da ase y las columnas que con ienen los comen- a ios okenizados y las e ique as del sen imien o p edicho mapeadas numé icamen e en sus espec i as a iables como se ep esen a en la Figu a 4.35. Figu a 4.36: Código pa a p epa a los da os de en ada al modelo P ocedemos p epa ando los da os de en ada del modelo (Figu a 4.36). P ime o ajus amos el amaño del lo e y el amaño máximo de la secuencia de en ada. A con inuación, ob enemos los ids de los oken de nues os comen a ios ajus a- dos a la longi ud máxima de e minada po la a iable max_leng h en el ocabula io del okenizado así como la másca a de a ención de nues os okens como enso es. La másca a de a ención es especialmen e impo an e en casos en los que el núme o de oken de un comen a io es meno que max_leng h dado que se añaden okens de elleno pa a comple a el enso de en ada pues o que BERT espe a un amaño uni- o me en las secuencias de en ada y es os okens de elleno deben se a ados como al. Po úl imo ob enemos en o ma de enso las e ique as pa a los sen imien os p e iamen e mapeadas a alo es numé icos. La Figu a 4.37 mues a como c eamos un Tenso Da ase con los enso es de los ids, las másca as de a ención y las e ique as ob enidos an e io men e. Después 46 Capí ulo 4. Modelos Figu a 4.37: Código pa a di idi da ase de en enamien o y e aluación di idimos alea o iamen e es e da ase en un conjun o de en enamien o y o o de alidación con una p opo ción de 80 −20 % y c eamos los Da aLoade s del enso de en enamien o y alidación pa a ob ene los da os en lo es de mane a i e a i a en ambas ases. Es o nos pe mi e ealiza un en enamien o mucho más e icien e. Figu a 4.38: Código pa a c ea el op imizado y el schedule pa a el en enamien o y e aluación po épocas Pa a el cálculo de pesos y la ac ualización de los mismos du an e el en ena- mien o c eamos el op imizado AdamW. Después, elegimos el núme o de épocas que que emos pa a la mejo a del modelo y c eamos un schedule con el op imizado pa a adap a la asa de ap endizaje en unción de como e olucione el modelo en el en enamien o. El código pa a es e paso se halla en la Figu a 4.38. Figu a 4.39: Código pa a di idi da ase de en enamien o y e aluación Pa a pode e alua el modelo con BERT c eamos la unción que apa ece en la Fi- gu a 4.39, e alua e(model, al_loade ) . El uncionamien o p incipal de es a unción consis e en calcula , i e ando po lo es, la mayo p obabilidad de cada comen a io de pe enece a una clase pa a un modelo y un Tenso Da ase de alidación dados. No maliza los logi s esul an es de la e aluación del modelo a a és de la unción so max y oma el alo máximo pa a cada caso. A su ez calcula la unción de pé dida de cada lo e y la añade a la a iable o al_e al_loss pa a después calcula la media de la unción de pé dida pa a el modelo e aluado. A la ho a de en ena el modelo decidimos implemen a el en enamien o po lo es del Tenso Da ase de en enamien o ain_loade . En cada paso desglosamos el lo e 4.7. BERT 47 en las en adas que alimen a emos al modelo y ese eamos los g adien es. Después calculamos la unción de pé dida loss y sus g adien es u ilizando backp opaga ion con la llamada loss.backwa d() que se an u ilizados po el op imizado . A con inuación, no malizamos los alo es de los g adien es pa a no ene el p oblema de explosión de g adien es y p e eni la ines abilidad numé ica que puede aca ea . Po úl imo, ac ualizamos el op imizado pa a mejo a los alo es de los pa áme os del modelo según los g adien es de pé dida y ac ualizamos el schedule pa a ajus a la asa de ap endizaje del op imizado . El código u ilizado pa a es e p oceso se mues a en la Figu a 4.40. Pa a mejo a el esul ado del modelo decidimos implemen a el en enamien o del modelo po épocas de mane a que se en ena y e alúa un modelo con nues os Tenso Da ase de en enamien o y alidación comple os pa a cada época. Es a im- plemen ación pe mi e que el modelo se en ene a pa i de un modelo ya en enado con nues o Tenso Da ase pa a ob ene una mejo a inc emen al en el endimien o. Además, pa a e i a eco e el núme o de épocas comple o en caso de no se ne- cesa io, implemen amos lógica de pa ada emp ana. Es a lógica nos pe mi e pa a la i e ación cuando no ha habido una mejo a del modelo en un núme o de épocas de e minado a olun ad. Figu a 4.40: Código pa a el en enamien o del modelo po lo es T as adap a la unción e alua e pa a que de uel a ambién las p edicciones y las e ique as pod emos mos a los esul ados del mejo modelo adecuadamen (Figu a 4.42). Es a nue a unción es u ilizada en el código de la Figu a 4.43 con el cual mos amos que el mejo modelo se ha ca gado co ec amen e e imp imimos su pé dida y exac i ud de alidación así como su Ma iz de Con usión pa a comp oba que e ec i amen e es el modelo co ec o. Después mos amos los esul ados ob enidos de la nue a unción e alua eBes Model en o ma de in o me de mé icas y ma iz de con usión que e emos en el siguien e capí ulo. 48 Capí ulo 4. Modelos Figu a 4.41: Código de el en enamien o y la e aluación po épocas Figu a 4.42: Código de la unción e alua eBes Model Figu a 4.43: Código pa a di idi da ase de en enamien o y e aluación 4.7. BERT 49 Módulo Lib e ía Desc ipción o ch o ch P opo ciona enso es mul idimensionales y ope aciones de álgeb a lineal, op imización, e c. Da aLoade , Tenso Da- ase , andom_spli o ch.u ils.da a Facili a la ca ga de da os y su manejo en PyTo ch. AdamW o ch.op im Implemen ación del op- imizado Adam con co- ección de decaimien o del peso. Be Fo Sequence- Classi ica ion, Be Tokenize ans o me s Facili a el uso de mode- los BERT pa a clasi ica- ción de secuencias y oke- nización. ge _linea _schedule_- wi h_wa mup ans o me s Tasa de ap endizaje con un pe iodo de calen a- mien o lineal. accu acy_sco e, classi- ica ion_ epo , con u- sion_ma ix sklea n.me ics Mé icas pa a e alua el endimien o del modelo. so max scipy.special P opo ciona la unción so max. ma plo lib.pyplo ma plo lib U ilizado pa a c ea g á i- cos es á icos, animados e in e ac i os. seabo n seabo n Basado en ma plo lib, o ece una in e az de al- o ni el pa a dibuja g á- icos es adís icos a ac i- os y in o ma i os. pandas pandas P opo ciona es uc u as de da os y he amien as pa a la manipulación y análisis e icien es de da- os. numpy numpy Lib e ía undamen al pa- a la compu ación cien í- ica en Py hon. copy copy U ilizado pa a ealiza copias supe iciales y p o- undas de obje os. Tabla 4.6: Módulos u ilizados en la implemen ación del modelo BERT Cap´ ı ulo 5 Resul ados 5.1. Mé icas pa a el Análisis En es a sección amos a desc ibi las dis in as mé icas que hemos u ilizado pa a e alua los modelos, así como su signi icado y su u ilidad conc e a pa a nues o caso [43]. 5.1.1. In oducción La alidación de los modelos es un p oceso c í ico que ga an iza la e aluación de la calidad y la iabilidad de los mismos. Las mé icas de e aluación son, po lo an o, he amien as esenciales que cuan i ican el endimien o del modelo bajo cie os c i e ios es adís icos. El p opósi o de es a sección es o ece una isión cla a de las mé icas de e a- luación más ele an es que u iliza emos como conjun o de he amien as pa a juzga obje i amen e la e icacia de cada modelo desa ollado. Es c ucial conside a múl i- ples mé icas pa a ob ene una pe spec i a in eg al del compo amien o del modelo, e i ando posibles in e p e aciones sesgadas que pueden su gi del uso de una sola mé ica de endimien o. En con ex os donde las clasi icaciones son no bina ias, es o es, in oluc an múl iples clases - en nues o caso, posi i o, nega i o y neu o - la ma- iz de con usión se ex iende a más de dos dimensiones pa a cap u a la complejidad del p oblema. Es a ma iz sigue siendo undamen al pa a diagnos ica el compo a- mien o del modelo de clasi icación, pe o aho a se analizan es ipos de esul ados co ec os e inco ec os pa a cada clase: 5.1.2. Ma iz de Con usión (Con usion Ma ix) La ma iz de con usión es una he amien a aliosa pa a en ende el compo a- mien o de un modelo en é minos de sus acie os y e o es. Rep esen a las clasi- icaciones co ec as e inco ec as de mane a abula , di e enciando en e las clases posi i as y nega i as, así como las p edicciones del modelo. Los elemen os de es a ma iz se de inen como: 51 58 Capí ulo 5. Resul ados Figu a 5.5: Ma iz de con usión de Random Fo es con T -Id Mé icas de Reg esión Logís ica Una ez en enado el modelo podemos e las mé icas elacionadas con su en- dimien o. Si mi amos la Tabla 5.9, obse amos que el endimien o del modelo con la clase nega i a (63 % pun uación F1) es lige amen e in e io que pa a la clase neu al (69 % pun uación F1) y signi ica i amen e meno que pa a la clase posi i a, lo cual iene sen ido po que la mayo ía de los comen a ios de nues o da ase son posi i- os (dando luga a un conjun o poco balanceado). Es po es o po lo que nues os modelos an a ap ende mucho mejo de la clase posi i a que del es o de clases. Podemos obse a que el uncionamien o del modelo pa a es a clase es bas an e no able, eniendo una pun uación F1 del 82 %, que es bas an e buena. Podemos ob- se a ambién en la Tabla 5.10 que las mé icas p omedio son bas an e buenas, con 0,75 pa a el p omedio ponde ado de la pun uación F1. En la Figu a 5.6 obse a que se han clasi icado 925 comen a ios posi i os eales como posi i os, mien as que 109 han sido clasi icados como nega i os y 84 como neu ales. De odos los comen a ios clasi icados como posi i os, ealmen e 925 e an ealmen e posi i os, mien as que 73 ealmen e e an neu ales y 129 e an nega i os. Pa a las clases neu ales y nega i a enemos un endimien o mas o menos simila eniendo 321 comen a ios neu os como ealmen e neu os y 318 clasi icados como nega i os siendo nega i os. Podemos conclui que es e modelo unciona sa is ac o iamen e, con una p ecisión gene al del 75 %. Si que emos mejo a el endimien o en las clases neu al y nega i o, end íamos que acili a a los modelos conjun os de da os más equilib ados, pe o nues os da os han sido ex aídos de un conjun o de da os eal, con lo cual ambién que íamos e leja el sen imien o gene al de los comen a ios ex aídos. 5.6. SVM A con inuación se e lejan los esul ados p opo cionados po el clasi icado con SVM. 5.6. SVM 59 Clase P ecisión Exhaus i idad Pun . F1 Exac i ud Suppo Nega i o 0,69 0,58 0,63 0.75 547 Neu al 0,64 0,75 0,69 429 Posi i o 0,82 0,83 0,82 1118 Tabla 5.9: Mé icas de clasi icación Reg esión Logís ica Mé ica a e age P ecisión Exhaus i idad Pun uación F1 Mac o A g. 0,71 0,72 0,71 Weigh ed A g. 0,75 0,75 0,75 Tabla 5.10: Mé icas a e age de Reg esión Logís ica Figu a 5.6: Ma iz de con usión de la eg esión logís ica 5.6.1. SVC La Figu a 5.7 mues a el in o me de los alo es ob enidos pa a nues as mé icas de análisis y p omedios en el caso del código pa a el Modelo SVM con la es a egia O O. Figu a 5.7: In o me de mé icas del modelo SVM con SVC Los esul ados ob enidos pa a las mé icas de análisis se ecogen en la Tabla 5.11. Podemos e que el modelo SVC iene una exac i ud media del 75 % con un 60 Capí ulo 5. Resul ados alo de F1 máximo pe enecien e a los comen a ios posi i os 83 % y el mínimo que se co esponde a los nega i os 63 % aunque muy ce cano al de los comen a ios e ique ados como neu os: 64 %. Sin emba go, hay una di e encia de un 16 % en e la p ecisión y la sensibilidad, a a o de la p ime a, en la clasi icación de comen a ios nega i os y de un 9 % pa a los comen a ios neu os. Es o indica que el modelo es algo conse ado a la ho a de p edeci los comen a ios nega i os, ya que, aunque la mayo ía de p edicciones son co ec as, un núme o conside able de obse aciones nega i as no se clasi ican co ec amen e. Clase P ecisión Exhaus i idad Pun . F1 Exac i ud Suppo Nega i e 0,71 0,57 0,63 0.75 811 Neu al 0,69 0,60 0,64 633 Posi i e 0,77 0,89 0,83 1696 Tabla 5.11: Mé icas de clasi icación del modelo SVM con SVC En cuan o a los p omedios de las mé icas se deno a que el alo del p omedio sin conside a pesos se e a ec ado po el peo endimien o del modelo en la clasi icación de las clases mino i a ias como e leja la Tabla 5.12 Mé ica a e age P ecisión Exhaus i idad Pun uación F1 Mac o A g. 0,73 0,69 0,70 Weigh ed A g. 0,74 0,75 0,74 Tabla 5.12: Mé icas globales del modelo SVM con SVC Figu a 5.8: Ma iz de con usión del modelo SVM con SVC La ma iz de con usión de la Figu a 5.8 mues a una al a densidad en los casos VP pa a la clase posi i a y una densidad meno pa a los VP del es o de clases aunque ambién se ap ecie una densidad mayo de es as espec o al es o de casos. 5.6. SVM 61 No obs an e la densidad de casos p edichos como posi i os que esul an se ealmen e nega i os es conside ablemen e al a espec o al es o de casos de FP. 5.6.2. O R La Figu a 5.9 mues a el in o me de los alo es ob enidos pa a nues as mé icas de análisis en el caso del Modelo SVM con la es a egia O R. Figu a 5.9: In o me de las mé icas pa a el modelo SVM con O R Figu a 5.10: Ma iz de con usión del Modelo SVM con O R Los esul ados que o ece el modelo SVM con en oque O R, ecogidos en la Tabla 5.13, son muy pa ecidos a los del modelo SVC con una exac i ud del 76 %, an solo un 1 % mayo . No obs an e, podemos deno a que los alo es del ecall son un 4 % y7 % mayo es pa a los casos nega i os (61 %) y neu os (67 %) espec i amen e pe o un 3 % meno pa a los casos posi i os (83 %). En gene al se consiguen unos esul ados más balanceados y se puede conclui que el modelo es mejo pa a iden i ica cada caso como al pese a que la exac i ud o al no se e a ec ada no ablemen e. Los esul ados de los p omedios de las mé icas de análisis pa a el modelo SVM con en oque O R dados en la Tabla 5.14 que mues a un esul ado pa ecido al an e io modelo SVM pe o con meno di e encia en e ambos dada la mejo a en las mé icas de clasi icación de las clases mino i a ias. La ma iz de con usión e lejada en la Figu a 5.10 mues a una lige a mejo a en la densidad de los casos VP pa a la clase neu al y una meno densidad espec o al modelo SVC pa a los casos p edichos como posi i os siendo nega i os ealmen e. En gene al obse amos una lige a mejo a al implemen a el en oque OneVsRes pa a 62 Capí ulo 5. Resul ados Clase P ecisión Exhaus i idad Pun . F1 Exac i ud Suppo Nega i o 0,70 0,61 0,65 0.76 811 Neu al 0,70 0,67 0,68 633 Posi i o 0,80 0,86 0,83 1696 Tabla 5.13: Mé icas de clasi icación po clase Mé ica a e age P ecisión Exhaus i idad Pun uación F1 Mac o A g. 0,73 0,72 0,72 Weigh ed A g. 0,76 0,76 0,76 Tabla 5.14: Mé icas p omedio el modelo SVC sob e odo en las mé icas ep esen a i as de las clases mino i a ias (Nega i o yNeu al) 5.7. BERT Pa a el análisis de esul ados de BERT omamos el in o me de las mé icas y la ma iz de con usión del mejo es ado del modelo como mues an las Figu as 5.11 y 5.12 espec i amen e. Figu a 5.11: In o me de las mé icas pa a el modelo BERT Los esul ados del in o me se ecogen en las Tablas 5.15 y 5.16. Clase P ecisión Exhaus i idad Pun . F1 Exac i ud Suppo Nega i o 0,79 0,84 0,82 0.86 563 Neu al 0,89 0,78 0,83 444 Posi i o 0,89 0,90 0,89 1087 Tabla 5.15: Mé icas de clasi icación po clase pa a el modelo BERT Como podemos obse a en la Tabla 5.15 el modelo iene un exac i ud del 86 %, bas an e óp ima. También ap eciamos un desni el en e los alo es del ecall pa a 5.7. BERT 63 las dis in as clases. La clase posi i a iene un ecall del 90 % mien as que pa a la neu al y nega i a es del 78 % y84 %. Es o sugie e que el modelo es especialmen e e icaz iden i icando los comen a ios posi i os. La di e encia en e el alo de los comen a ios posi i os en e al es o puede debe se al meno olumen de mues as de comen a ios nega i os y neu os, lo que implica una mayo di icul ad pa a el modelo a la ho a de iden i ica es as clases. En cuan o a la p ecisión podemos e unos alo es del 89 % pa a comen a ios p edichos posi i os, 89 % pa a neu os y 79 % pa a nega i os. La mayo di e encia en e el alo de p ecisión y exhaus i idad la hallamos en la clase neu al. Es o sig- ni ica que el modelo suele ace a cuando clasi ica un comen a io en la clase nega i a pe o ambién hay un núme o conside able de casos que pe enecen ealmen e a es a clase y el modelo no los clasi ica como al. Es deci , el modelo es más conse ado a la ho a de clasi ica un comen a io como neu o. Po o a pa e, obse amos que el compo amien o con a io con la clase nega i a ya que dada su baja p ecisión y su ele ada exhaus i idad espec o a la clase neu al indica que el modelo ien- de a clasi ica comen a ios en es e clase pese a que no lo son pa a asegu a se de iden i ica co ec amen e la mayo can idad de comen a ios de es a clase aunque ambién clasi ique comen a ios de o as clases como nega i os. Es o puede debe se a que en nues o conjun o de da os no hay una ca ac e ización lingüís ica ma cada cla amen e pa a es a clase. No obs an e, si obse amos la pun uación F1 e emos que se ni elan los alo es, un 83 % y82 % pa a las clases neu al y nega i a. Es o indica que el endimien o pa a de ec a es a clases es decen e pe o dado el es udio hecho de la di e encia en e la p ecisión y la exhaus i idad pa a es as clases sabemos que en cada caso iene un compo amien o especi ico más ma cado. Al inal se puede conclui que el modelo es muy p eciso al iden i ica casos neu ales solo en caso de se lo y los casos nega i os aunque es más p obable que clasi ique un comen a io que no co esponde a es a clase como al en es e úl imo caso. No obs an e, el modelo des aca con c eces en la clasi icación de comen a ios posi i os dados los ele ados alo es de sus mé icas y el equilib io en e es as. Mé ica a e age P ecisión Exhaus i idad Pun uación F1 Mac o A g. 0,86 0,84 0,85 Weigh ed A g. 0,86 0,86 0,86 Tabla 5.16: Mé icas p omedio pa a el modelo BERT En cuan o a los esul ados de los p omedios de las mé icas mos ados en la abla 5.16, hay una di e encia de un 2 % o meno a a o del p omedio pesos. Resul a una di e encia mínima y desp eciable dado que la clase posi i a que es la que mejo clasi ica el modelo es ambién la clase con mayo núme o de mues as u ilizadas pa a el en enamien o y clasi icación. Po an o, podemos a i ma que nues o modelo iene buena p ecisión pa a clasi ica odas las clases. Si obse amos la ma iz de con usión en la Figu a 5.12 emos que los ecuad os con mayo densidad son los casos de VP pa a cada clase. Con un b e e análisis de 64 Capí ulo 5. Resul ados Figu a 5.12: Ma iz de con usión del Modelo BERT los esul ados se puede a i ma que el modelo es bas an e e icaz en la clasi icación de los comen a ios en su espec i a clase aunque, como el es o, es á lige amen e mejo en ocado en la clasi icación de comen a ios posi i os. Cap´ ı ulo 6 Análisis de Resul ados En es e capí ulo ealiza emos un análisis más p o undo de los esul ados ob eni- dos y de la pe inencia con nues o ema de es udio. Pa a ello oma emos el modelo con mejo endimien o obse ado en el capi ulo an e io . 6.1. Análisis de los esul ados del modelo BERT Una ez is os los endimien os de los dis in os modelos en enados op amos po ealiza un análisis p o undo de los esul ados ob enidos con el modelo BERT dado que es e ha sido sin duda el que mejo esul ados nos ha dado. Pa a analiza cómo ha clasi icado el modelo los comen a ios empeza emos ex ayendo las palab as que más ha enido en cuen a en el p oceso de clasi icación. Es a a ea no es i ial cuando se abaja con modelos BERT y a día de hoy la in e p e ación de esul ados de modelos BERT sigue siendo un á ea de in es igación ac i a. No obs an e, exis en écnicas pa a ealiza es a a ea de in e p e ación como In eg a ed G adien s [48; 49] (IG) de Cap um [50]. A con inuación explica emos en que consis e es a écnica. 6.1.1. In eg a ed G adien s El obje i o p incipal de la écnica de explicación In eg a ed G adien s es la in- e p e ación de la oma de decisiones de modelos como BERT. IG unciona cuan i- icando la impo ancia ela i a de los oken de en ada en el p oceso de clasi icación del modelo en un alo conocido como a ibución. El cálculo de es a alo se ealiza a pa i del cálculo de la in eg al de los g adien es desde un pun o de e e encia o baseline(comen a io neu al de ejemplo sob e el ema gene al del da ase ) has a la en ada de in e és (comen a io a in e p e a ). Calcula los g adien es de la salida del modelo espec o a la en ada y se in eg an a lo la go de la dis ancia en el espacio de en ada en e el pun o de e e encia y la en ada de in e és. El alo ob enido en es a in eg ación e leja á la impo ancia de cada oken de en ada en la p edicción ealizada po el modelo. Pa a implemen a es a écnica u iliza emos la biblio eca In eg a ed G adien s de Cap um. P ime o p epa amos una pequeña mues a de nues o da ase con la que abaja . Decla amos la unción o wa d_ unc que alimen a á las salidas del 65 66 Capí ulo 6. Análisis de Resul ados modelo a la unción In eg a edG adien s. Después p ocesamos la mues a po lo es y p epa amos el baseline con la ase “El ema es OpenAI” pa a pasá sela a la unción a ibu e de IG como se mues a en la igu a 6.1. Du an e la implemen ación nos opamos con a ios e o es de di ícil esolución. El mayo p oblema ue conoce la mane a en la que Cap um in e ac úa con BERT en el manejo de los da os como se puede e en la igu a 6.2. Pa a esol e es e p oblema adap amos la unción o wa d_ unc pa a asegu a nos de que el ipo de los da os que de uel e son Tenso es [51] de ipo Long como e leja la igu a 6.3. Figu a 6.1: Código inicial pa a la in e p e ación del modelo BERT con IG de Cap um Figu a 6.2: Salida del código de la igu a 6.1 Figu a 6.3: Función de o wa d de la igu a 6.1 adap ada Figu a 6.4: Salida del código con la unción o wa d de la igu a 6.3 adap ada Figu a 6.5: Llamada a la unción a ibu e adap ada pa a esol e el e o de la igu a 6.4 6.1. Análisis de los esul ados del modelo BERT 67 Figu a 6.6: Salida pa a la llamada a a ibu e de la igu a 6.5 T as esol e el p oblema an e io nos imos ence ados en un pun o mue o como mues an las Figu as 6.4, 6.5 y 6.6 del que no uimos capaces de sali . Dada la escasez de documen ación y de abajos publicados en es e á ea a pa e de la al a di icul ad de la na u aleza de la a ea a desa olla nos imos obligados a busca una solución al e na i a. 6.1.2. Mecanismo de A ención El mecanismo de a ención en modelos como BERT es la écnica que pe mi e a es os modelos ponde a la impo ancia de las elaciones en e las palab as de una secuencia de ex o. Es a unción calcula una pun uación de a ención pa a cada pa de palab as la cual e leja la impo ancia de la palab a pun uada espec o al es o de palab as de la secuencia de en ada. Pues o que no log amos u iliza co ec amen e In eg a ed G adien s p obamos a ob ene las palab as más impo an es según el alo de la a ención de nues o modelo. Ob end emos un dicciona io con cada oken jun o a su a ención pa a cada clase impo an _wo ds como se mues a en la Figu a 6.7. Pa a mos a los esul ados i e amos po el dicciona io mos ando las 10 palab as con mayo ecuen o pa a cada clase y el p opio ecuen o como mues a la Figu a 6.8. Al ob ene el dicciona io de palab as impo an es obse amos que hay muchas palab as que coinciden en e clases ya que el mecanismo de a ención no mide la im- po ancia del oken en la clasi icación si no que mide que palab as ienen más peso en cuan o al signi icado del comen a io y la impo ancia ela i a en su con ex o. Po an o, es as palab as esul an cla e pa a que el modelo comp enda el con ex o y el e- ma p incipal de los comen a ios como se puede ap ecia po las palab as mos adas. Dado que las palab as ob enidas se en ienden como con ex uales y no an ca ac e- ís icas de la decisión pa a los dis in os comen a ios decidimos ob ene las palab as más impo an es exclusi as de cada clase, es deci , aquellas que no apa ecen en el es o de clases, con la in ención de ob ene una isión más ealis a de las palab as que pueden ene más impo ancia en é minos gene ales a la ho a de clasi ica un comen a io en cada clase en conc e o. La unción ge _exclusi e_impo an _wo ds mos ada en la Figu a 6.9 ealiza la ex acción de las palab as exclusi as po sen i- mien o del dicciona io impo an _wo ds. U ilizamos la biblio eca Seabo n [52] pa a ep esen a g á icamen e las 10 pala- b as que más apa ecen exclusi as a cada clase. Pa a la clase nega i o obse amos en la Figu a 6.10 palab as in e esan es como e o is ,des oye ,acciden ,ou law,nigh ma e ypain ully que pueden en ende se como palab as con un sen imien o ca ac e ís ico de es a clase que se en iende que pe enecen a comen a ios que es án en con a del ema p incipal. Sin emba go po- demos e o as palab as como alice o ial que no ienen una azón apa en e pa a pe enece a es a clase. 74 Capí ulo 6. Análisis de Resul ados 6.2.2. Ins ancias E óneas En la Figu a 6.16 podemos obse a el código que gene a las di e en es ins ancias e óneas y a con inuación se de alla como es a elabo ado: Figu a 6.16: Código pa a mos a ins ancias inco ec as C eamos una másca a booleana que indica dónde las p edicciones del modelo no coinciden con el sen imien o eal de las palab as. Una ez enemos es a masca a, la usamos pa a ob ene odas las ins ancias donde la p edicción es inco ec a, así como la ins ancia obje i o eal. Visualizamos cada ins ancia con su clase p edicha y su clase eal. Es as ins- ancias ep esen an los comen a ios, aunque las palab as que apa ecen es án lema izadas. En nues o caso isualiza emos 10 comen a ios clasi icados e ó- neamen e, pa a pode hace un pequeño análisis de es os e o es. 6.2.3. Resul ados y análisis Una ez hemos desa ollado y explicado nues as he amien as de análisis, po- demos ejecu a las con nues o clasi icado de eg esión logís ica. A con inuación se mues an los esul ados. En las Figu as 6.17, 6.18 y 6.19, podemos obse a las lis as de palab as mas ele an es asi como su pola idad y subje i idad p opo cionadas po Tex Blob. La pola idad es cuan posi i o o nega i o es un comen a io, siendo nega i o -1 y posi i o 1. La subje i idad indica cuan obje i a u obje i a es la palab a, siendo 0 o almen e obje i a y 1 o almen e subje i a. Figu a 6.17: Palab as más impo an es pa a la clase nega i a Figu a 6.18: Palab as más impo an es pa a la clase posi i a 6.2. Análisis de los esul ados del modelo con Reg esión Logís ica 75 Figu a 6.19: Palab as más impo an es pa a la clase neu al Figu a 6.20: Palab as más impo an es pa a las clases nega i a, neu al y posi i a Figu a 6.21: Ins ancias e óneas Podemos obse a que en e ec o, nues o modelo clasi ica co ec amen e los sen- imien os, pudiendo obse a que las palab as de la clase posi i a co esponden a sen imien os posi i os, como po ejemplo las palab as lo e (amo ), nice (bueno), o hanks (g acias). Lo mismo podemos deci de la clase nega i a, con palab as como hell (in ie no), chaos (caos), o scam (es a a). La clase neu a ambién es a aco de, p esen ando palab as más neu as como c i icism (c i icismo), ca ee (ca e a) o in e ace (in e az). En la Figu a 6.20 podemos obse a los Wo dCloud de cada sen imien o, p o- po cionándonos una isualización de las palab as más sencilla y llama i a. Los allos de clasi icación nos ayuda a iden i ica palab as o exp esiones con los que el modelo e aluado iene p oblemas, como po ejemplo el habla coloquial, je ga de in e ne o a go . También analiza las p edicciones allidas nos ayuda a de ec a posibles sesgos que exis an en nues o modelo que a p io i no hemos de ec ado. Toda es a in o mación es de inc eíble alo a la ho a de mejo a los esul ados de un modelo en u u as i e aciones. En la Figu a 6.21 enemos las di e en es Ins ancias de allos de p edicción en ex o plano. A pa i de es as ins ancias hemos ex aído las palab as que con más ecuencia se encuen an en ex os mal clasi icados, con es a in o mación se puede en un u u- o in en a mejo a los esul ados ealizando un es udio más exhaus i o sob e es as palab as. En la Figu a 6.22 podemos ap ecia es as palab as di ididas po sen imien- o, y analizando las g á icas nos damos cuen a que hay una se ie de palab as que se epi en en las es g á icas, como pe son (pe sona), hink (pensa ), be (se /es a ). A la is a de es os esul ados, nos pa eció ú il saca una única g á ica que mues a 76 Capí ulo 6. Análisis de Resul ados Figu a 6.22: Top 10 palab as en ex os mal clasi icados po sen imien o Figu a 6.23: Top 10 palab as en ex os mal clasi icados las palab as que más se epi en en comen a ios mal clasi icados que se puede e en la Figu a 6.23. Analizando la g á ica emos que la mayo ía de las palab as son de ca ác e más neu o, lo cual e a de espe a , como be ohuman, sin emba go hay o as palab as que son más in e esan es. Po ejemplo, la palab a sam p obablemen e es é ligada con el nomb e del CEO de Open AI, Sam Al man, ya que en el momen o del análisis había cie o e uelo con su despido y pos e io eadmisión en la emp esa. O a palab a que esul a in e esan e es good (bueno/bien), es a palab a ob iamen e iene un signi icado posi i o, pe o es posible que pa a clasi ica la co ec amen e se necesi e de un modelo con una mayo capacidad de analiza el con ex o de las palab as. Cap´ ı ulo 7 Conclusiones y T abajo Fu u o En es e capi ulo inal p ocedemos a da nues as conclusiones sob e el abajo, hablando an o de odo el p oceso de desa ollo del p oyec o, como del uso de los dis in os clasi icado es y los esul ados que es os nos han p opo cionado. También habla emos sob e el abajo u u o en o no a es e p oyec o. En p ime luga , odo el p oceso p e io al en enamien o de los modelos ue ampliamen e in e esan e, ya que la can idad de opciones disponibles a la ho a de plan ea el desa ollo del abajo es muy ex ensa, desde el en o no de abajo a la ex acción/ob ención de da os. Conside amos que nues o en oque del p ep ocesa- do le añade un alo ex a a odo el p oceso, ya que no hemos hemos ob enido un da ase ya c eado y adap ado pa a una si uación de ap endizaje au omá ico, si no que decidimos elabo a nues o p opio da ase desde ce o, pe mi iéndonos comp en- de cada paso del p ep ocesado de una o ma más p o unda, desde la ex acción de los p opios comen a ios a a és de una API, pasando po el o ma eo y limpieza del ex o, has a la okenización y lema ización de nues o conjun o de da os. Es a he amien a iene po encial de con e i se en una mucho más compleja, pudiendo ealiza a eas más a anzadas, como po ejemplo selecciona que campos se quie en ex ae de los comen a ios de YouTube (ubicación, echa de publicación) o il a po idioma que comen a ios se quie en ex ae , o incluso pode selecciona un ipo de okenización y lema ización dis in a, odo es o acompañado de una pequeña in e az isual pa a hace la he amien a más use iendly. Sin duda segui emos abajando en es a pequeña he amien a en el u u o. Dado que el da ase en es udio ecoge odos los comen a ios de los ídeos seleccio- nados, no enemos un pode eal sob e la dis ibución de comen a ios en e las clases de sen imien o. Además, no es has a después de en ena y e alua los modelos NLP u ilizados que se puede ap ecia cla amen e un sob emues eo de casos posi i os en nues o da ase . No obs an e, pese a que hay un mejo endimien o no able pa a la clase sob epoblada en odos los modelos u ilizados ambién se ob enemos unos e- sul ados conside ablemen e al os pa a las mé icas de análisis de la dos clases menos ep esen adas. Pese a que p obablemen e se pod ía mejo a el en enamien o pa a ob ene unos esul ados más equilib ados mejo ando la p opo ción de las mues as de las clases, en odos los modelos hemos u ilizado écnicas pa a educi o mi iga el desni el de en enamien o hacia la clase posi i a debido a la desp opo ción a o able 77 78 Capí ulo 7. Conclusiones y T abajo Fu u o de mues as pa a es a clase. En es e pun o, ya eníamos una idea g osso modo de la opinión gene al de la gen e hacia el ema en es udio debido a la p opo ción de olumen de casos de cada clase. Pa a comp ende bien es e compo amien o e in en a undamen a las posibles causas de los esul ados ob enidos con inuamos con un análisis p o undo que nos pe mi ie a expandi el conocimien o sob e nues o caso de es udio en conc e o. Dados los esul ados de en enamien o ob enidos pa a los modelos elegidos ue ácil dec e a con qué modelo ealiza el análisis p o undo dada la no able di e encia de endimien o en e es e modelo y el es o. Sin emba go, esul ó se una opción in iable dada la complejidad de la a ea pues o que la in e p e ación de modelos BERT pa a en ende la oma de decisiones es á en desa ollo en la ac ualidad y el uso de las he amien as disponibles ac ualmen e que ayudan a implemen a la in e p e ación de modelos pe sonalizados equie e un conocimien o muy ele ado en la in e p e ación de modelos que esul an cajas neg as, el manejo de da os que hace la he amien a y la in e acción eal con el modelo a analiza . Dado que no pudimos ob ene la a ibución de impo ancia a los okens analizados po el modelo con In eg a ed G adien s conseguimos hace nos una idea de la clasi icación ealizada po BERT g acias al es udio de las palab as con mayo pun uación de a ención. Es e paso nos pe mi ió en ende la impo ancia del con ex o en BERT dado que las palab as más impo an es según la a ención pa a cada clase e an p incipalmen e palab as que ec ean la na u aleza del ema a a a como human, hink,pe son,open,sam y palab as pa a comp ende el con ex o de uso de las palab as más simbólicas de cada comen a io como like,no owould. Pese a que nos ayudó a comp ende de una mane a más isual y ealis a del uncionamien o de nues o modelo BERT no ob u imos una isión de ejemplo de palab as que con ibuyesen di ec amen e a la clasi icación de un comen a io en una clase. Po ello decidimos ob ene las palab as exclusi as de cada clase donde si pudimos obse a un ca ác e más cla o del sen ido de las palab as en elación a su clase o o gada pe o conscien es de las limi aciones de es a implemen ación op amos po u iliza Reg esión Logís ica. T as analiza los esul ados de la Reg esión logís ica hemos podido comp oba que el sen imien o gene al de los usua ios de You ube hacia Open AI es gene al- men e posi i o, haciendo un análisis plano de los esul ados, simplemen e eniendo en cuen a el global de comen a ios, y haciendo un análisis de los comen a ios más popula es nos han mos ado unos esul ados que en su amplia mayo ía ambién son posi i os. Es cie o que analizando las ins ancias e óneas esul an es al aplica es- e modelo, hemos de ec ado que algunas de las palab as con lic i as e an palab as apa en emen e de un sen imien o con a io pe o debido al con ex o en el que se u i- lizan cambia su signi icado. Es a al a de con ex o es una de las des en ajas de es e modelo en e al BERT. A lo la go de la ealización de es e p oyec o hemos adqui ido una g an a ie- dad de conocimien os y habilidades elacionadas con el web-sc apping, p ocesado de ex os, concep os p obabilís icos y análisis de edes sociales. A pesa de las di- e en es p oblemá icas que han ido su giendo, hemos sido capaces de econduci la in es igación pa a consegui unos esul ados escla ecedo es que dan luz a la opinión del público gene al sob e Open AI. T as el es udio, hemos obse ado que la opinión gene al sob e Open AI es ab umado amen e posi i a, a pesa de ob ene los comen- 79 a ios de ídeos de di e en es c eado es de con enido pa a educi el posible sesgo, las opiniones suelen se simila es en cuan o a dis ibución del sen imien o. Pese a la sa is acción con el p oceso gene al del p oyec o exis en cie os aspec os que pod ían se omados en cuen a pa a a a de mejo a el esul ado de los modelos en enados y la in e p e ación del más e icien e. Uno de es os aspec os pod ía se amplia el con enido de nues o da ase con a iables empo ales o geog á icas pa a pode obse a la e olución de la opinión pública a lo la go de un pe íodo de iempo y dis inguido po zonas geológicas. También se pod ía ealiza una in es igación más p o unda con más iempo de es udio sob e écnicas de in e p e ación de esul ados de modelos NLP como BERT, ya que es e modelo o ecía muy buenos esul ados y supone una mejo a en á eas en las que los o os modelos allaban más como clasi ica co ec amen e palab as según su con ex o. In oduc ion We a e in wha is p obably he e a o g ea es in e pe sonal connec ion in he his o y o mankind, be ween he wen ie h and wen y- i s cen u y g ea cul u al miles ones ha e been achie ed, he in en ion o he adio, he ansis o , he mic o- p ocesso o he In e ne . This las in en ion has condi ioned he p esen and u u e o ou species in a way ha no one could ha e imagined, o example, no one can imagine a wo ld in which he e a e no applica ions like Google Maps o ins an ly choose he bes ou e in a ci y we ha e ne e been o be o e. Many people do no e en ge in o ma ion h ough con en ional media such as ele ision o newspape s, hey ge all he in o ma ion h ough digi al media o social ne wo ks. The e a e social ne wo ks en i ely dedica ed o exp essing opinions, such as Twi e , o e en You ube is he habi a o independen media, in luence s and o he alke s. The opic chosen o he s udy is Open AI, we seek o unde s and how people pe cei e and eac o he company and how hei emo ions and eelings e ol e o e ime. To achie e his, we will collec a la ge amoun o da a using web sc aping echniques and classi y hem acco ding o he sen imen hey con ey. Subsequen ly, we will use di e en classi ica ion models o es and alida e ou analysis wi h he ob ained da a. While his app oach ocuses speci ically on YouTube commen s, we belie e i will p o ide aluable insigh s in o sen imen a ound Open AI. We a e con iden ha he da a ob ained om hese sou ces will p o ide a comp ehensi e unde s anding o public opinion. In summa y, ou s udy will con ibu e o he g owing body o esea ch on sen i- men analysis o social ne wo k da a and p o ide insigh s in o public emo ions and opinions ela ed o Open AI. 7.1. Mo i a ion Open AI has gone om being comple ely unknown by he gene al public o being one o he mos alked abou opics in all kinds o discussions and deba es, bo h a an academic le el and in mo e in ima e ci cles. Discussions abou his company and i s p oduc s, Cha GPT being he mos ele an o all, ange om he u u e o humani y o heses ha p opose es uc u ing lea ning me hods a all s ages o he educa ional cycle. Due o he in e es a oused by Open AI in all sphe es o socie y, 81 82 Capí ulo 7. Conclusiones y T abajo Fu u o i is an ideal opic o a s udy applying sophis ica ed na u al language p ocessing echniques o y o ind and analyze emo ions and eelings exp essed by use s in commen s on YouTube ideos ela ed o Open AI. 7.2. Obje i es The main pu pose o his esea ch is o e alua e he emo ions and iews ha use s exp ess on YouTube abou he impac o AIs in ou socie y, mo e speci ically he impac o he company OpenAI, de elope o he mos popula AI oday, Cha GPT. Th ough his de ailed analysis, we in end o de e mine he opinion o socie y on his opic, as well as o gain deepe insigh in o he cha ac e is ics o he di e en opinions and o help us unde s and in dep h how hese models wo k and wha ad an ages hey ha e o e each o he . Conclusions and Fu u e Wo k In his inal chap e , we p oceed o p esen ou conclusions abou he wo k, discussing bo h he en i e p ocess o p ojec de elopmen and he use o a ious classi ie s and he esul s hey ha e p o ided. We will also discuss u u e wo k ela ed o his p ojec . Fi s ly, he en i e p ocess leading up o model aining was widely in e es ing, as he ange o op ions a ailable when planning he p ojec de elopmen is ex ensi e, om he wo king en i onmen o da a ex ac ion/ e ie al. We belie e ha ou p ep ocessing app oach adds ex a alue o he en i e p ocess. Ins ead o using a p e-exis ing and adap ed da ase o machine lea ning, we decided o c ea e ou own da ase om sc a ch. This allowed us o unde s and each s ep o p ep ocessing mo e p o oundly, om ex ac ing commen s h ough an API and o ma ing/cleaning he ex o okenizing and lemma izing ou da ase . This ool has he po en ial o become much mo e complex, pe o ming ad anced asks such as selec ing speci ic ields o ex ac om YouTube commen s (loca ion, publica ion da e) o il e ing commen s by language. I could e en allow selec ing di e en okeniza ion and lemma iza ion me hods, all accompanied by a use - iendly isual in e ace. We will undoub edly con inue wo king on his ool in he u u e. Since he da ase unde s udy collec s all commen s om selec ed ideos, we ha e no eal con ol o e he dis ibu ion o commen s among sen imen classes. Addi ionally, i is only a e aining and e alua ing he NLP models used ha a clea o e sampling o posi i e cases in ou da ase becomes appa en . Howe e , despi e he no able pe o mance ad an age o he o e popula ed class in all models used, we also ob ain conside ably high esul s o me ics analyzing he wo less ep esen ed classes. While aining could likely be imp o ed o achie e mo e balanced esul s by adjus ing he sample p opo ions, we used echniques in all models o educe o mi iga e he aining imbalance owa d he posi i e class due o he a o able sample disp opo ion o his class. A his poin , we al eady had a gene al idea o people’s opinions on he s udy opic based on he olume p opo ion o cases in each class. To u he unde s and his beha io and y o subs an ia e he possible causes o he esul s ob ained, we con inued wi h a deep analysis o expand knowledge abou ou speci ic case s udy. Gi en he aining esul s ob ained o he chosen models, i was easy o de e - mine which model o use o he deep analysis, gi en he signi ican pe o mance di e ence be ween his model and he o he s. Howe e , i u ned ou o be an 83 90 BIBLIOGRAFÍA [12] Wikipedia, Nl k, h ps://es.wikipedia.o g/wiki/NLTK, [Online; 15- No embe -2023] (2023). [13] S. N. G oup, S anza – a py hon nlp package o many human languages, h ps: //s an o dnlp.gi hub.io/s anza/, [Online; 15-No embe -2023] (2020). [14] C. U. P ess, S emming and lemma iza ion, h ps://nlp.s an o d.edu/ IR-book/h ml/h mledi ion/s emming-and-lemma iza ion-1.h ml, [Onli- ne; accessed 7-Decembe -2023] (2008). [15] Ma hWo ks, S emming, h ps://la.ma hwo ks.com/disco e y/s emming. h ml, [Online; accessed 4-Decembe -2023] (1994). [16] S. S inidhi, Lemma iza ion in na u al language p ocessing, h ps://buil in. com/machine-lea ning/lemma iza ion, [Online; accessed 6-Decembe -2023] (2023). [17] A. S. Gillis, lemma iza ion, h ps://www. ech a ge .com/ sea chen e p iseai/de ini ion/lemma iza ion, [Online; accessed 6- Decembe -2023] (2023). [18] P. Jain, Basics o coun ec o ize , h ps:// owa dsda ascience.com/ basics-o -coun ec o ize -e26677900 9c, [Online; accessed 19-Decembe - 2023] (2021). [19] sciki lea n, sklea n. ea u eex ac ion. ex . id ec o ize , h ps: //sciki -lea n.o g/s able/modules/gene a ed/sklea n. ea u e_ ex ac ion. ex .T id Vec o ize .h ml, [Online; accessed 19-Decembe - 2023] (2021). [20] D. L. Yse, K-nea es neighbo (knn) explained, h ps://www.pinecone.io/ lea n/k-nea es -neighbo /, [Online; accessed 8-Decembe -2023] (2023). [21] T. S i as a a, A comple e guide o k-nea es neigh- bo s, h ps://www.analy ics idhya.com/blog/2018/03/ in oduc ion-k-neighbou s-algo i hm-clus e ing/, [Online; acces- sed 8-Decembe -2023] (2023). [22] ibm, K-nea es neighbo s algo i hm, h ps://www.ibm.com/ opics/knn, [On- line; accessed 8-Decembe -2023] (2023). [23] E. Gomede, Unde s anding mul inomial nai e ba- yes classi ie , h ps://medium.com/@e e ongomede/ unde s anding-mul inomial-nai e-bayes-classi ie - dbd41b405b , [Online; accessed 8-Decembe -2023] (2023). [24] sciki lea n, Mul inomial nai e bayes, h ps://sciki -lea n.o g/s able/ modules/nai e_bayes.h ml#mul inomial-nai e-bayes, [Online; accessed 8- Decembe -2023] (2023). BIBLIOGRAFÍA 91 [25] Wikipedia, Random o es , h ps://en.wikipedia.o g/wiki/Random_ o es , [Online; accessed 1-Decembe -2023] (2023). [26] sciki lea n, sklea n.ensemble. andom o es classi ie , h ps:// sciki -lea n.o g/s able/modules/gene a ed/sklea n.ensemble. RandomFo es Classi ie .h ml, [Online; accessed 1-Decembe -2023] (2023). [27] Wikipedia, Validación c uzada, h ps://es.wikipedia.o g/wiki/Validaci% C3%B3n_c uzada, [Online; accessed 3-Janua y-2023] (2023). [28] sciki lea n, C oss- alida ion: e alua ing es ima o pe o mance, h ps:// sciki -lea n.o g/s able/modules/c oss_ alida ion.h ml, [Online; ac- cessed 3-Janua y-2023] (2023). [29] sciki lea n, sklea n.pipeline.pipeline, h ps://sciki -lea n.o g/s able/ modules/gene a ed/sklea n.pipeline.Pipeline.h ml, [Online; accessed 19-Decembe -2023] (2021). [30] sciki lea n, sklea n.model-selec ion. ain- es -spli , h ps://sciki -lea n. o g/s able/modules/gene a ed/sklea n.model_selec ion. ain_ es _ spli .h ml, [Online; accessed 21-Decembe -2023] (2023). [31] sciki lea n, sklea n.me ics.classi ica ion epo , h ps://sciki -lea n.o g/ s able/modules/gene a ed/sklea n.me ics.classi ica ion epo . h ml#sklea n.me ics.classi ica ion epo , [Online; accessed 15- Decembe -2023] (2015). [32] sciki lea n, sklea n.linea .model.logis ic eg ession, h ps:// sciki -lea n.o g/s able/modules/gene a ed/sklea n.linea _model. Logis icReg ession.h ml, [Online; accessed 21-Decembe -2023] (2023). [33] Wikipedia, Función so max, h ps://es.wikipedia.o g/wiki/Funci%C3% B3n_So Max, [Online; accessed 3-Janua y-2024] (2022). [34] E. J.Ca mona, Tu o ial sob e máquinas de ec o es sopo e (s m), h p://www.ia.uned.es/~ejca mona/publicaciones/%5B2013-Ca mona% 5D%20SVM.pd , [Online; accessed 27-No embe -2023] (2014). [35] sciki lea n, sklea n.s m.s c, h ps://sciki -lea n.o g/s able/modules/ gene a ed/sklea n.s m.SVC.h ml#sklea n.s m.SVC, [Online; accessed 10- Decembe -2023] (2023). [36] V. Reddy, Sen imen analysis using s m, h ps://medium.com/sc apehe o/ sen imen -analysis-using-s m-338d418e3 1, [Online; accessed 10- Decembe -2023] (2018). [37] sciki lea n, sklea n.mul iclass.one s es classi ie , h ps:// sciki -lea n.o g/s able/modules/gene a ed/sklea n.mul iclass. OneVsRes Classi ie .h ml, [Online; accessed 10-Decembe -2023] (2024). 92 BIBLIOGRAFÍA [38] HuggingFace, Py o ch- ans o me s, h ps://py o ch.o g/hub/ hugging ace_py o ch- ans o me s/, [Online; accessed 15-Decembe - 2023] (2022). [39] Tenso Flow, Clasi ica ex o con be , h ps://www. enso low.o g/ ex / u o ials/classi y_ ex _wi h_be ?hl=es-419, [Online; accessed 15- Decembe -2023] (2022). [40] N idiaDe elope , Cuda oolki 11.1.0, h ps://de elope .n idia.com/ cuda-11.1.0-download-a chi e?, [Online; accessed 19-Decembe -2023] (N/A). [41] N idiaDe elope , cudnn a chi e, h ps://de elope .n idia.com/ dp/ cudnn-a chi e, [Online; accessed 19-Decembe -2023] (N/A). [42] N idiaDocsHub, Ins alla ion guide, h ps://docs.n idia.com/ deeplea ning/cudnn/ins all-guide/index.h ml, [Online; accessed 19- Decembe -2023] (2023). [43] sciki lea n, Me ics and sco ing: quan i ying he quali y o p e- dic ions, h ps://sciki -lea n.o g/s able/modules/model_e alua ion. h ml, [Online; accessed 15-Decembe -2023] (2015). [44] sciki lea n, sklea n.me ics.accu acy-sco e, h ps://sciki -lea n.o g/ s able/modules/gene a ed/sklea n.me ics.accu acy_sco e.h ml, [On- line; accessed 21-Decembe -2023] (2023). [45] sciki lea n, sklea n.me ics.p ecision- ecall- sco e-suppo , h ps: //sciki -lea n.o g/s able/modules/gene a ed/sklea n.me ics. p ecision_ ecall_ sco e_suppo .h ml#sklea n.me ics.p ecision_ ecall_ sco e_suppo , [Online; accessed 15-Decembe -2023] (2015). [46] S. Salih, Cu se o dimensionali y: An in ui i- e explo a ion, h ps:// owa dsda ascience.com/ cu se-o -dimensionali y-an-in ui i e-explo a ion-1 b 155e1411, [Online; accessed 1-Janua y-2024] (2023). [47] G. E. Nikolaos Koui oukidis, The e ec s o dimensionali y cu se in high dimen- sional knn sea ch, h ps://ieeexplo e.ieee.o g/documen /6065061, [Onli- ne; accessed 1-Janua y-2024] (2011). [48] S. S. Nalla, Explainable ai: In e p e ing be model, h ps://medium.com/ @sn7d4/explainable-ai-in e p e ing-be -model-534094e0e015, [Onli- ne; accessed 27-Decembe -2023] (2022). [49] M. Ancona, E. Ceolini, C. Öz i eli, M. G oss, Towa ds be - e unde s anding o g adien -based a ibu ion me hods o deep neu al ne wo ks, h ps:// owa dsda ascience.com/ using-a-da aloade -in-hugging- ace-52388 552259, [Online; acces- sed 27-Decembe -2023] (2018). BIBLIOGRAFÍA 93 [50] Cap um, In eg a ed g adien s, h ps://cap um.ai/docs/ex ension/ in eg a ed_g adien s, [Online; accessed 27-Decembe -2023] (2024). [51] N. Ka z, Using a da aloade in hugging ace, h ps:// owa dsda ascience. com/using-a-da aloade -in-hugging- ace-52388 552259, [Online; acces- sed 27-Decembe -2023] (2021). [52] Seabo n, seabo n, s a is ical da a isualiza ion, h ps://seabo n.pyda a. o g/index.h ml, [Online; accessed 27-Decembe -2023] (2023).