Detección automática de tweets no relevantes en streams guiados por consulta

TRABAJO DE FIN DE MÁSTER MÁSTER UNIVERSITARIO EN SISTEMAS INTELIGENTES CURSO 2017-2018 De ección au omá ica de wee s no ele an es en s eams guiados po consul a Au o : Víc o Ga cía Pé ez Tu o : Ra ael Be langa Lla o i Lec u a del T abajo Cas ellón, oc ub e 2018 Índice gene al Resumen Desde p incipio de los años 90 cuando su gie on las edes sociales, el núme o de usua ios y la can idad de in o mación compa ida y publicada en ellas ha expe imen ado un c ecimien o exponencial. En es e abajo nos cen a emos en la ed social Twi e , que con aba a p incipios de 2018 con 330 millones de usua ios. El obje i o de es e abajo es consegui p edeci cuáles de odos los wee s ecogidos a a és de una consul a de dominio son ele an es o i ele an es pa a una ase de análisis pos e io . Pa a ello, en p ime luga , se ha ealizado un ba ido bibliog á ico pa a consul a el es ado del a e en emas simila es. En segundo luga , se ha elabo ado un mé odo semi-manual pa a ealiza el e ique ado del da ase donde se han iden i icado los wee s en unción de la clase a la que pe enecen, ele an es o i ele an es. Después se ha ealizado un análisis es adís ico de los da os pa a busca un mé odo de clasi icación adecuado según las mé icas de e aluación seleccionadas. Todos los expe imen os han sido ealizados con la ayuda de las lib e ías de mine ía de da os y a amien o de ex o disponibles pa a Py hon. Palab as cla e Análisis de Redes Sociales, Clasi icación au omá ica, Mine ía de ex os. Índice gene al Abs ac Ea ly in he 90s when social ne wo ks eme ged, he numbe o use s and he amoun o in o ma ion sha ed and published in hem has unde gone an exponen ial g ow h. In his wo k we will ocus on he social ne wo k Twi e , which had a he beginning o 2018 wi h 330 million use s. The goal o his wo k is o p edic which o all he wee s ob ained h ough a domain que y a e ele an o i ele an o a subsequen analysis phase. Fo his, i s , a bibliog aphic sea ch has been made o ind ou he s a e o he a on simila opics. Secondly, a semi-manual me hod has been de eloped o pe o m he agging o he da ase whe e he wee s ha e been iden i ied acco ding o he ype hey belong o, namely: ele an o i ele an . Then a s a is ical analysis o he da a has been ca ied ou o ind an adequa e au oma ic classi ica ion me hod acco ding o he selec ed e alua ion me ics. All he expe imen s ha e been ca ied ou wi h he help o da a mining and ex p ocessing lib a ies a ailable o Py hon. Índice gene al Ag adecimien os Que ía dedica es e pequeño apa ado pa a ag adece a odas aquellas pe sonas que han es ado ce ca du an e la ealización de es e abajo y que, de di e en es o mas, han con ibuido a que la ealización del más e y de es e abajo inal llegue a su in. En p ime luga , me gus a ía ag adece a mi u o , Ra ael Be langa Lla o i, la opo unidad de ealiza es e abajo, y el iempo que me ha dedicado pa a desa olla el mismo y mi o mación en es e campo. A mi hija A le , que, pese a su co a edad, me ha dado ue zas pa a o ece lo mejo de mí pa a que es e abajo salie a adelan e. A Ma ía José, po su apoyo y amo incondicional en odo momen o. A mis pad es Flo en y Fina que siemp e es án ahí p esen es pa a da me el ca iño y la ue za que necesi o en odo momen o. Y no puedo ol ida me de mi he mana Sheila que, pese a la dis ancia, siemp e ce ca es á apoyándome en odos mis p oyec os. A mis compañe os de más e , en especial Miguel, Ca los y Héc o , jun o a los cuales o mamos el equipo Robin Hood en la compe ición Da a hom Uni e si yHack 2018, i iendo una ag adable expe iencia de abajo en equipo. Índice gene al Índice gene al ............................................................................................................... 1 In oducción ........................................................................................................... 1 1.1 Obje i os ............................................................................................................2 1.2 Con ex ualización del abajo .............................................................................3 1.2.1 Redes sociales .......................................................................................................... 3 1.3 Twi e ...................................................................................................................... 4 1.3.1 API Twi e ............................................................................................................... 5 ............................................................................................................... 7 Es ado del A e ....................................................................................................... 7 2.1 De ección de Spam .............................................................................................8 2.2 De ección de Memes ......................................................................................... 10 2.3 P ocesamien o del Lenguaje Na u al ................................................................ 11 2.4 Técnicas de ap endizaje au omá ico pa a a amien o de ex o ........................ 15 ..............................................................................................................18 Me odología usada.................................................................................................18 3.1 P epa ación de los da os ................................................................................... 18 3.1.1 E ique ado del da ase ............................................................................................ 20 3.1.2 Gene ación de los da ase s de en enamien o ......................................................... 21 3.2 Selección del mé odo de clasi icación ................................................................ 23 3.3 Mé icas de e aluación ..................................................................................... 24 ..............................................................................................................28 Expe imen os y esul ados.....................................................................................28 4.1 So wa e u ilizado ............................................................................................. 28 Índice gene al 4.2 Expe imen os ealizados ................................................................................... 29 4.2.1 E ique ado del da ase ............................................................................................ 29 4.2.2 Es udio de los da os ................................................................................................ 31 4.2.3 Diseño de los expe imen os ................................................................................... 34 4.3 Discusión de esul ados ob enidos..................................................................... 36 ..............................................................................................................42 Conclusiones y T abajo u u o ..............................................................................42 5.1 Conclusiones ..................................................................................................... 42 5.2 T abajo u u o ................................................................................................. 43 Re e encias ............................................................................................................44 Índice de igu as Figu a 1: Usua ios de edes sociales en el mundo ............................................................ 3 Figu a 2: Sis ema de au en i icación OAu h de Twi e [6] .............................................. 6 Figu a 3: G a o de elaciones en los pe iles de cuen as [13] .......................................... 9 Figu a 4: Mé odos de clasi icación au omá ica de ex os ............................................... 12 Figu a 5: Ilus ación mé odo ec o es de Mikolo e al [23] ......................................... 13 Figu a 6: Hipe plano Clasi icado SVM ........................................................................ 17 Figu a 7: Diag ama pa a e ique a Twee s ..................................................................... 21 Figu a 8: Boxplo s de las mé icas po clase .................................................................. 32 Figu a 9: Rep esen ación de las 100 palab as más epe idas en la clase 1 ..................... 33 Figu a 10: Rep esen ación de las 100 palab as más epe idas en la clase 2 ................... 34 Figu a 11: Pa icionado del conjun o de da os ............................................................... 34 Figu a 12: Mé odo de alidación c uzada po bloques................................................... 35 Figu a 13: G á ica p ecisión po algo i mo s ensayo ................................................... 38 Figu a 14: G á ica Recall de cada clasi icado s ensayo .............................................. 39 Figu a 15: G á ica F1-Sco e po clasi icado s ensayo ................................................ 41 Figu a 16: G á ica a io Falsos posi i os en clase I ele an e........................................ 41 Índice de ablas Tabla 1: Ve siones API S eaming Twi e ...................................................................... 6 Tabla 2: Clasi icación de ac o es de I ele ancia............................................................ 7 Tabla 3: Ca ac e ís icas basadas en la cuen a de usua io ................................................. 8 Tabla 4: Ca ac e ís icas basadas en el wee ..................................................................... 9 Tabla 5: Fo ma o da ase o iginal pa e I........................................................................ 19 Tabla 6: Fo ma o da ase o iginal pa e II ...................................................................... 19 Tabla 7: Da ase I en enamien o solo mé icas.............................................................. 22 Tabla 8: Con igu ación del modelo Doc2 ec ................................................................. 22 Tabla 9: Ma iz de con usión .......................................................................................... 25 Tabla 10: Consul as pa a e ique a clase ele an e ......................................................... 30 Tabla 11: Consul as pa a e ique a clase i ele an e ...................................................... 30 Tabla 12: Resumen es adís ico de las mé icas de la clase ele an e ............................. 31 Tabla 13: Resumen es adís ico de las mé icas de la clase i ele an e ........................... 31 Tabla 14: Resul ados ensayos solo mé icas y solo ec o es.......................................... 36 Tabla 15: Resul ados ensayo mé icas y ec o es .......................................................... 37 In oducción En los úl imos iempos se ha inc emen ado el análisis de los mensajes ansmi idos a a és de la ed social Twi e , la inalidad es ob ene in o mación de los usua ios e e en e a e en os polí icos o pa a conoce opiniones sob e alguna emá ica. El su gimien o del pa adigma de In eligencia de Negocio Social (Social Business In elligence) [1] o ece nue as pe spec i as de análisis y acción en las edes sociales basadas en mé icas e indicado es ob enidos de los mensajes y usua ios de las edes sociales. Den o de es e nue o pa adigma, la educción del uido e iden i icación de usua ios y mensajes ele an es son c uciales pa a ealiza un análisis de calidad. El obje i o p incipal de es e T abajo Final de Más e consis i á en, dado un s eam de wee s ob enidos median e una consul a de dominio (po ejemplo, ma cas de un sec o ), de ec a qué wee s son i ele an es pa a esa labo de análisis pos e io . En es e abajo se conside a que los wee s son ele an es pa a una u u a ase de análisis si las palab as cla e de la consul a se u ilizan con el sen ido co ec o, y el con enido del wee es á en el con ex o de la a ea de análisis según la emá ica de los wee s ob enidos. Ejemplos de wee s i ele an es son los mensajes spam y memes, los cuales u ilizan las palab as cla e de la consul a con una in encionalidad comple amen e di e en e a la espe ada po los usua ios del dominio. Es os mensajes pod ían se muy nume osos y sesga cualquie análisis que se quie a ealiza del dominio. A modo de ejemplo, mos amos los wee s más e-di eccionados de un s eam gene ado pa a el dominio de coches: DanMen os - "I hink I ha e ADHD, doc" why? "I keep o ge ing whe eI pa ked my Fo d" ha 's no - "yeah I keep losing my Focus" ge ou o my o ice ( 4766) No YikYaks - "Le my Adde all in my Fo d Fies a. Now i 's a Fo d Focus." ( 4200) Ca Au oDaily - Fu u e Ca s: 2016 Mi subishi Paje o Spo SUV... - h ps:// .co/HoP7ianCax ( 4167) Cun sWa ching - C ying because he's go GCSE's o si in 4 days, poo woman mus ha e hough she was gi ing bi h o a Fo d Mondeo h p:// .co/hc k8PWdVl (4164) Ca Au oDaily - 2016 Toyo a RAV4 Fo mal Pic u es and Da a... - h ps:// .co/Lg6j9RoATX ( 4069) Es ado del A e 8 En la abla 2 se hace un esumen de las ca ac e ís icas de los ipos de i ele ancia o uido a la ho a de hace un análisis de wee s sob e una emá ica conc e a. 2.1 De ección de Spam Los denominados spamme s in aden los ending opics de Twi e median e la emisión de wee s denominados spam [10]. La de ección de spam es impo an e, dado que Twi e es usado po muchas emp esas o polí icos pa a medi la sa is acción de sus p oduc os o el núme o de usua ios con po encial o o hacia dichos polí icos [11]. Las ca ac e ís icas pa a la de ección de spam de Twi e se clasi ican de la siguien e mane a: 1. Ca ac e ís icas basadas en la cuen a: Los Spamme s pueden de ec a se basándose en su cuen a de usua io, que con iene algunas ca ac e ís icas que no son con oladas po el usua io, como las que se pueden e en la abla 3, y o as que sí son con oladas po el usua io y no se i án pa a u iliza se en la de ección, ales como su Nick, o o, echa de nacimien o, localización, echa de c eación de la cuen a, e c. Ca ac e ís ica Desc ipción ¿Con olada po el usua io? Núme o de wee s Núme o o al de wee s iene la cuen a NO Núme o de “ ollowings” Núme o o al de cuen as que el usua io sigue NO Núme o de “ ollowe s” Núme o o al de seguido es que el usua io iene NO Núme o de “likes” Núme o o al de “likes” que iene la cuen a NO Núme o de e wee s Núme o o al de e wee s que iene la cuen a NO Núme o de lis as Núme o o al de lis as que iene la cuen a NO Núme o de momen os Núme o o al de momen os que iene la cuen a NO Tabla 3: Ca ac e ís icas basadas en la cuen a de usua io 2. Ca ac e ís icas basadas en wee s: Los me ada os del wee ambién p opo cionan una se ie de ca ac e ís icas, de las cuales las que no son con oladas po el usua io ambién p opo cionan di e encias pa a pode clasi ica un wee como spam o no. En la abla 4 se mues an las ca ac e ís icas ex aídas de los me ada os clasi icadas po la posibilidad de manipula se po el usua io o no. Es ado del A e 9 Ca ac e ís ica Desc ipción ¿Con olada po el usua io? Emiso Emiso del wee SI Menciones Las menciones usadas en el wee SI Has ags Los has ags usados en el wee SI Link Los links a o as páginas usados SI Núme o de “likes” Núme o o al de likes que ha conseguido el wee NO Núme o de e wee s Núme o o al de e wee s que ha conseguido el wee NO Núme o de espues as Núme o o al de espues as que ha conseguido el wee NO Fecha de emisión Fecha en la que el wee ha sido publicado SI Localización Localización de ec ada de donde se ha publicado del wee SI Tabla 4: Ca ac e ís icas basadas en el wee 3. Relación en e el emiso y ecep o del wee : Los usua ios gene ado es de spam [12] ienen un pe il de segui a muchas cuen as de Twi e pa a consegui seguido es que en e ellos suelen ene muy poca elación, mien as que las elaciones del es o de cuen as suelen ene elaciones po in e eses, po a inidad de amis ad o amilia, e c. [13]. De es e modo pe iles de cuen as donde exis an muchas elaciones en e usua ios se pod án ca ac e iza como cuen as no gene ado as de spam, mien as que las cuen as spamme s end án un pe il mayo i a io en elaciones disg egadas. Es o se puede e en la igu a 3. Cuen a no mal Cuen a spamme Figu a 3: G a o de elaciones en los pe iles de cuen as [13] Es ado del A e 10 2.2 De ección de Memes Meme es un é mino c eado po Richa d Dawkins en 1976 en [14] y apa ece de inido como la unidad cul u al más simple (una idea, compo amien o, moda o uso) que puede p opaga se de pe sona a pe sona den o de una cul u a sin impo a ubicación geog á ica, con lazos de comunicación en e ellos y ubicados en un mismo espacio empo al. Sin emba go, un meme de in e ne se usa pa a desc ibi una idea, concep o o pensamien o mani es ado en un medio i ual, en cualquie o ma o, sean los más ípicos en o ma o ex o, imagen, ideo, audio… Los memes en in e ne [15] p incipalmen e se p opagan median e links a si ios web, o en cualquie a de los o ma os ci ados a a és de las edes sociales. [16] Los memes ienen un ac o empo al muy impo an e en la e olución de su popula idad. La popula idad no depende únicamen e del p opio meme, si no que depende ambién de o os memes que sean i ales en ese momen o. En [17] Coscia e al. analizan que los memes pueden compe i o colabo a en e ellos. Si compi en en e ellos signi ica que hay una in luencia nega i a de un meme sob e el o o. En caso de colabo ación implica que la in luencia en e ellos es posi i a y hacen el uno al o o que aumen e su di usión. Coscia e al. se cen an en las cua o p incipales ca ac e ís icas que denominan que ienen los memes: - Núme o de colabo ado es: Núme o de memes en colabo ación - Núme o de compe ido es: Núme o de memes en compe ición - Hecho de que un meme es é co elacionado con o os - La en idad de su pico de popula idad sob e su popula idad p omedia Un con enido se á i al cuando se dis ibuye de o ma masi a en las edes sociales y blogs y suelen se con ca ác e humo ís ico y claman a las emociones. Po lo gene al, sal o pa a cie as ma cas, los con enidos que se hacen i ales no nacen pensados pa a se lo. Sin emba go, las campañas de ma ke ing de las ma cas nacen pa a hace se i ales, ya que implica ía se un éxi o de ma ke ing, aunque no es ácil que lo consigan. La i alidad de un mensaje es la p obabilidad de que se en íe ese mensaje. En Twi e , i alidad es la p obabilidad de e wee de un mensaje. En Twi e po lo gene al, la p obabilidad de e wee no depende de elaciones sociales exis en es en e usua ios, es o es un caso pa ecido al de los medios de comunicación adicionales. En [18] plan ean la hipó esis de que es más p obable que se een íe con enido de no icias nega i as mien as que, en el es o de wee s los sen imien os posi i os aumen an la p obabilidad de e wee o i alidad. En [19] p oponen un mé odo de clus e ing pa a la de ección de memes que llaman “p o o-memes” basado en múl iples medidas de simili ud pa a ob ene memes como g upos con una cohesión de wee s que e lejan concep os o emas de discusión. En e las ca ac e ís icas del clus e ing hay mé icas como las desc i as en el apa ado an e io y p ocesamien o del lenguaje na u al. De ienden es e mé odo jus i icando la i alidad de los memes ya que no es p ác ico ene un sis ema de ap endizaje supe isado pa a Es ado del A e 11 de ec a wee s con los da ase s c eciendo de mane a in ini a día a día. Po ello p oponen el modelo de s eam clus e ing. El modelo de s eam clus e ing es un modelo muy g ande que i á c eciendo en da os que se án muy cos oso de almacena en memo ia. En la li e a u a exis en di e en es modelos: - Landma k window: Con iene odos los da os del s eam desde el ins an e =0 has a el ins an e ac ual =T Ac ual. - Damped window: Asigna pesos a cada pun o en el s eam de da os. P opo ciona pesos u ilizando una unción de decaimien o empo al (decay unc ion), dando mayo peso a los da os más ecien es. w( ) = 2−λ(T− ), donde λ > 0 Un mayo alo de λ implica mayo impo ancia/peso de da o más ecien e. - Sliding window: Tiene una longi ud de l pasos en cada momen o T, y con iene solamen e los pun os ecibidos los úl imos l pasos. La en ana in e alo se de ine como sigue: W = (T – l·∆ , T] Los algo i mos de análisis p opues os deses iman odos los pun os empo ales más an iguos que T − l∆ . Es e modelo es el más simple, y el que han seleccionado en el a ículo [19]. En es e abajo ambién se u iliza una sliding window de longi ud de un mes pa a la ag egación de mé icas de usua io y de wee s. Sin emba go, en luga de u iliza el mé odo de clus e ing p opues o en es e abajo di ec amen e u ilizamos un mé odo supe isado sob e los wee s en an es, eniendo en cuen a sus con enidos ex uales y mé icas. 2.3 P ocesamien o del Lenguaje Na u al Pa a pode p ocesa el ex o publicado po los usua ios y en iquece la in o mación ob enida de las mé icas, hay que u iliza écnicas de P ocesamien o de lenguaje na u al o NLP po sus siglas en inglés. Una écnica pa a ealiza lo es median e lo que se conoce como el pa adigma de “Wo d embedding”, que es el que se ha adop ado en es e abajo. La p incipal azón pa a ello es su independencia del idioma de los ex os y la omisión de cualquie ipo de ingenie ía de ca ac e ís icas en la ep esen ación de los documen os. Wo d embedding es el nomb e de un conjun o de lenguajes de modelado, donde las palab as o ases se con ie en a ec o es de núme os eales, consiguiendo así ene una ep esen ación ma emá ica en un espacio de N dimensiones de las palab as o dicciona ios. Es ado del A e 12 En la igu a 4 se ha ealizado una ep esen ación g á ica de los mé odos de clasi icación au omá ica de ex os supe isado. En es a igu a se mues an los mé odos clásicos sepa ados de los mé odos mode nos que apa ecie on a pa i de Mikolo e al [21,23]. Los mé odos conside ados clásicos es án basados en la ep esen ación de Bolsa de Palab as o Bag o Wo ds (BoW). Es e mé odo de p ocesado de lenguaje a a de ep esen a documen os igno ando el o den en el que apa ecen las palab as en el ex o, conside ando solo sus es adís icas en el documen o y en la colección. Figu a 4: Mé odos de clasi icación au omá ica de ex os La ep esen ación BoW de documen os consis e en asigna un ec o a cada documen o de dimensión igual al núme o de palab as que con o man el ocabula io de la colección. El p ime paso que ealiza el mé odo es cons ui el dicciona io ep esen ando cada palab a con una posición del ec o . Po cada documen o o ase, se ponen a “1” las posiciones que co esponden con las palab as del ocabula io. Después se calculan los alo es de cada posición del ec o median e el p oduc o de las dos medias TF e IDF, que se de inen como sigue: - TF: Es la can idad de eces que apa ece cada palab a en el documen o co esponde con el e mino en inglés “Te m F equency”. - IDF: Es la pun uación co espondien e a como de a a es la palab a en odos los documen os, y se ep esen a con el loga i mo de la ecuencia in e sa de la palab a en oda la colección. El mé odo BoW ha sido ampliamen e u ilizado pa a el análisis de sen imien os de los ex os de los wee s median e la ex acción de ca ac e ís icas mos adas en la igu a 4, ales como signos de pun uación, símbolos, emo iconos, e c. En 2013, Mikolo e al. in oducen la li e a u a un mé odo no edoso [20]. Es e mé odo con ie e los documen os a un espacio ec o ial de N-dimensiones sin depende del Mé odosdeClasi icaciónau omá icade ex os(supe isados) Clásico Wo d2Vec Doc2Vec Bago wo ds + TF-IDF Ca ac e ís icas - Pun uación -Simbolos -Ng ams -Emo iconos -… Bago wo ds d Vec o  Ag egado depalab as dn Glo e »1990 <2013 > 2013 Es ado del A e 13 núme o de palab as con enidas en el dicciona io. El mé odo es mos ado median e un ejemplo ilus a i o donde las palab as se ubican en un espacio mé ico que pe mi e calcula analogías median e ope aciones sob e sus ec o es. King - Man + Woman = Queen Figu a 5: Ilus ación mé odo ec o es de Mikolo e al [23] Mikolo e al. basan la simili ud de ec o es median e el mé odo basado en la dis ancia del coseno (al igual que en los mé odos clásicos), aunque son más popula es o as medidas basadas en dis ancias, como las p opues as en [25] y Wo d Mo e ’s Dis ance. [26] En el uso de ep esen ación de palab as median e ec o es, GloVe [21], po sus siglas en inglés, iden i ican dos modelos de amilias pa a ap ende ec o es densos (embeddings): 1. Mé odos globales de ac o ización ma icial como LSA, “La en Seman ic Analysis” 2. Mé odos locales de en ana de con ex o como Skip-g am model de [20]. La en aja de los mé odos LSA es que ap o echan e icien emen e la in o mación es adís ica, sin emba go, no son muy buenos en la analogía de palab as. En es e sen ido, el mé odo Skip-g am es mejo en la analogía de palab as, pe o u iliza de una mane a pob e las es adís icas del con ex o pues o que en enan en en anas de con ex o local sepa adas en ez de en con eos globales de co-ocu encias. Mikolo e al p esen an dos nue as a qui ec u as pa a p ocesa ep esen ación de palab as median e ec o es. Es a es una mejo a del modelo Neu al Ne Language Model, NNLM que ue p opues o po Bengio e al. [22]. Los modelos son los siguien es: - Con inuous Bag-o - Wo ds Model (CBOW): Modelo de Bolsa de palab as, en el cual no in luye el o den de las palab as ap endidas. Es e modelo u iliza palab as his ó icas de en ada y palab as u u as, donde el c i e io de en enamien o es clasi ica co ec amen e la palab a ac ual Es ado del A e 14 - Skip-g am Model: Es a a qui ec u a es simila a CBOW pe o p edice la palab a a ando de maximiza la clasi icación basándose en o a palab a de la misma o ación, en luga de ealiza lo basándose en el con ex o como hace el CBOW. Wo d2 ec en ena una ed neu onal simple, con una sola capa ocul a pa a una a ea que después se u iliza pa a o a. Los pesos de la capa ocul a son en ealidad los “ ec o es de palab as” que es amos a ando de ap ende . La a ea alsa pa a la que se en ena la ed neu onal es pa a que, dada una palab a den o de una o ación, mi e las palab as ce canas y elija una al aza . La ed di á cuál es la p obabilidad de cada una de las palab as del ocabula io y se elegi á la más ce cana den o de la en ana con igu ada. El esul ado espe ado de la ed es que dada una palab a de en ada nos de p obabilidades mayo es pa a palab as de con ex o simila con p obabilidades al as y p obabilidades bajas pa a palab as que engan o o con ex o di e en e. Po ejemplo, si la palab a de en ada a la ed manzana, end á que da mayo es p obabilidades pa a u a y á bol que pa a coche o Rusia. La ed ap ende á la can idad de eces que apa ece cada empa ejamien o de palab as, po eso cuando inalice el en enamien o gene a á una p obabilidad mayo dada la palab a manzana con u a o á bol que con coche o Rusia. Una p egun a que debemos esponde an es de segui , es: ¿Como se p ocede á a cons ui la ed? La ed neu onal no se puede alimen a con palab as. Lo p ime o que hay que hace es c ea un dicciona io donde cada palab a co esponde á con un índice del ocabula io. La en ada a la ed se á un ec o de la misma longi ud que el ocabula io y cuando se quie a in oduci una palab a a la ed se pond á un “1” en el índice del ec o de en ada co espondien e a la posición en el ocabula io, y “0” en odas las demás posiciones. La salida de la ed se co esponde á con un ec o de la misma longi ud que el ocabula io, una posición po cada palab a del ocabula io. La ed ellena á cada posición del ec o de salida con una dis ibución de p obabilidad de que, dada la palab a de en ada, la salida co esponda con cada una de las palab as. Como se ha dicho, el obje i o inal de odo es o es en ena la ma iz de pesos de la capa ocul a, y no que la ed p ediga las palab as que pueden i a con inuación de una palab a de en ada, po ello, si nos cen amos en el en enamien o de la ed, dada una o ación de en ada, y en unción del amaño de la en ana con igu ado, se ealiza á el en enamien o de los pesos. Doc2 ec[24] es una ex ensión de Wo d2 ec que se enca ga de ep esen a ex os o documen os sin impo a la longi ud de ellos. Pe mi e ep esen ación en espacio denso de los documen os sin necesidad de ingenie ía de ca ac e ís icas como si equie e el modelo Wo d2 ec que ag ega ec o es ealizando ag egados median e suma, p omedio o min-max. Es e úl imo gene a un ec o de salida de 2 x N-dimensiones. En ninguno de es os mé odos, la dimensión del ec o de cada documen o no es dependien e de la can idad de palab as que enga el dicciona io. Es ado del A e 15 Las azones po las que se ha elegido el modelo Doc2 ec pa a la ealización de es e abajo son mejo o ma de ag ega los documen os po sus ec o es, iene ep esen aciones compac as y no sensibles a ocabula io. También pod ían en ena se en unción de o as e ique as semán icas que pe mi i án ajus a mejo el espacio mé ico a las necesidades de la a ea de clasi icación. 2.4 Técnicas de ap endizaje au omá ico pa a a amien o de ex o En [27,28,29,35] se p esen a una compa a i a de algo i mos clásicos como Naï e Bayes, Maximum En opy, SVM con clasi icado es compues os que combinan a ios es imado es básicos. Los p ime os son ampliamen e u ilizados pa a esol e p oblemas ípicos de clasi icación, aunque suelen su i sesgos hacia la clase mayo i a ia cuando se a a de p oblemas desbalanceados. En Fe nández-Delgado e al [30] hacen una compa a i a de clasi icado es p egun ándose: “Do we need hund eds o Classi ie s o sol e eal wo ld classi ica ion p oblems?”. Hacen una compa a i a de 179 clasi icado es con 121 da ase s, de los cuales 112 pe enecen al eposi o io de da ase s de machine lea ning UCI. Es a compa a i a de análisis de da ase s y clasi icado es es conside ada como una o ien ación a la ho a de selecciona los algo i mos, ya que no exis e un mé odo que siemp e sea “el mejo ” y depende á del p oblema a esol e la calidad que ob end á ese mismo modelo, así como los pa áme os con los que se ajus e. En [31] han ealizado una compa ación y e aluación de a ios en oques pa a esol e su abajo donde han u ilizado écnicas adicionales de Machine Lea ning y Deep Lea ning con di e en es écnicas de emulación de palab as. Como no exis e un modelo con una con igu ación de pa áme os, se debe á e alua un conjun o de clasi icado es con a ios pa áme os de ajus e pa a encon a la mejo solución al p oblema que se p e ende esol e en es e abajo. Los modelos combinados o combinación de clasi icado es son una solución conjun a donde la decisión de la clasi icación no es omada únicamen e po un clasi icado , si no que es omada po el conjun o de los clasi icado es débiles. Es os pueden ag upa se en dos ipos p incipales: - Bagging: Consis e en gene a de mane a alea o ia conjun os de en enamien o de uno o iginal pa a en ena di e en es clasi icado es. - Boos ing: Cada clasi icado que con o ma el modelo es en enado en aquellas ins ancias que o as eglas p eceden es no han sabido disc imina . En [32] se in oduce el mé odo de Boos ing que en esos momen os se conside a como el es ado del a e en los úl imos benchma ks. Se a a del mé odo “Scalable end- o-end ees boos ing sys em” o “eX eme G adien Boos ing”, ab e iado como XGBoos . De aquí en adelan e se u iliza á el é mino XGBoos pa a denomina a es e algo i mo de clasi icación. Cabe menciona que es e algo i mo es ampliamen e u ilizado en muchas á eas del ap endizaje au omá ico como de ección de aude y spam. Es ado del A e 16 En e los ac o es más impo an es pa a selecciona es e mé odo de clasi icación es á la escalabilidad en odos los escena ios, es deci que es capaz de ap ende en g andes conjun os de da os, y que u iliza modelos es adís icos capaces de cap u a dependencias complejas de los da os. Además, el sis ema es capaz de co e 10 eces más ápido que o as soluciones popula es exis en es. Los clasi icado es elegidos en es e abajo es án en e las 6 p ime as amilias del es udio de Fe nández-Delgado e al. Es os han sido Naï e Bayes, Random Fo es , Máquinas de Sopo e Vec o ial [33] y como algo i mo de Boos ing, el XGBoos que apa eció en la bibliog a ía después de Fe nández-Delgado e al. En dicho es udio, la amilia de clasi icado es Random Fo es es la que mejo es esul ados han ob enido, seguidos de las máquinas de sopo e ec o ial, y en sex o luga la amilia de algo i mos Boos ing. Naï e Bayes es uno de los clasi icado es más u ilizados po se simple y ápido. Se a a de una écnica de clasi icación supe isada, como odas las que se han u ilizado en es e abajo. El eo ema de Bayes se u iliza pa a e isa p obabilidades p e iamen e calculadas cuando se posee nue a in o mación. El clasi icado equie e c ea un modelo p e iamen e an es de pode se u iliza pa a la a ea de clasi icación. La ó mula del eo ema de Naï e Bayes se ep esen a de la siguien e mane a: 𝑃(𝐶|𝑥)=𝑃(𝑥|𝐶)·𝑃(𝐶) 𝑃(𝑥) La c eación del modelo de clasi icación equie e de los siguien es pasos: 1. Calcula la p obabilidad a p io i de que dada una mues a pe enezca a una clase u o a. 2. Recuen o de alo es po a ibu o pa a cada clase. 3. No maliza odos los alo es de la aba en e 0 y 1. Después de c ea el modelo, dada una mues a nue a, se debe á ealiza los siguien es pasos: 1. De e mina los alo es de p obabilidad de cada a ibu o de la nue a mues a. 2. Calcula la p obabilidad de pe enece a cada clase, es deci mul iplica el alo de cada a ibu o de dicha nue a clase, po el alo de p obabilidad no malizado en el paso de c eación del modelo. 3. Po úl imo, la clase se clasi ica á según la p obabilidad ob enida pa a cada clase. El algo i mo Random Fo es (RF), como su nomb e indica es un algo i mo que consis e en combina a ios á boles de decisión. Es e algo i mo pe enece a la amilia de mé odos de Bagging. En la ase de c eación del modelo, RF c ea un núme o N de á boles, gene a de mane a alea o ia un conjun o de en enamien o pa a cada uno de los N á boles. Cada á bol es en enado indi idualmen e, u ilizando así el es o de conjun os de da os pa a e alua el endimien o del á bol. Es ado del A e 17 Pa a cada nodo de pa ición del á bol elige alea o iamen e K a iables en las cuales basa á la decisión. En la ase de clasi icación, el modelo ecibe una nue a mues a que es in oducida en cada uno de los á boles que iene el algo i mo. Cada uno de ellos p oduce una clasi icación, y la clase más o ada po odos los á boles, se á la que el clasi icado de e mina á pa a esa mues a. Las máquinas de sopo e ec o ial (Suppo Vec o Machine - SVM) pa a clasi icación ealizan una ans o mación, gene almen e a un espacio de una dimensionalidad supe io donde pode gene a un hipe plano que sepa e las clases con la ayuda de los denominados ec o es sopo e. Los ec o es sopo e son mues as o pun os del conjun o de en enamien o que o man dos líneas pa alelas al hipe plano. La dis ancia que hay en e es as las líneas pa alelas es el ma gen. La mejo solución es la que pe mi a mayo ma gen en e las mues as de las dos clases. En la igu a 6 se mues a un ejemplo de un hipe plano de una máquina de sopo e ec o ial en un p oblema de dos clases. Figu a 6: Hipe plano Clasi icado SVM . Me odología usada 24 se u iliza án las mé icas desc i as en el siguien e apa ado como medida de e aluación compa a i a en e los dis in os algo i mos. Una ez seleccionadas las ca ac e ís icas que con o man el conjun o de da os de abajo y el clasi icado que mejo es esul ados o o ga en la de ección de wee s i ele an es, la siguien e a ea se ía alida el mé odo en su o alidad con un conjun o de da os de o o espacio empo al donde se pueda e i ica la capacidad de gene aliza y de ec a posibles memes que exis an en ese espacio empo al. Como se explicó en el capí ulo 2, un meme iene un momen o de apa ición que se hace i al y muchos usua ios lo compa en y después deja de se i al. Pa a el caso de la de ección de memes segu amen e hab ía que inclui en la in o mación del wee , cuál es el ime-s amp de publicación del wee , así como el núme o de e wee s acumulado. 3.3 Mé icas de e aluación En es e apa ado se de inen las mé icas que se han u ilizado pa a e alua es e abajo [12], en p ime luga , se de ini án unos concep os undamen ales con su e minología en inglés: • Posi i es (P): es el núme o de e en os. • Nega i es (N): es el núme o de mues as que no son los e en os que se quie en de ec a . • T ue Posi i es(TP): es el núme o de e en os de la clase posi i a clasi icados en la clase posi i a. • T ue Nega i es (TN): es el núme o de mues as de la clase nega i a clasi icadas como e en os de la clase posi i a. • False Nega i es (FN): es el núme o de mues as de la clase nega i a que se clasi ican como clase posi i a. • False Posi i es (FP): es el núme o de e en os de la clase posi i a que se clasi ican como clase nega i a. Ma iz de con usión: La ma iz de con usión es una abla como la siguien e, que se u iliza á pa a ep esen a el endimien o del clasi icado : Me odología usada 25 Clase de los da os Clasi icados como posi i os Clasi icados como nega i os Posi i e T ue Posi i e (TP) False Nega i e (FN) P = TP + FN Nega i e False Posi i e (FP) T ue Nega i e (TN) N = TN + FP Tabla 9: Ma iz de con usión Accu acy: Es la medida de endimien o más in ui i a y simple de in e p e a . Es la suma de acie os di idido del o al de elemen os. 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦= 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝐹𝑃+𝐹𝑁+𝑇𝑁 𝜖 [0,1] P ecisión: Es e indicado co esponde al a io de las p edicciones ealizadas posi i as di idido en e odas las p edicciones posi i as. 𝑃𝑟𝑒𝑐𝑖𝑠𝑖ó𝑛= 𝑇𝑃 𝑇𝑃+𝐹𝑃 𝜖 [0,1] Recall o T ue Posi i e a e (TP ): Es a a io ilus a las mues as p edichas co ec amen e en e odas las que hay en la misma clase posi i a 𝑅𝑒𝑐𝑎𝑙𝑙= 𝑇𝑃 𝑇𝑃+𝐹𝑁 𝜖 [0,1] F1-Sco e: O media a mónica en e la p ecisión y el ecall. Es el in e so de la media a i mé ica 𝐹1−𝑆𝑐𝑜𝑟𝑒=(𝑅𝑒𝑐𝑎𝑙𝑙−1+𝑃𝑟𝑒𝑐𝑖𝑠𝑖ó𝑛−1 2)−1𝜖 [0,1] Ope ando ob enemos: 𝐹1−𝑆𝑐𝑜𝑟𝑒=2· 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛·𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑅𝑒𝑐𝑎𝑙𝑙 𝜖 [0,1] Suppo : Es el núme o de ocu encias pa a cada clase e ique ada co ec amen e. Me odología usada 26 Mic o-A e age y Mac o-A e age: En el caso de que las clases del conjun o de da os sean desbalanceadas, enemos los mé odos media Mic o (Mic o-a e age) y media Mac o (Mac o-a e age) que se puede aplica pa a p omedia las mé icas an e io es. El mé odo Mic o-a e age consis e en calcula en conjun o pa a odas las clases cada una de las medidas de endimien o. Es o a o ece a que la clase mayo i a ia pun úe más y la clase mino i a ia pun úe menos. En es e caso, la o ma de calcula las mé icas de endimien o pa a un p oblema de clasi icación bina io, es al cual se ha expues o con an e io idad, es deci : 𝑃𝑟𝑒𝑐𝑖𝑠𝑖ó𝑛 𝑀𝑖𝑐𝑟𝑜− 𝐴𝑣𝑔= 𝑇𝑃1+𝑇𝑃2 𝑇𝑃1+𝑇𝑃2+𝐹𝑃1+𝐹𝑃2 𝜖 [0,1] 𝑅𝑒𝑐𝑎𝑙𝑙 𝑀𝑖𝑐𝑟𝑜−𝐴𝑣𝑔= 𝑇𝑃1+𝑇𝑃2 𝑇𝑃1+𝑇𝑃2+𝐹𝑁1+𝐹𝑁2 𝜖 [0,1] Po el con a io, el mé odo Mac o-a e age consis e en calcula cada una de las medidas de endimien o pa a cada una de las clases y después da les el mismo peso a ambas clases. En un p oblema de clasi icación bina ia como el de es e abajo, la p ecisión con Mac o- A e age se calcula á en p ime luga la p ecisión pa a cada una de las clases: 𝑃𝑟𝑒𝑐𝑖𝑠𝑖ó𝑛 𝑃1= 𝑇𝑃1 𝑇𝑃1+𝐹𝑃1 𝜖 [0,1] 𝑃𝑟𝑒𝑐𝑖𝑠𝑖ó𝑛 𝑃2= 𝑇𝑃2 𝑇𝑃2+𝐹𝑃2 𝜖 [0,1] Una ez calculadas las p ecisiones po sepa ado, se ealiza el p omedio de los dos alo es, es deci : 𝑃𝑟𝑒𝑐𝑖𝑠𝑖ó𝑛 𝑀𝑎𝑐𝑟𝑜− 𝐴𝑣𝑔 =𝑃1+𝑃2 2 𝜖 [0,1] De o ma análoga, se calcula ía el ecall. En p ime luga , se calcula pa a cada clase po sepa ado: 𝑅𝑒𝑐𝑎𝑙𝑙 𝑅1= 𝑇𝑃1 𝑇𝑃1+𝐹𝑁1 𝜖 [0,1] 𝑅𝑒𝑐𝑎𝑙𝑙 𝑅2= 𝑇𝑃2 𝑇𝑃2+𝐹𝑁2 𝜖 [0,1] Me odología usada 27 Po úl imo, una ez calculado el Recall pa a cada una de las clases po sepa ado se ealiza el p omedio de ambos: 𝑅𝑒𝑐𝑎𝑙𝑙 𝑀𝑎𝑐𝑟𝑜− 𝐴𝑣𝑔 =𝑅1+𝑅2 2 𝜖 [0,1] Es e mé odo Mac o-a e age, pe mi e da la misma impo ancia a ambas clases independien emen e de la can idad de mues as que enga. Pe mi e mos a de una mane a más jus a las mé icas del clasi icado . O o mé odo de e alua las mé icas es median e la media ponde ada, es o signi ica que el alo de la mé ica se calcula clase po clase y después se mul iplica po la can idad de mues as que había de la clase y se di ide del o al de mues as que han pa icipado, dicho de o a mane a, cada media se mul iplica po el po cen aje de mues as que iene. El mé odo de media ponde ada y Mic o-a e age han sido desca ados en es e abajo dado a que el conjun o de da os es á desbalanceado y los esul ados de las mé icas pod ían e se in luenciados a a o de los esul ados ob enidos en la clase mayo i a ia. Expe imen os y esul ados 4.1 So wa e u ilizado El p esen e abajo ha sido desa ollado exclusi amen e median e el uso del lenguaje Py hon, es e lenguaje de p og amación c eado po Guido an Rossum a p incipios de los años 90 y cons a de una licencia BSD que pe mi e su uso de mane a g a ui a (h ps://www.py hon.o g ). Es o jun o con la g an can idad de lib e ías disponibles y la po encia del lenguaje ha ayudado a su ue e expansión y que hoy en día sea uno de los lenguajes más u ilizados. Py hon es un lenguaje de p og amación in e p e ado o de sc ip s, con una sin axis limpia y pensada pa a se un código legible po las pe sonas. Es un lenguaje de p og amación mul ipa adigma, ya que pe mi e c ea p og amas de a ios es ilos de p og amación, p og amación o ien ada a obje os, p og amación impe a i a (como C, Fo an…) o p og amación uncional basado en el uso de unciones ma emá icas [36]. Las lib e ías que se han u ilizado en la ealización de es e abajo han sido: - Pandas: Es a lib e ía ha sido u ilizada pa a la impo ación de los da ase s, así como pa a la manipulación de los da os con enidos en dichos conjun os de da os [37]. - Ma plo lib: Es una de las lib e ías más u ilizadas pa a mos a esul ados g á icamen e. En es e abajo se han u ilizado pa a mos a las g á icas de ba as y los boxplo s que apa ecen en es e abajo [38]. - Sciki -lea n: Es la lib e ía u ilizada pa a odas las a eas de machine lea ning, desde el pa icionado de los da ase s, implemen ación del K-Fold c oss alida ion, implemen ación de los algo i mos de machine lea ning. [39] - Gensim: Es la API u ilizada pa a implemen a el algo i mo Doc2 ec que con ie e documen os de ex o, en es e caso wee s en ec o es de N- dimensiones pa a pode abaja con ellos con los algo i mos de clasi icación [40] Expe imen os y esul ados 29 - NLTK: Es una pla a o ma pa a abaja en py hon con lenguaje na u al, és a ha sido u ilizada pa a la p epa ación de los ex os de los wee s an es de se con e idos a ec o es pa a p ocesa los median e los algo i mos de machine lea ning. [41] - Wo dCloud: Es la lib e ía u ilizada pa a la ealización de las nubes de palab as más epe idas po cada clase. [42] 4.2 Expe imen os ealizados Según se ha explicado en el capí ulo 3, la p ime a a ea a ealiza después de ealiza una e isión del es ado del a e ac ual ha sido cons ui el da ase de abajo. El da ase ha sido ealizado as analiza el s eam de wee s ob enidos de la consul a de la API s eaming de wi e . 4.2.1 E ique ado del da ase La consul a de dominio consis e en una se ie de palab as cla e , de modo que si apa ecen en un wee , la API de uel e el wee que con iene alguna de las palab as cla e. Las palab as que o man la que y en la API de Twi e son las siguien es: en i ies = ["opel co sa", " auxhall co sa", "Renaul Clio", "Ci oen C3", "Peugeo 207", "Sea Ibiza", "Peugeo 208", "Toyo a Au is", "Renaul Megane", "Peugeo 308", "Ci oen C4", "Fo d Focus", "Sea Leon", "Toyo a A ensis", "opel insignia", " auxhall insignia", "Ci oen C5", "Fo d Mondeo", "Peugeo Bippe ", "Ci oen Nemo", "Renaul Kangoo", "Ci oen Be lingo", "Peugeo Pa ne ", "Fo d T ansi ", "Volkswagen Caddy", "Nissan NV200", "Ci oen Jumpy", "Peugeo Expe ", "Opel Vi a o", "Vauxhall Vi a o", "Nissan Pa h inde ", "Nissan Qashqai", "Toyo a Ra 4", "Toyo a Ra 4", "Land Ro e F eelande ", "NISSAN X-TRAIL","Nissan x ail", "Land Ro e De ende ", "Mi subishi Mon e o", "Mi subishi Paje o", "Shogun Spi i ", "Mi subishi L200", "Toyo a Hilux", "Volkswagen Ama ok", "Nissan Cabs a ","Sea A ona","Sea A eca","Renaul Talisman"] El p oceso ealizado pa a e ique a y cons ui el conjun o de da os es el que se ha explicado en el diag ama de bloques de la igu a 7. T as ealiza dos i e aciones al p oceso de inido en el diag ama de bloques, se ha gene ado el da ase inal de abajo median e las consul as que se desc iben en las ablas 10 y 11 que han p opo cionado las e ique as pa a las dos clases posibles: En la abla 10 se mues an odas las consul as de palab as o cadenas de palab as ealizadas pa a e ique a los wee s de la clase 1, o clase ele an e. Expe imen os y esul ados 30 Clase Rele an e #Sea 600 CV Lamen ablemen e me ocó a mí expe o Diesel Los lunes no siemp e son g ises sea leon TDI Ruego que cualquie a que pasase po la A67 di ección Peugeo 208 CDTI Se busca a una amiga. Su ehículo es un Fo d ocus Anda un peugeo 207 GTI chicas de illescas ened cuidado!!! Ma ga i a Ba ien os #Fo d Pa a odas las chicas de To ejón endo sea #Nissan Figue uelas Se ende #Peugeo PEUGEOT 207 COMPAC NEGRO PATENTE LXJ893 FORD TRANSIT #Opel Hoy han uel o a pe segui me po la Cas ellana es coches en ing #Ci oen Nos acaban de oba en la bomba COPEC oba on #Mi subishi Pa h inde #Los40BasicoOpelCo sa #Suba u Toyo a anunció que aumen aba Albo an #Hyundai TABLÓN de ANUNCIOS #doncas e isg ea #Renaul ClioCup Robado #ROBADO #luxu yca s S olen #URGENT #Daka Año Yea Tabla 10: Consul as pa a e ique a clase ele an e En la abla11, se pueden obse a en las es p ime as consul as una búsqueda con dos palab as que podían apa ece sepa adas y po ello se ha ealizado la búsqueda cumpliendo las dos condiciones, al lado del símbolo “&”. Clase I ele an e ADHD & ocus Opel Co sa blanco mal apa cado Piso & To e ieja -Pe donad, hay un SEAT Ibiza ojo apa cado en la pue a, que aya el dueño sma & ocus Más enso que el dueño de una Ci oën Be lingo Vendo Opel Co sa Scioli pidió e la le a chica del acue do con el FMI' Se ende opel co sa Dios es ese p imo uyo que dejó #Eu o ision El audio de Simeone end ía más epe cusión #Eu o ision Pa a pedi comida po a o ma icula 6969 Twi e ya ha pe dido la poca co du a que le quedaba #VendoOpelCo sa nugge s de pollo lambo gini @Della uen e_ Vendo opel co sa #Mpun oRajoy Ni que me ap es a an las pa as como pa a Rajoy Hoy odos los dipu ados del PP han abandonado Puigdemon #Folla es á sob e alo ado u ian La p ocesión de las au opis as esuci adas con dine o público a anca el sábado Colau Al dueño del Opel Co sa e de I ene_Mon e o Yo más que un Fe a i soy un Renaul Adol o Suá ez T anquilos que cuando Pablo e I ene demóc a a Vi gen San ísima la pin a que iene Sampaoli de ene un Sea León ama illo Ba ajas Pueden saca una empo ada del Fo ni e basada en ba ios de España donde puedas conduci un 600 A juzga po los un olous ninja Pajamei Jaja Tabla 11: Consul as pa a e ique a clase i ele an e Expe imen os y esul ados 31 4.2.2 Es udio de los da os En es e pun o se ha a ado de iden i ica y selecciona ca ac e ís icas de las mé icas. Pa a ello en p ime luga se ha ealizado un análisis es adís ico de las mé icas sepa adas po clase 1 y clase 2. Se ha esumido en las ablas 12 y 13. Resumen es adís ico Mé icas Clase 1 Fa ou i es coun Followe s coun F iends coun S a uses coun OnDomain wee s coun 121129.0 121129.0 121129.0 121129.0 121129.0 mean 7,932E+15 6,291E+15 2,150E+16 3,987E+15 1,728E+15 s d 2,637E+16 6,607E+15 1,026E+16 9,272E+15 6,130E+16 min 0.0 0.0 0.0 1.0 1.0 25% 12.0 148.0 174.0 2259.0 2.0 50% 487.0 584.0 513.0 9776.0 64.0 75% 5213.0 2093.0 1469.0 40454.0 794.0 max 1043111.0 6689508.0 346450.0 2923351.0 89436.0 Tabla 12: Resumen es adís ico de las mé icas de la clase ele an e Las ablas del análisis es adís ico ienen ocho ilas que ep esen an: - Coun : Núme o o al de wee s con da os de cada una de las columnas - Mean: Valo medio de los da os con enidos en cada una de las columnas - S d: Des iación es ánda de los da os con enidos en cada columna - Min: Valo mínimo - 25%, 50%, 75%: Can idad de alo es en el in e alo 0 a 25, 25 a 50 y 50 a 75 - Max: Can idad de alo es en el in e alo 75 a 100 Resumen es adís ico Mé icas Clase 2 Fa ou i es coun Followe s coun F iends coun S a uses coun onDomain wee s coun 27717.0 27717.0 27717.0 27717.0 27717.0 mean 1,530E+16 1,289E+16 5,983E+15 2,602E+16 2,973E+16 s d 3,121E+16 1,330E+16 1,389E+15 4,709E+15 3,768E+16 min 0.0 0.0 0.0 1.0 1.0 25% 1804.0 151.0 192.0 4246.0 1.0 50% 5694.0 330.0 351.0 12302.0 1.0 75% 16331.0 656.0 642.0 29647.0 2.0 max 843624.0 1365769.0 143793.0 1299921.0 16686.0 Tabla 13: Resumen es adís ico de las mé icas de la clase i ele an e En la igu a 8 se mues an los boxplo s de cómo se dis ibuyen las mé icas de los usua ios en unción de la clase a la que pe enece cada uno de los wee s publicados. El obje i o del análisis de los boxplo s es en ende cuan o pueden apo a cada una de las Expe imen os y esul ados 32 mé icas en la a ea de segmen a las clases. Si compa amos las mé icas On_Domain_ wee s y S a uses compa ision que son el núme o o al de wee s en el dominio de la consul a y el o al de wee s publicados po el usua io, se e como la p ime a segmen a á mejo los wee s que la segunda. Figu a 8: Boxplo s de las mé icas po clase Expe imen os y esul ados 33 Al conjun o de mé icas se pod ía habe añadido la mé ica e wee s que iene un wee , ya que ayuda ía en la de ección de memes. Como se explicó en el capí ulo 2, un wee conside ado meme es un wee que, a pesa de no habe nacido pa a se meme, acaba con i iéndose en i al. La mé ica e wee se ha deses imado su inco po ación dado que el núme o de e wee s p opo ciona á una in o mación de i alidad que no se á online si no que se á as epe i se el mismo wee e i inc emen ando el con ado de wee s de mane a dinámica, po ello se conside a una mé ica in e esan e pa a un análisis a pos e io i pe o no cumpli ía el obje i o de de ec a wee s memes en iempo eal. Con inuando con el análisis de los da os se ha ealizado un Wo d Cloud con las 100 palab as más epe idas en cada una de las dos clases. En la igu a 9 se pueden e las palab as más epe idas de la clase ele an e y en la igu a 10 las palab as más epe idas en los wee s de clase i ele an e. Obse ando las palab as que más se epi en en la igu a 9, se puede deduci sin mi a el pie de la igu a que se a a de las palab as que más ienen que e con el dominio de la consul a ya que apa ecen muchas palab as de modelos de coches, ma cas, e c. Figu a 9: Rep esen ación de las 100 palab as más epe idas en la clase 1 Sin emba go, al obse a las palab as más epe idas en la igu a 10 se pueden e palab as del dominio como Opel co sa, pe o las demás no pe enecen al dominio de la consul a ealizada. Es as dos palab as que son del dominio es án u ilizadas ue a del con ex o del dominio de la consul a y po ello es án den o de las conside adas de la clase i ele an e coinciden con el amoso meme “Vendo Opel Co sa”. Den o del mismo ejemplo de endo Opel co sa, en mayo del 2018 du an e el es i al de eu o isión hubo una mu ación del ípico meme endo Opel co sa que se hizo muy i al po que un espon áneo sal ó al escena io cuando es aba can ando la ep esen an e del Reino Unido. Expe imen os y esul ados 40 Po o o lado, ambién se debe ía analiza si las mé icas elegidas son las más adecuadas, así como e la posibilidad de elimina alguna que p opo cione meno sepa ación de clases, po ejemplo, e alua según el boxplo de la igu a 11, si la mé ica s a uses coun que indica el núme o de wee s emi idos po ese usua io selecciona la clase ele an e de la que no lo es. O a a ea a ealiza es el es udio de añadi nue as mé icas como puede se el ime- s amp de cada wee , que puede ayuda a de ec a wee s que son epe idos en un espacio de iempo pequeño como sucede con los memes. A di e encia de inclui el núme o de e wee s, es a mé ica pod ía segmen a que se es é epi iendo un wee po que los ec o es sean iguales o simila es, y que la ce canía empo al p ediga que se a e de un meme [19]. Una ez seleccionada la mane a en la que amos a con ecciona el da ase , la siguien e a ea es e alua cuál es el mejo clasi icado pa a esol e el p incipal obje i o de es e abajo, de ec a wee s i ele an es. En p ime luga , se ha seleccionado el clasi icado de Naï e Bayes como línea base con la que compa a los esul ados ob enidos. Como e a de espe a según lo is o en la bibliog a ía no es el mejo clasi icado pa a mine ía de ex os, pe o es el más elegido pa a compa a los esul ados de los clasi icado es en Machine Lea ning. En la igu a 13 es án ep esen adas las p ecisiones de odos los algo i mos en cada uno de los ensayos. Se puede e que la p ecisión de los clasi icado es Random Fo es y XGBoos son mejo es en los es ensayos, a excepción del ensayo 1 donde la máquina de Sopo e Vec o ial con ke nel adial supe a a es os dos clasi icado es. Como se ha is o an e io men e, la o ma de cons ui el da ase con solo mé icas no es la mejo , po lo que nos queda emos con los esul ados de los o os dos ensayos, donde ambos clasi icado es han ob enido mejo p ecisión, es deci mejo a io en e los clasi icados co ec amen e. La mé ica denominada p ecisión de un clasi icado es impo an e, pe o no es la única, ya que la p ecisión no iene en cuen a cuan os ha clasi icado e óneamen e. Como se explicó en el capí ulo 3, pa a eso enemos el ecall. Es a mé ica es á ep esen ada en la igu a 14 y se puede e como en el ensayo de mé icas y ec o es, los clasi icado es SVM ob ienen esul ados bas an e peo es (de cua o a cinco décimas) que los ob enidos po Random Fo es y XGBoos . Expe imen os y esul ados 41 Figu a 15: G á ica F1-Sco e po clasi icado s ensayo Con la p ecisión po un lado y el ecall po o o enemos dos mé icas impo an es pa a pode elegi cual es el clasi icado que amos a selecciona pa a esol e el p oblema, pe o si se quie e encon a un equilib io en e ellas, se puede ealiza la media a mónica en e ambas mé icas y ob enemos la mé ica llamada F1-sco e. Es a mé ica es á ep esen ada pa a cada clasi icado en la igu a 15. De la g á ica de la igu a 15 podemos des aca el clasi icado SVM con ke nel adial, denominado SVC en la leyenda. Es e modelo ob iene el peo esul ado en el ensayo de mé icas y ec o es. Es e esul ado es á e o zado po la a io de Falsos posi i os ob enidos en los es ensayos y que se ilus an en la igu a 16. Es a a io se ha ob enido de ealiza la acción en e los Falsos Posi i os de la clase 2, en e las mues as de la clase 2 en cada ensayo. Figu a 16: G á ica a io Falsos posi i os en clase I ele an e Como esumen a los esul ados expues os se puede conclui que los mé odos combinados dan los mejo es esul ados. Ambos clasi icado es, Random Fo es y XGboos , han conseguido alo es muy pa ecidos en odas las mé icas, po lo que ambos se ían álidos pa a cumpli con la a ea de clasi icación de es e abajo. Conclusiones y T abajo u u o 5.1 Conclusiones Pa a cualquie p oblema de Machine Lea ning lo p ime o que se necesi a es dispone de lo que se conoce como “g ound u h”, o lo que es lo mismo, dispone del da ase e ique ado con la clase a la que pe enece cada una de las mues as. Una de las a eas más cos osas de es e abajo ha sido consegui e ique a el conjun o de da os de abajo, ya que a p io i solamen e se disponían de los wee s sin e ique a . El mé odo p opues o en el capí ulo 3 pa a e ique a el da ase es un p oceso semi- supe isado que aumen a p opo cionalmen e su cos e cuan o más g ande es el conjun o de da os a e ique a . Los esul ados ob enidos en los ensayos son bas an e buenos, aunque pod ían es a in luidos po a ios ac o es que pueden hace duda de los mismos: - La o ma en la que se ha cons uido el da ase deja ue a muchos wee s que sean di e en es a los demás, o uni a ios en o ma y ocabula io. El da ase ac ual con iene wee s e ique ados po alguna cadena de ex o que se ha is o en epe idas ocasiones den o del da ase . - Sob e ajus e p oducido po el ocabula io in e ido con la misma colección de es eo. El ocabula io ha sido gene ado en una e apa an e io a in e i los ec o es de odo el conjun o de da os que después se ía di idido en un conjun o de en enamien o y o o de e aluación al como se ha explicado en el capí ulo 4. Po el con a io, hay o as e idencias que pe mi en con ia en los esul ados ob enidos. En p ime luga , las mé icas po si solas ya disc iminan bas an e bien las clases, al y como se io de an emano en el análisis de las mé icas, y su pos e io ensayo con el da ase de solo mé icas. En segundo luga , el conjun o de en enamien o ha sido ealizado median e alidación c uzada, lo cual debe ía educi el p oblema del sob eajus e an e io men e mencionado. Como ya se ha dicho, el mé odo p opues o pa a consegui el obje i o de es e abajo debe conlle a una a ea de een enamien o del algo i mo donde se amplíe ambién el ocabula io pa a i adap ándose a las nue as o mas de exp esa se y las nue as emá icas que se es án comen ando en la ed. Conclusiones y abajo u u o 43 5.2 T abajo u u o A co o plazo, se ía necesa io ealiza un es udio más exhaus i o u ilizando mé odos no supe isados en conjun os muy g andes de wee s, de o ma simila al abajo de [19]. También se ía in e esan e en ena y alida los modelos de ap endizaje en pe iodos empo ales muy sepa ados. De es a o ma, pod ía e alua se cuán o ha gene alizado el algo i mo p opues o, a la ho a de ob ene pa ones de las mé icas de usua ios y de las elaciones de nue os memes. Las opciones pa a alo a cómo de bien gene aliza el algo i mo se ían dos. Empeza emos desc ibiendo la p ime a y más o odoxa, aunque ambién más cos osa: 1. Repe i el p oceso desc i o en el capí ulo 3 pa a e ique a el da ase . 2. En pa alelo al p oceso de e ique ado se pod ían in e i los ec o es de los nue os wee s u ilizando el ocabula io ap endido pa a el conjun o de da os de es e abajo no el del nue o da ase . 3. Una ez engamos e ique ado el da ase y los ec o es in e idos, cons ui íamos el nue o da ase con las nue as mé icas del usua io que ha publicado cada wee y los ec o es de es os wee s. 4. Con el nue o da ase cons uido, en ena íamos el algo i mo con odo el banco de da os del abajo ac ual y pasa íamos a p edeci las clases del nue o da ase . 5. Po úl imo, solo queda ía e alua los esul ados con las mé icas desc i as en el capí ulo 3. La segunda opción, y menos cos osa, aunque no comple a, se ía e alua cuan o ha gene alizado el algo i mo de es e abajo cen ándonos únicamen e en los wee s de ec ados como i ele an es: 1. In e i los ec o es del nue o da ase con el ocabula io del conjun o de da os del p esen e abajo. 2. Cons ui el nue o da ase con las mé icas y ec o es, al y como se ha explicado en el mé odo an e io . 3. Una ez cons uido el da ase , p ocede a clasi ica los nue os wee s en las clase ele an e o i ele an e. Con los wee s de es a úl ima clase que es la clase de in e és a de ec a en el abajo, ealiza íamos una inspección manual únicamen e de los wee s ob enidos en la clase obje o de es udio. Es e úl imo mé odo iene el incon enien e que amos a pe de odos los wee s que se hayan clasi icado e óneamen e en la clase 1 ( ele an e) y pe enezcan a la clase 2 (i ele ena e). Es o signi ica que pe de íamos odos los Falsos Posi i os y no pod íamos calcula ni la p ecisión ni el accu acy del clasi icado en es e nue o escena io, y solamen e pod íamos calcula el ecall, ya que en las an e io es mé icas es necesa io dispone de la in o mación de los Falsos Nega i os. O o pun o que se pod ía conside a es la e aluación de cuán o apo a cada una de las mé icas a la clasi icación, y e si o a in o mación puede ayuda a la a ea de clasi icación de memes, po ejemplo, añadi el ime-s amp de cada wee pod ía ayuda en la de ección de memes como se mencionó an e io men e. Re e encias [1] R. Be langa, L. Ga cía-Moya, V. Nebo , M. José A ambu u, I. Sanz, D. Ma ía Llidó: SLOD-BI: An Open Da a In as uc u e o Enabling Social Business In elligence. IJDWM 11(4): 1-28 2015 [2] h ps://hoo sui e.com/ (Úl imo acceso e i icado: 8 de agos o de 2018) [3] J.Huang, KM. Toho n on EN EF himiadis Con e sa ional Tagging in Twi e . P oceedings o he 21s ACM con e ence on Hype ex and hipe media Jun. 2013 [4] h ps://de elope . wi e .com/en/docs (Úl imo acceso e i icado: 8 de sep iemb e de 2018) [5] h ps://de elope . wi e .com/en/apply/use (Úl imo acceso e i icado: 8 de sep iemb e de 2018) [6] h ps://de elope . wi e .com/en/docs/ wi e - o -websi es/log-in-wi h- wi e /guides/implemen ing-sign-in-wi h- wi e .h ml (Úl imo acceso e i icado: 8 de sep iemb e de 2018) [7] A. Sanzgi i, A. Hughes and S. Upadhyaya. Analysis o Malwa e P opaga ion in Twi e . IEEE 32nd In e na ional Symposium on Reliable Dis ibu ed Sys ems. Oc . 2013 [8]A. Agga wal, A. Rajadesingan, P. Kuma agu u. PhishA i:Au oma ic Real ime Phishing De ec ion on Twi e . Oc . 2012 [9] Abdullah Talha Kabakus, Resul Ka a. A Su ey o Spam De ec ion Me hods on Twi e . In e na ional Jou nal o Ad anced Compu e Science and Applica ions, Vol. 8, No. 3, 2017  [10] C.D. Gow i, V. Mohan aj, A Su ey on Spam De ec ion in Twi e : A Re iew, In . J. Compu . Sci. Bus. In o ma ics. 14 (2014) 92–102. h p://ijcsbi.o g/index.php/ijcsbi/a icle/ iew/418.  Re e encias 45 [11] Y. He, H. Sai , Z. Wei, K. Wong Quan ising Opinions o Poli ical Twee s Analysis. Aug 2014 [12] C. O’Neil and R. Schu : Doing Da a Science. S aigh alk om he on line. Edi o ial O’Reilly. Oc . 2013 [13] C. Yang, R. Ha k eade , G. Gu: Empi ical E alua ion and New Design o Figh ing E ol ing Twi e Spamme s, IEEE T ans. In . Fo ensics Secu . 8 2013 [14] R. Dawkins. El gen egoís a. Edi o ial: Ox o d Uni e si y P ess. Jul. 1976 [15] G. Pé ez, A. Aguila y M.E nes ina. El meme en in e ne . Usos sociales, ein e p e ación y signi icados, a pa i de Ha lem Shake. Aug. 2014 [16] D. Kempe, J. Lleinbe g, E. Ta dos. Maximizing he sp ead o in luence h ough a social ne wo k. ACM SIGKDD in e na ional con e ence on Knowledge disco e y and da a mining. Aug 2003 [17] M. Coscia. Compe i ion and Success in he Meme Pool: a Case S udy on Quickmeme.com (Ap . 2013) [18] L.K. Hansen, A. A idsson, F.A. Nielsens, E. Colleoni, M .E e : Good F iends, Bad News A ec and Vi ali y in Twi e . 6 h In e na ional Con e ence, Fu u eTech Jun. 2011 [19] M. Ja a iAsbagh, F. Mencze , E. Fe a a, O. Va ol, A. Flammini. Clus e ing memes in social media. 2013 IEEE/ACM In e na ional Con e ence on Ad ances in Social Ne wo ks Analysis and Mining (ASONAM 2013). Aug.2013 [20] T. Mikolo , K. Chen, G. Co ado, and J. Dean. E icien es ima ion o wo d ep esen a ions in ec o space. CoRR, abs/1301.3781, 2013. [21] J. Penning on, R. Soche , and C. D. Manning. Glo e: Global ec o s o wo d ep esen a ion. In EMNLP, pages 1532–1543. ACL, 2014. [22] Y. Bengio, R. Ducha me, P. Vincen . A neu al p obabilis ic language model. Jou nal o Machine Lea ning Resea ch, 3:1137-1155, 2003. [23] T. Mikolo , W.T. Yih, G. Zweig. Linguis ic Regula i ies in Con inuous Space Wo d Rep esen- a ions. NAACL HLT 2013. [24] T. Mikolo , Dis ibu ed Rep esen a ions o Sen ences and Documen s. In e na ional Con e ence on Machine Lea ning. 2014. Re e encias 46 [25] M. Kusne , Y. Sun, N. Kolkin, and K. Weinbe ge . F om wo d embeddings o documen dis ances. In In e na ional Con e ence on Machine Lea ning (pp. 957-966).] Jun. 2015. [26] G. Huang, C.Guo, Y.Kilian, M.J.Kusne and F.Sha. Supe ised Wo d Mo e ’s Dis ance. Neu al In o ma ion P ocessing Sys ems Con e ence. Dic. 2016 [27] M.Kanaka aj, R.Mohana and R.Gudde i NLP Based Sen imen Analysis on Twi e Da a Using Ensemble Classi ie s. 2015 3 d In e na ional Con e ence on Signal P ocessing, Communica ion and Ne wo king. Ma . 2015 [28]M.Buuch, I. Lee and T. Wu. NLP-based App oach o Twi e Use Classi ica ion [29] A.Ho ho, A.Nü nbe ge , G. Paass. A B ie Su ey o Tex Mining. Jou nal o Compu a ional Linguis ics and Language Technology. May. 2005 [30] M. Fe nández-Delgado, E. Ce nadas and S. Ba o. Do we Need Hund eds o Classi ie s o Sol e Real Wo ld Classi ica ion P oblems? Jou nal o Machine Lea ning Resea ch. Oc .14 [31] Nebo , V., Rangel, F., Be langa, R., & Rosso, P. Iden i ying and Classi ying In luence s in Twi e only wi h Tex ual In o ma ion. In In e na ional Con e ence on Applica ions o Na u al Language o In o ma ion Sys ems (pp. 28-39). Sp inge , Cham. Jun. 2018 [32] T.Chen and C.Gues in. XGBoos : A Scalable T ee Boos ing Sys em. P oceedings o he 22nd ACM SIGKDD In e na ional Con e ence on Knowledge Disco e y and Da a Mining. Aug. 2016. [33] J. Vande Plas. Py hon Da a Sciende Handbook. Essen ial Tools o wo king wi h da a. Edi o ial O’Reilly. Dec. 2016 [34] R. Azna , R. Del Hoyo and M. del Ca men Rod íguez. Towa ds a S uc u ed Rep esen a ion o Resul s in an In o ma ion Re ie al Sys em o Public Examina ion Calls. P oceedings o he 5 h Spanish Con e ence on In o ma ion Re ie al. Jun. 2018 [35] .F. Godoy. Técnicas de ap endizaje de máquina u ilizadas pa a la mine ía de ex o. In es ig. bibl ol.31 no.71 México Ap . 2017 [36] A. C. Mülle and S.Guido. In oduc ion o Machine Lea ning wi h Py hon. A guide o da a scien is s. Edi o ial O’Reilly. Oc . 2016. [37] h ps://pandas.pyda a.o g/ (Úl imo acceso e i icado: 8 de sep iemb e de 2018) [38] h ps://ma plo lib.o g/ (Úl imo acceso e i icado: 8 de sep iemb e de 2018) [39] h p://sciki -lea n.o g (Úl imo acceso e i icado: 8 de sep iemb e de 2018) [40] h ps:// adim ehu ek.com/gensim/ (Úl imo acceso: 8 de sep iemb e de 2018) Re e encias 47 [41] h ps://www.nl k.o g/ (Úl imo acceso e i icado: 8 de sep iemb e de 2018) [42] h ps://www.da acamp.com/communi y/ u o ials/wo dcloud-py hon (Úl imo acceso e i icado: 8 de sep iemb e de 2018) [43] O. I soy, O. Tane , and E. Alpayd. Design and Analysis o Classi ie Lea ning Expe imen s in Bioin o ma ics: Su ey and Case S udies. IEEE/ACM T ansac ions On Compu a ional Biology And Bioin o ma ics. No . 2012 [44] D. K s ajic, L.J. Bu u o ic, D. E Leahy and S. Thomas. C oss- alida ion pi alls when selec ing and assessing eg ession and classi ica ion models. Jou nal o Chemin o ma ics. Jan. 2014 [45] B.Klim , Y.Yang. The En on Co pus: A New Da ase o Email Classi ica ion Resea ch. Eu opean Con e ence on Machine Lea ning. Sep. 2004