TRABAJO DE FIN DE MÁSTER
MÁSTER UNIVERSITARIO
EN SISTEMAS INTELIGENTES
CURSO 2017-2018
De ección au omá ica de wee s no ele an es en
s eams guiados po consul a
Au o :
Víc o Ga cía Pé ez
Tu o :
Ra ael Be langa Lla o i
Lec u a del T abajo
Cas ellón, oc ub e 2018
Índice gene al
Resumen
Desde p incipio de los años 90 cuando su gie on las edes sociales, el núme o de
usua ios y la can idad de in o mación compa ida y publicada en ellas ha expe imen ado
un c ecimien o exponencial.
En es e abajo nos cen a emos en la ed social Twi e , que con aba a p incipios de
2018 con 330 millones de usua ios. El obje i o de es e abajo es consegui p edeci
cuáles de odos los wee s ecogidos a a és de una consul a de dominio son ele an es
o i ele an es pa a una ase de análisis pos e io . Pa a ello, en p ime luga , se ha
ealizado un ba ido bibliog á ico pa a consul a el es ado del a e en emas simila es.
En segundo luga , se ha elabo ado un mé odo semi-manual pa a ealiza el e ique ado
del da ase donde se han iden i icado los wee s en unción de la clase a la que
pe enecen, ele an es o i ele an es. Después se ha ealizado un análisis es adís ico de
los da os pa a busca un mé odo de clasi icación adecuado según las mé icas de
e aluación seleccionadas. Todos los expe imen os han sido ealizados con la ayuda de
las lib e ías de mine ía de da os y a amien o de ex o disponibles pa a Py hon.
Palab as cla e
Análisis de Redes Sociales, Clasi icación au omá ica, Mine ía de ex os.
Índice gene al
Abs ac
Ea ly in he 90s when social ne wo ks eme ged, he numbe o use s and he amoun o
in o ma ion sha ed and published in hem has unde gone an exponen ial g ow h. In his
wo k we will ocus on he social ne wo k Twi e , which had a he beginning o 2018
wi h 330 million use s.
The goal o his wo k is o p edic which o all he wee s ob ained h ough a domain
que y a e ele an o i ele an o a subsequen analysis phase. Fo his, i s , a
bibliog aphic sea ch has been made o ind ou he s a e o he a on simila opics.
Secondly, a semi-manual me hod has been de eloped o pe o m he agging o he
da ase whe e he wee s ha e been iden i ied acco ding o he ype hey belong o,
namely: ele an o i ele an . Then a s a is ical analysis o he da a has been ca ied ou
o ind an adequa e au oma ic classi ica ion me hod acco ding o he selec ed e alua ion
me ics. All he expe imen s ha e been ca ied ou wi h he help o da a mining and ex
p ocessing lib a ies a ailable o Py hon.
Índice gene al
Ag adecimien os
Que ía dedica es e pequeño apa ado pa a ag adece a odas aquellas pe sonas que han
es ado ce ca du an e la ealización de es e abajo y que, de di e en es o mas, han
con ibuido a que la ealización del más e y de es e abajo inal llegue a su in.
En p ime luga , me gus a ía ag adece a mi u o , Ra ael Be langa Lla o i, la
opo unidad de ealiza es e abajo, y el iempo que me ha dedicado pa a desa olla el
mismo y mi o mación en es e campo.
A mi hija A le , que, pese a su co a edad, me ha dado ue zas pa a o ece lo mejo de
mí pa a que es e abajo salie a adelan e.
A Ma ía José, po su apoyo y amo incondicional en odo momen o.
A mis pad es Flo en y Fina que siemp e es án ahí p esen es pa a da me el ca iño y la
ue za que necesi o en odo momen o.
Y no puedo ol ida me de mi he mana Sheila que, pese a la dis ancia, siemp e ce ca es á
apoyándome en odos mis p oyec os.
A mis compañe os de más e , en especial Miguel, Ca los y Héc o , jun o a los cuales
o mamos el equipo Robin Hood en la compe ición Da a hom Uni e si yHack 2018,
i iendo una ag adable expe iencia de abajo en equipo.
Índice gene al
Índice gene al
............................................................................................................... 1
In oducción ........................................................................................................... 1
1.1 Obje i os ............................................................................................................2
1.2 Con ex ualización del abajo .............................................................................3
1.2.1 Redes sociales .......................................................................................................... 3
1.3 Twi e ...................................................................................................................... 4
1.3.1 API Twi e ............................................................................................................... 5
............................................................................................................... 7
Es ado del A e ....................................................................................................... 7
2.1 De ección de Spam .............................................................................................8
2.2 De ección de Memes ......................................................................................... 10
2.3 P ocesamien o del Lenguaje Na u al ................................................................ 11
2.4 Técnicas de ap endizaje au omá ico pa a a amien o de ex o ........................ 15
..............................................................................................................18
Me odología usada.................................................................................................18
3.1 P epa ación de los da os ................................................................................... 18
3.1.1 E ique ado del da ase ............................................................................................ 20
3.1.2 Gene ación de los da ase s de en enamien o ......................................................... 21
3.2 Selección del mé odo de clasi icación ................................................................ 23
3.3 Mé icas de e aluación ..................................................................................... 24
..............................................................................................................28
Expe imen os y esul ados.....................................................................................28
4.1 So wa e u ilizado ............................................................................................. 28

Índice gene al
4.2 Expe imen os ealizados ................................................................................... 29
4.2.1 E ique ado del da ase ............................................................................................ 29
4.2.2 Es udio de los da os ................................................................................................ 31
4.2.3 Diseño de los expe imen os ................................................................................... 34
4.3 Discusión de esul ados ob enidos..................................................................... 36
..............................................................................................................42
Conclusiones y T abajo u u o ..............................................................................42
5.1 Conclusiones ..................................................................................................... 42
5.2 T abajo u u o ................................................................................................. 43
Re e encias ............................................................................................................44
Índice de igu as
Figu a 1: Usua ios de edes sociales en el mundo ............................................................ 3
Figu a 2: Sis ema de au en i icación OAu h de Twi e [6] .............................................. 6
Figu a 3: G a o de elaciones en los pe iles de cuen as [13] .......................................... 9
Figu a 4: Mé odos de clasi icación au omá ica de ex os ............................................... 12
Figu a 5: Ilus ación mé odo ec o es de Mikolo e al [23] ......................................... 13
Figu a 6: Hipe plano Clasi icado SVM ........................................................................ 17
Figu a 7: Diag ama pa a e ique a Twee s ..................................................................... 21
Figu a 8: Boxplo s de las mé icas po clase .................................................................. 32
Figu a 9: Rep esen ación de las 100 palab as más epe idas en la clase 1 ..................... 33
Figu a 10: Rep esen ación de las 100 palab as más epe idas en la clase 2 ................... 34
Figu a 11: Pa icionado del conjun o de da os ............................................................... 34
Figu a 12: Mé odo de alidación c uzada po bloques................................................... 35
Figu a 13: G á ica p ecisión po algo i mo s ensayo ................................................... 38
Figu a 14: G á ica Recall de cada clasi icado s ensayo .............................................. 39
Figu a 15: G á ica F1-Sco e po clasi icado s ensayo ................................................ 41
Figu a 16: G á ica a io Falsos posi i os en clase I ele an e........................................ 41
Índice de ablas
Tabla 1: Ve siones API S eaming Twi e ...................................................................... 6
Tabla 2: Clasi icación de ac o es de I ele ancia............................................................ 7
Tabla 3: Ca ac e ís icas basadas en la cuen a de usua io ................................................. 8
Tabla 4: Ca ac e ís icas basadas en el wee ..................................................................... 9
Tabla 5: Fo ma o da ase o iginal pa e I........................................................................ 19
Tabla 6: Fo ma o da ase o iginal pa e II ...................................................................... 19
Tabla 7: Da ase I en enamien o solo mé icas.............................................................. 22
Tabla 8: Con igu ación del modelo Doc2 ec ................................................................. 22
Tabla 9: Ma iz de con usión .......................................................................................... 25
Tabla 10: Consul as pa a e ique a clase ele an e ......................................................... 30
Tabla 11: Consul as pa a e ique a clase i ele an e ...................................................... 30
Tabla 12: Resumen es adís ico de las mé icas de la clase ele an e ............................. 31
Tabla 13: Resumen es adís ico de las mé icas de la clase i ele an e ........................... 31
Tabla 14: Resul ados ensayos solo mé icas y solo ec o es.......................................... 36
Tabla 15: Resul ados ensayo mé icas y ec o es .......................................................... 37
In oducción
En los úl imos iempos se ha inc emen ado el análisis de los mensajes ansmi idos a
a és de la ed social Twi e , la inalidad es ob ene in o mación de los usua ios
e e en e a e en os polí icos o pa a conoce opiniones sob e alguna emá ica. El
su gimien o del pa adigma de In eligencia de Negocio Social (Social Business
In elligence) [1] o ece nue as pe spec i as de análisis y acción en las edes sociales
basadas en mé icas e indicado es ob enidos de los mensajes y usua ios de las edes
sociales. Den o de es e nue o pa adigma, la educción del uido e iden i icación de
usua ios y mensajes ele an es son c uciales pa a ealiza un análisis de calidad.
El obje i o p incipal de es e T abajo Final de Más e consis i á en, dado un s eam de
wee s ob enidos median e una consul a de dominio (po ejemplo, ma cas de un sec o ),
de ec a qué wee s son i ele an es pa a esa labo de análisis pos e io .
En es e abajo se conside a que los wee s son ele an es pa a una u u a ase de
análisis si las palab as cla e de la consul a se u ilizan con el sen ido co ec o, y el
con enido del wee es á en el con ex o de la a ea de análisis según la emá ica de los
wee s ob enidos. Ejemplos de wee s i ele an es son los mensajes spam y memes, los
cuales u ilizan las palab as cla e de la consul a con una in encionalidad comple amen e
di e en e a la espe ada po los usua ios del dominio. Es os mensajes pod ían se muy
nume osos y sesga cualquie análisis que se quie a ealiza del dominio.
A modo de ejemplo, mos amos los wee s más e-di eccionados de un s eam gene ado
pa a el dominio de coches:
DanMen os - "I hink I ha e ADHD, doc" why? "I keep o ge ing whe eI pa ked
my Fo d" ha 's no - "yeah I keep losing my Focus" ge ou o my o ice (
4766)
No YikYaks - "Le my Adde all in my Fo d Fies a. Now i 's a Fo d Focus." (
4200)
Ca Au oDaily - Fu u e Ca s: 2016 Mi subishi Paje o Spo SUV... -
h ps:// .co/HoP7ianCax ( 4167)
Cun sWa ching - C ying because he's go GCSE's o si in 4 days, poo woman
mus ha e hough she was gi ing bi h o a Fo d Mondeo h p:// .co/hc k8PWdVl
(4164)
Ca Au oDaily - 2016 Toyo a RAV4 Fo mal Pic u es and Da a... -
h ps:// .co/Lg6j9RoATX ( 4069)
Es ado del A e
8
En la abla 2 se hace un esumen de las ca ac e ís icas de los ipos de i ele ancia o
uido a la ho a de hace un análisis de wee s sob e una emá ica conc e a.
2.1 De ección de Spam
Los denominados spamme s in aden los ending opics de Twi e median e la emisión
de wee s denominados spam [10]. La de ección de spam es impo an e, dado que
Twi e es usado po muchas emp esas o polí icos pa a medi la sa is acción de sus
p oduc os o el núme o de usua ios con po encial o o hacia dichos polí icos [11].
Las ca ac e ís icas pa a la de ección de spam de Twi e se clasi ican de la siguien e
mane a:
1. Ca ac e ís icas basadas en la cuen a: Los Spamme s pueden de ec a se
basándose en su cuen a de usua io, que con iene algunas ca ac e ís icas que no
son con oladas po el usua io, como las que se pueden e en la abla 3, y o as
que sí son con oladas po el usua io y no se i án pa a u iliza se en la
de ección, ales como su Nick, o o, echa de nacimien o, localización, echa de
c eación de la cuen a, e c.
Ca ac e ís ica
Desc ipción
¿Con olada po
el usua io?
Núme o de wee s
Núme o o al de wee s iene la
cuen a
NO
Núme o de
“ ollowings”
Núme o o al de cuen as que el
usua io sigue
NO
Núme o de
“ ollowe s”
Núme o o al de seguido es que el
usua io iene
NO
Núme o de
“likes”
Núme o o al de “likes” que iene la
cuen a
NO
Núme o de
e wee s
Núme o o al de e wee s que iene la
cuen a
NO
Núme o de lis as
Núme o o al de lis as que iene la
cuen a
NO
Núme o de
momen os
Núme o o al de momen os que iene
la cuen a
NO
Tabla 3: Ca ac e ís icas basadas en la cuen a de usua io
2. Ca ac e ís icas basadas en wee s: Los me ada os del wee ambién
p opo cionan una se ie de ca ac e ís icas, de las cuales las que no son
con oladas po el usua io ambién p opo cionan di e encias pa a pode
clasi ica un wee como spam o no. En la abla 4 se mues an las ca ac e ís icas
ex aídas de los me ada os clasi icadas po la posibilidad de manipula se po el
usua io o no.

Es ado del A e
9
Ca ac e ís ica
Desc ipción
¿Con olada po
el usua io?
Emiso
Emiso del wee
SI
Menciones
Las menciones usadas en el wee
SI
Has ags
Los has ags usados en el wee
SI
Link
Los links a o as páginas usados
SI
Núme o de
“likes”
Núme o o al de likes que ha
conseguido el wee
NO
Núme o de
e wee s
Núme o o al de e wee s que ha
conseguido el wee
NO
Núme o de
espues as
Núme o o al de espues as que ha
conseguido el wee
NO
Fecha de emisión
Fecha en la que el wee ha sido
publicado
SI
Localización
Localización de ec ada de donde se ha
publicado del wee
SI
Tabla 4: Ca ac e ís icas basadas en el wee
3. Relación en e el emiso y ecep o del wee : Los usua ios gene ado es de
spam [12] ienen un pe il de segui a muchas cuen as de Twi e pa a consegui
seguido es que en e ellos suelen ene muy poca elación, mien as que las
elaciones del es o de cuen as suelen ene elaciones po in e eses, po a inidad
de amis ad o amilia, e c. [13]. De es e modo pe iles de cuen as donde exis an
muchas elaciones en e usua ios se pod án ca ac e iza como cuen as no
gene ado as de spam, mien as que las cuen as spamme s end án un pe il
mayo i a io en elaciones disg egadas. Es o se puede e en la igu a 3.
Cuen a no mal
Cuen a spamme
Figu a 3: G a o de elaciones en los pe iles de cuen as [13]
Es ado del A e
10
2.2 De ección de Memes
Meme es un é mino c eado po Richa d Dawkins en 1976 en [14] y apa ece de inido
como la unidad cul u al más simple (una idea, compo amien o, moda o uso) que puede
p opaga se de pe sona a pe sona den o de una cul u a sin impo a ubicación
geog á ica, con lazos de comunicación en e ellos y ubicados en un mismo espacio
empo al. Sin emba go, un meme de in e ne se usa pa a desc ibi una idea, concep o o
pensamien o mani es ado en un medio i ual, en cualquie o ma o, sean los más
ípicos en o ma o ex o, imagen, ideo, audio…
Los memes en in e ne [15] p incipalmen e se p opagan median e links a si ios web, o
en cualquie a de los o ma os ci ados a a és de las edes sociales. [16]
Los memes ienen un ac o empo al muy impo an e en la e olución de su
popula idad. La popula idad no depende únicamen e del p opio meme, si no que
depende ambién de o os memes que sean i ales en ese momen o. En [17] Coscia e al.
analizan que los memes pueden compe i o colabo a en e ellos. Si compi en en e ellos
signi ica que hay una in luencia nega i a de un meme sob e el o o. En caso de
colabo ación implica que la in luencia en e ellos es posi i a y hacen el uno al o o que
aumen e su di usión.
Coscia e al. se cen an en las cua o p incipales ca ac e ís icas que denominan que
ienen los memes:
- Núme o de colabo ado es: Núme o de memes en colabo ación
- Núme o de compe ido es: Núme o de memes en compe ición
- Hecho de que un meme es é co elacionado con o os
- La en idad de su pico de popula idad sob e su popula idad p omedia
Un con enido se á i al cuando se dis ibuye de o ma masi a en las edes sociales y
blogs y suelen se con ca ác e humo ís ico y claman a las emociones. Po lo gene al,
sal o pa a cie as ma cas, los con enidos que se hacen i ales no nacen pensados pa a
se lo. Sin emba go, las campañas de ma ke ing de las ma cas nacen pa a hace se
i ales, ya que implica ía se un éxi o de ma ke ing, aunque no es ácil que lo consigan.
La i alidad de un mensaje es la p obabilidad de que se en íe ese mensaje. En Twi e ,
i alidad es la p obabilidad de e wee de un mensaje. En Twi e po lo gene al, la
p obabilidad de e wee no depende de elaciones sociales exis en es en e usua ios, es o
es un caso pa ecido al de los medios de comunicación adicionales. En [18] plan ean la
hipó esis de que es más p obable que se een íe con enido de no icias nega i as
mien as que, en el es o de wee s los sen imien os posi i os aumen an la p obabilidad
de e wee o i alidad.
En [19] p oponen un mé odo de clus e ing pa a la de ección de memes que llaman
“p o o-memes” basado en múl iples medidas de simili ud pa a ob ene memes como
g upos con una cohesión de wee s que e lejan concep os o emas de discusión. En e
las ca ac e ís icas del clus e ing hay mé icas como las desc i as en el apa ado an e io
y p ocesamien o del lenguaje na u al. De ienden es e mé odo jus i icando la i alidad de
los memes ya que no es p ác ico ene un sis ema de ap endizaje supe isado pa a
Es ado del A e
11
de ec a wee s con los da ase s c eciendo de mane a in ini a día a día. Po ello
p oponen el modelo de s eam clus e ing.
El modelo de s eam clus e ing es un modelo muy g ande que i á c eciendo en da os que
se án muy cos oso de almacena en memo ia. En la li e a u a exis en di e en es
modelos:
- Landma k window: Con iene odos los da os del s eam desde el ins an e =0
has a el ins an e ac ual =T Ac ual.
- Damped window: Asigna pesos a cada pun o en el s eam de da os.
P opo ciona pesos u ilizando una unción de decaimien o empo al (decay
unc ion), dando mayo peso a los da os más ecien es.
w( ) = 2−λ(T− ), donde λ > 0
Un mayo alo de λ implica mayo impo ancia/peso de da o más ecien e.
- Sliding window: Tiene una longi ud de l pasos en cada momen o T, y con iene
solamen e los pun os ecibidos los úl imos l pasos. La en ana in e alo se
de ine como sigue: W = (T – l·∆ , T]
Los algo i mos de análisis p opues os deses iman odos los pun os empo ales
más an iguos que T − l∆ . Es e modelo es el más simple, y el que han
seleccionado en el a ículo [19].
En es e abajo ambién se u iliza una sliding window de longi ud de un mes pa a la
ag egación de mé icas de usua io y de wee s. Sin emba go, en luga de u iliza el
mé odo de clus e ing p opues o en es e abajo di ec amen e u ilizamos un mé odo
supe isado sob e los wee s en an es, eniendo en cuen a sus con enidos ex uales y
mé icas.
2.3 P ocesamien o del Lenguaje Na u al
Pa a pode p ocesa el ex o publicado po los usua ios y en iquece la in o mación
ob enida de las mé icas, hay que u iliza écnicas de P ocesamien o de lenguaje na u al
o NLP po sus siglas en inglés. Una écnica pa a ealiza lo es median e lo que se conoce
como el pa adigma de “Wo d embedding”, que es el que se ha adop ado en es e abajo.
La p incipal azón pa a ello es su independencia del idioma de los ex os y la omisión
de cualquie ipo de ingenie ía de ca ac e ís icas en la ep esen ación de los
documen os.
Wo d embedding es el nomb e de un conjun o de lenguajes de modelado, donde las
palab as o ases se con ie en a ec o es de núme os eales, consiguiendo así ene una
ep esen ación ma emá ica en un espacio de N dimensiones de las palab as o
dicciona ios.
Es ado del A e
12
En la igu a 4 se ha ealizado una ep esen ación g á ica de los mé odos de clasi icación
au omá ica de ex os supe isado. En es a igu a se mues an los mé odos clásicos
sepa ados de los mé odos mode nos que apa ecie on a pa i de Mikolo e al [21,23].
Los mé odos conside ados clásicos es án basados en la ep esen ación de Bolsa de
Palab as o Bag o Wo ds (BoW). Es e mé odo de p ocesado de lenguaje a a de
ep esen a documen os igno ando el o den en el que apa ecen las palab as en el ex o,
conside ando solo sus es adís icas en el documen o y en la colección.
Figu a 4: Mé odos de clasi icación au omá ica de ex os
La ep esen ación BoW de documen os consis e en asigna un ec o a cada
documen o de dimensión igual al núme o de palab as que con o man el ocabula io
de la colección. El p ime paso que ealiza el mé odo es cons ui el dicciona io
ep esen ando cada palab a con una posición del ec o . Po cada documen o o
ase, se ponen a “1” las posiciones que co esponden con las palab as del
ocabula io. Después se calculan los alo es de cada posición del ec o median e el
p oduc o de las dos medias TF e IDF, que se de inen como sigue:
- TF: Es la can idad de eces que apa ece cada palab a en el documen o
co esponde con el e mino en inglés “Te m F equency”.
- IDF: Es la pun uación co espondien e a como de a a es la palab a en odos los
documen os, y se ep esen a con el loga i mo de la ecuencia in e sa de la
palab a en oda la colección.
El mé odo BoW ha sido ampliamen e u ilizado pa a el análisis de sen imien os de los
ex os de los wee s median e la ex acción de ca ac e ís icas mos adas en la igu a 4,
ales como signos de pun uación, símbolos, emo iconos, e c.
En 2013, Mikolo e al. in oducen la li e a u a un mé odo no edoso [20]. Es e mé odo
con ie e los documen os a un espacio ec o ial de N-dimensiones sin depende del
Mé odosdeClasi icaciónau omá icade ex os(supe isados)
Clásico Wo d2Vec Doc2Vec
Bago wo ds
+
TF-IDF
Ca ac e ís icas
- Pun uación
-Simbolos
-Ng ams
-Emo iconos
-…
Bago wo ds
d
Vec o 
Ag egado
depalab as
dn
Glo e
»1990 <2013 > 2013
Es ado del A e
13
núme o de palab as con enidas en el dicciona io. El mé odo es mos ado median e un
ejemplo ilus a i o donde las palab as se ubican en un espacio mé ico que pe mi e
calcula analogías median e ope aciones sob e sus ec o es.
King - Man + Woman = Queen
Figu a 5: Ilus ación mé odo ec o es de Mikolo e al [23]
Mikolo e al. basan la simili ud de ec o es median e el mé odo basado en la dis ancia
del coseno (al igual que en los mé odos clásicos), aunque son más popula es o as
medidas basadas en dis ancias, como las p opues as en [25] y Wo d Mo e ’s Dis ance.
[26]
En el uso de ep esen ación de palab as median e ec o es, GloVe [21], po sus siglas
en inglés, iden i ican dos modelos de amilias pa a ap ende ec o es densos
(embeddings):
1. Mé odos globales de ac o ización ma icial como LSA, “La en Seman ic
Analysis”
2. Mé odos locales de en ana de con ex o como Skip-g am model de [20].
La en aja de los mé odos LSA es que ap o echan e icien emen e la in o mación
es adís ica, sin emba go, no son muy buenos en la analogía de palab as. En es e sen ido,
el mé odo Skip-g am es mejo en la analogía de palab as, pe o u iliza de una mane a
pob e las es adís icas del con ex o pues o que en enan en en anas de con ex o local
sepa adas en ez de en con eos globales de co-ocu encias.
Mikolo e al p esen an dos nue as a qui ec u as pa a p ocesa ep esen ación de
palab as median e ec o es. Es a es una mejo a del modelo Neu al Ne Language
Model, NNLM que ue p opues o po Bengio e al. [22]. Los modelos son los
siguien es:
- Con inuous Bag-o - Wo ds Model (CBOW): Modelo de Bolsa de palab as, en el
cual no in luye el o den de las palab as ap endidas. Es e modelo u iliza palab as
his ó icas de en ada y palab as u u as, donde el c i e io de en enamien o es
clasi ica co ec amen e la palab a ac ual

Es ado del A e
14
- Skip-g am Model: Es a a qui ec u a es simila a CBOW pe o p edice la palab a
a ando de maximiza la clasi icación basándose en o a palab a de la misma
o ación, en luga de ealiza lo basándose en el con ex o como hace el CBOW.
Wo d2 ec en ena una ed neu onal simple, con una sola capa ocul a pa a una a ea que
después se u iliza pa a o a. Los pesos de la capa ocul a son en ealidad los “ ec o es de
palab as” que es amos a ando de ap ende .
La a ea alsa pa a la que se en ena la ed neu onal es pa a que, dada una palab a den o
de una o ación, mi e las palab as ce canas y elija una al aza . La ed di á cuál es la
p obabilidad de cada una de las palab as del ocabula io y se elegi á la más ce cana
den o de la en ana con igu ada.
El esul ado espe ado de la ed es que dada una palab a de en ada nos de
p obabilidades mayo es pa a palab as de con ex o simila con p obabilidades al as y
p obabilidades bajas pa a palab as que engan o o con ex o di e en e. Po ejemplo, si la
palab a de en ada a la ed manzana, end á que da mayo es p obabilidades pa a u a y
á bol que pa a coche o Rusia.
La ed ap ende á la can idad de eces que apa ece cada empa ejamien o de palab as,
po eso cuando inalice el en enamien o gene a á una p obabilidad mayo dada la
palab a manzana con u a o á bol que con coche o Rusia.
Una p egun a que debemos esponde an es de segui , es: ¿Como se p ocede á a
cons ui la ed? La ed neu onal no se puede alimen a con palab as. Lo p ime o que
hay que hace es c ea un dicciona io donde cada palab a co esponde á con un índice
del ocabula io. La en ada a la ed se á un ec o de la misma longi ud que el
ocabula io y cuando se quie a in oduci una palab a a la ed se pond á un “1” en el
índice del ec o de en ada co espondien e a la posición en el ocabula io, y “0” en
odas las demás posiciones.
La salida de la ed se co esponde á con un ec o de la misma longi ud que el
ocabula io, una posición po cada palab a del ocabula io. La ed ellena á cada
posición del ec o de salida con una dis ibución de p obabilidad de que, dada la
palab a de en ada, la salida co esponda con cada una de las palab as.
Como se ha dicho, el obje i o inal de odo es o es en ena la ma iz de pesos de la capa
ocul a, y no que la ed p ediga las palab as que pueden i a con inuación de una palab a
de en ada, po ello, si nos cen amos en el en enamien o de la ed, dada una o ación de
en ada, y en unción del amaño de la en ana con igu ado, se ealiza á el
en enamien o de los pesos.
Doc2 ec[24] es una ex ensión de Wo d2 ec que se enca ga de ep esen a ex os o
documen os sin impo a la longi ud de ellos. Pe mi e ep esen ación en espacio denso
de los documen os sin necesidad de ingenie ía de ca ac e ís icas como si equie e el
modelo Wo d2 ec que ag ega ec o es ealizando ag egados median e suma, p omedio
o min-max. Es e úl imo gene a un ec o de salida de 2 x N-dimensiones. En ninguno
de es os mé odos, la dimensión del ec o de cada documen o no es dependien e de la
can idad de palab as que enga el dicciona io.
Es ado del A e
15
Las azones po las que se ha elegido el modelo Doc2 ec pa a la ealización de es e
abajo son mejo o ma de ag ega los documen os po sus ec o es, iene
ep esen aciones compac as y no sensibles a ocabula io. También pod ían en ena se
en unción de o as e ique as semán icas que pe mi i án ajus a mejo el espacio mé ico
a las necesidades de la a ea de clasi icación.
2.4 Técnicas de ap endizaje au omá ico pa a
a amien o de ex o
En [27,28,29,35] se p esen a una compa a i a de algo i mos clásicos como Naï e
Bayes, Maximum En opy, SVM con clasi icado es compues os que combinan a ios
es imado es básicos. Los p ime os son ampliamen e u ilizados pa a esol e p oblemas
ípicos de clasi icación, aunque suelen su i sesgos hacia la clase mayo i a ia cuando se
a a de p oblemas desbalanceados.
En Fe nández-Delgado e al [30] hacen una compa a i a de clasi icado es
p egun ándose: “Do we need hund eds o Classi ie s o sol e eal wo ld classi ica ion
p oblems?”. Hacen una compa a i a de 179 clasi icado es con 121 da ase s, de los
cuales 112 pe enecen al eposi o io de da ase s de machine lea ning UCI. Es a
compa a i a de análisis de da ase s y clasi icado es es conside ada como una
o ien ación a la ho a de selecciona los algo i mos, ya que no exis e un mé odo que
siemp e sea “el mejo ” y depende á del p oblema a esol e la calidad que ob end á ese
mismo modelo, así como los pa áme os con los que se ajus e.
En [31] han ealizado una compa ación y e aluación de a ios en oques pa a esol e su
abajo donde han u ilizado écnicas adicionales de Machine Lea ning y Deep
Lea ning con di e en es écnicas de emulación de palab as.
Como no exis e un modelo con una con igu ación de pa áme os, se debe á e alua un
conjun o de clasi icado es con a ios pa áme os de ajus e pa a encon a la mejo
solución al p oblema que se p e ende esol e en es e abajo.
Los modelos combinados o combinación de clasi icado es son una solución conjun a
donde la decisión de la clasi icación no es omada únicamen e po un clasi icado , si no
que es omada po el conjun o de los clasi icado es débiles. Es os pueden ag upa se en
dos ipos p incipales:
- Bagging: Consis e en gene a de mane a alea o ia conjun os de en enamien o de
uno o iginal pa a en ena di e en es clasi icado es.
- Boos ing: Cada clasi icado que con o ma el modelo es en enado en aquellas
ins ancias que o as eglas p eceden es no han sabido disc imina .
En [32] se in oduce el mé odo de Boos ing que en esos momen os se conside a como el
es ado del a e en los úl imos benchma ks. Se a a del mé odo “Scalable end- o-end
ees boos ing sys em” o “eX eme G adien Boos ing”, ab e iado como XGBoos . De
aquí en adelan e se u iliza á el é mino XGBoos pa a denomina a es e algo i mo de
clasi icación. Cabe menciona que es e algo i mo es ampliamen e u ilizado en muchas
á eas del ap endizaje au omá ico como de ección de aude y spam.
Es ado del A e
16
En e los ac o es más impo an es pa a selecciona es e mé odo de clasi icación es á la
escalabilidad en odos los escena ios, es deci que es capaz de ap ende en g andes
conjun os de da os, y que u iliza modelos es adís icos capaces de cap u a dependencias
complejas de los da os. Además, el sis ema es capaz de co e 10 eces más ápido que
o as soluciones popula es exis en es.
Los clasi icado es elegidos en es e abajo es án en e las 6 p ime as amilias del es udio
de Fe nández-Delgado e al. Es os han sido Naï e Bayes, Random Fo es , Máquinas de
Sopo e Vec o ial [33] y como algo i mo de Boos ing, el XGBoos que apa eció en la
bibliog a ía después de Fe nández-Delgado e al. En dicho es udio, la amilia de
clasi icado es Random Fo es es la que mejo es esul ados han ob enido, seguidos de las
máquinas de sopo e ec o ial, y en sex o luga la amilia de algo i mos Boos ing.
Naï e Bayes es uno de los clasi icado es más u ilizados po se simple y ápido. Se a a
de una écnica de clasi icación supe isada, como odas las que se han u ilizado en es e
abajo. El eo ema de Bayes se u iliza pa a e isa p obabilidades p e iamen e
calculadas cuando se posee nue a in o mación. El clasi icado equie e c ea un modelo
p e iamen e an es de pode se u iliza pa a la a ea de clasi icación. La ó mula del
eo ema de Naï e Bayes se ep esen a de la siguien e mane a:
𝑃(𝐶|𝑥)=𝑃(𝑥|𝐶)·𝑃(𝐶)
𝑃(𝑥)
La c eación del modelo de clasi icación equie e de los siguien es pasos:
1. Calcula la p obabilidad a p io i de que dada una mues a pe enezca a una clase
u o a.
2. Recuen o de alo es po a ibu o pa a cada clase.
3. No maliza odos los alo es de la aba en e 0 y 1.
Después de c ea el modelo, dada una mues a nue a, se debe á ealiza los siguien es
pasos:
1. De e mina los alo es de p obabilidad de cada a ibu o de la nue a mues a.
2. Calcula la p obabilidad de pe enece a cada clase, es deci mul iplica el alo
de cada a ibu o de dicha nue a clase, po el alo de p obabilidad no malizado
en el paso de c eación del modelo.
3. Po úl imo, la clase se clasi ica á según la p obabilidad ob enida pa a cada clase.
El algo i mo Random Fo es (RF), como su nomb e indica es un algo i mo que consis e
en combina a ios á boles de decisión. Es e algo i mo pe enece a la amilia de
mé odos de Bagging.
En la ase de c eación del modelo, RF c ea un núme o N de á boles, gene a de mane a
alea o ia un conjun o de en enamien o pa a cada uno de los N á boles. Cada á bol es
en enado indi idualmen e, u ilizando así el es o de conjun os de da os pa a e alua el
endimien o del á bol.
Es ado del A e
17
Pa a cada nodo de pa ición del á bol elige alea o iamen e K a iables en las cuales
basa á la decisión.
En la ase de clasi icación, el modelo ecibe una nue a mues a que es in oducida en
cada uno de los á boles que iene el algo i mo. Cada uno de ellos p oduce una
clasi icación, y la clase más o ada po odos los á boles, se á la que el clasi icado
de e mina á pa a esa mues a.
Las máquinas de sopo e ec o ial (Suppo Vec o Machine - SVM) pa a clasi icación
ealizan una ans o mación, gene almen e a un espacio de una dimensionalidad
supe io donde pode gene a un hipe plano que sepa e las clases con la ayuda de los
denominados ec o es sopo e.
Los ec o es sopo e son mues as o pun os del conjun o de en enamien o que o man
dos líneas pa alelas al hipe plano. La dis ancia que hay en e es as las líneas pa alelas es
el ma gen. La mejo solución es la que pe mi a mayo ma gen en e las mues as de las
dos clases.
En la igu a 6 se mues a un ejemplo de un hipe plano de una máquina de sopo e
ec o ial en un p oblema de dos clases.
Figu a 6: Hipe plano Clasi icado SVM
.
Me odología usada
24
se u iliza án las mé icas desc i as en el siguien e apa ado como medida de
e aluación compa a i a en e los dis in os algo i mos.
Una ez seleccionadas las ca ac e ís icas que con o man el conjun o de da os de abajo
y el clasi icado que mejo es esul ados o o ga en la de ección de wee s i ele an es, la
siguien e a ea se ía alida el mé odo en su o alidad con un conjun o de da os de o o
espacio empo al donde se pueda e i ica la capacidad de gene aliza y de ec a
posibles memes que exis an en ese espacio empo al.
Como se explicó en el capí ulo 2, un meme iene un momen o de apa ición que se hace
i al y muchos usua ios lo compa en y después deja de se i al. Pa a el caso de la
de ección de memes segu amen e hab ía que inclui en la in o mación del wee , cuál es
el ime-s amp de publicación del wee , así como el núme o de e wee s acumulado.
3.3 Mé icas de e aluación
En es e apa ado se de inen las mé icas que se han u ilizado pa a e alua es e abajo
[12], en p ime luga , se de ini án unos concep os undamen ales con su e minología en
inglés:
• Posi i es (P): es el núme o de e en os.
• Nega i es (N): es el núme o de mues as que no son los e en os que se quie en
de ec a .
• T ue Posi i es(TP): es el núme o de e en os de la clase posi i a clasi icados en
la clase posi i a.
• T ue Nega i es (TN): es el núme o de mues as de la clase nega i a
clasi icadas como e en os de la clase posi i a.
• False Nega i es (FN): es el núme o de mues as de la clase nega i a que se
clasi ican como clase posi i a.
• False Posi i es (FP): es el núme o de e en os de la clase posi i a que se
clasi ican como clase nega i a.
Ma iz de con usión:
La ma iz de con usión es una abla como la siguien e, que se u iliza á pa a ep esen a
el endimien o del clasi icado :

Me odología usada
25
Clase de los da os
Clasi icados como
posi i os
Clasi icados como
nega i os
Posi i e
T ue Posi i e (TP)
False Nega i e (FN)
P = TP + FN
Nega i e
False Posi i e (FP)
T ue Nega i e (TN)
N = TN + FP
Tabla 9: Ma iz de con usión
Accu acy: Es la medida de endimien o más in ui i a y simple de in e p e a . Es la
suma de acie os di idido del o al de elemen os.
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦= 𝑇𝑃+𝑇𝑁
𝑇𝑃+𝐹𝑃+𝐹𝑁+𝑇𝑁 𝜖 [0,1]
P ecisión: Es e indicado co esponde al a io de las p edicciones ealizadas posi i as
di idido en e odas las p edicciones posi i as.
𝑃𝑟𝑒𝑐𝑖𝑠𝑖ó𝑛= 𝑇𝑃
𝑇𝑃+𝐹𝑃 𝜖 [0,1]
Recall o T ue Posi i e a e (TP ): Es a a io ilus a las mues as p edichas
co ec amen e en e odas las que hay en la misma clase posi i a
𝑅𝑒𝑐𝑎𝑙𝑙= 𝑇𝑃
𝑇𝑃+𝐹𝑁 𝜖 [0,1]
F1-Sco e: O media a mónica en e la p ecisión y el ecall. Es el in e so de la media
a i mé ica
𝐹1−𝑆𝑐𝑜𝑟𝑒=(𝑅𝑒𝑐𝑎𝑙𝑙−1+𝑃𝑟𝑒𝑐𝑖𝑠𝑖ó𝑛−1
2)−1𝜖 [0,1]
Ope ando ob enemos:
𝐹1−𝑆𝑐𝑜𝑟𝑒=2· 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛·𝑅𝑒𝑐𝑎𝑙𝑙
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑅𝑒𝑐𝑎𝑙𝑙 𝜖 [0,1]
Suppo :
Es el núme o de ocu encias pa a cada clase e ique ada co ec amen e.
Me odología usada
26
Mic o-A e age y Mac o-A e age:
En el caso de que las clases del conjun o de da os sean desbalanceadas, enemos los
mé odos media Mic o (Mic o-a e age) y media Mac o (Mac o-a e age) que se puede
aplica pa a p omedia las mé icas an e io es.
El mé odo Mic o-a e age consis e en calcula en conjun o pa a odas las clases cada una
de las medidas de endimien o. Es o a o ece a que la clase mayo i a ia pun úe más y la
clase mino i a ia pun úe menos. En es e caso, la o ma de calcula las mé icas de
endimien o pa a un p oblema de clasi icación bina io, es al cual se ha expues o con
an e io idad, es deci :
𝑃𝑟𝑒𝑐𝑖𝑠𝑖ó𝑛 𝑀𝑖𝑐𝑟𝑜− 𝐴𝑣𝑔= 𝑇𝑃1+𝑇𝑃2
𝑇𝑃1+𝑇𝑃2+𝐹𝑃1+𝐹𝑃2 𝜖 [0,1]
𝑅𝑒𝑐𝑎𝑙𝑙 𝑀𝑖𝑐𝑟𝑜−𝐴𝑣𝑔= 𝑇𝑃1+𝑇𝑃2
𝑇𝑃1+𝑇𝑃2+𝐹𝑁1+𝐹𝑁2 𝜖 [0,1]
Po el con a io, el mé odo Mac o-a e age consis e en calcula cada una de las medidas
de endimien o pa a cada una de las clases y después da les el mismo peso a ambas
clases.
En un p oblema de clasi icación bina ia como el de es e abajo, la p ecisión con Mac o-
A e age se calcula á en p ime luga la p ecisión pa a cada una de las clases:
𝑃𝑟𝑒𝑐𝑖𝑠𝑖ó𝑛 𝑃1= 𝑇𝑃1
𝑇𝑃1+𝐹𝑃1 𝜖 [0,1]
𝑃𝑟𝑒𝑐𝑖𝑠𝑖ó𝑛 𝑃2= 𝑇𝑃2
𝑇𝑃2+𝐹𝑃2 𝜖 [0,1]
Una ez calculadas las p ecisiones po sepa ado, se ealiza el p omedio de los dos
alo es, es deci :
𝑃𝑟𝑒𝑐𝑖𝑠𝑖ó𝑛 𝑀𝑎𝑐𝑟𝑜− 𝐴𝑣𝑔 =𝑃1+𝑃2
2 𝜖 [0,1]
De o ma análoga, se calcula ía el ecall. En p ime luga , se calcula pa a cada clase po
sepa ado:
𝑅𝑒𝑐𝑎𝑙𝑙 𝑅1= 𝑇𝑃1
𝑇𝑃1+𝐹𝑁1 𝜖 [0,1]
𝑅𝑒𝑐𝑎𝑙𝑙 𝑅2= 𝑇𝑃2
𝑇𝑃2+𝐹𝑁2 𝜖 [0,1]
Me odología usada
27
Po úl imo, una ez calculado el Recall pa a cada una de las clases po sepa ado se
ealiza el p omedio de ambos:
𝑅𝑒𝑐𝑎𝑙𝑙 𝑀𝑎𝑐𝑟𝑜− 𝐴𝑣𝑔 =𝑅1+𝑅2
2 𝜖 [0,1]
Es e mé odo Mac o-a e age, pe mi e da la misma impo ancia a ambas clases
independien emen e de la can idad de mues as que enga. Pe mi e mos a de una
mane a más jus a las mé icas del clasi icado .
O o mé odo de e alua las mé icas es median e la media ponde ada, es o signi ica que
el alo de la mé ica se calcula clase po clase y después se mul iplica po la can idad
de mues as que había de la clase y se di ide del o al de mues as que han pa icipado,
dicho de o a mane a, cada media se mul iplica po el po cen aje de mues as que iene.
El mé odo de media ponde ada y Mic o-a e age han sido desca ados en es e abajo
dado a que el conjun o de da os es á desbalanceado y los esul ados de las mé icas
pod ían e se in luenciados a a o de los esul ados ob enidos en la clase mayo i a ia.
Expe imen os y esul ados
4.1 So wa e u ilizado
El p esen e abajo ha sido desa ollado exclusi amen e median e el uso del lenguaje
Py hon, es e lenguaje de p og amación c eado po Guido an Rossum a p incipios de
los años 90 y cons a de una licencia BSD que pe mi e su uso de mane a g a ui a
(h ps://www.py hon.o g ). Es o jun o con la g an can idad de lib e ías disponibles y la
po encia del lenguaje ha ayudado a su ue e expansión y que hoy en día sea uno de los
lenguajes más u ilizados.
Py hon es un lenguaje de p og amación in e p e ado o de sc ip s, con una sin axis
limpia y pensada pa a se un código legible po las pe sonas. Es un lenguaje de
p og amación mul ipa adigma, ya que pe mi e c ea p og amas de a ios es ilos de
p og amación, p og amación o ien ada a obje os, p og amación impe a i a (como C,
Fo an…) o p og amación uncional basado en el uso de unciones ma emá icas [36].
Las lib e ías que se han u ilizado en la ealización de es e abajo han sido:
- Pandas: Es a lib e ía ha sido u ilizada pa a la impo ación de los da ase s, así
como pa a la manipulación de los da os con enidos en dichos conjun os de da os
[37].
- Ma plo lib: Es una de las lib e ías más u ilizadas pa a mos a esul ados
g á icamen e. En es e abajo se han u ilizado pa a mos a las g á icas de ba as
y los boxplo s que apa ecen en es e abajo [38].
- Sciki -lea n: Es la lib e ía u ilizada pa a odas las a eas de machine lea ning,
desde el pa icionado de los da ase s, implemen ación del K-Fold c oss
alida ion, implemen ación de los algo i mos de machine lea ning. [39]
- Gensim: Es la API u ilizada pa a implemen a el algo i mo Doc2 ec que
con ie e documen os de ex o, en es e caso wee s en ec o es de N-
dimensiones pa a pode abaja con ellos con los algo i mos de clasi icación
[40]
Expe imen os y esul ados
29
- NLTK: Es una pla a o ma pa a abaja en py hon con lenguaje na u al, és a ha
sido u ilizada pa a la p epa ación de los ex os de los wee s an es de se
con e idos a ec o es pa a p ocesa los median e los algo i mos de machine
lea ning. [41]
- Wo dCloud: Es la lib e ía u ilizada pa a la ealización de las nubes de palab as
más epe idas po cada clase. [42]
4.2 Expe imen os ealizados
Según se ha explicado en el capí ulo 3, la p ime a a ea a ealiza después de ealiza
una e isión del es ado del a e ac ual ha sido cons ui el da ase de abajo. El da ase
ha sido ealizado as analiza el s eam de wee s ob enidos de la consul a de la API
s eaming de wi e .
4.2.1 E ique ado del da ase
La consul a de dominio consis e en una se ie de palab as cla e , de modo que si
apa ecen en un wee , la API de uel e el wee que con iene alguna de las palab as
cla e. Las palab as que o man la que y en la API de Twi e son las siguien es:
en i ies = ["opel co sa", " auxhall co sa", "Renaul Clio", "Ci oen C3", "Peugeo
207", "Sea Ibiza", "Peugeo 208", "Toyo a Au is", "Renaul Megane", "Peugeo 308",
"Ci oen C4", "Fo d Focus", "Sea Leon", "Toyo a A ensis", "opel insignia", " auxhall
insignia", "Ci oen C5", "Fo d Mondeo", "Peugeo Bippe ", "Ci oen Nemo", "Renaul
Kangoo", "Ci oen Be lingo", "Peugeo Pa ne ", "Fo d T ansi ", "Volkswagen Caddy",
"Nissan NV200", "Ci oen Jumpy", "Peugeo Expe ", "Opel Vi a o", "Vauxhall Vi a o",
"Nissan Pa h inde ", "Nissan Qashqai", "Toyo a Ra 4", "Toyo a Ra 4", "Land Ro e
F eelande ", "NISSAN X-TRAIL","Nissan x ail", "Land Ro e De ende ", "Mi subishi
Mon e o", "Mi subishi Paje o", "Shogun Spi i ", "Mi subishi L200", "Toyo a Hilux",
"Volkswagen Ama ok", "Nissan Cabs a ","Sea A ona","Sea A eca","Renaul Talisman"]
El p oceso ealizado pa a e ique a y cons ui el conjun o de da os es el que se ha
explicado en el diag ama de bloques de la igu a 7. T as ealiza dos i e aciones al
p oceso de inido en el diag ama de bloques, se ha gene ado el da ase inal de abajo
median e las consul as que se desc iben en las ablas 10 y 11 que han p opo cionado las
e ique as pa a las dos clases posibles:
En la abla 10 se mues an odas las consul as de palab as o cadenas de palab as
ealizadas pa a e ique a los wee s de la clase 1, o clase ele an e.

Expe imen os y esul ados
30
Clase Rele an e
#Sea 600
CV
Lamen ablemen e me ocó a mí
expe o
Diesel
Los lunes no siemp e son g ises
sea leon
TDI
Ruego que cualquie a que pasase po la A67
di ección
Peugeo 208
CDTI
Se busca a una amiga. Su ehículo es un Fo d
ocus
Anda un peugeo 207
GTI
chicas de illescas ened cuidado!!!
Ma ga i a Ba ien os
#Fo d
Pa a odas las chicas de To ejón
endo sea
#Nissan
Figue uelas
Se ende
#Peugeo
PEUGEOT 207 COMPAC NEGRO
PATENTE LXJ893
FORD TRANSIT
#Opel
Hoy han uel o a pe segui me po la
Cas ellana es coches
en ing
#Ci oen
Nos acaban de oba en la bomba COPEC
oba on
#Mi subishi
Pa h inde
#Los40BasicoOpelCo sa
#Suba u
Toyo a anunció que aumen aba
Albo an
#Hyundai
TABLÓN de ANUNCIOS
#doncas e isg ea
#Renaul ClioCup
Robado
#ROBADO
#luxu yca s
S olen
#URGENT
#Daka
Año
Yea
Tabla 10: Consul as pa a e ique a clase ele an e
En la abla11, se pueden obse a en las es p ime as consul as una búsqueda con dos
palab as que podían apa ece sepa adas y po ello se ha ealizado la búsqueda
cumpliendo las dos condiciones, al lado del símbolo “&”.
Clase I ele an e
ADHD & ocus
Opel Co sa blanco mal apa cado
Piso & To e ieja
-Pe donad, hay un SEAT Ibiza ojo apa cado en la pue a, que
aya el dueño
sma & ocus
Más enso que el dueño de una Ci oën Be lingo
Vendo Opel Co sa
Scioli pidió e la le a chica del acue do con el FMI'
Se ende opel co sa
Dios es ese p imo uyo que dejó
#Eu o ision
El audio de Simeone end ía más epe cusión
#Eu o ision
Pa a pedi comida po a o
ma icula 6969
Twi e ya ha pe dido la poca co du a que le quedaba
#VendoOpelCo sa
nugge s de pollo
lambo gini
@Della uen e_ Vendo opel co sa
#Mpun oRajoy
Ni que me ap es a an las pa as como pa a
Rajoy
Hoy odos los dipu ados del PP han abandonado
Puigdemon
#Folla es á sob e alo ado
u ian
La p ocesión de las au opis as esuci adas con dine o público
a anca el sábado
Colau
Al dueño del Opel Co sa e de
I ene_Mon e o
Yo más que un Fe a i soy un Renaul
Adol o Suá ez
T anquilos que cuando Pablo e I ene
demóc a a
Vi gen San ísima la pin a que iene Sampaoli de ene un Sea
León ama illo
Ba ajas
Pueden saca una empo ada del Fo ni e basada en ba ios de
España donde puedas conduci un 600
A juzga po los un olous
ninja
Pajamei
Jaja
Tabla 11: Consul as pa a e ique a clase i ele an e
Expe imen os y esul ados
31
4.2.2 Es udio de los da os
En es e pun o se ha a ado de iden i ica y selecciona ca ac e ís icas de las mé icas.
Pa a ello en p ime luga se ha ealizado un análisis es adís ico de las mé icas sepa adas
po clase 1 y clase 2. Se ha esumido en las ablas 12 y 13.
Resumen es adís ico Mé icas Clase 1
Fa ou i es
coun
Followe s
coun
F iends
coun
S a uses
coun
OnDomain
wee s
coun
121129.0
121129.0
121129.0
121129.0
121129.0
mean
7,932E+15
6,291E+15
2,150E+16
3,987E+15
1,728E+15
s d
2,637E+16
6,607E+15
1,026E+16
9,272E+15
6,130E+16
min
0.0
0.0
0.0
1.0
1.0
25%
12.0
148.0
174.0
2259.0
2.0
50%
487.0
584.0
513.0
9776.0
64.0
75%
5213.0
2093.0
1469.0
40454.0
794.0
max
1043111.0
6689508.0
346450.0
2923351.0
89436.0
Tabla 12: Resumen es adís ico de las mé icas de la clase ele an e
Las ablas del análisis es adís ico ienen ocho ilas que ep esen an:
- Coun : Núme o o al de wee s con da os de cada una de las columnas
- Mean: Valo medio de los da os con enidos en cada una de las columnas
- S d: Des iación es ánda de los da os con enidos en cada columna
- Min: Valo mínimo
- 25%, 50%, 75%: Can idad de alo es en el in e alo 0 a 25, 25 a 50 y 50 a 75
- Max: Can idad de alo es en el in e alo 75 a 100
Resumen es adís ico Mé icas Clase 2
Fa ou i es
coun
Followe s
coun
F iends
coun
S a uses
coun
onDomain
wee s
coun
27717.0
27717.0
27717.0
27717.0
27717.0
mean
1,530E+16
1,289E+16
5,983E+15
2,602E+16
2,973E+16
s d
3,121E+16
1,330E+16
1,389E+15
4,709E+15
3,768E+16
min
0.0
0.0
0.0
1.0
1.0
25%
1804.0
151.0
192.0
4246.0
1.0
50%
5694.0
330.0
351.0
12302.0
1.0
75%
16331.0
656.0
642.0
29647.0
2.0
max
843624.0
1365769.0
143793.0
1299921.0
16686.0
Tabla 13: Resumen es adís ico de las mé icas de la clase i ele an e
En la igu a 8 se mues an los boxplo s de cómo se dis ibuyen las mé icas de los
usua ios en unción de la clase a la que pe enece cada uno de los wee s publicados. El
obje i o del análisis de los boxplo s es en ende cuan o pueden apo a cada una de las
Expe imen os y esul ados
32
mé icas en la a ea de segmen a las clases. Si compa amos las mé icas
On_Domain_ wee s y S a uses compa ision que son el núme o o al de wee s en el
dominio de la consul a y el o al de wee s publicados po el usua io, se e como la
p ime a segmen a á mejo los wee s que la segunda.
Figu a 8: Boxplo s de las mé icas po clase
Expe imen os y esul ados
33
Al conjun o de mé icas se pod ía habe añadido la mé ica e wee s que iene un wee ,
ya que ayuda ía en la de ección de memes. Como se explicó en el capí ulo 2, un wee
conside ado meme es un wee que, a pesa de no habe nacido pa a se meme, acaba
con i iéndose en i al. La mé ica e wee se ha deses imado su inco po ación dado
que el núme o de e wee s p opo ciona á una in o mación de i alidad que no se á
online si no que se á as epe i se el mismo wee e i inc emen ando el con ado de
wee s de mane a dinámica, po ello se conside a una mé ica in e esan e pa a un
análisis a pos e io i pe o no cumpli ía el obje i o de de ec a wee s memes en iempo
eal.
Con inuando con el análisis de los da os se ha ealizado un Wo d Cloud con las 100
palab as más epe idas en cada una de las dos clases. En la igu a 9 se pueden e las
palab as más epe idas de la clase ele an e y en la igu a 10 las palab as más epe idas
en los wee s de clase i ele an e.
Obse ando las palab as que más se epi en en la igu a 9, se puede deduci sin mi a el
pie de la igu a que se a a de las palab as que más ienen que e con el dominio de la
consul a ya que apa ecen muchas palab as de modelos de coches, ma cas, e c.
Figu a 9: Rep esen ación de las 100 palab as más epe idas en la clase 1
Sin emba go, al obse a las palab as más epe idas en la igu a 10 se pueden e
palab as del dominio como Opel co sa, pe o las demás no pe enecen al dominio de la
consul a ealizada. Es as dos palab as que son del dominio es án u ilizadas ue a del
con ex o del dominio de la consul a y po ello es án den o de las conside adas de la
clase i ele an e coinciden con el amoso meme “Vendo Opel Co sa”.
Den o del mismo ejemplo de endo Opel co sa, en mayo del 2018 du an e el es i al de
eu o isión hubo una mu ación del ípico meme endo Opel co sa que se hizo muy i al
po que un espon áneo sal ó al escena io cuando es aba can ando la ep esen an e del
Reino Unido.
Expe imen os y esul ados
40
Po o o lado, ambién se debe ía analiza si las mé icas elegidas son las más
adecuadas, así como e la posibilidad de elimina alguna que p opo cione meno
sepa ación de clases, po ejemplo, e alua según el boxplo de la igu a 11, si la mé ica
s a uses coun que indica el núme o de wee s emi idos po ese usua io selecciona la
clase ele an e de la que no lo es.
O a a ea a ealiza es el es udio de añadi nue as mé icas como puede se el ime-
s amp de cada wee , que puede ayuda a de ec a wee s que son epe idos en un
espacio de iempo pequeño como sucede con los memes. A di e encia de inclui el
núme o de e wee s, es a mé ica pod ía segmen a que se es é epi iendo un wee
po que los ec o es sean iguales o simila es, y que la ce canía empo al p ediga que se
a e de un meme [19].
Una ez seleccionada la mane a en la que amos a con ecciona el da ase , la siguien e
a ea es e alua cuál es el mejo clasi icado pa a esol e el p incipal obje i o de es e
abajo, de ec a wee s i ele an es.
En p ime luga , se ha seleccionado el clasi icado de Naï e Bayes como línea base con
la que compa a los esul ados ob enidos. Como e a de espe a según lo is o en la
bibliog a ía no es el mejo clasi icado pa a mine ía de ex os, pe o es el más elegido
pa a compa a los esul ados de los clasi icado es en Machine Lea ning.
En la igu a 13 es án ep esen adas las p ecisiones de odos los algo i mos en cada uno
de los ensayos. Se puede e que la p ecisión de los clasi icado es Random Fo es y
XGBoos son mejo es en los es ensayos, a excepción del ensayo 1 donde la máquina
de Sopo e Vec o ial con ke nel adial supe a a es os dos clasi icado es. Como se ha
is o an e io men e, la o ma de cons ui el da ase con solo mé icas no es la mejo ,
po lo que nos queda emos con los esul ados de los o os dos ensayos, donde ambos
clasi icado es han ob enido mejo p ecisión, es deci mejo a io en e los clasi icados
co ec amen e.
La mé ica denominada p ecisión de un clasi icado es impo an e, pe o no es la única,
ya que la p ecisión no iene en cuen a cuan os ha clasi icado e óneamen e. Como se
explicó en el capí ulo 3, pa a eso enemos el ecall. Es a mé ica es á ep esen ada en la
igu a 14 y se puede e como en el ensayo de mé icas y ec o es, los clasi icado es
SVM ob ienen esul ados bas an e peo es (de cua o a cinco décimas) que los ob enidos
po Random Fo es y XGBoos .

Expe imen os y esul ados
41
Figu a 15: G á ica F1-Sco e po clasi icado s ensayo
Con la p ecisión po un lado y el ecall po o o enemos dos mé icas impo an es pa a
pode elegi cual es el clasi icado que amos a selecciona pa a esol e el p oblema,
pe o si se quie e encon a un equilib io en e ellas, se puede ealiza la media a mónica
en e ambas mé icas y ob enemos la mé ica llamada F1-sco e. Es a mé ica es á
ep esen ada pa a cada clasi icado en la igu a 15.
De la g á ica de la igu a 15 podemos des aca el clasi icado SVM con ke nel adial,
denominado SVC en la leyenda. Es e modelo ob iene el peo esul ado en el ensayo de
mé icas y ec o es. Es e esul ado es á e o zado po la a io de Falsos posi i os
ob enidos en los es ensayos y que se ilus an en la igu a 16. Es a a io se ha ob enido
de ealiza la acción en e los Falsos Posi i os de la clase 2, en e las mues as de la
clase 2 en cada ensayo.
Figu a 16: G á ica a io Falsos posi i os en clase I ele an e
Como esumen a los esul ados expues os se puede conclui que los mé odos
combinados dan los mejo es esul ados. Ambos clasi icado es, Random Fo es y
XGboos , han conseguido alo es muy pa ecidos en odas las mé icas, po lo que
ambos se ían álidos pa a cumpli con la a ea de clasi icación de es e abajo.
Conclusiones y T abajo u u o
5.1 Conclusiones
Pa a cualquie p oblema de Machine Lea ning lo p ime o que se necesi a es dispone de
lo que se conoce como “g ound u h”, o lo que es lo mismo, dispone del da ase
e ique ado con la clase a la que pe enece cada una de las mues as.
Una de las a eas más cos osas de es e abajo ha sido consegui e ique a el conjun o de
da os de abajo, ya que a p io i solamen e se disponían de los wee s sin e ique a . El
mé odo p opues o en el capí ulo 3 pa a e ique a el da ase es un p oceso semi-
supe isado que aumen a p opo cionalmen e su cos e cuan o más g ande es el conjun o
de da os a e ique a .
Los esul ados ob enidos en los ensayos son bas an e buenos, aunque pod ían es a
in luidos po a ios ac o es que pueden hace duda de los mismos:
- La o ma en la que se ha cons uido el da ase deja ue a muchos wee s que sean
di e en es a los demás, o uni a ios en o ma y ocabula io. El da ase ac ual
con iene wee s e ique ados po alguna cadena de ex o que se ha is o en
epe idas ocasiones den o del da ase .
- Sob e ajus e p oducido po el ocabula io in e ido con la misma colección de
es eo. El ocabula io ha sido gene ado en una e apa an e io a in e i los
ec o es de odo el conjun o de da os que después se ía di idido en un conjun o
de en enamien o y o o de e aluación al como se ha explicado en el capí ulo 4.
Po el con a io, hay o as e idencias que pe mi en con ia en los esul ados ob enidos.
En p ime luga , las mé icas po si solas ya disc iminan bas an e bien las clases, al y
como se io de an emano en el análisis de las mé icas, y su pos e io ensayo con el
da ase de solo mé icas. En segundo luga , el conjun o de en enamien o ha sido
ealizado median e alidación c uzada, lo cual debe ía educi el p oblema del
sob eajus e an e io men e mencionado.
Como ya se ha dicho, el mé odo p opues o pa a consegui el obje i o de es e abajo
debe conlle a una a ea de een enamien o del algo i mo donde se amplíe ambién el
ocabula io pa a i adap ándose a las nue as o mas de exp esa se y las nue as
emá icas que se es án comen ando en la ed.
Conclusiones y abajo u u o
43
5.2 T abajo u u o
A co o plazo, se ía necesa io ealiza un es udio más exhaus i o u ilizando mé odos no
supe isados en conjun os muy g andes de wee s, de o ma simila al abajo de [19].
También se ía in e esan e en ena y alida los modelos de ap endizaje en pe iodos
empo ales muy sepa ados. De es a o ma, pod ía e alua se cuán o ha gene alizado el
algo i mo p opues o, a la ho a de ob ene pa ones de las mé icas de usua ios y de las
elaciones de nue os memes.
Las opciones pa a alo a cómo de bien gene aliza el algo i mo se ían dos.
Empeza emos desc ibiendo la p ime a y más o odoxa, aunque ambién más cos osa:
1. Repe i el p oceso desc i o en el capí ulo 3 pa a e ique a el da ase .
2. En pa alelo al p oceso de e ique ado se pod ían in e i los ec o es de los nue os
wee s u ilizando el ocabula io ap endido pa a el conjun o de da os de es e
abajo no el del nue o da ase .
3. Una ez engamos e ique ado el da ase y los ec o es in e idos, cons ui íamos
el nue o da ase con las nue as mé icas del usua io que ha publicado cada wee
y los ec o es de es os wee s.
4. Con el nue o da ase cons uido, en ena íamos el algo i mo con odo el banco
de da os del abajo ac ual y pasa íamos a p edeci las clases del nue o da ase .
5. Po úl imo, solo queda ía e alua los esul ados con las mé icas desc i as en el
capí ulo 3.
La segunda opción, y menos cos osa, aunque no comple a, se ía e alua cuan o ha
gene alizado el algo i mo de es e abajo cen ándonos únicamen e en los wee s
de ec ados como i ele an es:
1. In e i los ec o es del nue o da ase con el ocabula io del conjun o de da os
del p esen e abajo.
2. Cons ui el nue o da ase con las mé icas y ec o es, al y como se ha
explicado en el mé odo an e io .
3. Una ez cons uido el da ase , p ocede a clasi ica los nue os wee s en las
clase ele an e o i ele an e. Con los wee s de es a úl ima clase que es la clase
de in e és a de ec a en el abajo, ealiza íamos una inspección manual
únicamen e de los wee s ob enidos en la clase obje o de es udio.
Es e úl imo mé odo iene el incon enien e que amos a pe de odos los wee s que se
hayan clasi icado e óneamen e en la clase 1 ( ele an e) y pe enezcan a la clase 2
(i ele ena e). Es o signi ica que pe de íamos odos los Falsos Posi i os y no pod íamos
calcula ni la p ecisión ni el accu acy del clasi icado en es e nue o escena io, y
solamen e pod íamos calcula el ecall, ya que en las an e io es mé icas es necesa io
dispone de la in o mación de los Falsos Nega i os.
O o pun o que se pod ía conside a es la e aluación de cuán o apo a cada una de las
mé icas a la clasi icación, y e si o a in o mación puede ayuda a la a ea de
clasi icación de memes, po ejemplo, añadi el ime-s amp de cada wee pod ía ayuda
en la de ección de memes como se mencionó an e io men e.
Re e encias
[1] R. Be langa, L. Ga cía-Moya, V. Nebo , M. José A ambu u, I. Sanz, D. Ma ía Llidó:
SLOD-BI: An Open Da a In as uc u e o Enabling Social Business In elligence.
IJDWM 11(4): 1-28 2015
[2] h ps://hoo sui e.com/ (Úl imo acceso e i icado: 8 de agos o de 2018)
[3] J.Huang, KM. Toho n on EN EF himiadis Con e sa ional Tagging in
Twi e . P oceedings o he 21s ACM con e ence on Hype ex and hipe media Jun.
2013
[4] h ps://de elope . wi e .com/en/docs (Úl imo acceso e i icado: 8 de sep iemb e
de 2018)
[5] h ps://de elope . wi e .com/en/apply/use (Úl imo acceso e i icado: 8 de
sep iemb e de 2018)
[6] h ps://de elope . wi e .com/en/docs/ wi e - o -websi es/log-in-wi h-
wi e /guides/implemen ing-sign-in-wi h- wi e .h ml
(Úl imo acceso e i icado: 8 de sep iemb e de 2018)
[7] A. Sanzgi i, A. Hughes and S. Upadhyaya. Analysis o Malwa e P opaga ion in
Twi e . IEEE 32nd In e na ional Symposium on Reliable Dis ibu ed Sys ems. Oc .
2013
[8]A. Agga wal, A. Rajadesingan, P. Kuma agu u. PhishA i:Au oma ic Real ime
Phishing De ec ion on Twi e . Oc . 2012
[9] Abdullah Talha Kabakus, Resul Ka a. A Su ey o Spam De ec ion Me hods on
Twi e . In e na ional Jou nal o Ad anced Compu e Science and Applica ions, Vol. 8,
No. 3, 2017 
[10] C.D. Gow i, V. Mohan aj, A Su ey on Spam De ec ion in Twi e : A Re iew, In .
J. Compu . Sci. Bus. In o ma ics. 14 (2014) 92–102.
h p://ijcsbi.o g/index.php/ijcsbi/a icle/ iew/418. 
Re e encias
45
[11] Y. He, H. Sai , Z. Wei, K. Wong Quan ising Opinions o Poli ical Twee s
Analysis. Aug 2014
[12] C. O’Neil and R. Schu : Doing Da a Science. S aigh alk om he on line.
Edi o ial O’Reilly. Oc . 2013
[13] C. Yang, R. Ha k eade , G. Gu: Empi ical E alua ion and New Design o
Figh ing E ol ing Twi e Spamme s, IEEE T ans. In . Fo ensics Secu . 8 2013
[14] R. Dawkins. El gen egoís a. Edi o ial: Ox o d Uni e si y P ess. Jul. 1976
[15] G. Pé ez, A. Aguila y M.E nes ina. El meme en in e ne . Usos sociales,
ein e p e ación y signi icados, a pa i de Ha lem Shake. Aug. 2014
[16] D. Kempe, J. Lleinbe g, E. Ta dos. Maximizing he sp ead o in luence h ough a
social ne wo k. ACM SIGKDD in e na ional con e ence on Knowledge disco e y and
da a mining. Aug 2003
[17] M. Coscia. Compe i ion and Success in he Meme Pool: a Case S udy on
Quickmeme.com (Ap . 2013)
[18] L.K. Hansen, A. A idsson, F.A. Nielsens, E. Colleoni, M .E e : Good F iends,
Bad News A ec and Vi ali y in Twi e . 6 h In e na ional Con e ence, Fu u eTech Jun.
2011
[19] M. Ja a iAsbagh, F. Mencze , E. Fe a a, O. Va ol, A. Flammini. Clus e ing
memes in social media. 2013 IEEE/ACM In e na ional Con e ence on Ad ances in
Social Ne wo ks Analysis and Mining (ASONAM 2013). Aug.2013
[20] T. Mikolo , K. Chen, G. Co ado, and J. Dean. E icien es ima ion o wo d
ep esen a ions in ec o space. CoRR, abs/1301.3781, 2013.
[21] J. Penning on, R. Soche , and C. D. Manning. Glo e: Global ec o s o wo d
ep esen a ion. In EMNLP, pages 1532–1543. ACL, 2014.
[22] Y. Bengio, R. Ducha me, P. Vincen . A neu al p obabilis ic language model.
Jou nal o Machine Lea ning Resea ch, 3:1137-1155, 2003.
[23] T. Mikolo , W.T. Yih, G. Zweig. Linguis ic Regula i ies in Con inuous Space
Wo d Rep esen- a ions. NAACL HLT 2013.
[24] T. Mikolo , Dis ibu ed Rep esen a ions o Sen ences and
Documen s. In e na ional Con e ence on Machine Lea ning. 2014.

Re e encias
46
[25] M. Kusne , Y. Sun, N. Kolkin, and K. Weinbe ge . F om wo d embeddings o
documen dis ances. In In e na ional Con e ence on Machine Lea ning (pp. 957-966).]
Jun. 2015.
[26] G. Huang, C.Guo, Y.Kilian, M.J.Kusne and F.Sha. Supe ised Wo d Mo e ’s
Dis ance. Neu al In o ma ion P ocessing Sys ems Con e ence. Dic. 2016
[27] M.Kanaka aj, R.Mohana and R.Gudde i NLP Based Sen imen Analysis on
Twi e Da a Using Ensemble Classi ie s. 2015 3 d In e na ional Con e ence on Signal
P ocessing, Communica ion and Ne wo king. Ma . 2015
[28]M.Buuch, I. Lee and T. Wu. NLP-based App oach o Twi e Use Classi ica ion
[29] A.Ho ho, A.Nü nbe ge , G. Paass. A B ie Su ey o Tex Mining. Jou nal o
Compu a ional Linguis ics and Language Technology. May. 2005
[30] M. Fe nández-Delgado, E. Ce nadas and S. Ba o. Do we Need Hund eds o
Classi ie s o Sol e Real Wo ld Classi ica ion P oblems? Jou nal o Machine Lea ning
Resea ch. Oc .14
[31] Nebo , V., Rangel, F., Be langa, R., & Rosso, P. Iden i ying and Classi ying
In luence s in Twi e only wi h Tex ual In o ma ion. In In e na ional Con e ence on
Applica ions o Na u al Language o In o ma ion Sys ems (pp. 28-39). Sp inge , Cham.
Jun. 2018
[32] T.Chen and C.Gues in. XGBoos : A Scalable T ee Boos ing Sys em. P oceedings
o he 22nd ACM SIGKDD In e na ional Con e ence on Knowledge Disco e y and
Da a Mining. Aug. 2016.
[33] J. Vande Plas. Py hon Da a Sciende Handbook. Essen ial Tools o wo king wi h
da a. Edi o ial O’Reilly. Dec. 2016
[34] R. Azna , R. Del Hoyo and M. del Ca men Rod íguez. Towa ds a S uc u ed
Rep esen a ion o Resul s in an In o ma ion Re ie al Sys em o Public Examina ion
Calls. P oceedings o he 5 h Spanish Con e ence on In o ma ion Re ie al. Jun. 2018
[35] .F. Godoy. Técnicas de ap endizaje de máquina u ilizadas pa a la mine ía de
ex o. In es ig. bibl ol.31 no.71 México Ap . 2017
[36] A. C. Mülle and S.Guido. In oduc ion o Machine Lea ning wi h Py hon. A
guide o da a scien is s. Edi o ial O’Reilly. Oc . 2016.
[37] h ps://pandas.pyda a.o g/ (Úl imo acceso e i icado: 8 de sep iemb e de 2018)
[38] h ps://ma plo lib.o g/ (Úl imo acceso e i icado: 8 de sep iemb e de 2018)
[39] h p://sciki -lea n.o g (Úl imo acceso e i icado: 8 de sep iemb e de 2018)
[40] h ps:// adim ehu ek.com/gensim/ (Úl imo acceso: 8 de sep iemb e de 2018)
Re e encias
47
[41] h ps://www.nl k.o g/ (Úl imo acceso e i icado: 8 de sep iemb e de 2018)
[42] h ps://www.da acamp.com/communi y/ u o ials/wo dcloud-py hon
(Úl imo acceso e i icado: 8 de sep iemb e de 2018)
[43] O. I soy, O. Tane , and E. Alpayd. Design and Analysis o Classi ie Lea ning
Expe imen s in Bioin o ma ics: Su ey and Case S udies. IEEE/ACM T ansac ions On
Compu a ional Biology And Bioin o ma ics. No . 2012
[44] D. K s ajic, L.J. Bu u o ic, D. E Leahy and S. Thomas. C oss- alida ion pi alls
when selec ing and assessing eg ession and classi ica ion models. Jou nal o
Chemin o ma ics. Jan. 2014
[45] B.Klim , Y.Yang. The En on Co pus: A New Da ase o Email Classi ica ion
Resea ch. Eu opean Con e ence on Machine Lea ning. Sep. 2004