De ecci´on de A mas en V´ıdeos Digi ales
T abajo
Fin de G ado
TRABAJO FIN DE GRADO
GRADO EN INGENIER´
IA INFORM´
ATICA
CURSO 2018–2019
PABLO ESTEVE CALZADO
ALEJANDRO MENDOZA SILVA
Di ec o es
Luis Ja ie Ga c´ıa Villalba
Ana Lucila Sando al O ozco
Depa amen o de Ingenie ´ıa del So wa e e In eligencia A i icial
Facul ad de In o m´a ica
Uni e sidad Complu ense de Mad id
Mad id, Junio de 2019
Ag adecimien os
Pablo Es e e Calzado
En p ime a ins ancia me gus a ´ıa ag adece a mis u o es, Ana y Ja ie , la ayuda que
me han dado du an e odo el p oceso de desa ollo del TFG.
Ag adezco a mi compa˜ne o de TFG y g an amigo, ´
Alex, quien ha hecho que el TFG
sea di e ido. Me lle o una g an amis ad con igo.
Ag adezco a mis amigos Pepe, Pelayo, Paimei, No e˜na, D ue , Chemas, Ne o, Ma ´ın,
y muchos m´as, que han es ado en los momen os di ´ıciles y en los momen os elices. Han
hecho en g an medida que sea la pe sona que soy y es a ´e e e namen e ag adecido.
Ag adezco a mi amilia el apoyo incondicional que me han demos ado a lo la go
de oda mi ida. A mi o a ”mad e”, po se la mejo abuela del mundo. A Raya, po
oda la elicidad que me dis e. A mi he mano Al onso, po que siemp e me ha apo ado
pe sepec i as de la ida que nadie m´as me apo a. A mi he mano Jo ge, po que consigui´o
que cambia a mi ida po comple o. A mi pad e, po que me ense˜na que hay muchas
o mas de que e , y ayuda no es siemp e deci lo que se quie e oi . A mi mad e, a quien
le debo odo lo que he conseguido y lo que oy a consegui en la ida, po que me ha
demos ado que la elicidad se consigue con es ue zo.
Quie o ag adece especialmen e a Ca olina odo lo que ha hecho po mi. Me haces se
eliz en odas sus e ien es. Todas las palab as son pocas pa a exp esa los sen imien os
que engo hacia i. Sin i nada hubie a sido posible. Nada. G acias po es a en los
mejo es y en los peo es momen os. Te quiego.
iii
i
Alejand o Mendoza Sil a
Quie o da las g acias en p ime luga a mis pad es. Me si i´o de ayuda la con ianza
que ambos deposi a on hacia mi. Menciona a mi mad e, que me con enci´o de que yo e a
capaz de hace cualquie cosa que me p opusie a. Es o ue un ac o de e minan e y lo
se ´a a lo la go de mi ida an o en mi desa ollo p o esional como pe sonal.
A mi pad e po su inago able ene g´ıa que me p o ey´o de odo lo necesa io pa a
lle a a cabo mis es udios, con su ejemplo de es ue zo y dedicaci´on me mo i o cada d´ıa
a le an a me y pone empe˜no en el desa ollo de mi ca e a. Tambi´en ag adece a m´ı
he mana po su con inua p eocupaci´on po la p og esi´on de mis es udios, sin i ampoco
hubie a sido posible es o.
Menciona a mi compa˜ne o y amigo Pablo, sin i es a a en u a no hab ´ıa sido la
misma, espe o que no sea la ´ul ima y nues os caminos uel an a jun a se.
Ag adece a mis u o es Ana y Ja ie po acep a el e o y uni se con Pablo y conmigo
a es a ama an compleja y no edosa de la in o m´a ica.
Quie o conclui diciendo que an o mi pad e, mi mad e y mi he mana han sido, y
se ´an, mis pila es en es a ida y me es o za ´e pa a hace les sen i o gullosos, pa a que
cada momen o que in i ie on en mi no sea en ano. Os quie o amilia.

´
Indice Gene al
´
Indice de Figu as XI
´
Indice de Tablas XIII
Abs ac XVII
Resumen XIX
1. In oducci´
on 1
1.1. Mo i aci´on .................................... 1
1.2. Con ex o ..................................... 1
1.3. Obje i os y en oque ............................... 2
1.4. Plan de abajo .................................. 3
1.5. Es uc u a de la Memo ia ............................ 5
2. In eligencia A i icial 7
2.1. His o ia de la In eligencia A i icial ....................... 7
2.2. Modelo Neu onal ................................. 9
2.3. Redes Neu onales A i iciales .......................... 10
2.4. En enamien o de las Redes Neu onales A i iciales .............. 10
2.4.1. En enamien o Supe isado ....................... 11
2.4.1.1. En enamien o po Co ecci´on de E o ........... 11
2.4.1.2. En enamien o po Re ue zo ................. 11
2.4.1.3. En enamien o Es oc´as ico .................. 11
2.4.2. En enamien o no Supe isado ..................... 12
2.4.2.1. En enamien o Hebbiano ................... 12
2.4.2.2. En enamien o Compe i i o y Compa a i o ......... 12
2.5. T´ecnicas en la In eligencia A i icial ...................... 12
2.5.1. Ap endizaje Au om´a ico ......................... 12
2.5.2. Ap endizaje P o undo .......................... 13
2.6. In eligencia A i icial s Ap endizaje Au om´a ico s Ap endizaje P o undo . 14
2.7. Visi´on A i icial .................................. 15
2.8. Clasi icaci´on de Obje os ............................. 15
2.9. De ecci´on de Obje os ............................... 16
2.10. T´ecnicas de De ecci´on de Obje os ........................ 17
ii
iii ´
INDICE GENERAL
2.11. Modelos ...................................... 25
2.11.1. De ec o es de una E apa ......................... 25
2.11.1.1. De ec o de Un Solo Vis azo ................. 25
2.11.1.2. Solo Mi as Una Vez ...................... 26
2.11.2. De ec o es de Dos E apas ........................ 28
2.11.2.1. Red Neu onal Con olucional Basada en Regiones ...... 28
2.11.2.2. Red Neu onal Con olucional R´apida Basada en Regiones . 29
2.11.2.3. Red Neu onal Con olucional M´as R´apida Basada en
Regiones ............................ 30
2.11.2.4. LSTM .............................. 31
3. Modelo de De ecci´
on de A mas en V´
ıdeos Digi ales 33
3.1. Colecci´on de Im´agenes .............................. 33
3.1.1. Ca ac e ´ıs icas .............................. 34
3.2. Con igu aci´on del Modelo ............................ 34
3.2.1. Keep Aspec Ra io Resize ....................... 35
3.2.2. Fea u e Ex ac o ............................ 35
3.2.3. Fi s S age Ancho Gene a o ...................... 35
3.2.4. Ini ialize ................................. 36
3.2.5. E apas ................................... 36
3.2.5.1. P ime a E apa ......................... 36
3.2.5.2. Segunda E apa ......................... 37
3.2.6. ROI Polling (Regiones de In e ´es) ................... 38
3.2.7. Op imize ................................. 38
3.2.8. O os Pa ´ame os ............................ 39
3.2.9. En ada de E aluaci´on del En enamien o ............... 40
3.2.10. Con igu aci´on de la E aluaci´on ..................... 40
4. Expe imen aci´
on y Compa a i a 41
4.1. Expe imen o 1 .................................. 42
4.2. Expe imen o 2 .................................. 44
4.2.1. Fas e RCNN con P ime a Colecci´on de Da os ............ 44
4.2.2. Fas e RCNN con Segunda Colecci´on de Da os ............ 44
4.2.3. Fas e RCNN con Te ce a Colecci´on de Da os ............. 44
4.2.4. Fas e RCNN con Cua a Colecci´on de Da os ............. 45
4.2.5. Compa a i a ............................... 45
4.3. Expe imen o 3 .................................. 46
4.3.1. P ime as Con igu aciones ........................ 47
4.3.2. Segundas Con igu aciones ........................ 48
4.3.3. ´
Ul ima Colecci´on de Im´agenes ..................... 50
4.4. Resul ados ..................................... 51
4.4.1. Im´agenes de Ejemplo ........................... 52
´
INDICE GENERAL ix
5. Conclusiones y T abajo Fu u o 55
5.1. Conclusiones ................................... 55
5.2. T abajo Fu u o .................................. 56
6. In oduc ion 57
6.1. Mo i a ion .................................... 57
6.2. Con ex ...................................... 58
6.3. Objec i es and app oach ............................. 58
6.4. Wo k schedule .................................. 59
6.5. S uc u e ..................................... 61
7. Conclusions and Fu u e Wo k 63
7.1. Conclusions .................................... 63
7.2. Fu u e Wo k ................................... 64
8. Apo aciones Indi iduales 65
8.1. Pablo Es e e Calzado .............................. 65
8.2. Alejand o Mendoza Sil a ............................. 67
Bibliog a ´
ıa 69

Abs ac
This wo k has been done wi h he pu pose o de ec ing handguns on ideos using
a i icial in elligence algo i hms, o mo e speci ic, deep lea ning. We ha e ocused on
handgun de ec ion on ideos, e en hough he echniques used a e ele an o any o he
ype o objec like d ugs, pla es, aces, people...
The e was a p e ious wide esea ch o obse e he echniques and models ha a e pa
o he s a e-o - he-a , compa ing hei esul s o know which ones a e he be e o he
needs o his wo k.
Fo ob aining he bes esul s, he e a e 5 expe imen s, whe e he e we e imp o emen s
on each pa o he p og am. The i s expe imen was use ul o choose he bes model
o he p og am, which was he Fas e RCNN wi h he backbone Incep ion. The second
expe imen was an inc emen al imp o emen o he da ase , being ou he numbe
o imp o emen s done in his expe imen . The hi d expe imen we e changes on he
model con igu a ion, ob aining his way he pa ame e s ha be e i ed o he handgun
de ec ion. In his expe imen whe e was also an ex ension o he da ase .
Fo achie ing his esul i has been manda o y he ini ial esea ch ha was done o e
he objec de ec ion on he s a e-o - he-a . The e was an imp o emen in he con igu a ion
o he model adap ing i o he handgun de ec ion. This has been possible hanks o he
unde s anding o he mul iple pa ame e s ha a e pa o he model.
One o he bigges accomplishmen s o his wo k, ha migh go unno iced, is he
da ase ha was gene a ed hanks o he manual labeling done wi hin a p og am. This
da ase consis s o housends o images o g ea ele ance o handgun de ec ion ei he on
ideos o images.
I was achie ed a p og am which de ec s handguns on ideos wi h a p ecision o 90 %,
a ecall o 92 % and an accu acy o 91 %.
Keywo ds: A i icial in elligence, machine lea ning, deep lea ning, compu e ision,
de ec ion, ideos, Fas e RCNN, SSD, YOLO, Incep ion, Da ase .
x ii
Resumen
Es e abajo ha sido ealizado con el p op´osi o de de ec a pis olas en ´ıdeos median e
el uso de algo i mos de in eligencia a i icial, en conc e o, ap endizaje p o undo. Es ´a
cen ado en la de ecci´on de pis olas en ´ıdeos, aunque las ´ecnicas usadas se pueden aplica
a cualquie ipo de obje os como d ogas, ma ´ıculas, ca as, pe sonas. . .
Se ha hecho una amplia in es igaci´on p e ia pa a obse a las ´ecnicas y modelos que
o man pa e del es ado del a e, compa ando los esul ados de los mismos pa a sabe
cu´ales son los mejo es pa a las necesidades del abajo.
Pa a la ob enci´on de los mejo es esul ados, se ha decidido hace 3 expe imen os, en
los que se han ido mejo ando pa es del p og ama. El p ime expe imen o se cen a en
elegi el modelo que se a a usa , que inalmen e es Fas e RCNN con la ed neu onal
base Incep ion. El segundo expe imen o es una mejo a inc emen al en la colecci´on de
da os, siendo 4 las mejo as. El e ce expe imen o son cambios en la con igu aci´on del
modelo, ob eniendo as´ı los pa ´ame os que m´as se ajus an a la de ecci´on de pis olas. En
es e ´ul imo expe imen o se hace ambi´en una ampliaci´on sob e la colecci´on de da os, as´ı
como un balanceo en las im´agenes.
Pa a consegui es e esul ado ha sido imp escindible la in es igaci´on p e ia ealizada
sob e la de ecci´on de obje os en el es ado del a e. Se ha conseguido mejo a la
con igu aci´on de un modelo pa a adap a lo a la de ecci´on de pis olas. Es o ha sido posible
g acias al en endimien o de los m´ul iples pa ´ame os que con o man un modelo.
Una de las g andes apo aciones de es e abajo, que puede pasa desape cibida, es
la colecci´on de im´agenes que se ha gene ado g acias al e ique ado manual median e un
p og ama. Es a colecci´on cons a de miles de im´agenes de g an ele ancia pa a la de ecci´on
de pis olas ya sea en ´ıdeos o im´agenes.
Se ha conseguido un p og ama que de ec a pis olas en ´ıdeos con una p ecisi´on del
90 %, una e ec i idad del 92 % y una exac i ud del 91 %.
Palab as cla e: In eligencia a i icial, ap endizaje au om´a ico, ap endizaje p o undo,
isi´on compu acional, de ecci´on, ´ıdeos, Fas e RCNN, SSD, YOLO, Incep ion, colecci´on
de im´agenes.
xix
Cap´ı ulo 1
In oducci´on
Hoy en d´ıa exis e mucha in o maci´on sin explo a . En es e caso, nos e e imos a la
in o maci´on con enida en ´ıdeos. Se gene a al can idad de con enido digi al, que es
imposible supe isa lo con medios humanos. Es po es o que su ge la necesidad del uso
de ´ecnicas de in eligencia a i icial pa a p ocesa la in o maci´on de o ma masi a.
En es e abajo se a a aplica el AP pa a la de ecci´on de pis olas en ´ıdeos. Se p oba ´an
a ios modelos, y se aplica ´an mejo as sob e el modelo elegido pa a aumen a la de ecci´on.
Pa a pode hace es o se c ea ´a una colecci´on de im´agenes con e ique as indicando d´onde
se encuen an las pis olas den o de la imagen. Se ha ´a es o de o ma manual debido a la
escasez de colecciones de im´agenes de pis olas en in e ne .
1.1. Mo i aci´on
La de ecci´on de a mas en ´ıdeos es una p oblem´a ica que aumen a dia iamen e, ya
que a ec a a la segu idad de las pe sonas. Si bien es un p oblema impo an e, no se
encuen an muchos p og amas que se dediquen exclusi amen e a ello. De las aplicaciones
que se han encon ado las colecciones de im´agenes que usan son escasas y poco ele an es
pa a el obje i o de es e abajo. Exis en ambi´en abajos elacionados con la de ecci´on
de cuchillos en ´ıdeos, pe o no son aplicables a la de ecci´on de pis olas.
Desde luego queda mucho po a anza en el campo de la de ecci´on de a mas en ´ıdeos,
pues o que con los ecien es modelos de de ecci´on de obje os, se puede hace un so wa e
de de ecci´on de a mas que sea m´as p eciso que los an e io es.
1.2. Con ex o
El p esen e T abajo Fin de G ado se enma ca den o de un p oyec o de in es igaci´on
i ulado RAMSES ap obado po la Comisi´on Eu opea den o del P og ama Ma co de
In es igaci´on e Inno aci´on Ho izon e 2020 (Con oca o ia H2020-FCT-2015, Acci´on de
Inno aci´on, N´ume o de P opues a: 700326) y en el que pa icipa el G upo GASS del
Depa amen o de Ingenie ´ıa del So wa e e In eligencia A i icial de la Facul ad de
In o m´a ica de la Uni e sidad Complu ense de Mad id (G upo de An´alisis, Segu idad
y Sis emas, h p://gass.ucm.es, g upo 910623 del ca ´alogo de g upos de in es igaci´on
econocidos po la UCM).
1

2Cap
´
ı ulo 1. In oducci´
on
Adem´as de la Uni e sidad Complu ense de Mad id pa icipan las siguien es en idades:
•T eelogic Telem´a ica y L´ogica Racional pa a la Emp esa Eu opea SL (Espa˜na)
•Minis ´e io da Jus i¸ca (Po ugal)
•Uni e si y o Ken (Reino Unido)
•Cen o Rice che e S udi su Sicu ezza e C iminali `a (I alia)
•Fachhochschule u O en liche Ve wal ung und Rech sp lege in Baye n (Alemania)
•T ila e al Resea ch & Consul ing LLP (Reino Unido)
•Poli ecnico di Milano (I alia)
•Se ice Public Fede al In e ieu (B´elgica)
•Uni e si ¨a des Saa landes (Alemania)
•Di ecci´on Gene al de Polic´ıa - Minis e io del In e io (Espa˜na)
1.3. Obje i os y en oque
El p incipal obje i o de es e abajo es la c eaci´on de un p og ama que sea capaz de
de ec a a mas den o de un ´ıdeo, encuad ando el a ma a lo la go del ´ıdeo. El abajo
se cen a en la de ecci´on de a mas de uego en ´ıdeos median e el uso de ´ecnicas de
in eligencia a i icial (en nues o caso usa emos el algo i mo Fas e RCNN con la ed
neu onal base Incep ion), lo que implica su clasi icaci´on y localizaci´on den o de la imagen.
Es o iene muchas aplicaciones como la p e enci´on de ac os delic i os cuando se aplica
el algo i mo a ´ıdeos de ideo igilancia. De es a o ma se pod ´ıa de ec a un a ma en
una c´ama a de un ae opue o y ale a a las au o idades de d´onde se halla el sospechoso,
qu´e ipo de a ma po a, qui´en es, e c. Tambi´en puede ene o as aplicaciones, como la
e isi´on de ´ıdeos pa a e si con ienen a mas en el mismo, y en qu´e ins an e (al segundo)
del ´ıdeo se localiza el a ma.
Se conside a mas impo an e la p ecisi´on sob e la apidez, ya que no puede pe mi i se
que el so wa e no de ec e una a ma, o que anuncie alsos posi i os cons an emen e.
1.4. Plan de abajo 3
1.4. Plan de abajo
El abajo se di ide en 4 ases: In es igaci´on, implemen aci´on, expe imen aci´on y
documen aci´on. Se p esen an las ac i idades con enidas en cada ase en la siguien e Tabla
1.1:
Tabla 1.1: Plan de abajo
Ta ea Du aci´
on FechaInicio FechaF in
In es igaci´
on 87 01/10/2018 27/12/2018
Es udio de Py hon 20 01/10/2018 21/10/2018
Es udio de Ap endizaje au om´a ico 15 21/10/2018 05/11/2018
Es udio de Ap endizaje p o undo 15 05/11/2018 20/11/2018
Es udio de modelos pa a de ecci´on de obje os 15 20/11/2018 05/12/2018
Lec u a de abajos de in es igaci´on 32 25/11/2018 27/12/2018
Implemen aci´
on 120 20/12/2018 19/04/2019
Clasi icado inicial 7 20/12/2018 27/12/2018
Colecci´on de im´agenes 1 7 27/12/2018 03/01/2019
Colecci´on de im´agenes 2 7 03/01/2019 10/01/2019
Colecci´on de im´agenes 3 10 10/01/2019 20/01/2019
Colecci´on de im´agenes 4 14 20/01/2019 03/02/2019
Con igu aciones 1 25 03/02/2019 28/02/2019
Con igu aciones 2 25 28/02/2019 25/03/2019
Colecci´on de im´agenes 5 25 25/03/2019 19/04/2019
Expe imen aci´
on 128 27/12/2018 04/05/2019
Expe imen o 1 10 27/12/2018 06/01/2019
Expe imen o 2 38 06/01/2019 13/02/2019
Expe imen o 3 15 28/02/2019 04/05/2019
Documen aci´
on 180 20/11/2018 19/05/2019
Res´umenes 30 20/11/2018 20/12/2018
Recopilaci´on in o maci´on 120 20/12/2018 19/04/2019
An´alisis expe imen os 124 06/01/2019 10/05/2019
Redacci´on memo ia 30 19/04/2019 19/05/2019
4Cap
´
ı ulo 1. In oducci´
on
Figu a 1.1: Diag ama de Gan
1.5. Es uc u a de la Memo ia 5
1.5. Es uc u a de la Memo ia
La memo ia del p oyec o es ´a di idida en cap´ı ulos seg´un la ase a la que co esponden,
como a con inuaci´on se acla a:
En el Cap´ı ulo 1 se hace una b e e in oducci´on al p oyec o, as´ı como la mo icaci´on
que lo impulsa.
En el Cap´ı ulo 2 se edac a un ma co e´o ico de la in eligencia a i icial pa a
con ex ualiza el p oyec o.
En el Cap´ı ulo 3 se mues a el Modelo usado en nues o p og ama.
El Cap´ı ulo 4 se compone de a ios expe imen os en los que se ponen a p ueba los
desa ollos que se an haciendo, y se analizan los esul ados pa a sabe en qu´e l´ınea
con inua el desa ollo. Tambi´en se mues an los esul ados que se han ob enido en el
abajo.
El Cap´ı ulo 5 es la conclusi´on del abajo y ambi´en se comen an las posibles mejo as
que pod ´ıa ene .
El Cap´ı ulo 6 es la in oducci´on en ingl´es.
El Cap´ı ulo 5 es la conclusi´on y abajo u u o en ingl´es.
El Cap´ı ulo 8 es el ´ul imo cap´ı ulo, y desc ibe c´ual es el camino que ha lle ado cada
uno de los pa icipan es en el p oyec o. Se explican ambi´en las con ibuciones que ha
apo ado cada uno.
12 Cap
´
ı ulo 2. In eligencia A i icial
2.4.2. En enamien o no Supe isado
El conjun o de ec o es de en enamien o cons a ´unicamen e de ec o es de en ada.
El algo i mo de en enamien o cambia los pesos de la ed neu onal, de al mane a que
p oduzca ec o es de salida consis en es. El p oceso de en enamien o saca las p opiedades
comunes del conjun o de ec o es de en enamien o y ag upa en sec o es los ec o es
pa ecidos.
2.4.2.1. En enamien o Hebbiano
Es un ipo de en enamien o no supe isado. P e ende medi la co elaci´on o ex ae
ca ac e ´ıs icas de los da os in oducidos en la en ada. El undamen o sob e el que se basa
es: si dos neu onas NiyNj ienen el mismo es ado simul ´aneamen e (ac i o o inac i o),
el peso de la conexi´on en e ambas neu onas aumen a.
2.4.2.2. En enamien o Compe i i o y Compa a i o
O o ipo de en enamien o no supe isado es el en enamien o compe i i o y
compa a i o, cuyo obje i o es ´a o ien ado a la clasi icaci´on de los da os que se in oducen
en la en ada. Su p incipal ca ac e ´ıs ica es que si un pa ´on nue o se de e mina que
pe enece a una clase econocida p e iamen e, en onces es e pa ´on ha ´a que se modi ique
la o ma de la clase.
2.5. T´ecnicas en la In eligencia A i icial
Den o de la IA exis en a ias ´ecnicas que ienen dis in os obje i os y me odolog´ıas.
Es as ´ecnicas es ´an englobadas en la IA, po lo que compa en muchas ca ac e ´ıs icas.
2.5.1. Ap endizaje Au om´a ico
El AA es la disciplina cien ´ı ica que pe mi e a un p og ama ap ende a oma
decisiones a pa i de unos da os dados pa a as´ı hace p edicciones. El AA hace uso de
edes neu onales 2.3 pa a hace las p edicciones. Es as edes neu onales oman como
en ada unos alo es, pasan po un de e minado n´ume o de capas, y luego dan como
salida la p edicci´on.
Se le dan cie as eglas al p og ama, en o ma de pesos en la ed neu onal, pa a que
in e p e e los da os de una mane a de e minada, pe o el p og ama puede cambia las
eglas pa a aumen a la p ecisi´on en la p edicci´on. Es e m´e odo acili a las p edicciones,
ya que no es necesa io sabe la l´ogica que iene que segui el p og ama pa a que ´es e
aya mejo ando. Un cla o ejemplo es el il o de spam de los co eos elec ´onicos, ya que
sin ene unas eglas comple as sob e qu´e co eos son spam y cu´ales no, el algo i mo de
p edicci´on a mejo ando con el iempo.
Una de las ca ac e ´ıs icas p incipales del AA es la capacidad de in e p e a unas
ca ac e ´ıs icas dadas pa a saca conclusiones. Es as ca ac e ´ıs icas, que se p opo cionan
como en ada a la ed neu onal, han de se ex a´ıdas po un humano. Es a necesidad
de p opo ciona las ca ac e ´ıs icas, hacen del AA una ´ecnica con cie as des en ajas
espec o al ap endiaje p o undo.

2.5. T´
ecnicas en la In eligencia A i icial 13
Las en ajas del uso del AA espec o de o a ´ecnica de IA es que, al usa edes
neu onales, se le do a al p og ama de la capacidad de ap ende con el iempo. Una cla a
des en aja en cuan o al uso de es a ´ecnica es la capacidad compu acional que equie e
espec o a o as ´ecnicas m´as simples. Es a necesidad de capacidad compu acional iene
dada po el n´ume o de conexiones que se gene an en e las neu onas de la ed, y los
algo i mos que han de se ejecu ados pa a el en enamien o de los pesos de las conexiones
en el en enamien o.
2.5.2. Ap endizaje P o undo
El Ap endizaje P o undo es ´a englobado den o del AA, pe o da un paso m´as. La
ex acci´on de ca ac e ´ıs icas deja de se compe encia de un se humano, y se in oduce
den o de la a qui ec u a de la ed neu onal. Es o hace que la complejidad de la
a qui ec u a aumen e, ya que es necesa io el uso de un mayo n´ume o de capas.
El AP es una o ma de da libe ad a un o denado pa a decidi lo que es y lo que no
es impo an e, ya que la ex acci´on de ca ac e ´ıs icas depende del mismo. En ocasiones
es o es innecesa io, pues las ca ac e ´ıs icas a eces son ´aciles de implemen a . Aun as´ı, en
la mayo ´ıa de casos, el AP pe mi e ob ene esul ados mejo es que los humanos haciendo
uso de su p opia in e p e aci´on de lo que es impo an e y lo que no.
En elaci´on a es e abajo, la di icul ad de ex ae de o ma manual las ca ac e ´ıs icas
de una imagen es demasiado al a, po lo que el uso del AP es casi obliga o io. G acias
al AP no s´olo se a a pode de ec a el obje o, sino que se a a de ec a sin ene que
deci le a la ed neu onal cu´ales son las ca ac e ´ıs icas del obje o de o ma expl´ıci a.
La ob enci´on de las ca ac e ´ıs icas que hacen a una pis ola se una pis ola las ob iene
la ed neu onal median e el en enamien o, que hace a ia los pesos de las conexiones
en e las neu onas de las capas que o man pa e de la ex acci´on de ca ac e ´ıs icas.
La mayo en aja del ap endizaje p o undo espec o al AA es que no necesi a
supe isi´on humana pa a la ex acci´on de las ca ac e ´ıs icas. La des en aja del ap endizaje
p o undo, con mucha di e encia, es la inmensa capacidad compu acional que puede llega
a eque i , dependiendo ambi´en de cu´an so is icada sea la ed neu onal que se use.
14 Cap
´
ı ulo 2. In eligencia A i icial
2.6. In eligencia A i icial s Ap endizaje Au om´a ico s
Ap endizaje P o undo
Es impo an e des aca que el AP es una o ma de lle a a cabo el AA, y que el AA
es ´a englobado den o de la IA, al y como se mues a en la Figu a 2.3.
Figu a 2.3: In eligencia a i icial s ap endizaje au om´a ico s ap endizaje p o undo
Cuando se habla de di e encias en e AA eIA, se quie e hace e e encia a las
ca ac e ´ıs icas que iene que cumpli el AA pa a se lo, y que no iene po qu´e cumpli la
IA. Po ejemplo, el uso de edes neu onales es obliga o io pa a el AA, aunque no lo es en
la IA.
De es a o ma se an a explica las “di e encias” en e IA,AA yAP que se en de
o ma esumida en la Tabla 2.1. Tan o la IA como el AA y el AP ienen como obje i o la
oma de decisiones pa ecidas a un humano. En el AA yelAP es necesa io el uso de edes
neu onales, ya que son la base sob e la que se asien an es as ´ecnicas. Tambi´en en es as
dos ´ecnicas se iene la capacidad de cambia , mien as que en la IA no es algo in ´ınseco.
La ex acci´on de ca ac e ´ıs icas au om´a ica es algo ´unico del ap endizaje p o undo,
que aunque es ´e englobado en la IA y en el AA, s´olo en el AP es necesa io. Debido
a es o, en el AP no se equie e supe isi´on humana, y es o lo “di e encia” de o as ´ecnicas.
Debido a que la ex acci´on de ca ac e ´ıs icas en el AP se hace con una ed neu onal,
y a que se equie en m´as capas ocul as, la complejidad a qui ec ´onica y la capacidad
compu acional eque ida en el AP es necesa iamen e g ande, mien as que en el AA no lo
es necesa iamen e.
2.7. Visi´
on A i icial 15
Tabla 2.1: AI s AA s AP
AI ML DL
Toma decisiones como un humano S´ı S´ı S´ı
Uso de edes neu onales No S´ı S´ı
Capacidad de cambia No S´ı S´ı
Ex acci´on de ca ac e ´ıs icas de o ma au om´a ica No No S´ı
Supe isi´on humana S´ı S´ı No
Complejidad de la a qui ec u a Simple Media Compleja
Requie e al a capacidad compu acional No No S´ı
En la Figu a 2.4 se ense˜na de o ma isual la di e encia que exis e en e el AA yelAP
en cuan o a la ex acci´on de ca ac e ´ıs icas.
Figu a 2.4: Ap endizaje au om´a ico s ap endizaje p o undo
2.7. Visi´on A i icial
Hay un concep o ans e sal al p oyec o, que es la isi´on a i icial. Es e concep o
se e ie e a la capacidad de un o denado de p ocesa una imagen dada, e in e p e a la
pa a saca la ca ac e ´ıs icas undamen ales y ene un en endimien o de lo que ocu e
en la imagen. Usando ´ecnicas de ap endizaje p o undo, las ca ac e ´ıs icas se sacan
“au om´a icamen e” con las capas p o undas, po lo que el uso del ap endizaje p o undo es
lo m´as adecuado pa a es e p oyec o.
2.8. Clasi icaci´on de Obje os
La clasi icaci´on de obje os es un p oblema de isi´on a i icial que consis e en in e p e a
una imagen y decidi a qu´e clase de las p opo cionadas pe enece. Es a es una pa e
undamen al del p oyec o, pues hay que decidi si en un ame de un ´ıdeo hay un obje o
o no, y de habe lo, cu´al es.
Como se puede ap ecia en la Figu a 2.5, la imagen es la en ada de una ed neu onal,
que decide si es un pe a o una manzana.
16 Cap
´
ı ulo 2. In eligencia A i icial
Figu a 2.5: Clasi icaci´on de obje os
Pa a hace clasi icaci´on en un conjun o de im´agenes, se equie e en ena el modelo con
muchas im´agenes e ique adas con la clase a la que pe enecen. La clasi icaci´on puede se
decidi si una imagen pe enece a una clase o no, pe o ambi´en puede se decidi a qu´e clae,
espec o de un conjun o de clases p ede inidas, pe enece. La clasi icaci´on de im´agenes con
m´ul iples clases se puede abo da de a ias o mas, po ejemplo, en un abajo [GN09]
se hace una combinaci´on de las ca ac e ´ıs icas de las clases pa a la clasi icaci´on de las
mismas.
2.9. De ecci´on de Obje os
La de ecci´on de obje os a un paso m´as all´a que la clasi icaci´on de obje os, y
consis e en 2 pa es: Clasi icaci´on yLocalizaci´on. La de ecci´on de obje os iene un
cos e mucho mayo que hace s´olo la clasi icaci´on, ya que no s´olo se calcula a qu´e
clase pe enece una imagen (1 pa ´ame o) sino que ambi´en se calcula la posici´on
en la que se encuen a el obje o den o de la imagen (4 pa ´ame os). Es po es o que
la capacidad necesa ia de p ocesamien o es mucho mayo que o o ipo de ap oximaciones.
La de ecci´on de obje os iene como obje i o no s´olo de ec a de o ma co ec a el
obje o, sino e i a hace alsas de ecciones. Es o iene mayo o meno impo ancia seg´un
el obje i o del p og ama que haga uso de es a ´ecnica. En es e abajo se hace de ecci´on
de pis olas en en o nos de ideos de segu idad y ideo igilancia, po lo que es impo an e
hace la de ecci´on con el meno n´ume o de allos posible.
Hay a ios modelos que es ´an dise˜nados pa a hace la de ecci´on de la o ma m´as e icaz
y e icien e posible, aunque cada uno iene sus ca ac e ´ıs icas. Al se la de ecci´on una
p oblem´a ica que consume muchos ecu sos, muchos modelos se cen an en la apidez en
la de ecci´on, y no an o en la p ecisi´on.
2.10. T´
ecnicas de De ecci´
on de Obje os 17
2.10. T´ecnicas de De ecci´on de Obje os
La aplicaci´on de las ´ecnicas de de ecci´on de obje os m´as conocida es la de ecci´on de
ca as. En es e con ex o, se encuen a el de ec o de ca as Py amidBox [TDHL18]. Es e
de ec o de ca as iene en cuen a el en o no pa a saca conclusiones con mayo p ecisi´on,
supe ando a o os de ec o es de ca a del es ado del a e en benchma ks econocidos como
FDDB [JLM10] y WIDER FACE [YLLT16]. Es mucho mejo que o os cuando la ca a
es peque˜na o cuando la ca a es ´a bo osa en la imagen, ya que el con ex o de la imagen
juega un papel adicional, y consigue mejo a la p ecisi´on.
Como se obse a en la Figu a 2.6, la a qui ec u a del modelo es pi amidal. Es e ipo
de implemen aci´on iene implicaciones en los esul ados de la ed al analiza la imagen.
Figu a 2.6: Py amidBox
O o de ec o , aunque es a ez no es de ca as, es el Re ineDe [ZWB+18]. Es e es
un de ec o de una sola e apa que consis e en 2 m´odulos in e conec ados: el M´odulo de
e inamien o de anclas (ARM po sus siglas en ingl´es) y el M´odulo de de ecci´on de obje os
(ODM po sus siglas en ingl´es).
Pa a conec a un m´odulo con o o, se usan Bloques de ans e encia de conexi´on
(TCB po sus siglas en ingl´es), que con ie en y ans ie en la in o maci´on del ARM al
ODM. Es o se hace pa a educi el espacio en el que se hace la clasi icaci´on y pa a a ina
la localizaci´on y ama˜no de las anclas o cajas.

18 Cap
´
ı ulo 2. In eligencia A i icial
Como se obse a en la Tabla 2.2, los esul ados que se ob ienen con Re ineDe son
muy buenos. Consigue un pun o in e medio (o incluso mejo ) en e la apidez de modelos
como SSD o YOLO y la e icacia de modelos como Fas e -RCNN. O o modelo p opues o
es el YOLO 3 [RF18], que es la ´ul ima e si´on de YOLO. Tiene a ias mejo as sob e el
modelo o iginal, y aho a iene m´as capas, aunque eso no a ec a a la apidez.
Tabla 2.2: Re ineDe
Modelo Red Tama˜
no # Cajas FPS mAP VOC mAP VOC
base en ada 2007 2012
Two s age de ec o s
Fas R-CNN VGG-16 1000 x 600 2000 0,5 70 % 68,4 %
Fas e R-CNN VGG-16 1000 x 600 300 7 73,2 % 70,4 %
OHEM VGG-16 1000 x 600 300 7 74,6 % 71,9 %
Hype Ne VGG-16 1000 x 600 100 0,88 76,3 % 71,4 %
Fas e R-CNN ResNe -101 1000 x 600 300 2,4 76,4 % 73,8 %
One s age de ec o s
YOLO GoogleNe 448 x 448 98 45 63,4 % 57,9 %
SSD300 VGG-16 300 x 300 8732 46 77,2 % 75,8 %
YOLO 2 Da kne -19 544 x 544 1445 40 78,6 % 73,5 %
SSD512 VGG-16 512 x 512 24564 19 79,8 % 78,5 %
Re ineDe 512 VGG-16 512 x 512 16320 24,1 81,8 % 80,1 %
La a qui ec u a del modelo se puede e en la Tabla 2.3. Ya no usa la unci´on So max
pa a p edeci la clase po que gene aba p oblemas en la p edicci´on en cajas en las que
hay a ias clases; aho a se usa una ap oximaci´on mul iclase (bina y c oss-en opy loss).
Incluye ex acci´on de ca ac e ´ıs icas usando 3 escalas dis in as, que es pa ecido a las edes
pi amidales.
Algunos de los esul ados m´as des acables son:
•Misma p ecisi´on media que modelos SSD, pe o 3 eces m´as ´apido (usando COCO).
•El iempo de in e encia es una e ce a pa e del iempo de in e encia de o as edes
de de ecci´on del es ado del a e.
Siguiendo con p opues as de modelo, una de las p opues as de modelo m´as inno ado as
en el es ado del a e es la de Spiking-YOLO [KPNY19]. Es a es una implemen aci´on
de una Red Neu onal de Impulsos. En ez de usa las adicionales edes neu onales
p o undas, se p opone el uso de edes neu onales de impulso. Es e ipo de edes ienen un
ca ´ac e m´as ealis a, y su cos e en iempo es m´as ele ado.
No malmen e es as edes se usaban s´olo pa a la clasi icaci´on, pe o en es e caso se ha
usado pa a la de ecci´on de obje os debido al aumen o de la capacidad compu acional que
hay a medida que pasan los a˜nos. Es el p ime de ec o de obje os que usa es e ipo de
ed ob eniendo esul ados pa ecidos a o os de ec o es del es ado del a e que usan edes
p o undas.
2.10. T´
ecnicas de De ecci´
on de Obje os 19
Tabla 2.3: YOLO 3
Tipo Fil os Tama˜
no Salida
Con olucional 32 3 x 3 256 x 256
Con olucional 64 3 x 3 / 2 128 x 128
Con olucional 32 1 x 1
1x Con olucional 64 3 x 3
Residual 128 x 128
Con olucional 128 3 x 3 / 2 64 x 64
Con olucional 64 1 x 1
2x Con olucional 128 3 x 3
Residual 64 x 64
Con olucional 256 3 x 3 / 2 32 x 32
Con olucional 128 1 x 1
8x Con olucional 256 3 x 3
Residual 32 x 32
Con olucional 512 3 x 3 / 2 16 x 16
Con olucional 256 1 x 1
8x Con olucional 512 3 x 3
Residual 16 x 16
Con olucional 1024 3 x 3 / 2 8 x 8
Con olucional 512 1 x 1
4x Con olucional 1024 3 x 3
Residual 8 x 8
A gpool Global
Connec ed 1000
So max
Figu a 2.7: Spiking-YOLO
En la Figu a 2.7 se e la no malizacion seg´un el canal que se p opone; p ime o los
pesos se no malizan con la m´axima ac i aci´on de cada canal pa a ene ac i aciones
no malizadas, despu´es se mul iplica po λl−1las ac i aciones no malizadas pa a ob ene
de nue o las ac i aciones o iginales.
20 Cap
´
ı ulo 2. In eligencia A i icial
Adem´as de modelos, hay ambi´en p opues as de mejo a de modelos, como es el caso
de la De ecci´on con sem´an ica en iquecida [ZQX+18]. Es una mejo a sob e los modelos de
de ecci´on de obje os. Como se e en la Figu a 2.8, la a qui ec u a cambia y se le aplican
mejo as que consis en en a˜nadi una ama de segmen aci´on sem´an ica y un m´odulo de
ac i aci´on global, lo que hace mejo a los esul ados en la de ecci´on.
Figu a 2.8: De ec ion wi h En iched Seman ics
En es e caso usan el modelo SSD como base, y aplican el m´odulo de segmen aci´on y
el m´odulo de ac i aci´on global pa a hace mejo as sem´an icas a bajo ni el y mejo as en
las capas de de ecci´on de al o ni el espec i amen e.
O o ipo de mejo a sob e el SSD es la que se p opone en [XZYA18], que su ge de
la necesidad de mejo a la p ecisi´on del modelo SSD en los obje os peque˜nos, ya que los
de ec o es de una sola e apa ienen m´as p oblemas pa a de ec a los obje os de meno
ama˜no. Es e modelo demues a que, usando la in o maci´on que el con ex o p opo ciona,
se mejo a sus ancialmen e la e icacia de la de ecci´on.
Figu a 2.9: Con ex awa e single sho de ec o
2.10. T´
ecnicas de De ecci´
on de Obje os 21
Como se e en la Figu a 2.9, es a mejo a p opone el uso de una ed base VGGNe
sob e la que se aplican capas con olucionales adicionales a las de SSD, que si en como
en ada pa a las capas de p edicci´on. La salida de es as capas de p edicci´on son la en ada
de las capas de con ex o, que son la mejo a de la p opues a. Los esul ados de aplica es e
modelo dan un 3,2 % de mejo a en la p ecisi´on media en los obje os peque˜nos compa ado
con el ´ul imo modelo SSD, man eniendo la elocidad de p ocesamien o.
O a de las posibles mejo as aplicadas a SSD es la que se p opone en [KSL+19],
que consis e en ealiza una mejo a consis en e sob e el modelo SSD. Se en oca en hace
coincidi las hip´o esis de en enamien o y la calidad de in e encia u ilizando los anclajes
e inados du an e el en enamien o.
Tabla 2.4: Consis en Op imiza ion
Modelo Red base AP AP50 AP75 APSAPMAPL
Two s age
Fas e R-CNN ResNe -101 34.9 55.7 37.4 15.6 38.7 50.9
Mask R-CNN ResNe -101 88.2 60.3 41.7 20.1 41.1 50.2
One s age
SSD513 ResNe -101 31.2 50.4 33.3 10.2 34.5 49.8
YOLO 2 Da kne -19 21.6 44.0 19.2 5.0 22.4 35.5
YOLO 3 Da kne -53 33.0 57.9 34.4 18.3 35.4 41.9
Re ineDe 512 ResNe -101 36.4 57.5 39.5 16.6 39.9 51.4
ConRe inaNe ResNe -101 40.1 59.6 43.5 23.4 44.2 53.3
Los esul ados de aplica la op imizaci´on en el modelo SSD con Re inaNe sob e
COCO son isibles en la Tabla 2.4. Mejo a la p ecisi´on media de 39.1 % a 40.1 %.
Hay ambi´en p opues as de mejo as de o os modelos, como la que se p opone en
Complex-YOLO [SMAG18]. Es una ed de de ecci´on de obje os basada en YOLO 2 que
se cen a en la de ecci´on de obje os en un en o no 3D (aplicable a eh´ıculos, ealidad
aumen ada, obo s. . . ).
Consis e en una Red de P opues as de Regi´on de Eule espec´ı ica (E-RPN) pa a es ima
la pos u a del obje o ag egando una acci´on imagina ia y eal a la ed de eg esi´on.
28 Cap
´
ı ulo 2. In eligencia A i icial
Como el modelo ap ende a p edeci cajas delimi ado as a pa i de da os, le cues a
gene aliza con obje os con un nue o o inusual a io de apa iencia o con igu aci´on.
Finalmen e, cuando se en ena con una unci´on de p´e dida que mejo a el endimien o
de de ecci´on, la unci´on de p´e dida a a e o es po igual en cajas peque˜nas y cajas
g andes. Un peque˜no e o en una caja g ande, no es signi ica i o, pe o un e o
peque˜no en una caja peque˜na, iene un e ec o mayo .
La p incipal uen e de e o es en YOLO son las localizaciones inco ec as.
2.11.2. De ec o es de Dos E apas
Los de ec o es de dos e apas se sal an la ase de b´usqueda de RoI y alimen a la ed
di ec amen e con la imagen.
2.11.2.1. Red Neu onal Con olucional Basada en Regiones
El modelo Red neu onal con olucional basada en egiones, o RCNN po sus siglas en
ingles (Region-based con olu ional neu al ne wo k) es un de ec o de dos e apas. Pa a
sol en a el p oblema de selecciona un g an n´ume o de egiones, Ross Gi shik [GDDM14]
p opuso un m´e odo donde se usa una b´usqueda selec i a pa a ex ae 2000 egiones de
una imagen, y las llam´o p opues as de egi´on. Usando es e m´e odo, en ez de ex ae
much´ısimas p opues as, abajas con 2000 p opues as de egi´on exac amen e. El algo i mo
de b´usqueda selec i a es el siguien e:
•Se gene an sub-segmen aciones iniciales ( egiones candida as).
•Usa el algo i mo g eedy pa a combina de o ma ecu si a egiones simila es en
egiones m´as g andes.
•Usa las egiones gene adas pa a p oduci las p opues as de egi´on inales.
Es as 2000 p opues as de egi´on se jun an y se me en en una ed neu onal con olucional
que p oduce un ec o de ca ac e ´ıs icas de 4096 dimensiones como salida. La ed neu onal
con olucional ac ´ua como un ex ac o de ca ac e ´ıs icas.

2.11. Modelos 29
Figu a 2.16: RCNN
Es as ca ac e ´ıs icas se in oducen como en ada a una M´aquina ec o ial de sopo e,
o SVM po sus siglas en ingl´es (suppo ec o machine), pa a clasi ica la p esencia
de obje os den o de la p opues a de egi´on, como se e en la Figu a 2.16. Adem´as de
p edeci la p esencia de un obje o en las p opues as de egi´on, el modelo p edice ambi´en
4 alo es que dicen la posici´on y ama˜no de la caja pa a aumen a la p ecisi´on de la caja
delimi ado a.
P oblemas con RCNN:
•Consume mucho iempo en en ena la ed po que clasi ica 2000 p opues as de egi´on
po cada imagen.
•No puede se implemen ado en iempo eal ya que a da unos 47 segundos po cada
imagen de es .
•El algo i mo de b´usqueda selec i a es un algo i mo ijado. Po lo an o, no hay
ap endizaje en esa pa e, y pod ´ıa desencadena malas p opues as de egi´on.
2.11.2.2. Red Neu onal Con olucional R´
apida Basada en Regiones
El modelo Red neu onal con olucional ´apida basada en egiones, o Fas RCNN po
sus siglas en ingl´es (Fas Region-based Con olu ional Neu al Ne wo k), usa como base el
algo i mo RCNN mos ado en el apa ado an e io , pe o con di e encias y mejo as que se
explican a con inuaci´on.
En ez de gene a una pi ´amide de capas, Fas RCNN de o ma las egiones de in e ´es
en una sola capa usando RoI pooling. El RoI pooling usa Max pooling pa a con e i las
ca ac e ´ıs icas con enidas en una egi´on de in e ´es en un mapa de ca ac e ´ıs icas peque˜no
de dimensiones HxW .
30 Cap
´
ı ulo 2. In eligencia A i icial
Figu a 2.17: Fas RCNN
Se puede deci que Fas RCNN es un caso especial de SPPNe , pe o en ez de usa
m´ul iples capas, Fas RCNN usa solo una. Es o se puede e cla amen e en la Figu a
2.17. Es a capa alimen a a un ed comple amen e conec ada pa a la clasi icaci´on usando
eg esi´on lineal y so max. La caja delimi ado a es despu´es e inada con eg esi´on lineal.
En Fas RCNN, odos los pa ´ame os den o de la ed neu onal con olucional pueden
se en enados jun os. Es os pa ´ame os se en enan jun os con una unci´on loga ´ı mica
de p´e dida de la clasi icaci´on de clase y con una unci´on de p´e dida L1 de la p edicci´on de
la caja delimi ado a.
2.11.2.3. Red Neu onal Con olucional M´
as R´
apida Basada en Regiones
El modelo Red neu onal con olucional m´as ´apida basada en egiones, o Fas e RCNN
po sus siglas en ingl´es (Fas e Region-based Con olu ional Neu al Ne wo k), es ´a basado
en el modelo Fas RCNN que se explica en el apa ado an e io . A con inuaci´on se
explican di e encias y mejo as espec o al mismo.
Tan o el modelo RCNN como el Fas RCNN usan la b´usqueda selec i a pa a ob ene
las p opues as de egi´on. Es a b´usqueda es muy len a y consume mucho iempo, a ec ando
al endimien o de la ed. Po es o, Shaoqing Ren p opuso usa una ed con olucional que
si ie a pa a hace las p opues as de egi´on, aho ando as´ı mucho iempo y mejo ando la
e iciencia del modelo, que se puede obse a en la Figu a 2.18.
La di e encia en e Fas RCNN y Fas e RCNN es que no se usa un m´e odo de
p opues as de egi´on pa a c ea las p opues as de egi´on. En ez de eso, se en ena una
ed de p oposici´on de egiones que coge los mapas de ca ac e ´ıs icas como en ada, y da
como salida las p opues as de egi´on. Es as p opues as alimen an la capa RoI pooling en
la Fas RCNN.
2.11. Modelos 31
Figu a 2.18: Fas e RCNN
2.11.2.4. LSTM
Es e modelo es ´a englobado en las a qui ec u as ecu en es, que se basan en pode
accede a in o maci´on del pasado, y no solo a la del p esen e. Es o pe mi e a es e ipo de
edes oma mejo es decisiones eniendo en cuen a las omadas en el pasado.
La p incipal idea de la a qui ec u a de es e modelo, como se e en la Figu a 2.19, es
el uso de una celda de memo ia que man iene su es ado a lo la go del iempo, y unidades
de acceso no lineales que egulan el lujo de in o maci´on hacia den o y hacia ue a de la
celda de memo ia. Los ´ul imos es udios a˜naden nue as mejo as a la a qui ec u a LSTM
o iginal [HS95] [HS97].
Figu a 2.19: LSTM
32 Cap
´
ı ulo 2. In eligencia A i icial
La impo ancia del modelo LSTM es que es un modelo que usa una ed neu onal
ecu en e, lo que implica que los hechos sucedidos en el pasado se ienen en cuen a en
el u u o. Es po es o que son muy in e esan es a la ho a de a a con ´ıdeos o con
p oblem´a icas como la in e p e aci´on de oz a ex o. Sin emba go, al se de ecien e
c eaci´on, no es ´a bien documen ada, y oda ´ıa no es ´a bien aplicada en ´ıdeos. Adem´as,
la capacidad de p ocesamien o que equie e es demasiado al a pa a pode e esul ados
con la capacidad de compu aci´on disponible pa a la ealizaci´on de es e abajo.
Cap´ı ulo 3
Modelo de De ecci´on de A mas en
V´ıdeos Digi ales
Es e abajo se compone de dos pa es bien di e enciadas: La colecci´on de im´agenes y
el modelo. A con inuaci´on se mues a c´omo es ´an o madas es as dos pa es, explicando
en p o undidad las ca ac e ´ıs icas de cada una de ellas.
3.1. Colecci´on de Im´agenes
Una colecci´on de im´agenes es un conjun o de im´agenes con sus e ique as asociadas,
en es e abajo, las e ique as indican la posici´on y la clase del obje o den o de la imagen.
La colecci´on de im´agenes se usa pa a en ena y pa a es ea el modelo.
En es e abajo la colecci´on de im´agenes se di ide siemp e en la p opo ci´on 80-20
pa a en enamien o-p uebas. Se elige es a p opo ci´on ya que es la m´as ecomendada
pa a no malgas a muchas im´agenes en las p uebas, pe o que pe mi a al p og ama saca
conclusiones de los esul ados de la misma.
Las ca ac e ´ıs icas que hacen de una colecci´on de im´agenes se buena son las siguien es:
•Tene muchas im´agenes.
•Tene muchos escena ios a iados en los que se usan las a mas.
•Que haya muchas posiciones dis in as de las a mas.
•Que haya m´as o menos la misma can idad de im´agenes po escena io.
•Que haya m´as o menos la misma can idad de im´agenes po posici´on.
•Que las im´agenes engan de ´ıdeos pa ecidos a los que se an a usa pa a la de ecci´on.
•Que la can idad de im´agenes con a ma, y sin a ma sea balanceada.
33

34 Cap
´
ı ulo 3. Modelo de De ecci´
on de A mas en V
´
ıdeos Digi ales
3.1.1. Ca ac e ´ıs icas
La colecci´on de im´agenes que se u iliza con iene im´agenes que se han adqui ido y que
se han c eado a lo la go del segundo expe imen o, y de una pa e del e ce expe imen o.
La colecci´on de im´agenes cons a de 1200 im´agenes de pis olas seleccionadas de una
colecci´on de 3000 im´agenes. 120 im´agenes de pis olas siendo usadas en el con ex o que se
necesi a. Fo og amas ele an es de 9 ´ıdeos de a acos. Fo og amas ele an es de ´ıdeos
case os hechos pa a mejo a la de ecci´on.
Fo man ambi´en pa e del da ase muchas im´agenes sin pis ola has a llega a la
p opo ci´on 50-50 de Pis ola-No pis ola.
3.2. Con igu aci´on del Modelo
El modelo se compone de 3 edes neu onales. La p ime a ed se enca ga de la
ex acci´on de ca ac e ´ıs icas. Es a ed es la ed neu onal base, que en es e caso es la
Incep ion. La segunda y e ce a ed pe enecen a Fas e RCNN. Fas e RCNN se di ide en
es as dos edes en las que la p ime a ed iene como obje i o c ea egiones de p opues a,
o lo que es lo mismo, localiza el obje o de in e ´es, y la segunda ed se enca ga de la
clasi icaci´on de cada egi´on p opo cionada po la ed an e io . En la Figu a 3.1 se e un
esquema del modelo comple o.
La ed neu onal base Incep ion, es ´a compues a po 467 capas, cuya unci´on es ex ae
las ca ac e ´ıs icas de la imagen de en ada. La mayo ´ıa de ellas sigue el esquema: 6 x con 2d
-me ge -max pooling2d -con 2d -me ge -ba ch no maliza ion -ac i a ion. Es e esquema
se epi e 43 eces, ambi´en se a˜naden o as capas como lambda,a e age pooling2d,d opou ,
la en ydense. La in o maci´on comple a ace ca de es a ed se encuen a en [Maj19].
Figu a 3.1: Modelo comple o
Adem´as del modelo, que se explica en el apa ado 2.11.2.3, es muy impo an e
con igu a lo pa a adap a lo lo mejo posible a la de ecci´on del obje o que se desee. La
con igu aci´on de los modelos puede a ia , y es in e esan e hace lo pues dependiendo del
ipo de obje os a de ec a , unos pa ´ame os son mejo es que o os. En es e caso, que se
quie e de ec a pis olas, se an a busca los alo es pa a los pa ´ame os de la con igu aci´on
que mejo se adap en al p og ama.
3.2. Con igu aci´
on del Modelo 35
3.2.1. Keep Aspec Ra io Resize
Es e pa ´ame o si e pa a el cambio de ama˜no en las imagenes. Pa a que las
imagenes esul an es siemp e engan la misma elaci´on de aspec o. Con min dimension se
especi ica el ama˜no del bo de m´as peque˜no pe mi ido y con max dimension el m´aximo
pe mi ido. El da ase UCM - Pis olas se compone gene almen e po im´agenes de 848 x
480. Si se quie e ajus a es as im´agenes con al u a 600, se iene que calcula la dimension
m´axima as´ı: 848∗600
480 = 1060. Po lo que max dimension end ´a el alo 1060.
3.2.2. Fea u e Ex ac o
Con es e pa ´ame o de con igu aci´on se especi ica en p ime luga qu´e ipo de ex ac o
o ed neu onal base se escoge ´a pa a el modelo median e ype.
El pa ´ame o con igu able se a a del i s s age ea u es s ide, que signi ica cu´an o
a a p o undiza , hablando en ´e minos de con oluci´on, pa a ex ae las ca ac e ´ıs icas.
Po las compa a i as ealizadas 4.1, se decidi´o usa la ed neu onal base Incep ion
[SVI+16], que es un ed o mada po a ias capas con olucionales consecu i as de 55,
33 y max-pool de o ma con inuada. Se necesi a que la ed p o undice en ´e minos de
con oluci´on pa a ex ae las ca ac e ´ıs icas po lo que i s s age ea u es s ide se
es ableci´o en 16.
Se ha op ado po el op imizado l2, ya que disminuye los coe icien es y es o minimiza
el e ec o de co elaci´on de en ada y hace que el modelo gene alice mejo . Es o es muy
impo an e en un de ec o de a mas dada la di e sidad de escena ios en el que a a se
expues o.
3.2.3. Fi s S age Ancho Gene a o
Los cuad os de anclaje se u ilizan en modelos de de ecci´on pa a ayuda a iden i ica
obje os de di e en es o mas. Pa a ello median e g id ancho gene a o se puede
modi ica opciones como:
Scales: se de inen pa a usa un conjun o de escalas expl´ıci amen e de inido.
Aspec a ios: Relaci´on de aspec os pa a los cuad os de anclajes en cada pun o de
ejilla. Es o es un a ibu o de p oyecci´on de imagen que desc ibe la elaci´on p opo cional
en e el ancho de una imagen y su al u a.
Heigh s ide: La al u a de pixeles pa a cada cuad o de anclaje.
Wid h s ide: La anchu a de p´ıxeles pa a cada cuad o de anclaje.
36 Cap
´
ı ulo 3. Modelo de De ecci´
on de A mas en V
´
ıdeos Digi ales
3.2.4. Ini ialize
Se u iliza el inicializado unca ed no mal ini ialize ya que gene a n´ume os
alea o ios cuya media es ce cana al 0. El alo de i s s age max p oposals se
ajus a, ya que no se quie e que haya demasiadas p opues as a e alua en el modelo. Po
an o se asigna el alo 150. No se u iliza d opou ya que la ed no es a en iesgo de
sob ealimen aci´on.
Se ajus an los alo es max de ec ions pe class ymax o al de ec ions po ene
s´olo una clase y no se quie e que haya un sob ep ocesamien o. Se pone, po an o, los
alo es 50 y 150 espec i amen e. Se u iliza la unci´on Sigmoide ya que So max es
u ilizado pa a clasi icaciones mul iclase.
3.2.5. E apas
Fas e RCNN se compone de dos edes, la p ime a p opone egiones en las cuales se
puede encon a obje os (RPN). La segunda ed in en a de ec a obje os en las p opues as
dadas po la p ime a. Po con enci´on a la p ime a ed se le denomina i s s age y a la
segunda second s age.
3.2.5.1. P ime a E apa
Pa ´ame os pa a la p ime a e apa:
• i s s age nms sco e h eshold: El umb al de pun uci´on de no sup esi´on
m´axima.
• i s s age nms iou h eshold: El umb al de IOU sin sup esi´on m´axima.
• i s s age max p oposals: El m´aximo de p opues as pe mi idas pa a la p ime a
ed.
• i s s age localiza ion loss weigh : Fac o de Pe dida de peso po localizaci´on.
• i s s age objec ness loss weigh : Fac o de p´e dida de peso obje i o.
El umb al de no sup esi´on m´axima se u iliza pa a e i a que los cuad os de anclaje
delimi ado es se supo pongan se˜nalando el mismo obje o. Pa a que no exis an a ias
de ecciones sob e un mismo obje i o.
El ´ındice de Jacca d mide el g ado de simili ud en e dos conjun os.
T=Nc
Na +Nb +Nc
Na =Elemen osA
Nb =Elemen osB
Nc =Elemen osIn e cep ados
Umb al IOU: du an e el en enamien o se p ocede a jun a el cuad o eal con el
p edicho sob e in e secci´on sob e uni´on que es el ´ındice de Jacca d. Los mejo es cuad os
se e ique a an como posi i os si es ´an po encima del umb al IOU.
3.2. Con igu aci´
on del Modelo 37
3.2.5.2. Segunda E apa
mask cnn box p edic o Se enca ga de p edeci clases; opcionalmen e pe mi e la
p edicci´on de m´asca as o pun os cla e den o de las cajas de de ecci´on.
Los pa ´ame os de con igu aci´on del mismo son los siguien es:
use d opou : Gene almen e se u iliza cuando la ed es a en iesgo de
sob ealimen aci´on, es deci cuando la ed es demasiado g ande, en enas du an e mucho
iempo o si no ienes su icien es da os. Como se e en la Figu a 3.2, se desac i an neu onas
de o ma alea o ia.
Figu a 3.2: D opou
Se ecomienda no u iliza el d opou , debido a las elaciones codi icadas en los mapas
de ca ac e ´ıs icas, las ac i aciones pueden se al amen e co elacionadas. Ac ualmen e se
u iliza ba ch no maliza ion pa a es abiliza la ed neu onal.
d opou keep p obabili y: Se u iliza pa a calcula si la neu ona end a dese ci´on o
no, es deci , se calcula la con ibuci´on de cada neu ona con la p obabilidad que se indica
en es e pa ´ame o.
Regulize : Cuando se u ilizan egula izado es, ´es os ac uan de mane a que e i an
el sob eajus e (o e i ing), sua izando los esul ados. E i ando que la m´aquina in en e
adap a se lo m´aximo posible a los da os de en anamien o, ya que no da abs acci´on
a sus p edicciones, se ienen que consegui esul ados lo m´as gen´e icos posibles. Es ´an
disponibles los siguien es:
•L1 egula ize Ag ega el alo absolu o del coe icien e de peso como ´e mino a la
unci´on de pe dida.
•L2 egula ize Ag ega el cuad ado del coe icien e de peso como ´e mino de
penalizaci´on en la unci´on de p´e dida.
La unci´on de p´e dida mide con los esul ados de las p edicciones y la espues a
co ec a que an buenas son las p edicciones. Exis en a ias unciones de pe dida como el
e o cuad ´a ico medio o la en op´ıa c uzada.
El e o cuad ´a ico medio MSE, es la media de la di e encia en e los pun os eales y
la salida p edicha al cuad ado. Es e m´e odo penaliza las di e encias mayo es.
44 Cap
´
ı ulo 4. Expe imen aci´
on y Compa a i a
4.2. Expe imen o 2
El obje i o de es e expe imen o es consegui una colecci´on de im´agenes que p opo cione
los mejo es esul ados posibles. po ello, a lo la go del expe imen o se i ´an haciendo mejo as
con inuas sob e cada una de las colecciones de im´agenes, mos ando en cada mejo a los
esul ados que se ob ienen.
Se usa el modelo Fas e RCNN + Incep ion en odos los expe imen os en adelan e debido
a que p opo ciona los mejo es esul ados, como se demues a en el an e io expe imen o
4.1.
4.2.1. Fas e RCNN con P ime a Colecci´on de Da os
En in e ne hay a ias colecciones de im´agenes de a mas. ´
Es as con ienen im´agenes de
a ios ipos de a mas en posiciones a iadas, pe o en la mayo ´ıa de eces no es ´an siendo
usadas po nadie y simplemen e es ´an expues as.
La p ime a colecci´on de im´agenes que se decide hace consis e en una colecci´on de im´agenes
[dG19] de 3000 a mas que se usa en muchos p og amas de de ecci´on de a mas y una
colecci´on de im´agenes de cuchillos de 1000 im´agenes.
4.2.2. Fas e RCNN con Segunda Colecci´on de Da os
Los esul ados de la colecci´on de da os 4.2.1 son muy malos, al como se puede obse a
en la Tabla 4.2 debido a que las im´agenes de la colecci´on de im´agenes no se asemejan a
las im´agenes de los ´ıdeos que se usan pa a hace las de ecciones ( ´ıdeos de c´ama as de
ideo igilancia o pa ecido).
Es os esul ados demues an que hab´ıa que inclui im´agenes en las que apa ezcan las
pis olas siendo usadas. Pa a ello se coge o a colecci´on de im´agenes de in e ne que con iene
120 im´agenes que ienen elaci´on con el ipo de ´ıdeos que an a se usados po el p og ama.
Se deja de usa la clase de cuchillos, y se usan exclusi amen e im´agenes de una sola clase
pa a op imiza el en enamien o del modelo.
4.2.3. Fas e RCNN con Te ce a Colecci´on de Da os
T as comp oba los esul ados se decide hace una colecci´on de im´agenes case a de
pis olas cogiendo los o og amas de 3 ´ıdeos, y con un p og ama llamado “OpenLabeling”
[Ca 19] se decide hace una po una las e ique as de odos los o og amas de los 3 ´ıdeos.
Se jun a la nue a colecci´on de im´agenes con la colecci´on de im´agenes an e io , y se decide
en ena de nue o el modelo.

4.2. Expe imen o 2 45
4.2.4. Fas e RCNN con Cua a Colecci´on de Da os
Los esul ados de la colecci´on de im´agenes 4.2.3 son mejo es que los de la colecci´on
4.2.2, al y como se obse a en la Tabla 4.2, pe o siguen sin se buenos po las siguien es
azones:
•La can idad de im´agenes que se cogen de los ´ıdeos es mucho mayo a la que se
iene en las o as colecciones de im´agenes, po lo que la colecci´on de im´agenes es ´a
desp opo cionada.
•Al usa s´olo 3 ´ıdeos no se consigue en ena el modelo pa a una a iedad amplia de
si uaciones, y s´olo se hacen de ecciones en si uaciones cuyo con ex o es muy pa ecido
al de los ´ıdeos.
•Se cogen odos los o og amas de los ´ıdeos, y al habe muchos o og amas po
segundo, la di e encia en e o og amas es m´ınima, y no apo a in o maci´on ´u il
ene 15 o og amas casi iguales.
Teniendo oda es a in o maci´on se decide hace una colecci´on de im´agenes, que consis e
de:
•La p ime a colecci´on de im´agenes (s´olo las pis olas) se some e a un il ado de
im´agenes una po una y se eliminan las im´agenes que se conside a que no ienen
ele ancia y no apo an bene icios al en enamien o. (1200 im´agenes).
•La segunda colecci´on de im´agenes.
•Las im´agenes de los 3 ´ıdeos se some en al mismo il ado que el p ime o, pa a e i a
im´agenes epe idas que a ec en al en enamien o.
•Se seleccionan 30 nue os ideos de los cuales se cogen los 6 m´as ele an es y se oman
las im´agenes m´as ele an es y se e ique an.
4.2.5. Compa a i a
Como se obse a en la Tabla 4.2 y en la Figu a 4.2, cada colecci´on de im´agenes a ec a
a la e icacia del modelo. Sin duda, la mejo colecci´on de im´agenes es la ´ul ima, que es la
que se decide usa pa a hace el siguien e expe imen o 4.3.
Compa aci´on 4.2: Expe imen o 2
Colecci´
on 1 Colecci´
on 2 Colecci´
on 3 Colecci´
on 4
P ecisi´on 24 % 54 % 59 % 61 %
E ec i idad 21 % 48 % 71 % 84 %
Exac i ud 27 % 53 % 61 % 66 %
Ve dade o Posi i o 21 48 71 84
Ve dade o Nega i o 33 59 51 48
Falso Posi i o 67 41 49 52
Falso Nega i o 79 52 29 16
FPS 0,5 0,5 0,5 0,5
46 Cap
´
ı ulo 4. Expe imen aci´
on y Compa a i a
(a) Colecci´on de da os 1 (b) Colecci´on de da os 2
(c) Colecci´on de da os 3 (d) Colecci´on de da os 4
Figu a 4.2: Expe imen o 2
4.3. Expe imen o 3
En es e expe imen o se lle an a cabo cambios en la con igu aci´on del modelo. Se
modi ican los pa ´ame os que a ec an al modelo, al y como se explica en el apa ado
3.2.
Es e expe imen o cons a de es pa e. P ime o se ealizan 3 con igu aciones dis in as
4.3.1, pa iendo de la p ede e minada que o ece el modelo. Despu´es se ealizan 3 nue as
con igu aciones 4.3.2 pa iendo de la mejo con igu aci´on de la p ime a pa e. Po ´ul imo,
se ealiza una mejo a 4.3.3 a la colecci´on de da os, y se usa la mejo con igu aci´on.
4.3. Expe imen o 3 47
4.3.1. P ime as Con igu aciones
Se aplican lige os cambios en la con igu aci´on del modelo, pa a as´ı in en a mejo a los
esul ados que se ob ienen en la de ecci´on de pis olas. Es posible que una con igu aci´on
sea buena pa a la de ecci´on de un ipo de obje os, pe o no pa a la de ecci´on de o os.
Es po es o que se in en an peque˜nos cambios pa a e de qu´e o ma mejo a la de ecci´on
aplicando los cambios.
(a) Con igu aci´on 1 (b) Con igu aci´on 2
(c) Con igu aci´on 3
Figu a 4.3: Expe imen o 3a
48 Cap
´
ı ulo 4. Expe imen aci´
on y Compa a i a
Compa aci´on 4.3: Expe imen o 3a
Con igu aci´
on 1 Con igu aci´
on 2 Con igu aci´
on 3
P ecisi´on 66 % 71 % 76 %
E ec i idad 78 % 90 % 90 %
E ec i idad 69 % 77 % 81 %
Ve dade o Posi i o 78 90 90
Ve dade o Nega i o 60 64 72
Falso Posi i o 40 36 28
Falso Nega i o 22 10 10
FPS 0,5 0,5 0,5
4.3.2. Segundas Con igu aciones
En es a segunda pa e del expe imen o 3, se analizan los esul ados de la p ime a
pa e del expe imen o, y se deciden eajus a los pa ´ame os de la con igu aci´on 3, pa a
as´ı ob ene mejo es esul ados. Como se obse a en la Tabla 4.4 y en la Figu a 4.4, la
con igu aci´on 4 es la que mejo es esul ados p opo ciona se puede e explicada en el
apa ado 3.2.
Compa aci´on 4.4: Expe imen o 3b
Con igu aci´
on 4 Con igu aci´
on 5 Con igu aci´
on 6
P ecisi´on 87 % 85 % 84 %
E ec i idad 91 % 89 % 92 %
Exac i ud 89 % 89 % 87 %
Ve dade o Posi i o 91 89 92
Ve dade o Nega i o 87 84 82
Falso Posi i o 13 16 18
Falso Nega i o 9 11 8
FPS 0,5 0,5 0,5
4.3. Expe imen o 3 49
(a) Con igu aci´on 4 (b) Con igu aci´on 5
(c) Con igu aci´on 6
Figu a 4.4: Expe imen o 3b

50 Cap
´
ı ulo 4. Expe imen aci´
on y Compa a i a
4.3.3. ´
Ul ima Colecci´on de Im´agenes
El ´ul imo expe imen o es una peque˜na mejo a en la colecci´on de da os, que consis e
en iguala el n´ume o de im´agenes en las que apa ecen pis olas y en las que no. Es o se
hace po que se es ´a sob een enando a la ed pa a que diga que hay una pis ola m´as eces
de las que debe ´ıa. Es o p o oca un g an n´ume o de FP , que como bien se obse a en la
Tabla 4.5 y en la Figu a 4.5, se e educido as la implemen aci´on de la quin a colecci´on
de im´agenes.
Tabla 4.5: Expe imen o 3c
Pa ´
ame o Valo
P ecisi´on 90 %
E ec i idad 92 %
Exac i ud 91 %
Ve dade o Posi i o 92
Ve dade o Nega i o 90
Falso Posi i o 10
Falso Nega i o 8
FPS 0,5
Figu a 4.5: Expe imen o 3c
4.4. Resul ados 51
4.4. Resul ados
Los esul ados inales son p ome edo es. T as habe hecho los expe imen os inales
con los modelos elegidos 4.1, y iendo que el modelo Fas e RCNN + Incep ion es el que
mejo es esul ados ha dado. Se p esen an los esul ados del modelo y el da ase inales,
que son los que mejo hacen la de ecci´on:
Los esul ados de los expe imen os son muy buenos. A con inuaci´on se mues an los
esul ados de las dis in as mejo as que se han ido haciendo en los expe imen os:
(a) P ecisi´on (b) E ec i idad
(c) Exac i ud
Figu a 4.6: Resumen expe imen os
Como se puede obse a en la Figu a 4.6, con cada paso en los expe imen os, se han
ido mejo ando la p ecisi´on, e ec i idad y exac i ud del p og ama, llegando a una p ecisi´on
del 90 %, e ec i idad del 92 % y exac i ud del 91 %.
52 Cap
´
ı ulo 4. Expe imen aci´
on y Compa a i a
4.4.1. Im´agenes de Ejemplo
A con inuaci´on se mues an im´agenes que se han pasado po el p og ama:
Figu a 4.7: An es y depu´es 1
Figu a 4.8: An es y depu´es 2
Figu a 4.9: An es y depu´es 3
4.4. Resul ados 53
Figu a 4.10: An es y depu´es 4
Figu a 4.11: An es y depu´es 5
Figu a 4.12: An es y depu´es 6
60 Cap
´
ı ulo 6. In oduc ion
Figu a 6.1: Diag ama de Gan

6.5. S uc u e 61
6.5. S uc u e
The memo y o he wo k is di ided in o chap e s acco ding o he phase o which hey
co espond as cla i ied below:
Chap e 1 p o ides a b ie in oduc ion o he p ojec , as well as he mo i e behind i .
In Chap e 2 a heo e ical amewo k o a i icial in elligence is w i en o con ex ualize
he p ojec .
Chap e 3 shows he Model used in ou p og am.
Chap e 4 is made up o se e al expe imen s in which he de elopmen s ha a e being
made a e es ed and he esul s a e analysed in o de o know in which line o con inue
he de elopmen . I also shows he esul s ob ained in he wo k.
Chap e 5 is he conclusion o he wo k and also discusses possible imp o emen s i
could ha e.
Chap e 6 is he in oduc ion in English.
Chap e 5 is he conclusion and u u e wo k in English.
Chap e 8 is he las chap e , and desc ibes he pa h aken by each o he pa icipan s
in he p ojec . I also explains he con ibu ions ha each one has made.
Cap´ı ulo 7
Conclusions and Fu u e Wo k
7.1. Conclusions
The inal p og am undoub edly manages o make an accep able de ec ion o weapons
in ideos. Much has been lea ned in he p ocess o c ea ing he p og amme, and g ea e
s eps ha e been aken as he de elopmen o he p og amme has p og essed.
Ini ially he e was a good a chi ec u e in he model 4.1, bu he esul s did no
accompany i . This is because i is essen ial o ha e a good collec ion o images o he
esul s o be good, as seen in he expe imen 4.2.
The ele ance o he images con ained in he image collec ion is e y impo an . I
ook a long ime o ge a good collec ion, as i equi es no only a lo o images, bu
quali y in hese. This was demons a ed in he expe imen 4.3.3.
I was hough ha you could ge good accu acy in he de ec o and make i as
as well, bu wi h a no mal p ocesso you can’ ge bo h, as demons a ed in he
expe imen 4.1.
The model is no only he a chi ec u e o he laye s ha make i up, bu also he
con igu a ion ha i has. I has been shown ha modi ying he con igu a ion o he
model gi es be e esul s in he de ec o .
The sou ce code o he p og amm can be ound in he ollowing link:
h ps://gi hub.com/Alejand omndza/UCM-Tenso low [EM19].
63
64 Cap
´
ı ulo 7. Conclusions and Fu u e Wo k
7.2. Fu u e Wo k
Due o he long ime i akes o ain a model, 1 day in ou p ocesso , we could
no es all he imp o emen s you would wan . So i would be ad isable o use a be e
p ocesso wi h GPU. You could y using a di e en model, because i you use a good
GPU you can ge be e esul s wi h ano he model.
The con igu a ions ha ha e been es ed a e no all possible. We ha e ied o
make small changes in he con igu a ion ile, and measu e he esul s o know wha had
o change and wha alue had o be gi en o each pa ame e o op imize he esul s o
he p og am, as well as o educe he high aining ime, which has been undoub edly
one o he bigges p oblems ha has been had. Howe e , i could be imp o ed by doing
mo e aining and expe imen s.
We ha e no been able o dedica e enough ime o da ase , and a u u e job would
be o pu mo e a ie y o ideos and mo e quan i y. I is also p oposed o p e-p ocess he
images o educe he a e o alse posi i es, as i is one o he alues ha has cos us he
mos o imp o e and ha is conside ed he mos impo an .
Ano he imp o emen ela ed o da ase would be o apply ex Da a augmen a ion.
Ha dly any da a augmen a ion has been done in he image collec ion ( andom wis s ha e
been applied in he aining images). One way o imp o e he da ase would be o change
he esolu ion, b igh ness, scale, o a ion, zoom, inc ease sa u a ion, e c.
I is p oposed o c ea e a g aphical in e ace, o acili a e he use ’s use o he
ool. This should consis o an en y o he ideo, and he possibili y o using he classes
you wan wi h as many en ies o collec ions o images as numbe o classes a e selec ed.
A inal p oposed imp o emen would be o implemen new classes. The model p oposed
in his wo k al eady has he implemen a ion in he model o do so, so i would only be
necessa y o make a collec ion o images o ano he class o ain he model.
Cap´ı ulo 8
Apo aciones Indi iduales
8.1. Pablo Es e e Calzado
Mi p ime a a ea ue ap ende Py hon, ya que no en´ıa conocimien os p e ios en es e
lenguaje, e iba a necesi a ap ende lo pa a pode desa olla e implemen a p og amas
basados en IA. Pa a ap ende es e lenguaje hice uso de una pla a o ma web llamada
Udemy. Es a pla a o ma me pe mi i´o inicia me en el lenguaje con ejemplos p ´ac icos.
T as es a p ime a ap oximaci´on con el lenguaje me i obligado a ap ende los
p incipios b´asicos del AA 2.5.1 y del AP 2.5.2, ya que en nues o p oyec o ´ıbamos a usa
es os m´e odos pa a la de ecci´on 2.9. Hice uso de la misma pla a o ma que u ilic´e pa a el
es udio de Py hon.
Con inu´e con el es udio de isi´on a i icial 2.7, pa a lo cual nues os u o es nos
acili a on un lib o [PyI19] que me pe mi i´o en ende c´omo uncionaba el AP con isi´on
a i icial.
Cabe des aca que mi compa˜ne o y yo nos eun´ıamos una ez a la semana pa a
compa a nues os a ances y discu i lo que hab´ıamos ap endido.
Hice, jun o a mi compa˜ne o, un p og ama que clasi icaba im´agenes. Conside amos
que la de ecci´on e a un p oblema de mayo en e gadu a, y el clasi icado nos pe mi i ´ıa
ap ende concep os m´as b´asicos. Pa a el co ec o uncionamien o de es e p og ama me
enca gu´e de las conexiones de la colecci´on de im´agenes con el modelo. El clasi icado
cons aba de una colecci´on de im´agenes Ci a , la cual con iene 10 clases y un o al de
60.000 im´agenes, dis ibuidas en 10.000 pa a es y 50.000 pa a en enamien o.
T as la implemen aci´on de es e clasi icado , mi compa˜ne o y yo pusimos en com´un
c´omo hab´ıamos hecho nues a pa e, pa a que ambos en endi´e amos c´omo uncionaba el
clasi icado .
Pa a aden a me en la de ecci´on de obje os en ´ıdeos, me dispuse a lee muchos
pape s cien ´ı icos, algunos p opo cionados po nues os u o es y o os que encon aba en
google. De mane a ans e sal, ui haciendo es´umenes de es os pape s pa a en ende los y
ene una idea gene al sob e los modelos que se usan en el es ado del a e de la de ecci´on.
Cabe des aca que la g an mayo ´ıa de la in o maci´on que se encuen a es en ingl´es. Es o
me di icul ´o, al p incipio, comp ende la e minolog´ıa que se usaba en es e campo.
65

66 Cap
´
ı ulo 8. Apo aciones Indi iduales
En es e momen o es ´abamos eniendo p oblemas con la elocidad de c´ompu o, po lo
que decid´ı cambia el o denado pa a hace los en enamien os de los modelos en o o
o denado con a je a g ´a ica dedicada. Finalmen e, mi compa˜ne o u o la idea de ejecu a
el c´odigo en la nube, pe o no pudimos segui haci´endolo mucho iempo po que e a de pago.
Mi compa˜ne o y yo nos di idimos pa a busca implemen aciones de modelos pa a
en ena los con colecciones de im´agenes pe sonalizadas. Es u e buscando du an e a ios
d´ıas, p obando a ios modelos e implemen aciones. Uno de los modelos que implemen ´e
ue un de ec o de ca as hecho con YOLO a a ´es de la webcam. Al inal decidimos
usa una API de Tenso low que hab´ıa encon ado mi compa˜ne o. Ten´ıamos que elegi
qu´e modelos ´ıbamos a p oba en la API, po lo que hice acopio de la in es igaci´on
ealizada an e io men e y la ampli´e un poco m´as con modelos que e an del es ado
del a e. Decid´ı que deb´ıamos usa el modelo Fas e RCNN 2.11.2.3 y el SSD 2.11.1.1
ya que son los m´as p obados, y los que mejo es esul ados han dado en o os expe imen os.
Seguidamen e, hice un es udio sob e c´omo iene que se una colecci´on de im´agenes
pa a que sea e ec i a. Despu´es empec´e a busca colecciones de im´agenes en in e ne , pe o
no hab´ıa casi ninguna colecci´on acep able. Me puse en con ac o con el Depa amen o de
In eligencia A i icial de la Uni e sidad de G anada, ya que hab´ıan ealizado un so wa e
de de ecci´on de a mas ambi´en, pe o la colecci´on de im´agenes que usaban ya la en´ıamos.
Empec´e a ecopila im´agenes y ´ıdeos de in e ne en los que apa ecie an pis olas, y se los
pasaba a mi compa˜ne o pa a que hicie a el e ique ado de los mismos.
T as hace a ios expe imen os 4.2 con las dis in as colecciones de pis olas pas´e
a es udia c´omo modi ica la con igu aci´on del modelo. Hay muchos pa ´ame os a
con igu a , po lo que los di idimos en e ambos pa a es udia los y, m´as a de, pone los
en com´un. Despu´es de es udia los, hice 2 ejemplos de modi icaci´on de la con igu aci´on
pa a el siguien e expe imen o 4.3.1.
Cuando inaliz´o el expe imen o, decid´ı ealiza uno nue o 4.3.2, donde hice una nue a
con igu aci´on de los pa ´ame os del modelo espec o al an e io expe imen o 4.3.1. En
es e expe imen o ya conseguimos una con igu aci´on acep able, po lo que decidimos hace
una nue a mejo a sob e la colecci´on de da os que en´ıamos.
Pa a hace dicha mejo a me g ab´e en a ios ´ıdeos usando una pis ola de pl´as ico
en a ios escena ios. Es os ´ıdeos se los pas´e a mi compa˜ne o pa a que hicie a el e ique ado.
Los esul ados con es a ´ul ima colecci´on de im´agenes ue on muy buenos 4.3.3, po lo
que empezamos a edac a la memo ia usando oda la documen aci´on que hab´ıamos ido
acumulando en odos los expe imen os. G acias a una pla a o ma en l´ınea de LaTex que
nues os u o es nos p opo ciona on, pude hace la memo ia a la ez que mi compa˜ne o,
poniendo siemp e en com´un los a ances sob e la misma.
8.2. Alejand o Mendoza Sil a 67
8.2. Alejand o Mendoza Sil a
Al p incipio u e que dedica mucho iempo al en endimien o de Py hon, ya que
aunque en´ıa conocimien os p e ios al cu sa Bid Da a en la uni e sidad como asigna u a
op a i a (donde ap end´ı la uncionalidad b´asica del lenguaje), desconoc´ıa su aplicaci´on en
los campos de IA 2.5. Lib e ias como pandas pa a la manipulaci´on de da os es uc u ados,
numPy po su acilidad al abaja con ma ices Ma plo lib pa a la ep esen aci´on de
his og amas, g ´a icos de l´ıneas, e c.
En e o as muchas lib e ´ıas u ilizadas ac ualmen e pa a el desa ollo en el ´ambi o
de IA. T as es e es udio po encima de las ca ac e ´ıs icas de py hon, ealic´e un es udio
m´as in ensi o pa a ene conocimien os m´as amplios. U ilice una pla a o ma denominada
Da aCamp, en la que ealic´e un cu so de AP 2.5.2, donde explicaban concep os como
qu´e es una neu ona, capas ocul as, unci´on de ac i aci´on, op imizado es, y as´ı i
comp endiendo la impo ancia de la limpieza de da os pa a modelos p edic i os de
eg esi´on lineal y o as p oblem´a icas.
Es a pla a o ma me esul ´o muy in e esan e, y me eci´o la pena la apo aci´on
econ´omica pa a ing esa en ella. Ya que al pe mi i e ejecu a el c´odigo online en el p opio
na egado , acili aba el en endimien o sin ene que pelea con las lib e ´ıas, en o nos
i uales o e siones.
Tu e euniones semanales con mi compa˜ne o, lo que me pe mi i´o pone a p ueba mis
conocimien os y discu i c´omo uncionaban los m´e odos que hab´ıamos ap endido. T as
a ias euniones con nues os u o es encamin´e el ap endizaje hacia nues o obje i o,
la de ecci´on en ideos de pis olas 2.9. Mi compa˜ne o y yo decidimos desa olla un
clasi icado , ya que el en enamien o de un de ec o e a m´as complejo po que en an en
juego m´as ac o es como los a chi os xml donde si ´uan al obje o a de ec a en la imagen.
Pa a el desa ollo de es e clasi icado me enca gu´e de con igu a el modelo de la ed
neu onal que ´ıbamos a usa .
Despu´es de una la ga in es igaci´on po a ´ıculos de google y leyendo pape s
cien ´ı icos de desa ollo en AP u e una idea de c´omo uncionaban las edes neu onales
con olucionales. Hay que ema ca aqu´ı el hecho de que al se algo complejo, hay mucha
in o maci´on con usa que di icul ´o el es udio sob e es os emas. Fue in e esan e con a con
una in es igado a de AP la cual, nos ayud´o a comp ende y escla ece odas las dudas
que nos hab´ıan su gido has a el momen o.
T as las euniones me dispuse a ap ende de una mane a m´as p o unda el
uncionamien o de las edes neu onales con olucionales. Ke as om´o un papel undamen al
desde el p ime momen o, ya que al se una lib e ´ıa de al o ni el de enso low su ni el de
abs acci´on hizo m´as ´acil la comp ensi´on de los modelos como el clasi icado de im´agenes
que se desa oll´o an e io men e. Adem´as con las acla aciones desc i as an e io men e se
pudo con inua su desa ollo y no se ol i´o algo an edioso. Pa a el dise˜no del modelo
se u o como e e encia a qui ec u as como la VGG-16, que se basan en hace c ecien e
el n´ume o de neu onas de las capas con olucionales. Se ob u ie on buenos esul ados
modi icando los pa ´ame os del modelo has a llega al de ini i o que es el que se encuen a
en nues o Jupy e no ebook.
68 Cap
´
ı ulo 8. Apo aciones Indi iduales
Como la elocidad de c´ompu o e a un p oblema, mi compa˜ne o y yo buscamos
al e na i as a es e p oblema, en p ime a ins ancia mi compa˜ne o cambi´o el po ´a il
po uno mejo , con la en aja de ene una a je a g ´a ica dedicada, lo que pe mi i´o el
c´ompu o en gpu. Se ob u ie on buenos esul ados, pe o no lo espe ado. Po lo an o
decidid´ı hace la ejecuci´on en cloud, pa a ello Google dispone de un Jupy e no ebook,
que me pe mi i´o ejecu a c´odigo con una GPU Tesla de g an po encia.
Ya que nues o obje i o e a un de ec o y no un clasi icado , se busc´o la mane a de
en ena modelos p ede inidos como el Fas e RCNN 2.11.2.3 o el modelo SSD 2.11.1.1.
Tu e que ealiza a ios expe imen os, busca in o maci´on ele an e y as a ios in en os
allidos, di con la API o icial de Tenso Flow donde e explican c´omo en ena obje os
cus om. T as la lec u a y comp ensi´on sob e c´omo unciona es e API. Lle ´e a cabo, jun o
con mi compa˜ne o, un es udio pa a de e mina qu´e modelos y edes neu onales base de
los disponibles nos in e esaban pa a la expe imen aci´on.
Al cabo de a ios d´ıas de es udio decid´ı usa Incep ion y Resne como edes neu onales
base. Pa a el en enamien o u e que en ende el uncionamien o del API y g acias a
un c´odigo de gi hub, pude en ende c´omo se gene an los eco ds necesa ios pa a el
en enamien o.
Hicimos el p ime expe imen o con los modelos elegidos po mi compa˜ne o y las edes
neu onales base elegidas po mi. T as los esul ados del expe imen o decidimos hace una
colecci´on de im´agenes. En un p incipio me enca gu´e yo de e ique a im´agenes mien as
mi compa˜ne o buscaba las im´agenes.
El p oceso m´as labo ioso ha sido hace el e ique ado de odas las im´agenes con un
p og ama llamado OpenLabeling [Ca 19]. Sumando odas las colecciones de im´agenes 3.1
he in e ido mucho iempo en hace el e ique ado de casi 25k im´agenes. De las cuales
muchas se desecha on po simili ud con las o as im´agenes y no apo aban in o maci´on
ele an e pa a la ed. Despu´es de la mejo a de las colecciones de im´agenes u e un p oceso
de es udio de la con igu aci´on del modelo en e o de Fas e RCNN di iediendo con mi
compa˜ne o los pa ´ame os que hab´ıa que cambia . T as pone en com´un la in o maci´on
sob e los pa ´ame o, hice una mejo a de la con igu aci´on pa a el p ime expe imen o 4.3
con las con igu aciones.
T as es e expe imen o hice dos nue as con igu aciones pa a hace el segundo
expe imen o 4.3.2 con las con igu aciones. De es e expe imen o sacamos la con igu aci´on
inal que ´ıbamos a usa .
Hice un ´ul imo e ique ado de im´agenes con ´ıdeos de mi compa˜ne o pa a a˜nadi lo a
la colecci´on de im´agenes 4.3.3, y a˜nad´ı ambi´en im´agenes en las que no apa ec´ıan a mas,
pa a equilib a la p opo ci´on de im´agenes con pis olas y sin pis olas.
La documen aci´on de la memo ia la ui haciendo a medida que a anz´abamos, y la
edacci´on inal de la misma ue simplemen e esc ibi la de o ma m´as o denada usando
el p og ama LaTex. G acias a una pla a o ma de LaTex en la nube p opo cionada po
nues os u o es pude hace , jun o a mi compa˜ne o, la edacci´on de la memo ia en l´ınea.
Bibliog a ´ıa
[AmAaP+18] M. Al-masni, M. A. Al-an a i, J. Pa k, G. Gi, T. Kim, P. Ri e a, E. Vala ezo,
M. Choi, S. Han, and T. Kim. Simul aneous De ec ion and Classi ica ion o B eas
Masses in Digi al Mammog ams ia a Deep Lea ning YOLO-based CAD Sys em.
Compu e Me hods and P og ams in Biomedicine, 157, Ap il 2018.
[B e01] C. B eazeal. MIT eam building social obo . h p://news.mi .edu/2001/kisme ,
Feb ua y 2001.
[Ca 19] Ca ucho. OpenLabeling. h ps://gi hub.com/Ca ucho/OpenLabeling, May
2019.
[Com19] His o y Compu e . Logic Theo is : His o y. h ps://his o y-compu e .com/
Mode nCompu e /So wa e/LogicTheo is .h ml, May 2019.
[CTP+19] A. Cas illo, S. Tabik, F. P´e ez, R. Olmos, and F. He e a. B igh ness guided
p ep ocessing o au oma ic cold s eel weapon de ec ion in su eillance ideos wi h
deep lea ning. Neu ocompu ing, 330:151 – 161, 2019.
[dG19] Uni e sidad de G anada. Weapons de ec ion. h ps://sci2s.ug .es/
weapons-de ec ion, May 2019.
[EM19] P. Es e e and A. Mendoza. De ec o a mas. h ps://gi hub.com/
Alejand omndza/UCM-Tenso low, May 2019.
[FH99] H. Feng-Hsiung. IBM’s Deep Blue Chess g andmas e chips. IEEE Mic o,
19(2):70–81, Ma ch 1999.
[GDDM14] R. Gi shick, J. Donahue, T. Da ell, and J. Malik. Rich Fea u e Hie a chies o
Accu a e Objec De ec ion and Seman ic Segmen a ion. In The IEEE Con e ence
on Compu e Vision and Pa e n Recogni ion (CVPR), Ohio, USA, June 2014.
[GN09] P. Gehle and S. Nowozin. On ea u e combina ion o mul iclass objec classi ica ion.
In 2009 IEEE 12 h In e na ional Con e ence on Compu e Vision, pages 221–228,
Kyo o, Japan, Sep. 2009.
[HOT06] G. E. Hin on, S. Osinde o, and Y. Teh. A as lea ning algo i hm o deep belie
ne s. Neu al Compu a ion, 18(7):1527–1554, May 2006.
[HS95] S. Hoch ei e and J. Schmidhube . Long Sho - e m Memo y. h p://ci esee x.
is .psu.edu/ iewdoc/summa y?doi=10.1.1.51.3117, Augus 1995.
[HS97] S. Hoch ei e and J. Schmidhube . Long Sho -Te m Memo y. Neu al Compu a ion,
9(8):1735–1780, No embe 1997.
[JLM10] V. Jain and E. Lea ned-Mille . FDDB: A Benchma k o Face De ec ion in
Uncons ained Se ings. Technical Repo , Uni e si y o Massachuse s, Amhe s ,
June 2010.
[KPNY19] S. Kim, S. Pa k, Byunggook Na, and S. Yoon. Spiking-YOLO: Spiking Neu al
Ne wo k o Real- ime Objec De ec ion. a Xi e-p in s, Ma ch 2019.
[KSL+19] T. Kong, F. Sun, H. Liu, Y. Jiang, and J. Shi. Consis en Op imiza ion o
Single-Sho Objec De ec ion. Technical Repo , Tsinghua Uni e si y, Janua y 2019.
69