Iden i icaci´on de la Fuen e de Adquisici´on de
Fiche os Mul imedia de Disposi i os M´o iles
median e Deep Lea ning
TRABAJO FIN DE GRADO
Doble G ado En Ma em´a icas e Ingenie ´ıa In o m´a ica
CURSO 2018–2019
Almudena Ou eda Rod ´ıguez
Di ec o es
Luis Ja ie Ga c´ıa Villalba
Ana Lucila Sando al O ozco
Depa amen o de Ingenie ´ıa del So wa e e In eligencia A i icial
Facul ad de In o m´a ica
Uni e sidad Complu ense de Mad id
Mad id, Junio de 2019
Ag adecimien os
Quisie a ag adece y dedica es e abajo al G upo de In es igaci´on de An´alisis,
Segu idad y Sis emas (GASS), especialmen e a mis u o es Luis Ja ie Ga c´ıa Villalba
y Ana Lucila Sando al O ozco po habe me b indado la opo unidad de abaja en un
p oyec o de al magni ud, guia me y da me acilidades pa a ealiza un abajo del que
me sien o o gullosa. A odos los miemb os del g upo, especialmen e a Es eban Alejand o
A mas Vega po habe es ado ah´ı en cada duda que me su gie a. A Jenny Ci uen es po
las cha las de edes neu onales. G acias a odos po guia me y po oda la paciencia
demos ada.
Tambi´en quie o ag adece a mi amilia y a mi pa eja la paciencia que han enido
conmigo es os meses y la ayuda que me han b indado pa a pode ealiza es e abajo.
iii
´
Indice Gene al
´
Indice de Figu as IX
´
Indice de Tablas XI
Lis a de Ac ´
onimos XIV
Abs ac XVII
Resumen XIX
1. In oducci´
on 1
1.1. Mo i aci´on .................................... 1
1.2. Con ex o ..................................... 2
1.3. Obje o de la In es igaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.4. T abajosRelacionados.............................. 3
1.5. PlandeT abajo ................................. 3
1.6. Es uc u adelT abajo.............................. 4
2. Ma co Te´
o ico 7
2.1. Ap endizaje Au om´a ico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1.1. De inici´on................................. 7
2.1.2. Concep os, Me odolog´ıas y Modelos . . . . . . . . . . . . . . . . . . 9
2.2. El Ap endizaje P o undo F en e al Ap endizaje Au om´a ico . . . . . . . . . 10
2.2.1. Rep esen aciones de Da os y Reconocimien o de Ca ac e ´ıs icas . . . 10
2.2.2. A qui ec u a del Deep Lea ning y Es uc u a en G andes Da os . . 11
2.3. LasRedesNeu onales .............................. 11
2.3.1. Redes Neu onales A i iciales . . . . . . . . . . . . . . . . . . . . . . 11
2.3.2. Redes Neu onales Con olucionales . . . . . . . . . . . . . . . . . . . 13
3. An´
alisis Fo ense de Iden i icaci´
on de la Fuen e de Adquisici´
on 17
3.1. O iginalidad del Con enido que P esen a el Fiche o Mul imedia . . . . . . . 18
3.1.1. Falsi icaci´on de Im´agenes Digi al . . . . . . . . . . . . . . . . . . . . 18
3.1.2. Es eganog a ´ıa Digi al de Im´agenes . . . . . . . . . . . . . . . . . . . 21
i ´
INDICE GENERAL
3.1.3. Falsi icaci´on de V´ıdeos . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2. Iden i icaci´on de la Fuen e de Adquisici´on . . . . . . . . . . . . . . . . . . . 23
3.2.1. T´ecnicas de Iden i icaci´on de la Fuen e de Adquisici´on en Im´agenes . 24
3.2.2. T´ecnicas de Iden i icaci´on de la Fuen e de Adquisici´on en V´ıdeos . . 25
3.2.3. Iden i icaci´on de la Fuen e de Adquisici´on con Redes Neu onales
Con olucionales.............................. 26
4. Es ado del A e 27
4.1. Tipos de En oque en las In es igaciones . . . . . . . . . . . . . . . . . . . . 27
4.1.1. BasadoenModelos............................ 27
4.1.2. BasadoenDa os ............................. 28
4.2. Uso de las Redes Neu onales Con olucionales . . . . . . . . . . . . . . . . . 28
4.2.1. Iden i icaci´on de los Modelos de C´ama a T adicionales . . . . . . . . 29
4.2.2. Iden i icaci´on de C´ama as de M´o iles . . . . . . . . . . . . . . . . . 30
4.2.3. Iden i icaci´on de la Fuen e de Adquisici´on de V´ıdeos . . . . . . . . . 32
5. Algo i mo P opues o 35
5.1. Desc ipci´on del Algo i mo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.1.1. Ex acci´on de los Fo og amas de un V´ıdeo . . . . . . . . . . . . . . . 35
5.1.2. Reducci´on de los Fo og amas en ´
A eas m´as Peque˜nas . . . . . . . . 36
5.1.3. P epa aci´on de los Da os . . . . . . . . . . . . . . . . . . . . . . . . 36
5.1.4. Clasi icaci´on de los Pa ches con la CNN P opues a . . . . . . . . . . 36
5.1.5. C´alculo de la P ecisi´on de la CNN con V´ıdeos a pa i de la P ecisi´on
Ob enida con los Fo og amas . . . . . . . . . . . . . . . . . . . . . . 37
5.2. Desa ollo de la Red P opues a . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.2.1. P ime a Red Neu onal Con olucional . . . . . . . . . . . . . . . . . 38
5.2.2. Segunda Red Neu onal Con olucional . . . . . . . . . . . . . . . . . 39
5.3. Recu sos y He amien as U ilizadas . . . . . . . . . . . . . . . . . . . . . . . 41
5.3.1. Con igu aci´on y Componen es de los Expe imen os . . . . . . . . . . 41
6. Expe imen os y Resul ados 43
6.1. Elecci´on de los Conjun os de Mues as . . . . . . . . . . . . . . . . . . . . . 43
6.1.1. Conjun os de Im´agenes . . . . . . . . . . . . . . . . . . . . . . . . . 43
6.1.2. Da ase M´o iles GASS . . . . . . . . . . . . . . . . . . . . . . . . . . 44
6.1.3. Conjun os de V´ıdeos . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6.2. T a amien o y P ep ocesamien o de los Conjun os . . . . . . . . . . . . . . 45
6.2.1. Selecci´on y C eaci´on de los Conjun os . . . . . . . . . . . . . . . . . 45
6.2.2. Sepa aci´on en Dos Conjun os: En enamien o y Validaci´on . . . . . . 46
6.2.3. Ex acci´on de los Fo og amas de cada V´ıdeo . . . . . . . . . . . . . 46
6.2.4. Di isi´on de cada Imagen en ´
A eas m´as Peque˜nas . . . . . . . . . . . 46
6.3. Resul ados Ob enidos con la Red 1 . . . . . . . . . . . . . . . . . . . . . . . 47
´
INDICE GENERAL ii
6.3.1. Resul ados del Conjun o 1 con la Red 1 . . . . . . . . . . . . . . . . 47
6.3.2. Resul ados del Conjun o 2 con la Red 1 . . . . . . . . . . . . . . . . 48
6.4. Resul ados Ob enidos con la Red 2 . . . . . . . . . . . . . . . . . . . . . . . 48
6.4.1. Resul ados del Conjun o 1 con la Red 2 . . . . . . . . . . . . . . . . 49
6.4.2. Resul ados del Conjun o 2 con la Red 2 . . . . . . . . . . . . . . . . 49
6.4.3. Resul ados del Conjun o 3 con la Red 2 . . . . . . . . . . . . . . . . 50
6.4.4. Resul ados del Conjun o 4 con la Red 2 . . . . . . . . . . . . . . . . 51
7. Conclusiones y T abajo Fu u o 53
7.1. Conclusiones ................................... 53
7.2. T abajoFu u o.................................. 54
8. In oduc ion 57
8.1. Mo i a ion .................................... 57
8.2. Con ex ...................................... 58
8.3. Objec o he In es iga ion . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
8.4. Rela edWo ks .................................. 59
8.5. Wo kplan ..................................... 59
8.6. S u u eo heWo k............................... 60
9. Conclusions and Fu u e Wo k 63
9.1. Conclusions.................................... 63
9.2. Fu u eWo k ................................... 64
Bibliog a ´
ıa 67
´
Indice de Figu as
2.1. His o ia de la In eligencia A i icial y el Machine Lea ning . . . . . . . . . . 8
2.2. Pasos a segui pa a desa olla un modelo basado en Machine Lea ning . . . 9
2.3. Esquema de una ed neu onal p ealimen ada. . . . . . . . . . . . . . . . . . 12
2.4. Esquema de una ed neu onal ecu en e. . . . . . . . . . . . . . . . . . . . 12
2.5. Esquema de la a qui ec u a de una ed neu onal con olucional. En azul se
mues an las capas con olucionales, en ojo, la capa la ened y en e de,
las capas comple amen e conec adas. . . . . . . . . . . . . . . . . . . . . . . 14
3.1. Ejemplo del e ec o Copy Pas e [RTD11]. . . . . . . . . . . . . . . . . . . . . 18
3.2. Ejemplo del e ec o de elimina un obje o de una imagen [MA13]. . . . . . . 19
3.3. Ejemplo del e ec o de e oca una imagen [RTD11]. . . . . . . . . . . . . . . 19
3.4. Ejemplo del e ec o de ealiza un mon aje a pa i de dos o og a ´ıas [BM13]. 19
3.5. Ejemplo de una imagen con es eganog a ´ıa [MA13] . . . . . . . . . . . . . . 22
5.1. Esquema de la a qui ec u a de la Red 1. . . . . . . . . . . . . . . . . . . . . 39
5.2. Esquema de la a qui ec u a p opues a pa a la Red 2. . . . . . . . . . . . . . 41
ix
Abs ac
Nowadays, socie y li es su ounded by mul imedia con en such as images and ideos.
The p esence o elec onic de ices capable o aking pho og aphs o eco ding ideos is a
eali y in ou daily li es, and hei numbe inc eases wi h he passage o ime. The as
majo i y o socie y ca ies a mobile phone in hei pocke and makes use o i o ake pho os
o ideos. Associa ed o his, o e he yea s ha e been appea ing alsi ica ion echniques
and manipula ion o mul imedia con en ha make i di icul o know i ha con en
is au hen ic o no and whe e i comes om, which makes o ensic analysis echniques a
cu en necessi y. In his wo k a con olu ional neu onal ne wo k capable o iden i ying he
sou ce o acquisi ion o ideos eco ded wi h a mobile de ice is p oposed.
The esul s ha ha e been ob ained in he expe imen s o his wo k shown clea ly he
e ec i eness o he p oposed me hods. Fo he e alua ion o hese p oposed me hods he e
ha e been ca ied ou expe imen s using a public da ase , which has been ampli ied wi h
he li e a u e and a gene a ed da ase .
Keywo ds: Acquisi ion Sou ce Iden i ica ion, Classi ica ion, Digi al Image, Digi al Video,
Fo ensics Analysis, Neu onal Con olu ion Ne wo k.
x ii
Resumen
Ac ualmen e, la sociedad i e odeada de con enido mul imedia como son las im´agenes
y los ´ıdeos. La p esencia de disposi i os elec ´onicos capaces de ealiza o og a ´ıas o
g aba ´ıdeos es una ealidad en nues a ida co idiana, y su n´ume o aumen a con el paso
del iempo. La g an mayo ´ıa de la sociedad lle a un m´o il en el bolsillo y hace uso de ´el
pa a ealiza o os o ´ıdeos. Ligado a ello, con los a˜nos han ido apa eciendo ´ecnicas de
alsi icaci´on y manipulaci´on de con enidos mul imedia que di icul an sabe si ese con enido
es au ´en ico o no y de d´onde p ocede, lo que hace que las ´ecnicas de an´alisis o ense sean
una necesidad ac ual. En es e abajo se p opone una ed neu onal con olucional capaz
de iden i ica la uen e de adquisici´on de ´ıdeos g abados con un disposi i o m´o il.
Los esul ados ob enidos de los expe imen os ealizados en es e abajo demues an
la e iciencia de m´e odos p opues os. Pa a la e aluaci´on de los m´e odos p opues os se
ealiza on expe imen os con un da ase p´ublico ampliamen e u ilizado en la li e a u a y
un da ase gene ado.
Palab as cla e: An´alisis Fo ense, Clasi icaci´on, Iden i icaci´on de Fuen e, Im´agenes
Digi ales, Red Neu onal Con olucional, V´ıdeos Digi ales.
xix
Cap´ı ulo 1
In oducci´on
1.1. Mo i aci´on
Hoy en d´ıa, la g an mayo ´ıa de la poblaci´on lle a un el´e ono m´o il en el bolsillo, cuando
no m´as de uno. En sus inicios, es os disposi i os en´ıan unciones muy b´asicas, como las de
ealiza o ecibi llamadas o se capaces de en ia y ecibi mensajes. Poco a poco, se les
ha ido a˜nadiendo m´as uncionalidades como juegos, calenda ios y c´ama as m´o iles. A d´ıa
de hoy, la inmensa mayo ´ıa de los m´o iles disponen de al menos, una c´ama a o og ´a ica,
capaz de hace an o o og a ´ıas como ´ıdeos. Es o, sumado a la sencillez con la que pueden
usa se es os disposi i os, hace que el hecho de ealiza una o og a ´ıa o ´ıdeo en cualquie
momen o y en cualquie luga sea un ac o no malizado en el d´ıa a d´ıa de cualquie pe sona.
Con ecuencia, has a hace unos a˜nos, los con enidos que pueden e se en una o og a ´ıa o
´ıdeo han sido conside ados ealidades incues ionables. Sin emba go, se ha p oducido un
auge de las ecnolog´ıas y m´e odos de alsi icaci´on y al e aci´on de im´agenes y ´ıdeos y de su
uso, incluso en e aquellas pe sonas que no ienen conocimien os en es e campo [GKWB07].
Es e en´omeno ha implicado que ya no se pueda con ia en lo que ep esen a una imagen ni
un ´ıdeo nunca m´as. Po ello, a la ez que el n´ume o de enga˜nos en las im´agenes aumen a,
se ha desa ollado pa alelamen e una se ie de es udios e in es igaciones que sean capaces
de de e mina de mane a un´ı oca si una imagen o un ´ıdeo ha sido al e ado o mues a su
con enido o iginal.
Uno de los en oques m´as impo an es que se le ha dado a es as in es igaciones y
a ances es el in en o de descub i qu´e c´ama a ue la que g ab´o un de e minado ´ıdeo o
imagen. Es o se hace a pa i del p opio ´ıdeo o imagen, sin m´as ayuda que la in o maci´on
que pueda con ene . A o unadamen e, a la ho a de g aba se, cada c´ama a deja en los
elemen os cap u ados una huella p opia con di e en es ca ac e ´ıs icas, lo que pe mi e hace
un seguimien o de esas ca ac e ´ıs icas y di e encia una c´ama a de o a.
Los a ances en es e campo son dispa es seg´un si se a a de im´agenes o ´ıdeos, o de si
ue on g abados con una c´ama a adicional o con la c´ama a de un disposi i o m´o il, pe o
odos ellos son muy impo an es pa a pode mejo a es as ´ecnicas de iden i icaci´on y se
´u iles a la sociedad. G acias a es os abajos, es posible de e mina si un de e minado ´ıdeo
o o og a ´ıa puede se usado como p ueba judicial y con ia plenamen e en el con enido
que se mues a. Es o ha acili ado la admisi´on de im´agenes y ´ıdeos de di e sas c´ama as,
especialmen e las ideoc´ama as de segu idad como p uebas judiciales, y han ayudado a
la iden i icaci´on de culpables a pa i de la iden i icaci´on del disposi i o que g ab´o las
im´agenes.
1
2Cap´
ı ulo 1. In oducci´
on
1.2. Con ex o
El p esen e T abajo Fin de G ado se enma ca den o de un p oyec o de in es igaci´on
i ulado RAMSES ap obado po la Comisi´on Eu opea den o del P og ama Ma co de
In es igaci´on e Inno aci´on Ho izon e 2020 (Con oca o ia H2020-FCT-2015, Acci´on de
Inno aci´on, N´ume o de P opues a: 700326) y en el que pa icipa el G upo GASS del
Depa amen o de Ingenie ´ıa del So wa e e In eligencia A i icial de la Facul ad de
In o m´a ica de la Uni e sidad Complu ense de Mad id (G upo de An´alisis, Segu idad
y Sis emas, h p://gass.ucm.es, g upo 910623 del ca ´alogo de g upos de in es igaci´on
econocidos po la UCM).
Adem´as de la Uni e sidad Complu ense de Mad id pa icipan las siguien es en idades:
•T eelogic Telem´a ica y L´ogica Racional pa a la Emp esa Eu opea SL (Espa˜na)
•Minis ´e io da Jus i¸ca (Po ugal)
•Uni e si y o Ken (Reino Unido)
•Cen o Rice che e S udi su Sicu ezza e C iminali `a (I alia)
•Fachhochschule u O en liche Ve wal ung und Rech sp lege in Baye n (Alemania)
•T ila e al Resea ch & Consul ing LLP (Reino Unido)
•Poli ecnico di Milano (I alia)
•Se ice Public Fede al In e ieu (B´elgica)
•Uni e si ¨a des Saa landes (Alemania)
•Di ecci´on Gene al de Polic´ıa - Minis e io del In e io (Espa˜na)
1.3. Obje o de la In es igaci´on
Se ha demos ado que es posible iden i ica la uen e de adquisici´on de una imagen
o un ´ıdeo a a ´es de las ca ac e ´ıs icas que p esen an sus elemen os in e nos y sus
me ada os. Es as ca ac e ´ıs icas, que son adqui idas du an e su p oceso de c eaci´on y en
p ocesamien os pos e io es, o man pa e de lo que se pod ´ıa conside a el ADN de una
imagen o ´ıdeo, y siendo analizadas, pueden mos a in o maci´on de e minan e sob e un
con enido digi al. Pa e de es as se˜nas de iden idad son o o gadas po la c´ama a uen e que
om´o la imagen o ´ıdeo, que deja una huella p opia sob e sus c eaciones, y que pe mi i ´a
iden i ica la a pos e io i.
La mayo ´ıa de las in es igaciones ealizadas en los ´ul imos a˜nos sob e ´ecnicas de
iden i icaci´on de uen e se han en ocado ´unicamen e en la iden i icaci´on de c´ama as
adicionales Digi al S ill Came a (DSC). Con la apa ici´on y masi icaci´on de los
disposi i os m´o iles, en su mayo ´ıa capaces de cap u a o og a ´ıas, se conside ´o necesa io
ealiza nue as in es igaciones sob e las ´ecnicas pa a iden i ica la uen e de im´agenes
gene adas po disposi i os m´o iles. La g an mayo ´ıa de es os es udios se han ealizado
en oc´andose en im´agenes, habiendo muy pocos sob e ´ıdeos.
La p esen e in es igaci´on se cen a en las ´ecnicas de iden i icaci´on de uen e de un
´ıdeo, ya que es un campo mucho menos es udiado. Tambi´en, se a a ´an las ´ecnicas
de iden i icaci´on de la uen e de im´agenes, ya que ienen una elaci´on impo an e. Es e
abajo p opone una ed neu onal con olucional capaz de iden i ica el disposi i o m´o il
que gene ´o un ´ıdeo a pa i de sus o og amas.
1.4. T abajos Relacionados 3
1.4. T abajos Relacionados
Las a eas de an´alisis o ense de im´agenes digi ales pueden di idi se en cua o amas,
en unci´on del obje i o que pe sigan [CFGL08]:
Ve i icaci´on de in eg idad.
Recupe aci´on de la his o ia de p ocesamien o.
Clasi icaci´on basada en la uen e.
Ag upaci´on po disposi i o uen e e iden i icaci´on de la uen e.
Den o de los cua o g upos, el modus ope andi que se u iliza es muy simila : con
el obje i o de implemen a un algo i mo que ayude al an´alisis o desa olla un m´e odo
nue o que acili e la clasi icaci´on, la comunidad cien ´ı ica es udia las ca ac e ´ıs icas que
componen o con iene un con enido digi al, pa a pode usa la in o maci´on de las mismas
en sus in es igaciones. Es as ca ac e ´ıs icas, que pueden se de muy dis in a na u aleza,
como las peculia idades del senso de la c´ama a o la dis o si´on de la len e, son la pied a
angula del an´alisis o ense. En [VLCEK07, TNC10] se lle a a cabo un es udio sob e cu´ales
pueden se las ca ac e ´ıs icas de una imagen que pueden se in e esan es o ´u iles pa a el
an´alisis o ense en disposi i os m´o iles.
En la li e a u a disponible se pueden encon a di e sos abajos basados en el
uso de una o a ias de es as ca ac e ´ıs icas, de los cuales des acan p incipalmen e
[BBBT16, TCC16, FONBCS18, BLG+17, MG18, YHW12]. Su pun o com´un y el mo i o
de se especialmen e impo an es pa a es e abajo es la u ilizaci´on po pa e de casi
odos de una ed neu onal con olucional pa a la iden i icaci´on de la uen e de adquisici´on,
siendo la misma ´ecnica que se usa ´a en es e abajo. [YHW12] no hace uso de una
Con olu ional Neu al Ne wo ks (CNN), pe o al a a se de una in es igaci´on sob e la
uen e de adquisici´on de un ´ıdeo, al igual que es e abajo, se ha is o in e esan e
a˜nadi sus conclusiones. Cabe des aca que la li e a u a disponible sob e el an´alisis de la
iden i icaci´on de las uen es de adquisici´on es muy desigual seg´un si a an sob e im´agenes
o ´ıdeos. Sob e las p ime as exis e un n´ume o acep able de publicaciones, aunque no muy
nume oso. En cambio, el n´ume o de abajos que se cen an en la iden i icaci´on de la uen e
de adquisici´on de un ´ıdeo es muy in e io . Po ello, animados po los esul ados ob enidos
en la li e a u a al aplica las ´ecnicas de Machine Lea ning a las im´agenes pa a clasi ica las
seg´un la c´ama a que las cap u ´o, en es e abajo se p opone aplica esas mismas ´ecnicas
a los ´ıdeos. Como esul ado, la p opues a de es e abajo es el uso de una ed CNN pa a
su clasi icaci´on. Su elecci´on se debe a se una ´ecnica muy poco es udiada en ´ıdeos a´un, y
a que seg´un los esul ados de la li e a u a m´as ac ual, es uno de los m´e odos m´as ´apidos
y e icaces que exis e hoy en d´ıa. Adem´as, es un m´e odo capaz de adap a se a dis in os
p op´osi os con acilidad.
1.5. Plan de T abajo
El desa ollo de es e abajo se ha ealizado en es ases:
1. In es igaci´
on: Es a p ime a ase se lle ´o a cabo en un pe iodo ap oximado de es
meses. Comenz´o con la elecci´on de la em´a ica del abajo jun o con los u o es:
la iden i icaci´on de la uen e de adquisici´on de ´ıdeos digi ales. Una ez elegido
se inici´o la in es igaci´on sob e la em´a ica del p oyec o en el que se enma ca el
abajo. E a necesa io sabe qu´e se hab´ıa hecho ya al espec o pa a pode a anza
4Cap´
ı ulo 1. In oducci´
on
y amplia los esul ados ya conocidos. G acias p incipalmen e a las asigna u as de
Geome ´ıa Compu acional e In eligencia A i icial, se pa ´ıa con una peque˜na base
de conocimien os sob e Ap endizaje Au om´a ico, Ap endizaje P o undo y Redes
Neu onales, de los que se habla ´a en los p ´oximos cap´ı ulos. Es os conocimien os
ue on ´apidamen e ampliados g acias a los nume osos a ´ıculos de e is as
cien ´ı icas, de cong esos y algunos lib os sob e la ma e ia, odos ellos encon ados
an o en Google Schola como en las biblio ecas de la Uni e sidad Complu ense de
Mad id. Se busca on p incipalmen e publicaciones sob e Ap endizaje Au om´a ico,
Redes Neu onales (especialmen e las con olucionales), alsi icaci´on de im´agenes y
´ıdeos e iden i icaci´on de im´agenes y ´ıdeos. Muchos de los abajos u ilizados
en la ase de in es igaci´on ue on encon ados g acias a las e e encias de o as
publicaciones ya es udiadas.
2. Desa ollo: Una ez que la ase de in es igaci´on es u o su icien emen e a anzada y
se adqui ie on odos los conocimien os necesa ios, se comenz´o la segunda ase, la del
desa ollo de la p opues a. En es e momen o se de e min´o cu´al se ´ıa la p opues a que
p esen a ´ıa es e abajo: el desa ollo de un m´e odo que pe mi a iden i ica la uen e
de adquisici´on de un ´ıdeo a pa i de una CNN. A la ez que se desa oll´o y codi ic´o
la p opues a, se sigui´o ambi´en con la in es igaci´on, aunque en meno medida que
en la ase an e io , solo buscando y consul ando concep os pun uales. En es a ase se
lle ´o a cabo la elecci´on y c eaci´on de los conjun os de im´agenes y ´ıdeos que se ´ıan
u ilizados pa a en ena y e alua la ed p opues a y se desa oll´o, codi ic´o, p ob´o y
edise˜n´o la ed en nume osas ocasiones has a log a el dise˜no de ini i o. Pa a ello, se
in es ig´o sob e el lenguaje de p og amaci´on Py hon y sus lib e ´ıas Ke as, Tenso low
ySciki Lea n.
3. Resul ados: Finalmen e, en la ase de Resul ados se p ocedi´o al an´alisis de odos
los esul ados que se hab´ıan ob enido con las nume osas p uebas ealizadas y a la
ex acci´on de conclusiones a pa i de dichos esul ados. Es a ase aba c´o en o no
a los dos meses y ue solapada un mes y medio con la ase an e io , ya que seg´un los
esul ados que se ob u ie an, e a necesa io ealiza m´as p uebas o no.
1.6. Es uc u a del T abajo
El es o del abajo es ´a o ganizado en 9 cap´ı ulos con la es uc u a que se explica a
con inuaci´on:
En el Cap´ı ulo 2 se in oducen los concep os b´asicos del Ap endizaje Au om´a ico, el
Ap endizaje P o undo y las Redes Neu onales, que son elemen ales pa a comp ende las
bases de la ciencia en las que es ´a cimen ado el an´alisis o ense en im´agenes y ´ıdeos.
En el Cap´ı ulo 3 se explica qu´e es la iden i icaci´on de la uen e de adquisici´on de una
imagen o ´ıdeo, qu´e ´ecnicas o enses exis en pa a ello y en qu´e elemen os de las c´ama as se
basan pa a pode aplica se. En es e cap´ı ulo se comienza mos ando los di e en es obje i os
que pe sigue el an´alisis o ense: la de e minaci´on de si un con enido es o iginal o no y la
iden i icaci´on de la c´ama a uen e. En ambos se ealiza una p esen aci´on de los m´e odos
y ´ecnicas que u ilizan odos ellos. Po ´ul imo, se mues a de o ma m´as de allada en qu´e
consis e la iden i icaci´on de la uen e de adquisici´on a pa i de una CNN, pues es una
pa e p incipal de es e abajo.
El Cap´ı ulo 4 ecoge una ecopilaci´on de las in es igaciones m´as impo an es de la
iden i icaci´on de la uen e de adquisici´on. En ´el, se pueden lee los log os ob enidos po
[BBBT16, TCC16] en la iden i icaci´on de la c´ama a uen e de im´agenes cap adas po una
1.6. Es uc u a del T abajo 5
c´ama a DSC adicional y como [FONBCS18] lle a dichos esul ados un paso m´as all´a
aplicando esas mismas ´ecnicas a im´agenes ob enidas a pa i de disposi i os m´o iles.
A con inuaci´on, se exponen los a ances de [MG18, YHW12] en el e eno de los ´ıdeos,
a ando incluso aquellos que han sido ansmi idos po una ed social.
El Cap´ı ulo 5 con iene la p opues a de es e abajo. En ´el se explica de o ma gene al
en qu´e consis e dicha p opues a y a con inuaci´on se de alla la ed inal que se p opone.
El Cap´ı ulo 6 desc ibe los expe imen os ealizados pa a e alua la e ec i idad de la ed
neu onal con olucional p opues a en el cap´ı ulo 5 y p esen a los esul ados ob enidos.
El Cap´ı ulo 7 mues a las p incipales conclusiones de es e abajo y las posibles l´ıneas
u u as de in es igaci´on.
Los Cap´ı ulos 8 y 9 son las aducciones al ingl´es de la In oducci´on (es e cap´ı ulo) y
de las Conclusiones (Cap´ı ulo 7).
12 Cap´
ı ulo 2. Ma co Te´
o ico
McCulloh ha sido gene alizada de muchas mane as. Una de las m´as usadas es el cambio
de la unci´on umb al po una unci´on de ac i aci´on, lo que mejo a los esul ados de dicha
neu ona.
Las ANN son is as a eces como g a os ponde ados di igidos, d´onde las neu onas
a i iciales son los nodos y las a is as ponde adas y di igidas son las conexiones exis en es
en e cada neu ona. Bas´andose en su a qui ec u a o pa ´on de conexi´on, pueden se
clasi icadas en dos ipos [JMM96]:
1. Red Neu onal P ealimen ada. Tambi´en conocidas po su nomb e en ingl´es,
Feed-Fo wa d Ne wo ks, se ca ac e izan po sus g a os, que no p esen an bucles.
Puede e se un esquema de es e ipo de ed en la Figu a 2.3.
Figu a 2.3: Esquema de una ed neu onal p ealimen ada.
2. Red Neu onal Recu en e. Las conexiones de es as edes p esen an bucles al
se posible que el esul ado de una neu ona sea el da o de en ada de una neu ona
an e io . Puede e se un esquema de es e ipo de ed en la Figu a 2.4.
Figu a 2.4: Esquema de una ed neu onal ecu en e.
2.3. Las Redes Neu onales 13
Seg´un sus conexiones, las edes neu onales pueden ene compo amien os muy
di e sos. Las edes eed- o wa d se ca ac e izan po se es ´a icas, lo que signi ica que
solo gene an un conjun o de esul ados pa a una en ada dada, en ez de una secuencia de
es os. Adem´as, es as edes no ienen memo ia, ya que su esul ado depende ´unicamen e
del es ado de la neu ona an e io . Las edes ecu en es son en cambio din´amicas, lo que
implica que cada ez que apa ece una nue a en ada, odos sus esul ados deben calcula se
de nue o, ya que los da os de en ada pueden habe se modi icado.
2.3.1.1. Ap endizaje con Redes Neu onales A i iciales
El p oceso de ap endizaje en una ANN se lle a a cabo ac ualizando la a qui ec u a de
la ed y los pesos de cada conexi´on de o ma que cada ed pueda se e icien e pa a una
a ea espec´ı ica. La ed po lo gene al ap ende los di e en es pesos de di e en es pa ones de
en enamien o. De es a mane a, su desempe˜no a mejo ando seg´un a p obando dis in os
pesos y a ac ualiz´andolos seg´un los esul ados que ha ob enido en las p uebas an e io es.
Es o es lo que concede a las ANN su mayo en aja sob e el es o de sis emas expe os:
su capacidad de ap ende a pa i de ejemplos, sin necesidad de un c´odigo complejo.
Sin emba go, el alo de los pesos no se descub e de o ma m´agica. Su mane a de i
ac ualizando su alo , depende del algo i mo de ap endizaje que se haya elegido pa a el
en enamien o, que es el que de e mina que eglas han de segui se a la ho a de ajus a los
pesos [JMM96, Agg18].
2.3.2. Redes Neu onales Con olucionales
Las Redes Neu onales Con olucionales, o m´as com´unmen e conocidas con su nomb e en
ingl´es, Con olu ional Neu al Ne wo ks (en adelan e CNN) son ANN p o undas, dise˜nadas
y pensadas especialmen e pa a clasi ica im´agenes seg´un lo que ep esen an, ag upa las
po simili ud o econoce obje os en una imagen. Las CNN ealizan un econocimien o
´op ico de im´agenes pa a digi aliza ex o y pode p ocesa as´ı el lenguaje na u al.
Las CNN ienen la capacidad de oma una imagen y asigna le una impo ancia a
cada una de sus ca ac e ´ıs icas y/o aspec os, siendo capaz de di e encia unos de o os. El
iempo de p ep ocesamien o que necesi a es ela i amen e bajo, pues igual que los ANN,
con su icien e en enamien o, es capaz de ap ende a di e encia cada imagen, sin necesidad
de un c´odigo ex enso de ´as [Agg18].
Su es uc u a es simila a las de una ANN, ya que, en el ondo, se a a de
una especializaci´on de una ANN. Sin emba go, hay m´as mo i os po los que es m´as
ecomendable usa una CNN an es que una ANN. Si se compa a una CNN con una ed
eed- o wa d, a p io i, pueden pa ece lo mismo. Si una imagen no deja de se un conjun o
de p´ıxeles, ¿po qu´e no se anspo an odos ellos a un a ay, y se usan como los da os de
en ada pa a un pe cep ´on mul icapa?
Aunque es e m´e odo puede da esul ados ´op imos con im´agenes bina ias
ex emadamen e simples, en el momen o en el que se in en e ep oduci con una
imagen compleja, el m´e odo pie de po comple o p ´ac icamen e oda su p ecisi´on. ¿Po
qu´e? [TCC16]. La espues a se encuen a en los p opios p´ıxeles. Si bien cada p´ıxel es
independien e de cualquie o o de o ma absolu a, su posici´on exac a en la imagen puede
p opo ciona in o maci´on ex a debido a las dependencias con sus ecinos. Es deci , un
p´ıxel como al puede da la in o maci´on de que iene X uido, pe o eso no signi ica que el
siguien e enga el mismo uido. Sin emba go, si un p´ıxel iene inco po ada su posici´on en
el espacio, puede da la in o maci´on ex a de que, si iene X uido, es al amen e p obable
14 Cap´
ı ulo 2. Ma co Te´
o ico
que sus ecinos m´as ce canos engan un uido muy simila , a´un sin ene la in o maci´on
de dichos ecinos.
Y es a es la g an en aja que p esen an las CNN: es e ipo de edes son capaces de
cap u a y en ende las dependencias empo ales y espaciales de los p´ıxeles de una imagen,
de o ma que es capaz de ap o echa se de esa in o maci´on ex a pa a mejo a el desempe˜no
del m´e odo. Es o lo hace a a ´es de la aplicaci´on de de e minados il os. Adem´as, la
a qui ec u a de las CNN acili a una mejo adap aci´on del conjun o de im´agenes g acias
a la educci´on de pa ´ame os y la eu ilizaci´on de los pesos. De o ma coloquial, se pod ´ıa
deci que una CNN es capaz de comp ende el concep o de imagen de o ma m´as in eligen e.
Como esumen, el obje i o de una CNN es educi el ama˜no de las im´agenes que
se le pasan como da os de en ada pa a acili a el p oceso, pe o sin pe de po ello las
ca ac e ´ıs icas que son p imo diales pa a una buena clasi icaci´on. Es o es impo an e, ya
que no es solo buena ap endiendo ca ac e ´ıs icas, sino ambi´en es escalable pa a bases
de da os masi os [Agg18, RM15, TCC16]. La Figu a 2.5 mues a un esquema de la
a qui ec u a de es e ipo de edes neu onales.
Figu a 2.5: Esquema de la a qui ec u a de una ed neu onal con olucional. En azul
se mues an las capas con olucionales, en ojo, la capa la ened y en e de, las capas
comple amen e conec adas.
2.3.2.1. Capas Con olucionales, Capas de Clasi icaci´
on y el Ke nel
Las CNN es ´an compues as po una o m´as capas, de las cuales la p ime a debe
se siemp e una capa con olucional. La capa con olucional es ´a compues a po es
ope aciones dis in as: la con oluci´on, la unci´on de ac i aci´on y el pooling. El esul ado de
es a capa es un mapa de ca ac e ´ı icas de los da os in oducidos.
La con oluci´on puede exp esa se de la siguien e o ma [TCC16]:
al
j=
n
X
i=1
al−1
i∗wl−1
ij +bl
j
donde * deno a la con oluci´on, al
jes la j-´esima salida de la capa l,∗wl−1
ij es el ke nel
con olucional que conec a la i-´esima salida de la capa l-1 con la j-´esima en ada de la
capa l,bl
jes el sesgo del pa ´ame o de en enamien o pa a la j-´esima salida de la capa l
ynes el n´ume o de ca ac e ´ıs icas de la capa l-1.
2.3. Las Redes Neu onales 15
En es e ipo de capas, el elemen o que lle a a cabo la ope aci´on con olucional es
llamado ke nel. El ke nel acos umb a a ene una p o undidad igual a la de la imagen de
en ada, especialmen e con aquellas que ienen m´as de un canal.
La unci´on de ac i aci´on es la enca gada de de ol e una salida a pa i de un alo de
en ada. Se aplica a cada alo de la imagen il ada y no malmen e el conjun o de alo es
de salida se encuen a comp endido en un ango de e minado como (0,1) o (-1,1). Lo ideal
de una unci´on de ac i aci´on es que sean unciones en las que las de i adas sean simples,
pa a minimiza con ello el cos e compu acional. Exis en muchos ipos de unciones de
ac i aci´on [Agg18, RM15]:
Funci´
on sigmoide. T ans o ma los alo es in oducidos en una escala (0,1).
Sus en ajas son que pe mi e in e p e a cada esul ado como un po cen aje de
p obabilidad en la clasi icaci´on y iene un muy buen endimien o en la ´ul ima capa.
(x) = 1
1−e−x
Funci´
on Tangen e Hipe b´
olica. Se enca ga de eescala los alo es in oducidos
a una escala (-1,1). Es simila a la sigmoide y es sus mejo es esul ados se ob ienen
con edes ecu en es.
(x) = 2
1 + e−2x−1
Funci´
on Rec i ied Lineal Uni (ReLU). Es a unci´on ans o ma los alo es
in oducidos de al o ma que anula los alo es nega i os y deja los posi i os al y
como en an. Es o p o oca que no desac i e demasiadas neu onas y p opo ciona un
g an desempe˜no con im´agenes y edes con olucionales.
(x) = max(0, x)
Funci´
on Leaky ReLU. Muy simila a la unci´on ReLU, deja los alo es posi i os
in ac os y a los nega i os los mul iplica po un coe icien e de ec i icaci´on. Al
igual que la ReLU, ambi´en p esen a su mejo endimien o con im´agenes y edes
con olucionales.
(x) =
a∗x si x < 0
x si x ≥0
Funci´
on So max. Es a unci´on ans o ma las en adas de al o ma que sus salidas
son una ep esen aci´on en o ma de p obabilidades, de al mane a que el suma o io
de odas las salidas de 1. Se u iliza pa a no maliza ipo mul iclase.
(z)j=ezj
PK
k=1 ezk
16 Cap´
ı ulo 2. Ma co Te´
o ico
El siguien e paso impo an e es el pooling. Las capas de pooling suelen inse a se en e
medias de dos capas con olucionales sucesi as. Su obje i o es educi el ama˜no espacial
de la ep esen aci´on, pa a educi as´ı el n´ume o de pa ´ame os con los que se ope a
y simpli ica , pe o sin pe de su in o maci´on. No malmen e, se ealiza una media o un
m´aximo.
El ´ul imo p oceso de la capa con olucional es la no malizaci´on de los mapas de
ca ac e ´ıs icas. Es o se hace pa a pode ob ene alo es compa ables de cada neu ona.
Las capas de clasi icaci´on consis en en una o m´as capas comple amen e conec adas y
una unci´on so max al inal de ´es as. Como puede deduci se de su nomb e, en una capa
comple amen e conec ada, odas las neu onas es ´an conec adas con odas las ac i aciones
de la capa p e ia. Es as ac i aciones se pueden compu a con una mul iplicaci´on ma icial
seguida de un sesgo de desplazamien o. Se ´a la capa comple amen e conec ada la que
calcule el alo de clasi icaci´on que ob u ie on los da os con la ayuda de la unci´on so max.
2.3.2.2. P oceso de Ap endizaje
Cuando las ca ac e ´ıs icas ap endidas pasan a a ´es de una capa comple amen e
conec ada, son en iadas a la capa supe io de la CNN, d´onde se usa ´a una unci´on de
ac i aci´on so max pa a clasi ica las. Pa a en ena una CNN se usa un algo i mo de
backp opaga ion.´
Es e hace que los sesgos y los pesos puedan se modi icados en las capas,
an o con olucionales como comple amen e conec adas, debido al p oceso de p opagaci´on
del e o . De es a mane a, el esul ado de la clasi icaci´on puede e oalimen a se pa a
ex ae las ca ac e ´ıs icas au om´a icamen e y es ablece se un mecanismo de ap endizaje.
La a qui ec u a de las CNN puede gene a millones de pa ´ame os debido a p oblemas
de sob eajus e. Pa a e i a lo, se u iliza la ´ecnica de d opou , ambi´en conocido como
pa ´ame o de ap endizaje. Consis e en es ablece la salida de cada neu ona ocul a con una
p obabilidad de en e 0 y 0.5. Las neu onas que se eliminan de es a mane a no ansmi en
su in o maci´on a las capas pos e io es y no pa icipan en la p opagaci´on hacia a ´as. Es a
´ecnica aumen a la obus ez, ya que una neu ona no puede depende de la p esencia de
ninguna o a neu ona. Po lo an o, se ue za a la ed a ap ende ca ac e ´ıs icas m´as
obus as que son ´u iles en conjun o [Agg18].
Cap´ı ulo 3
An´alisis Fo ense de Iden i icaci´on
de la Fuen e de Adquisici´on
Hoy en d´ıa, la posibilidad de adqui i un disposi i o que posea la capacidad de cap u a
im´agenes se ha pues o al alcance de cualquie a. La masi icaci´on de es os disposi i os en la
calle y la acilidad de posee uno, lle an a la conclusi´on de que millones de im´agenes son
c eadas odos los d´ıas en cualquie momen o y en cualquie si io.
Es o a su ez, gene a un p oblema asociado: ¿c´omo se puede sabe de d´onde p ocede
una imagen en conc e o? De hecho, ¿es posible iden i ica qu´e disposi i o ue el que cap u ´o
esa imagen? T as muchos a˜nos de in es igaciones y desa ollos, inalmen e se puede conclui
que s´ı, es posible iden i ica dicha uen e, g acias a la ayuda de di e sos m´e odos del
Machine Lea ning, en e ellos, las CNN.
Adem´as, es e inc emen o masi o de disposi i os, ha a´ıdo asociado un aumen o del
n´ume o de ´ecnicas que pe mi en manipula una imagen y alsea la, con di e sos m´e odos
y esul ados (elimina obje os, a˜nadi los, usiona dos im´agenes, e c.). Cla o es ´a, es e
segundo p oblema implica que ya no es posible ia se del con enido que mues a una
imagen, y po an o, no se ´ıa posible usa la como p ueba i e u able en un juicio, po
ejemplo. Po ello, se plan ea un segundo in e ogan e: ¿es posible de ec a , de o ma ´apida
ein alible, si una imagen ha sido ucada?
A d´ıa de hoy exis en a ios abajos que desa ollan di e sas ´ecnicas pa a conclui
si una imagen ha sido manipulada o no, ali´endose de la in o maci´on de los p´ıxeles de la
p opia imagen. Sin emba go, es as ´ecnicas se encuen an en ase desa ollo oda ´ıa, y si
bien hay a ias p opues as ya y se ha demos ado las en ajas de unas sob e o as, es e
campo a´un puede so p ende . Es os es udios se han desa ollado siguiendo dos caminos
di e en es, cada uno de los cuales a a de da espues a a una p egun a di e en e. En es e
cap´ı ulo se con es a ´a a las p egun as o muladas y se explica ´an las ´ecnicas de de ecci´on
de alsi icaci´on de im´agenes y ´ıdeos e iden i icaci´on de la uen e de adquisici´on.
Es e cap´ı ulo explica ´a ambos caminos, cada uno en un apa ado di e en e. Den o de
cada apa ado, se p esen a ´a las di e en es o mas en las que se pueden encon a es as
manipulaciones en los con enidos digi ales, y a con inuaci´on, las ´ecnicas que exis en pa a
iden i ica los y de ec a los pa a cada uno de ellos.
17
18Cap´
ı ulo 3. An´
alisis Fo ense de Iden i icaci´
on de la Fuen e de Adquisici´
on
3.1. O iginalidad del Con enido que P esen a el Fiche o
Mul imedia
Es e p ime plan eamien o es la p ime a p egun a que se hace a la ho a de a i ma si
una imagen o ´ıdeo es au ´en ico o no. Se capaces de disce ni si aquello que p esen a una
imagen o ´ıdeo es eal o ha sido manipulado puede aho a muchos queb ade os de cabeza
y enga˜nos. Pe o, ¿c´omo se puede asegu a que s´ı, que el con enido es o iginal?
En p ime luga , se ´a necesa io conoce la exis encia de los es p incipales modos de
al e aci´on de con enido y el obje i o que pe siguen cada uno de ellos.
3.1.1. Falsi icaci´on de Im´agenes Digi al
Las ´ecnicas de alsi icaci´on digi al de im´agenes o Digi al Image Tampe ing en ingl´es
(Digi al Image Tampe ing (DIT) en adelan e) consis en en la manipulaci´on del con enido
o iginal que p esen a una imagen con la inalidad de esconde obje os o in o maci´on que
apa ece en ella y enga˜na al obse ado pa a que se c ea la e dad e ´onea de esa imagen.
Pa a empeza , se ´a impo an e conoce las di e en es o mas en las que una imagen ha
podido se ampeada [BM13, MA13]:
Copy-Pas e. Es a ´ecnica consis e en duplica una secci´on conc e a de la imagen y
ubica la en cualquie pa e de la misma. Es de las ´ecnicas m´as usadas y ´aciles de
ep oduci . La Figu a 3.1 p esen a un ejemplo de es a ´ecnica.
Figu a 3.1: Ejemplo del e ec o Copy Pas e [RTD11].
Elimina . Es posible elimina cie os p´ıxeles o pa es de la imagen pa a bo a
escenas u obje os. En la imagen siguien e, se puede e como ejemplo como ha sido
eliminado el ayudan e de Mussolini pa a da le a la escena una ac i ud m´as he oica.
La Figu a 3.2 p esen a un ejemplo de es a ´ecnica.
Splicing. Simila al copy-pas e, es a ´ecnica pe mi e mo e una zona conc e a de la
imagen pa a eubica la en o o si io di e en e.
Re oques. Comunes p incipalmen e en las o os de pe sonas, consis e en al e a una
zona de la imagen pa a ala ga la, acha a la o simila , log ando as´ı una pe spec i a
di e en e a la eal. Tambi´en puede se usada pa a al e a la ex u a de una supe icie,
como puede e se en es e e oque o og ´a ico de Joan C aw o d. La Figu a 3.3
p esen a un ejemplo de es a ´ecnica.
Mon ajes. Pa a ealiza lo, se ´a necesa io la combinaci´on de dos im´agenes di e en es,
no malmen e, a˜nadiendo elemen os p esen es en una de las im´agenes en la o a. La
Figu a 3.4 p esen a un ejemplo de es a ´ecnica.
3.1. O iginalidad del Con enido que P esen a el Fiche o Mul imedia 19
Figu a 3.2: Ejemplo del e ec o de elimina un obje o de una imagen [MA13].
Figu a 3.3: Ejemplo del e ec o de e oca una imagen [RTD11].
Figu a 3.4: Ejemplo del e ec o de ealiza un mon aje a pa i de dos o og a ´ıas [BM13].
20Cap´
ı ulo 3. An´
alisis Fo ense de Iden i icaci´
on de la Fuen e de Adquisici´
on
Descub i si alguna de es as ´ecnicas ha sido usada, es ela i amen e ´acil si se iene
la inmensa o una de dispone la imagen o iginal, ya que ´unicamen e bas a ´a con
compa a las, incluso aunque la manipulaci´on haya sido muy peque˜na y su il. Si no se
iene an a sue e, se ´a necesa io ecu i a ´ecnicas de de ecci´on de manipulaci´on de
im´agenes. Las ´ecnicas de de ecci´on pa a DIT se pueden di idi en ´e minos gene ales en
dos g upos: ´ecnicas ac i as y ´ecnicas pasi as o ciegas [MA13].
3.1.1.1. T´
ecnicas Ac i as
Las ´ecnicas ac i as de DIT equie en un p ep ocesamien o p e io de la imagen
y necesi an de la exis encia de ma cas de agua o i mas digi ales en la imagen pa a
iden i ica las. Es as condiciones limi an su uso, especialmen e la segunda, ya que pa a
que dicha ma ca de agua exis a, es necesa io que la c´ama a que om´o la imagen a˜nadiese
dicha ma ca de agua en el momen o de la cap u a, y que odas las c´ama as exis en es
u iesen una ma ca de agua p opia.
Consegui que odas las c´ama as lle en inco po ada dicha ma ca de agua, a d´ıa de
hoy, no es iable po a ios mo i os. Pone de acue do a odas las compa˜n´ıas que ab ican
c´ama as de o os pa a su inco po aci´on es una a dua a ea que nadie quie e emp ende
po el momen o. Adem´as, se ´ıa necesa io sac i ica calidad de cada imagen pa a a˜nadi
dicha ma ca, y es posible que en el p oceso de a˜nadi la ma ca cu´ando se cap u a una
imagen alen ice el p oceso de cap u a de la misma. A odo ello, hab ´ıa que suma le que
ya exis en millones de c´ama as en el mundo pe ec amen e ope a i as y sin su ma ca de
agua co espondien e. Po lo an o, es a idea es poco iable de pone en ma cha en un
u u o ce cano.
Po odo ello, el uso de ´ecnicas ac i as a la ho a de de ec a la alsi icaci´on digi al de
im´agenes es muy poco com´un. Sin emba go, son el m´e odo m´as e ec i o pa a de ec a es e
ipo de alsi icaciones y se han lle ado a cabo nume osos es udios y expe imen os en es e
´a ea. Es as ´ecnicas pueden clasi ica se en dos ca ego ´ıas [MA13, RTD11]:
La p ime a u iliza una ma ca de agua ´agil, que es capaz de de ec a y localiza
las modi icaciones que se han ealizado al con enido. Si bien es e m´e odo iene una asa
muy ele ada de de ecci´on de manipulaciones, no es capaz de de ec a de o ma iable un
cambio en el b illo, el con as e o incluso si se ha a˜nadido un obje o. Sin emba go, con un
aumen o de la escala de g ises s´ı se ´ıa capaz de de ec a una manipulaci´on, a´un cuando
no es pe cep ible al ojo humano.
La segunda usa una ma ca de agua semi ´agil, que solo de ec a cambios signi ica i os
en la imagen y pe mi e el p ocesamien o del con enido de la misma.
Pa a sol en a los p oblemas y limi aciones de la ma ca de agua ´agil, que no es capaz
de dis ingui una eliminaci´on en una pa e de la imagen de un simple ajus e del b illo,
pe o que en cambio es muy ´u il en las p opiedades de localizaci´on y segu idad, apa eci´o la
ma ca de agua h´ıb ida: una combinaci´on de la ma ca de agua ´agil y la obus a. Es a ma ca
de agua h´ıb ida es capaz de iden i ica con p ecisi´on los cambios as´ı como de iden i ica
las alsi icaciones de o o ipo de ope aciones. Ac ualmen e, se sigue in es igando en es e
campo con la inalidad de ob ene un m´e odo iable de iden i icaci´on de alsi icaciones que
a su ez no pe judique a la calidad de la imagen as su p ocesamien o.
3.1.1.2. T´
ecnicas Pasi as o Ciegas
Las ´ecnicas pasi as o ciegas son conside adas un desa ollo e olu i o en la ciencia
de de ecci´on de alsi icaciones en im´agenes. A di e encia de las ´ecnicas ac i as, es as no
3.1. O iginalidad del Con enido que P esen a el Fiche o Mul imedia 21
equie en de in o maci´on p e ia de la imagen ni de la p esencia de ninguna ma ca de agua,
lo que acili a su uso y que sean m´as conocidas.
Es as ´ecnicas se basan en la asunci´on de que, as habe sido al e ada una imagen,
es necesa io que las p opiedades es ad´ıs icas de la imagen hayan sido al e adas ambi´en
ine i ablemen e. Po an o, pa a su es udio no es necesa io ene la imagen o iginal ni una
ma ca de agua p esen e en la imagen, bas a con es udia es as p opiedades es ad´ıs icas de
la misma pa a ob ene una conclusi´on. P incipalmen e, se suelen en oca en dos m´e odos
pasi os [MA13, RTD11, SM08]:
De ecci´
on de clonaci´
on: El a e de copia y pega una pa e de la imagen en
o o si io pa a ocul a algo es una de las ´ecnicas m´as empleadas en la alsi icaci´on.
Tan o, que muy bien lle ada a cabo es p ´ac icamen e imposible de de ec a po el ojo
humano. Tampoco es posible ealiza una b´usqueda compu acional, ya que como la
egi´on clonada puede se de cualquie o ma y ama˜no, y ubica se en cualquie pun o
de la imagen, uel e imposible una b´usqueda exhaus i a en odas sus posiciones. Sin
emba go, se ha encon ado que es e ipo de alsi icaci´on in oduce una co elaci´on
en e el segmen o de la imagen o iginal y el pegado. Es os segmen os s´olo pueden
coincidi de o ma ap oximada, pe o nunca exac a, debido al uso de ope aciones de
posp ocesado como el sua izado, que son imp escindibles pa a una buena clonaci´on.
Tambi´en pueden habe sido a ec ados po una comp ensi´on. Es o es lo que se usa
como base pa a la de ecci´on de es e ipo de ampa y asegu a su ´exi o.
De ecci´
on de ´
ecnicas de uni´
on (splicing): La uni´on de dos o m´as im´agenes
en una sola es o a de las ´ecnicas de alsi icaci´on m´as popula es. Igualmen e, si es
ealizada con me iculosidad, los bo des de las dos im´agenes unidas no pueden se
de ec ados a simple is a. Es u ilizada p incipalmen e pa a dis o siona el con enido
sem´an ico de la imagen y c ea una segunda ealidad. En cambio, es a ´ecnica
no p ecisa de ninguna ´ecnica de posp ocesado como sua izado o desen oque. Al
no depende de es o, y sumado al hecho de que la imagen no p esen a egiones
duplicadas, se llega a la conclusi´on de que es a ´ecnica es mucho m´as compleja de
de ec a que una simple clonaci´on. Sin ene las im´agenes o iginales de la uni´on
como e e encia, no se dispone de ninguna pis a. Sin emba go, a o unadamen e
se ha encon ado que es as uniones al e an las es ad´ıs icas de Fou ie de o den
supe io , p opo cionando una ayuda pa a de ec a es as ampas. Ac ualmen e se
es ´an lle ando a cabo nume osas in es igaciones y descub imien os sob e cu´al es el
m´e odo m´as e icaz pa a enca a es e p oblema.
3.1.2. Es eganog a ´ıa Digi al de Im´agenes
Es a o a ´ecnica manipula i a, si bien al e a el con enido de la imagen, no busca
enga˜na al espec ado con dicho con enido. Su p op´osi o a m´as all´a: la inalidad de
es a ´ecnica consis e en a˜nadi una in o maci´on en la imagen, que es a ´a escondida a
simple is a. En o as palab as, la es eganog a ´ıa de una imagen se puede de ini como
el p oceso de a˜nadi una in o maci´on sec e a a una imagen. Es a in o maci´on debe ´a se
codi icada den o de los bi s de dicha imagen, de o ma que a simple is a no se ap ecie
es e a˜nadido y no le an e sospechas [MA13]. En la Figu a 3.5 puede e se un ejemplo
de es eganog a ´ıa. Debido a su obje i o, es necesa io que la imagen o iginal y la imagen
s ego sean lo m´as simila posible, al con a io que las im´agenes ob enidas po alsi icaci´on
digi al, cuyo p op´osi o es ob ene una imagen di e en e de la o iginal.
28 Cap´
ı ulo 4. Es ado del A e
una imagen, ap o echando odos los a ances exis en es en a qui ec u a p o unda
y algo i mos de ap endizaje. Es e abajo p opone un modelo de CNN capaz de
maneja la eliminaci´on de uido gaussiano en una imagen con un ni el de uido
desconocido.
4.1.2. Basado en Da os
El segundo g upo se ca ac e iza po el uso de m´e odos que se basan en la ex acci´on
de un ec o de ca ac e ´ıs icas y en los algo i mos de Machine Lea ning adicionales.
Es o quie e deci que el obje i o es ap ende las ca ac e ´ıs icas que poseen las im´agenes
dispa adas con di e en es c´ama as di ec amen e desde las p opias im´agenes, sin impone un
modelo p econcebido. Al igual que en el o o g upo, se han lle ado a cabo di e sos abajos
y es udios en ocados de o mas dis in as pa a esol e el mismo p oblema: encon a la
uen e de adquisici´on de una imagen.
Ap endizaje Supe isado: [KSM04] han desa ollado un m´e odo basado en el
ap endizaje supe isado que se ale de las ca ac e ´ıs icas ex a´ıdas de los dominios
espaciales y ond´ıculas. Pa a la clasi icaci´on de cinco c´ama as dis in as, u ilizan una
m´aquina de sopo e ec o ial, ob eniendo una asa de e o comp endida en e el
5 % y el 22 %.
Senso es: Al igual que en el o o g upo, los senso es y sus ca ac e ´ıs icas pueden
se empleados en las in es igaciones. El PRNU, como se ha desc i o en el cap´ı ulo
an e io , es uno de los m´e odos de es udio del senso que p opo ciona pa e de los
mejo es esul ados. [FFG08] se basa on en el concep o de que el PRNU es ´unico
en cada c´ama a con el obje i o de demos a que g acias a ´el, se pod´ıa iden i ica
no s´olo la ma ca de un disposi i o, sino ambi´en el p opio disposi i o. Es o es
posible ya que las im´agenes en o ma o TIFF/JPEG con ienen una es uc u a local
espec´ı ica debido a a ios p ocesos p oducidos du an e la oma de la o og a ´ıa. Es a
es uc u a puede se de ec ada ex ayendo una se ie de ca ac e ´ıs icas num´e icas y
clasi ica la u ilizando m´e odos de clasi icaci´on de pa ones. Su clasi icaci´on usando
es as ca ac e ´ıs icas a oja una asa de e o del 11.2 % a la ho a de iden i ica
las c´ama as. O o ejemplo son los abajos de [LWY15], que han ealizado una
ex ensa e aluaci´on de las di e en es mane as de mejo a el pa ´on de uido en el
senso (Senso Pa e n Noise o SPN). G acias a es o, han iden i icado qu´e m´e odos
o ecen alguna mejo a y p opo cionan algunas ideas sob e el compo amien o de
los SPN. Consiguie on una asa de e o del 15 %. En es a misma l´ınea de abajo,
[LFG06] han conseguido esul ados muy in e esan es en el cos e de una g an demanda
compu acional, a la ez que [CPN+17] han p opues o una implemen aci´on escalable
y dis ibuida ac ible de es os esul ados.
Redes Neu onales Con olucionales: Si bien odos los abajos que han u ilizado
es a ´ecnica pe enecen al en oque del Machine Lea ning, al se es e es udio sob e
CNN, dedica emos un subapa ado en e o a es os abajos.
4.2. Uso de las Redes Neu onales Con olucionales
Como se ha is o a lo la go de odo es e es udio, el Deep Lea ning y en pa icula las
CNN, han demos ado un muy buen desempe˜no en m´ul iples a eas como econocimien o
acial, de ecci´on de pea ones o econocimien o de esc i u a. Al con a io que odos los
4.2. Uso de las Redes Neu onales Con olucionales 29
abajos an e io es basados en la ex acci´on de ec o es de ca ac e ´ıs icas y en los
algo i mos cl´asicos de Machine Lea ning, el Deep Lea ning depende de la capacidad de
los da os de en ada de impulsa su p opio p ocesamien o de ca ac e ´ıs icas. G acias a las
indiscu ibles en ajas de las CNN, como minimiza la unci´on de cos e du an e el p oceso
de en enamien o, las CNN son capaces de de ec a pa ones en los da os de en ada.
Es e p oblema ha sido ya es udiado po a ios g upos de in es igado es usando el Deep
Lea ning:
4.2.1. Iden i icaci´on de los Modelos de C´ama a T adicionales
El p ime e o que se plan e´o la comunidad cien ´ı ica ue el de iden i ica la uen e de
adquisici´on de una imagen omando como mues as las im´agenes cap u adas po c´ama as
o og ´a icas con encionales. Aqu´ı se puede encon a c´ama as compac as, ´e lex, c´ama as
sin espejo o b idges, en e o as. Los abajos m´as ele an es se p esen an a con inuaci´on.
4.2.1.1. T abajos y Es udios
[BBBT16] p oponen una ed con olucional con dos obje i os:
1. Reconocimien o de disposi i o. Es deci , p e enden que la ed con olucional sea
capaz de iden i ica im´agenes omadas po di e en es disposi i os pe enecien es a
un mismo modelo.
2. Reconocimien o de modelo. De o ma simila al obje i o an e io , aqu´ı los
au o es a an de iden i ica o og a ´ıas omadas po el mismo modelo de c´ama a,
sin ene en cuen a qu´e disposi i o ue el que la om´o.
Pa a el en enamien o y es eo de la ed se han alido del da ase D esden [GB11],
compues o po 16k im´agenes, omadas po 74 disposi i os dis in os pe enecien es a 27
modelos de c´ama a di e en es. Es e da ase ha sido usado ´ın eg o en los expe imen os de
cada obje i o, de o ma sepa ada, po lo que es necesa io ealiza una copia del da ase .
El 70 % de las im´agenes se ´an usadas pa a el en enamien o y el 30 % es an e pa a la
alidaci´on de la ed. Adem´as, cada imagen es eco ada en 25 egiones o pa ches de 48x48
p´ıxeles.
[TCC16] lle an a cabo una e aluaci´on de la mejo a ob enida al modi ica la ed que
p opone [KSH12]. Tambi´en compa an expe imen almen e su ed con AlexNe y GoogleNe .
[TCC16] u ilizan pa a sus expe imen os dos da ase di e en es, compues os po 33 modelos
de c´ama as: el p ime o es el da ase D esden, el mismo que u ilizan [BBBT16]; y el segundo
es un da ase p opio de ellos, compues o po 6 modelos de c´ama as pe sonales. An es de
manipula las im´agenes, es as son di ididas en un 80 % pa a en enamien o y las es an es
pa a alidaci´on. A con inuaci´on, son eco adas en un ama˜no de 256x256 p´ıxeles, lo que
aumen a el ama˜no del da ase con el que ope an.
4.2.1.2. Resul ados y P opues as
[BBBT16] p oponen como esul ado inal a sus in es igaciones una ed con olucional
o mada po es capas con olucionales y dos capas comple amen e conec adas, como se
ap ecia en la Tabla 4.1.
30 Cap´
ı ulo 4. Es ado del A e
# Tipo de capa Pa ´ame os Dimensiones
1
Con olucional Tama˜no Ke nel 7x7x3
# de il os 128
S ide 1
2 ReLU - -
3Max Pooling Tama˜no Ke nel 3x3
S ide 2
4
Con olucional Tama˜no Ke nel 7x7x128
# de il os 512
S ide 1
5 ReLU - -
6Max Pooling Tama˜no Ke nel 3x3
S ide 2
7
Con olucional Tama˜no Ke nel 6x6x512
# de il os 2048
´
Indice de d opou 0.5
8 ReLU - -
9
Comple amen e Conec ada Tama˜no Ke nel 1x1x2048
# de il os 2048
S ide 1
10 ReLU - -
11 Comple amen e Conec ada Tama˜no Ke nel 1x1x3048
# Combinaciones # Clasi icaciones
12 So Max - -
10 LogLoss - -
Tabla 4.1: De alle de la ed p opues a po [BBBT16]
Es a es uc u a les pe mi e consegui una p ecisi´on del 94 % en sus expe imen os pa a
iden i ica el modelo. Sin emba go, como ellos mismos econocen, no es su icien emen e
complejo, po lo que la p ecisi´on que ob ienen a la ho a de iden i ica los disposi i os es
´unicamen e de un 29.8 %.
[TCC16] ealizan a ios expe imen os con su ed una ez de inida la a qui ec u a
de ini i a de la ed con olucional. Es a a qui ec u a es ´a o mada po es capas
con olucionales y una capa single pooling a con inuaci´on de ´es as. Los de alles de es a
ed pueden e se en la Tabla 4.2.
Pa a compa a su es uc u a con AlexNe y con GoogleNe , [TCC16] en enan esas
dos edes con el mismo da ase que han usado ellos con su ed. Una ez ealizados los
expe imen os, la asa de e o que ob ienen es meno del 10 %.
4.2.2. Iden i icaci´on de C´ama as de M´o iles
T as los es udios ealizados en la iden i icaci´on del modelo de la c´ama a o og ´a ica que
om´o una de e minada imagen, algunos es udios an m´as all´a y epi en es os expe imen os
con las im´agenes omadas po un m´o il o una able en algunos casos. El obje i o de es os
es udios es se capaces de iden i ica el modelo de un m´o il que om´o una imagen o incluso
si ue su c´ama a delan e a o la ase a.
4.2.2.1. T abajos y Es udios
[FONBCS18] p oponen desa olla una a qui ec u a de CNN que sea capaz de clasi ica
de o ma sa is ac o ia qu´e modelo de m´o il ealiz´o una de e minada o og a ´ıa. Pa a sus
4.2. Uso de las Redes Neu onales Con olucionales 31
# Tipo de capa Pa ´ame os Dimensiones
1
Con olucional Tama˜no Ke nel 3x3
# de il os 256
S ide 2
2 ReLU - -
3
Con olucional Tama˜no Ke nel 3x3
# de il os 63
S ide 2
4 ReLU - -
5
Con olucional Tama˜no Ke nel 3x3
# de il os 63
´
Indice de d opou -
6 ReLU - -
7Max Pooling Tama˜no Ke nel 3x3
S ide 2
8
Comple amen e Conec ada Tama˜no Ke nel -
# de il os 256
S ide 1
9
Comple amen e Conec ada Tama˜no Ke nel -
# de il os 4096
S ide 1
10 Comple amen e Conec ada Tama˜no Ke nel -
# Combinaciones # Clasi icaciones
11 So Max - -
Tabla 4.2: De alle de la ed p opues a po [TCC16]
expe imen os han u ilizado el da ase MICHE-I, que consis e en 3732 im´agenes de es
disposi i os dis in os: un Iphone 5, un Samsung Galaxy IV y un Galaxy Table III. En
ellos, odas las im´agenes son di ididas en 256 pa ches de 32x32 p´ıxeles. Es e abajo iene
dos obje i os p incipales:
1. Reconocimien o del modelo. Se a a de iden i ica cu´al es el modelo de m´o il
que ealiz´o una de e minada o og a ´ıa.
2. Reconocimien o de la c´
ama a. Es a pa e del abajo in en a iden i ica cu´al de
las cinco c´ama as (cada m´o il posee dos, una delan e a y o a ase a, y la able
posee solo una) ealiz´o la o o analizada.
[ABHAN+19] c ea su p opio da ase de 3900 im´agenes, usando 3 modelos de c´ama a
di e en es y u ilizan la ans e encia de ap endizaje pa a ex ae las ca ac e ´ıs icas y
acele a as´ı el p oceso. Tambi´en a˜naden o os modelos del da ase K aggle pa a aumen a
el ama˜no del suyo p opio. En su abajo, es udian es clasi icado es di e en es de Machine
Lea ning pa a descub i cu´al unciona mejo en es e p oblema. Los clasi icado es usados
son:
M´aquina de Sopo e Vec o ial.
Reg esi´on Log´ıs ica.
Bosques alea o ios.
32 Cap´
ı ulo 4. Es ado del A e
4.2.2.2. Resul ados y P opues as
T as lle a a cabo sus in es igaciones, [FONBCS18] concluyen que la mejo es uc u a
pa a la ed es ´a o mada po dos capas con olucionales en ez de es, y que el ke nel
de es as es ecomendable que sea peque˜no. Tambi´en u iliza una capa max pooling y
es comple amen e conec adas. Con es a a qui ec u a es capaz de ob ene un 98.1 %
de p ecisi´on en la iden i icaci´on del modelo, pe o solo un 91.1 % en la p ecisi´on de
iden i icaci´on del senso , lo que lle a a pensa que es mucho m´as di ´ıcil dis ingui c´ama as
del mismo ab ican e. A su ez, iendo la ma iz de con usi´on, podemos e que ampoco
es ´acil dis ingui en e c´ama as si uadas en la misma posici´on.
Pa a inaliza , [FONBCS18] compa a sus esul ados con los de [BBBT16] y los
de [TCC16]. P ueba ambas es uc u as con el da ase MICHE-I, pues o que es as
a qui ec u as no hab´ıan sido p obadas con im´agenes omadas po m´o iles. T as los
expe imen os, puede e que su es uc u a es la m´as e icien e de las es.
Con los esul ados ob enidos po [ABHAN+19], se lleg´o a la conclusi´on de que el mejo
clasi icado en es e p oblema ue la SVM, llegando a mos a una p ecisi´on del 98.82 %,
seguida po la Reg esi´on Log´ıs ica, que ob u o una p ecisi´on del 98.54 %. La peo pa ada
en es os expe imen os ue el Bosque Alea o io, que s´olo mos ´o un 97.16 % de p ecisi´on en
sus clasi icaciones. Sin emba go, a pesa de los buenos esul ados ob enidos con la SVM,
[ABHAN+19] se˜nalan que es e m´e odo de clasi icaci´on ue sin duda el m´as len o, con una
a danza de poco menos de 30min en e a los 6 o 7min que a da on los o os dos m´e odos.
Tambi´en ema can la p´e dida de p ecisi´on en los modelos de disposi i os que p esen aban
menos ejemplos a la ho a de en ena .
4.2.3. Iden i icaci´on de la Fuen e de Adquisici´on de V´ıdeos
Finalmen e, se habla ´a de aquellos abajos m´as ele an es y pun e os en la
iden i icaci´on de la uen e de adquisici´on de un ´ıdeo. Los ´ıdeos, hablando de o ma
muy gene al, son una con inua sucesi´on de im´agenes llamadas o og amas, que son las
enca gadas de gene a la sensaci´on de mo imien o que se en en ellos. Es po ello que a
lo la go de odo es e abajo se ha hablado de im´agenes, pues no es posible comp ende
los ´ıdeos y su iden i icaci´on sin comp ende el ni el in e io que son las im´agenes simples.
Sin emba go, son m´as complejos que una simple sucesi´on de o og a ´ıas, ya que la g an
mayo ´ıa de ellos lle an inco po ados un audio y un sen ido espacio empo al.
A con inuaci´on se expond ´an dichos es udios.
4.2.3.1. T abajos y Es udios
El abajo m´as in e esan e que se encuen a en es e campo es el ealizado po [MG18],
que no s´olo se emba ca en la ambiciosa a ea de iden i ica la uen e de adquisici´on de un
´ıdeo, sino que adem´as in es iga aquellos ´ıdeos p oceden es de una ed social, en conc e o
en es e caso, Wha sapp. [MG18] u ilizan pa a sus expe imen os los ´ıdeos de 10 c´ama as
di e en es, empleando es ´ıdeos po c´ama a: uno g abado en in e io , o o en ex e io y
el ´ul imo es un ´ıdeo de e e encia que g aba una supe icie g is. A los dos p ime os los
llaman ´ıdeos na u ales y al ´ul imo, ´ıdeo plano.
Pa a la iden i icaci´on de cada ´ıdeo, se alen de la compa aci´on de los pa ones de
PRNU de los ´ıdeos. Pa a ello, u ilizan el so wa e PRNUCompa e e sion 2.2, desa ollado
po he Ne he lands Fo ensic Ins i u e. La idea es compa a los pa ones PRNU de los
´ıdeos na u ales con el pa ´on PRNU del ´ıdeo plano. Una ez esuel a la iden i icaci´on de
cada ´ıdeo o iginal, en ´ıan cada ´ıdeo a a ´es de Wha sapp de odas las combinaciones
posibles, que son:
4.2. Uso de las Redes Neu onales Con olucionales 33
De IOS a IOS.
De IOS a And oid.
De And oid a IOS.
De And oid a And oid.
Una ez ansmi idos, [MG18] ex aen de nue o los pa ones PRNU y los compa an
de o ma simila a la compa aci´on an e io .
O o abajo que ale la pena des aca en es e ´ambi o es el de [YHW12], que p opone
un m´e odo de iden i icaci´on u ilizando los o og amas ex a´ıdos de un ´ıdeo. A pa i de
dichos o og amas, ex aen las ca ac e ´ıs icas de p obabilidad condicional (Condi ional
P obabili y Fea u es (CPF)), que u iliza ´an pa a clasi ica los ´ıdeos, con la ayuda de una
SVM. En conc e o, se cen an en iden i ica di e en es modelos de c´ama as. Los ´ıdeos
u ilizados en es e abajo pe enecen a cua o c´ama as con encionales di e en es, y ienen
odos la misma du aci´on: 9 segundos. Todos ellos han sido g abados con su ama˜no y
o ma o po de ec o. Pa a los expe imen os, se u iliza on an o ´ıdeos en mo imien o
como es ´a icos, u ilizando 40 pa a en ena y 8 pa a la alidaci´on.
4.2.3.2. Resul ados y P opues as
T as ealiza las compa aciones en el abajo de [MG18], el p opio algo i mo
PRNUCompa e ealiza un es udio de la co elaci´on que es ´an ob eniendo los esul ados,
el Peak o Co ela ion Ene gy oPeak o Co ela ion Ene gy (PCE). En odos los casos,
odas las dispa idades ob ienen un PCE in e io a 100, mien as que los PCE de las
co espondencias son mucho m´as al os (a excepci´on de uno). Es o quie e deci que los
pa ones de PRNU de los ´ıdeos o iginales na u ales ienen un mayo g ado de simili ud
con el ´ıdeo plano omado con la misma c´ama a que con los ´ıdeos planos ilmados po
o a c´ama a dis in a.
Los esul ados indican que es posible de e mina la c´ama a uen e de un ´ıdeo o iginal,
con una p obabilidad muy al a de acie o. Los ´ıdeos que p o ienen de una misma c´ama a
mues an muchas semejanzas en e s´ı, lo que acili a clasi ica los en e ellos de o os de
c´ama as di e en es. Una ez han sido ansmi idos po Wha sapp, es a p ecisi´on en la
clasi icaci´on baja, aunque sigue siendo posible clasi ica bien la g an mayo ´ıa de ellos, con
unos esul ados mucho m´as malos en el caso de IOS. Sin emba go, al pasa po es a ed
social, deja de se posible de e mina si dos ´ıdeos ienen la misma c´ama a de o igen.
[YHW12] ex aen las ca ac e ´ıs icas de p obabilidad condicional de los o og amas
con alo es de luminosidad de cada ´ıdeo pa a calcula su e icacia en un dominio
espacial en un p ime expe imen o. La p ecisi´on que ob iene es de un 82.6 %, que es
ela i amen e baja compa ada con es udios de iden i icaci´on de c´ama a de im´agenes. En
el segundo expe imen o, deciden usa el mismo conjun o de ´ıdeos, omando el alo de
la luminosidad. Con es as ca ac e ´ıs icas, el acie o ue o al. Finalmen e, en un ´ul imo
expe imen o, se oma on ´ıdeos m´as complejos con cambios en las escenas m´as ap eciables,
lo que les dio un esul ado del 97.2 %.
Cap´ı ulo 5
Algo i mo P opues o
En es e cap´ı ulo, se p ocede a explica la p opues a p esen ada en es e abajo: el
desa ollo de un m´e odo pa a la iden i icaci´on de la uen e de adquisici´on de ´ıdeos basado
en edes neu onales y espec´ı icamen e u ilizando una a qui ec u a de ap endizaje p o undo
como las edes neu onales con olucionales (CNN).
5.1. Desc ipci´on del Algo i mo
El obje i o p incipal de es e abajo es p opone un modelo de ed neu onal
con olucional capaz de iden i ica la c´ama a uen e de un ´ıdeo que ha sido g abado con
un disposi i o m´o il, a pa i de los o og amas de dicho ´ıdeo. A pesa de que se p opone
una ´unica ed como esul ado inal, se ha u ilizado una segunda ed como ed inicial, en
la cual se han p obado los esul ados pa a pode desa olla la ed inal.
Ya que es a ed abaja con los o og amas de un ´ıdeo, inicialmen e ha sido
es eada con dos conjun os de im´agenes, uno p oceden e de c´ama as adicionales DSC
y o o p oceden e de disposi i os m´o iles, pa a p oba su e iciencia. El modelo de ed
con olucional ob enido se ha adap ado pa a unciona con los o og amas ex a´ıdos de los
´ıdeos. Es a p opues a se compone de di e en es pa es pa a pode ob ene el esul ado
inal: la iden i icaci´on de la c´ama a que g ab´o el ´ıdeo.
5.1.1. Ex acci´on de los Fo og amas de un V´ıdeo
El p ime paso de la p opues a es ex ae un n´ume o de o og ama de un ´ıdeo. El
n´ume o de o og amas a ex ae depende ´a de la du aci´on de cada ´ıdeo, po lo que no se ´a
el mismo en odos. Cada o og ama que se ex aiga se ´a gua dado de la misma mane a
que los ´ıdeos o iginales: ag upado p ime o po la ma ca del m´o il o c´ama a que g ab´o el
´ıdeo al que pe enece y en segundo luga ag upado seg´un el modelo. A cada o og ama
se le o o ga ´a la siguien e nomencla u a:
Nomb eV´ıdeo −No.F ame −I .Ex ensi´onImagen
Pa a pode lle a a cabo bien la ejecuci´on del algo i mo, se ´a necesa io que ning´un
nomb e de los ´ıdeos a iden i ica con enga guiones. En caso de con ene los, debe ´a
a˜nadi se un s´ımbolo dis in i o y ´unico en e el nomb e del ´ıdeo y el n´ume o del o og ama
pa a pode ag upa m´as adelan e los o og amas seg´un a qu´e ´ıdeo pe enezcan.
35
36 Cap´
ı ulo 5. Algo i mo P opues o
5.1.2. Reducci´on de los Fo og amas en ´
A eas m´as Peque˜nas
Si bien inicialmen e se pensaba abaja con cada o og ama en su esoluci´on o iginal,
se p opone di idi cada o og ama en 256 ozos (pa ches) de 64x64 p´ıxeles pa a acili a
el abajo de la ed y mejo a su e iciencia. El p oceso de c eaci´on de pa ches ha sido
di idido en dos secciones:
La p ime a secci´on se enca ga de enca ga de asigna a cada modelo de c´ama a un
n´ume o que se ´a su clase. Es e paso es muy sencillo ya que odos los o og amas se
encuen an ag upados p ime o seg´un la ma ca de la c´ama a o m´o il que g ab´o el ´ıdeo, y
luego seg´un el modelo. Tambi´en se eco an desde el cen o odos los o og amas pa a que
sean odos del mismo ama˜no. Toda es a in o maci´on se ´a gua dada en un iche o .npy
que se ´a u ilizado en la segunda secci´on de es e p oceso.
La segunda secci´on se enca ga de la c eaci´on de los pa ches como al, pe o ´es a se
lle a a cabo con 12 p ocesos dis in os, lo que puede p o oca que el o den en el que se
c ean y gua dan los pa ches no sea siemp e el mismo. Tambi´en, cabe des aca que as la
c eaci´on de los pa ches, se eliminan aquellos muy sa u ados, pues no apo an ning´un ipo
de in o maci´on y pe judican a la p ecisi´on del an´alisis pos e io .
5.1.3. P epa aci´on de los Da os
En p ime luga , se comp ime odos los pa ches que componen odos los o og amas en
un a chi o numpy pa a agiliza la ed neu onal con olucional p opues a. Seguidamamen e,
pa a acili a la ejecuci´on, se o ganiza los pa ches en una es uc u a de ca pe as je ´a quica,
d´onde el ni el m´as ex e io sea la ma ca del disposi i o, seguido po el modelo y, inalmen e,
el ni el m´as in e io sean odos los pa ches pe enecien es a una ma ca y un modelo
de e minado.
En segundo luga , una ez gene ado odos los pa ches de cada o og ama, se lle a a
cabo una p epa aci´on an es de comenza a en ena la CNN. Es a p epa aci´on consis e en
la gene aci´on de cinco a chi os .npy. Dos de ellos con end ´an los pa ches que en ena ´an
y alida ´an la ed, espec i amen e. O os dos con end ´an las clases a las que pe enece
cada pa ch, siendo gua dados en dos iche os di e en es seg´un si pe enecen al conjun o
de en enamien o o al de alidaci´on. El ´ul imo a chi o se llama ´a class pa ches.npy y
con end ´a la in o maci´on de a qu´e clase pe enece cada pa ch del conjun o de alidaci´on.
En es e a chi o, cada pa ch es ´a en el mismo o den que en el a chi o da ase es .npy, lo
que acili a su uso en la Subsecci´on 5.1.4.
5.1.4. Clasi icaci´on de los Pa ches con la CNN P opues a
Una ez hecho odo lo an e io , se u iliza la CNN p opues a pa a clasi ica los
o og amas de cada ´ıdeo, de e mina a qu´e c´ama a pe enece cada uno y el po cen aje de
p ecisi´on que p esen a la CNN en su misi´on. En es a pa e, el usua io pod ´a modi ica los
pa ´ame os que desee de la ed, siendo los que se p opo cionan po de ec o los que p opone
es e abajo. Tambi´en pod ´a decidi si quie e simplemen e alida un modelo que ya ha
sido en enado p e iamen e o cu´an os modelos quie e en ena , pa a ealiza la media de
sus p ecisiones despu´es. En el caso de s´olo que e en ena un ´unico modelo, es posible
gua da lo.
Pa a en ena y alida la ed, se u ilizan los da os que se han gua dado en los
iche os .npy en la Subsecci´on an e io . Po cada modelo que se en ene, se ealiza ´a su
alidaci´on y se gua da ´an las p edicciones ob enidas en cada modelo ien un iche o llamado
p edic s uel a %i.npy, d´onde ies el n´ume o del modelo en enado. Es as p edicciones que
5.1. Desc ipci´
on del Algo i mo 37
se gua dan son las p edicciones que ha ob enido cada pa ch con ese modelo. Finalmen e,
ambi´en se gua da en o o iche o llamado p edic s o al.npy la p ecisi´on o al ob enida
con cada modelo en enado.
5.1.5. C´alculo de la P ecisi´on de la CNN con V´ıdeos a pa i de la
P ecisi´on Ob enida con los Fo og amas
Debido a que los o og amas no ep esen an una unidad po s´ı sola, su clasi icaci´on
no es su icien e. Es necesa io po an o de e mina a qu´e modelo pe enece cada ´ıdeo
en unci´on de los esul ados de sus o og amas. Pa a ello, la ´ul ima pa e del algo i mo
p opues o se enca ga de de e mina cu´al es la c´ama a uen e de un ´ıdeo, a pa i de los
esul ados ob enidos po la CNN. Una ez de e minada, se compa an los esul ados con
las clases a las que e dade amen e pe enecen dichos ´ıdeos (in o maci´on que ha sido
gua dada du an e el p oceso) pa a comp oba la e icacia del algo i mo p opues o.
Es o se lle a a cabo una ez ob enidos los iche os .npy que con ienen las p edicciones
de odos los pa ches con cada modelo, se lle a a cabo la econs ucci´on de los ´ıdeos a
pa i de esos pa ches pa a pode sabe cu´al es la p edicci´on de la ed con cada ´ıdeo y
po an o, su p ecisi´on. Pa a ello, es a pa e se di ide en a ias ases:
1. Asociaci´
on de cada pa ch a un modelo. Las p edicciones que de uel e la CNN
pa a cada pa ch ienen la o ma de un a ay con an os elemen os como modelos
de c´ama as haya a clasi ica . Cada elemen o idel a ay se ´a un n´ume o en e 0 y
1, que ep esen a ´a la p obabilidad de dicho pa ch a pe enece en la clase i. Pa a
de e mina a qu´e clase ha p edicho la CNN que pe enece dicho pa ch, se oma la
clase i al que el elemen o idel a ay es el m´aximo.
Una ez de e minado es o, se de uel e un a ay con odos los pa ches, la clase a la
que pe enece y la clase a la que se ha p edicho que pe ence. Pa a conoce su clase
eal, se ha usado el a chi o class pa ches.npy que se gua d´o en la Subsecci´on 5.1.3,
y se basa en el hecho de que la CNN de uel e las p edicciones en el mismo o den
que se in oduje on los pa ches en la ed.
2. Ag upaci´
on de los pa ches seg´
un los o og amas. G acias a la nomencla u a
que se le dio a los pa ches a la ho a de c ea los, en es e pun o se di ide el nomb e en
dos de mane a que se elimina la pa e del nomb e que con iene el n´ume o del pa ch y
se ag upan los pa ches que ienen el mismo nomb e. De es a mane a, se ienen odos
los pa ches que componen un o og ama ag upados. Una ez hecho es o, se decide la
clase de cada o og ama, que se ´a la clase que m´as se epi a den o de las clases de
los pa ches que lo componen.
3. Ag upaci´
on de los o og amas seg´
un los ´
ıdeos. Al igual que el paso an e io ,
se lle a un p oceso muy simila con los o og amas pa a ag upa los seg´un los ´ıdeos
a los que pe enecen. Una ez ag upados los o og amas de cada ´ıdeo, se de e mina
la clase que se ha p edicho pa a ese ´ıdeo eligiendo la clase que m´as se epi a en e
las clases de sus o og amas.
Po ´ul imo, se e al´ua la p ecisi´on del modelo e aluando cu´an os ´ıdeos han sido bien
clasi icados. Pa a ello, se compa a la clase p edicha con su clase eal, que ha sido
gua dada a su ez en el a ay du an e odo el p oceso.
44 Cap´
ı ulo 6. Expe imen os y Resul ados
en ´el. Es as im´agenes han sido omadas po 73 c´ama as di e en es pe enecien es a 25
modelos dis in os. Se a a de un da ase p´ublico y de acceso lib e pues o a disposici´on de
la comunidad cien ´ı ica y u ilizado en a ias in es igaciones.
Pa a los expe imen os, se seleccion´o una peque˜na pa e de ´el: se oma on odas las
o os ealizadas po odos los disposi i os pe enecien es a cua o modelos di e en es: A ga
DC-504, A ga DC-733s, Canon Ixus55 y Nikon D200. Po comodidad, odos los da os de
in e ´es e e en es a es e conjun o de im´agenes se mues an en la Tabla 6.1.
Ma ca Modelo Noimgs. En enamien o Noimgs. Validaci´on Resoluci´on O iginal
A ga DC-504 51 21 4032x3024
A ga DC-733s 106 45 3072x2304
Canon Ixus55 126 53 2592x1944
Nikon D200 416 178 3872x2592
Tabla 6.1: In o maci´on sob e el Conjun o 1
En es e da ase se eligie on ´unicamen e 4 modelos pa a p oba la iabilidad inicial de
la p opues a a en ena y es ea , ya que cu´an os menos modelos a clasi ica , m´as ´acil
es en eo ´ıa su clasi icaci´on. Adem´as, las in es igaciones sob e las im´agenes omadas con
c´ama as de o os, y en pa icula sob e es e da ase son ela i amen e abundan es, luego
no en´ıa mucho sen ido p o undiza con ´el. Pa a acili a su nomencla u a y di e encia lo
del es o de conjun os que se de inen a con inuaci´on, es e conjun o se ´a llamado a pa i
de aho a el Conjun o 1.
6.1.2. Da ase M´o iles GASS
Es e segundo da ase ha sido c eado po el G upo de An´alisis, Segu idad y Sis emas
de la Uni e sidad Complu ense de Mad id con la inalidad de lle a a cabo a ias
in es igaciones del depa amen o. El conjun o o iginal cons a de 11601 o og a ´ıas omadas
po 68 m´o iles di e en es pe enecien es a 48 modelos dis in os. A pa i de es e da ase ,
se han elabo ado dos conjun os di e en es, donde el segundo es una ampliaci´on del p ime o
y siendo los dos una pa e del o al del da ase o iginal.
El p ime conjun o se ha o mado con las o og a ´ıas omadas po 5 disposi i os
pe enecien es a 5 modelos di e en es, que son el LG p760, el Nokia 800-lumia, los Samsung
S3 Neo y S4 Mini y el Xiaomi Mi3.
El mo i o de la u ilizaci´on de es e conjun o, al que se llama ´a Conjun o 2, se debe
a la in enci´on de es ea la p opues a con un conjun o de im´agenes que no haya sido
u ilizado en o os expe imen os o abajos an e io men e y pode as´ı e i ica que es a ed
se adap a a cualquie conjun o y no s´olo a los conjun os ya ’p ede inidos’. Adem´as, e a
in e esan e u iliza un conjun o o mado po im´agenes omadas con disposi i os m´o iles,
ya que po la manu ac u aci´on de sus senso es, el hecho de dispone de dos c´ama as un
mismo disposi i o y el h´abi o que ienen a ias ma cas en compa i senso , di icul a la
a ea de iden i ica ielmen e la uen e de adquisici´on usada. Pa a comenza , se eligi´o un
conjun o o mado po 5 ´unicas clases pa a acili a la iden i icaci´on y comp oba su buen
uncionamien o.
El segundo conjun o, al que se llama ´a Conjun o 3, es simplemen e una ampliaci´on del
Conjun o 2. A dicho conjun o se le han a˜nadido las o og a ´ıas omadas po los disposi i os
pe enecien es a 5 modelos m´as, pa a a a de di icul a el p oceso de iden i icaci´on y
alo a as´ı su e iciencia. Los da os se e lejan en la Tabla 6.2.
6.2. T a amien o y P ep ocesamien o de los Conjun os 45
Ma ca Modelo Noimgs. En enamien o Noimgs. Validaci´on Resoluci´on O iginal
LG p760 100 27 1944x2592
Nokia 800-lumia 100 27 3264x2448
Samsung S3 Neo 50 27 1280x720
Samsung S4 Mini 50 27 3264x1836
Xiaomi Mi3 100 27 4208x2364
Aqua is M5 80 20 4096x2304
Apple iPhone 6 Plus 100 100 3264x2448
OnePlus One A0001 100 100 4160x3120
Ouki el K6000 P o 50 50 3120x4160
Xpe ia M2 D2303 100 100 3104x1746
Tabla 6.2: In o maci´on sob e el Conjun o 2 y 3
6.1.3. Conjun os de V´ıdeos
Pa a abaja con ´ıdeos, solo se ha escogido un ´unico conjun o, al que se e e i ´a a
lo la go del abajo como Conjun o de V´ıdeos. Es e conjun o es ´a compues o po ´ıdeos
g abados po 5 modelos de disposi i os di e en es, ambi´en ob enidos del da ase del G upo
de An´alisis, Segu idad y Sis emas de la Uni e sidad Complu ense de Mad id. Los de alles
se pueden obse a en la Tabla 6.3.
Ma ca Modelo NoDisposi i os NoV´ıdeos Resoluci´on O iginal
Apple iPhone 6 2 5 1920x1080
OnePlus One A0001 1 5 1920x1080
Samsung Galaxy S3 1 5 1920x1080
Xiaomi Mi3 1 5 1280x720
Xpe ia M2 D2303 1 5 1920x1080
Tabla 6.3: In o maci´on sob e el Conjun o de V´ıdeos
6.2. T a amien o y P ep ocesamien o de los Conjun os
Los conjun os han sido some idos a dis in os p ep ocesamien os pa a pode se
u ilizados en los expe imen os.
6.2.1. Selecci´on y C eaci´on de los Conjun os
Ninguno de los conjun os u ilizados en es os expe imen os son el o al de un da ase ya
exis en e, sino que son una pa e de uno de ellos. El p ime paso de los p ep ocesamien os
ue, po an o, c ea esos subconjun os de los da ase ya exis en es. Se a ´o simplemen e
de elegi den o de odos los modelos disponibles de cada da ase un n´ume o de modelos
ijo y u iliza odas las im´agenes disponibles de esos modelos. Es o ue as´ı en los Conjun os
1, 2 y 3.
Pa a el Conjun o de V´ıdeos, en cambio, se seleccion´o ambi´en un n´ume o ijo de ´ıdeos
(6) de cada modelo, en ez de usa odos los disponibles.
46 Cap´
ı ulo 6. Expe imen os y Resul ados
6.2.2. Sepa aci´on en Dos Conjun os: En enamien o y Validaci´on
Es e a amien o ue solamen e lle ado a cabo con el Conjun o 1 y el Conjun o de
V´ıdeos.
El Conjun o 1 en su o ma o iginal se encon aba o ganizado en una es uc u a de
ca pe as d´onde cada una e a una ma ca de c´ama as o og ´a icas, y en las que a su
ez, en su in e io se encon aban m´as ca pe as en las que cada una e a un modelo de
dicha ma ca. Finalmen e, en el in e io de las ca pe as de los modelos se encon aban las
o og a ´ıas o iginales pe enecien es a cada modelo. T as selecciona los modelos a u iliza ,
ue necesa io di idi las im´agenes de cada modelo en dos g upos: uno pa a en enamien o
y o o pa a alidaci´on. Pa a ello, se con ´o el n´ume o de im´agenes disponibles de cada
modelo y se di idie on de o ma alea o ia: el 70 % de las im´agenes de cada modelo ue on
pa a la ca pe a ’En enamien o’ y el 30 % es an e, pa a la de ’Validaci´on’.
La di isi´on el el Conjun o de V´ıdeos ue mucho m´as simple: de los 6 ´ıdeos
seleccionados, se deja on 5 pa a el conjun o de en enamien o y se apa ´o uno pa a que
o mase pa e del conjun o de alidaci´on.
Con los Conjun os 2 y 3 no ue necesa io es e a amien o ya que la o ganizaci´on
o iginal de sus conjun os pad e en´ıa es a di isi´on ya ealizada.
6.2.3. Ex acci´on de los Fo og amas de cada V´ıdeo
En es e caso, lo p ime o de odo pa a pode p epa a el conjun o de da os de
en enanien o de la CNN, es necesa io ex ae los o og amas de cada ´ıdeo. Po cada
´ıdeo, se ex ajo una can idad a iable de o og amas o o og amas de cada ´ıdeo y se
gua da on jun os odos los o og amas pe enecien es a un modelo, es deci , cada ca pe a
de modelo con en´ıa los o og amas de odos los ´ıdeos pe enecien es a dicho modelo. El
n´ume o de o og amas ex a´ıdos po ´ıdeo es p opo cional a la du aci´on del ´ıdeo, po lo
que los ´ıdeos m´as ex ensos dispon´ıan de m´as o og amas. Pa a e i a su mezcla y sabe
qu´e o og ama pe enece a qu´e ´ıdeo, cada o og ama adop ´o la siguien e es uc u a en su
nomb e:
Nomb eV´ıdeo −NoF o og ama −I .Ex ensi´onImagen
Una ez ex a´ıdos odos, nos queda un conjun o nue o, al cu´al nos e e i emos como
el Conjun o 4. Sus da os m´as ele an es se p esen an en la Tabla 6.4.
Ma ca Modelo NoImgs. En enamien o NoImgs. Validaci´on Resoluci´on O iginal
Apple iPhone 6 101 96 1920x1080
OnePlus One A0001 53 14 1920x1080
Samsung Galaxy S3 55 11 1920x1080
Xiaomi Mi3 185 32 1280x720
Xpe ia M2 D2303 417 59 1920x1080
Tabla 6.4: In o maci´on sob e el Conjun o 4
6.2.4. Di isi´on de cada Imagen en ´
A eas m´as Peque˜nas
Inicialmen e, se a ´o de usa las im´agenes de cada conjun o con su esoluci´on o iginal,
pe o no ue iable po su g an ama˜no, el ele ado n´ume o de im´agenes de las que se
dispon´ıa y po los ecu sos de memo ia con los que se con aba.
6.3. Resul ados Ob enidos con la Red 1 47
Po ello, siguiendo los consejos de [BLG+17], se desa oll´o un algo i mo a pa i del
c´odigo de los expe imen os de es os in es igado es que pe mi ´ıa di idi cada imagen en
peque˜nos ozos o pa ches que no solapasen en e s´ı. E a posible elegi el ama˜no de cada
pa ch y el n´ume o o al de ellos que se que ´ıa po imagen. Se comenz´o di idiendo cada
imagen en 32 pa ches de 64x64 p´ıxeles, pe o como se e ´a en los apa ados siguien es, es os
alo es se ue on modi icando poco a poco has a llega a los ideales.
6.3. Resul ados Ob enidos con la Red 1
Una ez la p ime a ed es u o de inida y desa ollada, ue p obada su e iciencia con
los di e en es conjun os an es desc i os. Es os ue on los esul ados.
6.3.1. Resul ados del Conjun o 1 con la Red 1
Los p ime os esul ados ob enidos con la Red 1 ue on bas an e acep ables a pesa
de las malas condiciones en las que ue on ejecu ados. Po el equipo del que se dispon´ıa,
ejecu a 20 uel as o epochs del Conjun o 1 pod´ıa llega a a da del o den de 30 minu os.
Pa a pode ealiza los c´alculos, e a necesa io ejecu a cada en enamien o 10 eces, con
cuyos esul ados se ealizaba una media despu´es.
En la Tabla 6.5 se mues an los esul ados ob enidos en es os expe imen os. El
signi icado de las cabece as de cada columna es el siguien e:
A: Conjun o de da os empleado en los expe imen os.
B: Node im´agenes del conjun o usadas pa a en enamien o.
C: Node im´agenes del conjun o usadas pa a alidaci´on.
D: Node ´a eas o pa ches en los que es ´a eco ada cada imagen.
E: Dimensi´on de cada pa ch.
F: Tama˜no de cada ba ch.
H: P ecisi´on ob enida en el expe imen o en la ed con los da os an e io es.
La columna Hmues a la media inal ob enida as e alua 10 eces la ed con los
mismos pa ´ame os. En los expe imen os de es a abla, cada imagen del Conjun o 1 ue
di idida en 32 pa ches de 64x64 p´ıxeles, pues e a el ama˜no ecomendado en un p ime
momen o po [BLG+17].
A B C D E F G H
Conjun o 1 25526 6122 32 64x64x1 10 20 82.778 %
Conjun o 1 25526 6122 32 64x64x1 10 30 82.473 %
Conjun o 1 25526 6122 32 64x64x1 10 50 83.585 %
Conjun o 1 25526 6122 32 64x64x1 10 70 82.866 %
Conjun o 1 25526 6122 32 64x64x1 10 100 81.813 %
Tabla 6.5: Resul ados de la Red 1 con el Conjun o 1
48 Cap´
ı ulo 6. Expe imen os y Resul ados
En es e p ime momen o el in e ´es se cen ´o en las epochs, ya que e a necesa io sabe
cu´al e a el n´ume o ideal de epochs con las que ob ene los mejo es esul ados, pues
no se con aba con excesi os medios y as´ı se ´ıa posible op imiza mejo el iempo y la
in es igaci´on. Como se ha esal ado en neg i a en la abla, el mejo esul ado ob enido ue
con 50 epochs, consiguiendo una p ecisi´on del 83.585 %. Es a p ecisi´on, sin se b illan e,
no e a mala del odo pa a un p ime in en o.
El siguien e es eo pa a mejo a la ed ue el ba ch size. Tomando iguales odos los
pa ´ame os de la abla an e io y ijando las epochs a 50, se p ocedi´o a es udia el ba ch
size con la espe anza de ob ene una mejo a. Los esul ados pueden e se en la Tabla 6.6.
La elaci´on del signi icado de las cabece as de cada columna es la misma que la de la Tabla
6.5.
A B C D E F G H
Conjun o 1 25526 6122 32 64x64x1 10 50 83.585 %
Conjun o 1 25526 6122 32 64x64x1 30 50 85.323 %
Conjun o 1 25526 6122 32 64x64x1 50 50 84.978 %
Conjun o 1 25526 6122 32 64x64x1 - 50 86.403 %
Tabla 6.6: Resul ados de la Red 1 con el Conjun o 1
Aqu´ı, los mejo es esul ados se ob u ie on as no especi ica el ba ch size, y mejo a on
en casi un 3 % con espec o a los an e io es. Pa e de es a mejo a se debi´o a la posibilidad
de ob ene mejo es ecu sos de compu aci´on, como una RAM m´as g ande. Es o pe mi i´o
pode expe imen a m´as y amplia la dimensi´on del ba ch has a ob ene unos esul ados
mejo es.
6.3.2. Resul ados del Conjun o 2 con la Red 1
T as los esul ados ob enidos con el Conjun o 1, se p ob´o la e iciencia de la Red 1 en
el Conjun o 2. A pesa de con a con la capacidad de c´ompu o mejo ada que se hab´ıa
conseguido en los ´ul imos expe imen os y de emplea la misma con igu aci´on pa a la Red
1 que en el apa ado an e io , los esul ados que se ob u ie on aqu´ı no ue on buenos,
como pueden e se en la Tabla 6.7. La elaci´on del signi icado de las cabece as de cada
columna es la misma que la de la Tabla 6.5.
A B C D E F G H
Conjun o 2 12800 4320 32 64x64x1 10 50 30.385 %
Conjun o 2 12800 4320 32 64x64x1 - 100 33.71 %
Tabla 6.7: Resul ados de la Red 1 con el Conjun o 2
An e an malos esul ados, se p ocedi´o mejo a la ed y p oba una nue a: la Red 2.
6.4. Resul ados Ob enidos con la Red 2
La Red 2 y los esul ados ob enidos con ella e elan dos cosas:
1. El hecho de cambia y a ina la ed p opo cion´o mejo es esul ados en la clasi icaci´on,
lo cual se˜nala que ene una buena ed es un pun o muy impo an e.
6.4. Resul ados Ob enidos con la Red 2 49
2. Ya no s´olo los cambios en la ed p opo cionan una mejo ´ıa, sino ambi´en el juga y
a ina el p ep ocesamien o de da os, como se pudo e en es a ase de la in es igaci´on.
A con inuaci´on, apa ecen los esul ados ep esen ados en ablas.
6.4.1. Resul ados del Conjun o 1 con la Red 2
Ya que los mejo es da os ob enidos has a aho a ue on con el Conjun o 1, y pa a
man ene el mismo o den que en las p uebas an e io es, se en en´o y es e´o la Red 2 con
es e conjun o p ime o. Los esul ados es ´an e lejados en la Tabla 6.8. La elaci´on del
signi icado de las cabece as de cada columna es la misma que la de la Tabla 6.5.
A B C D E F G H
Conjun o 1 25526 6122 32 64x64x1 - 50 92.496 %
Conjun o 1 25526 6122 32 64x64x1 100 300 94.325 %
Conjun o 1 25526 6122 32 64x64x1 - 300 94.315 %
Tabla 6.8: Resul ados de la Red 2 con el Conjun o 1
Como puede ap ecia se, los esul ados mejo a on has a en un 8 %, log ando una
p ecisi´on ealmen e buena en el mejo de los casos y p obando la mejo a de es a ed
en e a su p edeceso a la Red 1.
6.4.2. Resul ados del Conjun o 2 con la Red 2
T as los buenos esul ados con el Conjun o 1, e a necesa io con es a a la siguien e
p egun a: ¿Se ´ıa capaz es a ed de mejo a ambi´en los esul ados del Conjun o 2?
A B C D E F G H
Conjun o 2 12800 4320 32 64x64x1 - 100 41.824 %
Conjun o 2 12800 4320 32 64x64x1 - 300 41.755 %
Conjun o 2 12800 4320 32 64x64x1 100 300 43.131 %
Conjun o 2 12800 4320 32 64x64x1 50 300 41.535 %
Conjun o 2 12800 4320 32 64x64x1 200 300 42.646 %
Tabla 6.9: Resul ados de la Red 2 con el Conjun o 2
Como puede ap ecia se en la Tabla 6.9, los esul ados mejo a on has a un 10 %, pe o
no s´olo es aban lej´ısimos de los esul ados ob enidos con el conjun o 1, sino que adem´as
segu´ıan po debajo del 50 % de p ecisi´on, lo que signi icaba que la ed allaba m´as de lo que
ace aba en su clasi icaci´on. La elaci´on del signi icado de las cabece as de cada columna
es la misma que la de la Tabla 6.5.
¿A qu´e se deb´ıan una di e encia an abismal de esul ados? A p io i, pa ec´ıa que pod´ıa
es a causado po dos mo i os:
1. El p ime mo i o pod ´ıa es a elacionado con el senso que cap u ´o las im´agenes.
Es o signi ica ´ıa que las im´agenes omadas con un m´o il pudiesen ene menos
in o maci´on en sus me ada os o m´as con usa, lo que p opiciase que la ed no uese
an p ecisa en su clasi icaci´on.
50 Cap´
ı ulo 6. Expe imen os y Resul ados
2. El segundo mo i o end ´ıa que e con el ama˜no de la mues a del Conjun o 2.
Como puede e se a lo la go de las ablas p esen adas, el n´ume o de im´agenes del
Conjun o 2 es ap oximadamen e la mi ad que las que iene el Conjun o 1. Po an o,
es a al a de im´agenes en la mues a, pod ´ıa es a pe judicando a los esul ados ya
que la ed no es capaz de ap ende lo su icien e.
T as es e an´alisis, se in en ´o encon a un palia i o al segundo mo i o, la al a de
im´agenes. Dado que en un u u o p ´oximo no e a posible aumen a ese da ase , se op ´o
po aumen a el n´ume o de pa ches po o o. Los esul ados es ´an en la Tabla 6.10. La
elaci´on del signi icado de las cabece as de cada columna es la misma que la de la Tabla
6.5.
A B C D E F G H
Conjun o 2 100312 33444 256 64x64x1 100 300 87.205 %
Conjun o 2 100312 33444 256 64x64x1 - 300 86.388 %
Conjun o 2 102400 34560 256 32x32x1 100 300 74.238 %
Conjun o 2 102400 34560 256 32x32x1 - 300 73.402 %
Tabla 6.10: Resul ados de la Red 2 con el Conjun o 2
Se ealiza on a ias p uebas: se aumen ´o el n´ume o de pa ches a 256 en odos los casos,
y a su ez se in es ig´o c´omo a ec aba la dimensi´on de dichos pa ches y de los ba ches. Los
esul ados ue on incluso mejo es de lo p e is o, ya que se log ´o una mejo a del 44 % en
la p ecisi´on, llegando a un 87.205 % en el mejo de los casos. Si bien a´un es aban lejos del
Conjun o 1, es o e a una mejo a muy impo an e de ca a a segui con las in es igaciones.
6.4.3. Resul ados del Conjun o 3 con la Red 2
Llegados a es e pun o, se aumen ´o el Conjun o 2 a˜nadiendo nue as im´agenes y modelos,
c eando como esul ado el Conjun o 3, an e io men e de inido. Se p esen aban aho a dos
obje i os: comp oba que la mejo a de p ecisi´on log ada en el Conjun o 2 se man u iese
en el Conjun o 3, y a a de encon a el mejo p ep ocesamien o y con igu aci´on de la
ed pa a log a la mayo p ecisi´on posible.
A B C D E F G H
Conjun o 3 26528 16160 32 64x64x1 100 300 41.313 %
Conjun o 3 106240 64582 128 64x64x1 100 300 61.222 %
Conjun o 3 210392 127978 256 64x64x1 100 300 68.568 %
Conjun o 3 106240 64384 128 32x32x1 100 300 47.88 %
Conjun o 3 212480 129280 256 32x32x1 100 300 54.34 %
Tabla 6.11: Resul ados de la Red 2 con el Conjun o 3
Aplicando los mismos azonamien os que con el Conjun o 2, se aumen ´o el n´ume o de
pa ches de las im´agenes del Conjun o 3. Si bien no se consigui´o alcanza el buen esul ado
del Conjun o 2, se log ´o una p ecisi´on de un poco menos del 70 %, lo cu´al no es ´a del odo
mal. Es os esul ados se encuen an en la Tabla 6.11. La elaci´on del signi icado de las
cabece as de cada columna es la misma que la de la Tabla 6.5.
6.4. Resul ados Ob enidos con la Red 2 51
6.4.4. Resul ados del Conjun o 4 con la Red 2
Pa a pode en ena y es ea la Red 2 con el Conjun o 4, e a necesa io en p ime
luga , ex ae los o og amas de cada ´ıdeo como se ha desc i o an e io men e. Una ez
ob enidos, la ed e a usada como en los casos an e io es: p ime o se ha oceado cada
o og ama en 256 pa ches de 64x64 p´ıxeles cada uno y se han u ilizado pa a en ena y
es ea la ed.
El p oblema inal es aba al llega a los esul ados: la ed de ol ´ıa la clase a la que
pe enec´ıa cada pa ch de los o og amas, cuando el obje i o que se buscaba e a sabe a
qu´e clase pe enece cada ´ıdeo como un o al. Pa a log a es o, se lle ´o a cabo el dise˜no
e implemen aci´on de un algo i mo auxilia , con el obje i o de conclui cu´al e a la clase de
cada ´ıdeo, omando el ´ıdeo como elemen o ´unico.
6.4.4.1. La Clase como la Moda de los Resul ados de los Fo og amas
Una ez ob enidos los esul ados de las p edicciones de la ed pa a cada pa ch, se
desa oll´o un algo i mo que uese capaz de hace los siguien es pasos:
1. Como p ime paso, el algo i mo se enca ga de de e mina cu´al es la clase a la que
pe enece cada p edicci´on ob enida, pues los da os de los que se disponen son una
lis a que con iene una lis a con an os elemen os como clases a clasi ica , y en el
in e io de cada lis a de clase hay an as lis as como pa ches pe enecien es a esa
clase. Cada lis a de pa ch con iene los po cen ajes de clasi icaci´on de ese pa ch a cada
una de las clases.
Pa a asigna la clase a la que pe enece cada pa ch, se ha omado la clase en la
que el po cen aje de clasi icaci´on es el mayo . Como esul ado, ob enemos una lis a
con an as lis as como clases, donde cada lis a de clase iene an os elemen os como
pa ches. Cada elemen o con iene la clase a la que pe enece ese pa ch seg´un los
esul ados ob enidos en la ed y el po cen aje asociado.
2. La segunda unci´on ha consis ido en asocia los esul ados de los pa ches ob enidos
en el paso an e io a cada pa ch conocido. Pa a ello, se ha usado el conocimien o
de que cada esul ado ue de uel o en el o den en el que se in oduje on los pa ches
y una lis a auxilia que con iene el o den de cada pa ch, con su clase y su nomb e
conocido pa a pode iden i ica cada uno.
El obje i o de es o es sabe qu´e pa ch pe enece a cada o og ama y pode as´ı
ag upa los, p ime o po clases, y luego po o og amas. Una ez ag upados, se le
ha asociado a cada o og ama la clase que m´as ecuencia u iese en e los pa ches
que la o masen. En caso de ene alg´un empa e, se seleccionaba la clase que u iese
el po cen aje m´as al o en e las que u iesen mayo ecuencia.
Como esul ado, se ob en´ıa una lis a con an as lis as como clases. Cada lis a de
clase con en´ıa a su ez an os elemen os como o og amas pe eneciesen a esa clase,
jun o con la clase a la que debe ´ıan pe enece y la clase en la que ha sido clasi icado.
3. El pen´ul imo paso ha consis ido en ealiza un p oceso simila pa a ag upa cada
o og ama seg´un el ´ıdeo al cu´al pe enece. Una ez ag upados, p ime o po clase, y
luego po ´ıdeos, se ha p ocedido a calcula la clase a la que pe enece cada ´ıdeo,
calculando la clase m´as epe ida de sus o og amas. En es e caso, en caso de da se
un empa e, se seleccionaba al aza una de las clases de la moda m´ul iple.
El esul ado ob enido ha sido una lis a con an as lis as como clases, donde cada lis a
de clase en´ıa an os elemen os como ´ıdeos. Cada ´ıdeo con en´ıa la in o maci´on
52 Cap´
ı ulo 6. Expe imen os y Resul ados
de su nomb e, la clase a la que deb´ıa pe enece y la clase que le ha o o gado la
clasi icaci´on.
4. Pa a inaliza , se ha calculado la p ecisi´on de la clasi icaci´on calculando el po cen aje
de ´ıdeos bien clasi icados.
Los esul ados inales apa ecen en la Tabla 6.12. Adem´as de apa ece las mismas
columnas que las ablas an e io es, se han a˜nadido un pa de columnas nue as. La elaci´on
del signi icado de las cabece as de las columnas de la A a la G es la misma que la de la
Tabla 6.5. El signi icado de la columnas nue as es el siguien e:
H: P ecisi´on ob enida en la clasi icaci´on de los pa ches que o man cada o og ama.
Al igual que en las ablas an e io es, la p ecisi´on que se mues a aqu´ı es el esul ado
de hace la media de las p ecisiones ob enidas en 10 ejecuciones dis in as.
I: P ecisi´on ob enida en la clasi icaci´on de los ´ıdeos. Se ha ob enido de o ma simila
a la an e io , pe o con lige as di e encias: P ime o, se han calculado los esul ados
ob enidos pa a los ´ıdeos 4 eces pa a cada esul ado ob enido con los o og amas
y se ha hecho la media de ellos. A con inuaci´on, se ha hecho la media de las medias
ob enidas en el paso an e io . Es a ´ul ima media es la que se e leja en la abla.
A B C D E F G H I
Conjun o 4 203004 51072 256 64x64x1 100 20 80.13 % 89 %
Tabla 6.12: Resul ados de la Red 2 con el Conjun o 4
Po ´ul imo, la Tabla 6.13 mues a la ma iz de con usi´on con los esul ados ob enidos.
Como puede ap ecia se, los ´unicos modelos que p esen a di icul ades en su clasi icaci´on
son el OnePlus One A0001, que es con undido con el Xiaomi Mi3 y el Samsung Galaxy
S3, que se con unde m´ınimamen e con el OnePlus One A0001.
Apple OnePlus Samsung Galaxy Xiaomi Xpe ia
iPhone 6 One A0001 Galaxy S3 Mi3 M2 D2303
Apple iPhone 6 30 0 0 0 0
OnePlus One A0001 0 18 0 12 0
Samsung Galaxy S3 0 1 29 0 0
Xiaomi Mi3 0 0 0 30 0
Xpe ia M2 D2303 0 0 0 0 30
Tabla 6.13: Ma iz de con usi´on del Conjun o 4 con la Red 2
Cap´ı ulo 7
Conclusiones y T abajo Fu u o
En es e ´ul imo cap´ı ulo se ecoge ´an las conclusiones a las que se ha llegado despu´es del
desa ollo de la p opues a de es e abajo y los nume osos expe imen os lle ados a cabo.
A con inuaci´on, ambi´en se de alla ´an posibles abajos u u os que puedan con inua es a
l´ınea de in es igaci´on, amplia la y mejo a la.
7.1. Conclusiones
Una ez inalizado es e abajo se han ob enido las siguien es conclusiones:
En la li e a u a disponible ac ualmen e, hay una escasez muy g ande en la in es igaci´on
de la uen e de adquisici´on de los ´ıdeos. Como se ha explicado an e io men e en la
in oducci´on, es o es un p oblema muy g ande, ya que el auge de las ´ecnicas que son
capaces de manipula los ´ıdeos di icul a en g an medida pode ia se del con enido que
p esen an los mismos y de su uen e de p ocedencia. Es e p oblema se es ´a solucionando
poco a poco con las im´agenes, pe o no as´ı con los ´ıdeos, que lle an un a ance mucho m´as
len o.
Como se ha podido e en el cap´ı ulo de Expe imen os y Resul ados, se ha ob enido
una p ecisi´on del 89 % en la clasi icaci´on de ´ıdeos seg´un la c´ama a que los g ab´o con
la ed neu onal con olucional p opues a en es e abajo. Es os esul ados, a´un es ando
po debajo del 90 % y siendo in e io es a la p ecisi´on ob enida abajando con im´agenes,
se pueden conside a muy buenos. Al a i ma que son buenos esul ados, se ha enido
en cuen a ambi´en que, al habe muy pocas publicaciones que u ilicen una CNN pa a
iden i ica la uen e de adquisici´on de un ´ıdeo, es a p ecisi´on ob enida es un esul ado
m´as que decen e y acep able pa a a a se de una de las p ime as ap oximaciones que
exis en a la iden i icaci´on de la c´ama a uen e de un ´ıdeo con es e ipo de m´e odo pa a
clasi icaci´on.
Pa a lle a a cabo los expe imen os p esen ados en es e abajo, se ha u ilizado un
o denado pe sonal con una RAM de 8GB que, a p io i, pa ec´ıa su icien e. Sin emba go,
es necesa io des aca que debido al g an n´ume o de im´agenes u ilizadas y a su g an
esoluci´on, p on o se qued´o muy co a, alen izando eno memen e las ejecuciones (llegando
a a da en o no a 3h cada una) o incluso lleg´andose a sa u a e impidiendo su ejecuci´on.
Es e p oblema ue paliado en pa e con el uso de la he amien a Google Colabo a o y,
que cuen a con has a 12GB de memo ia RAM. Sin emba go, a la ho a de ejecu a los
expe imen os con el Conjun o 4, se hizo pa en e de nue o la escasez de memo ia, po lo
que se sugie e que una mejo a en los ecu sos u ilizados pod ´ıa ep esen a una ejecuci´on
m´as ´agil y unos mejo es esul ados.
53
60 Cap´
ı ulo 8. In oduc ion
h ee mon hs we e spen on in o ma ion esea ch. I was necessa y o know wha
had al eady been done in o de o ad ance and expand he al eady known esul s.
Thanks mainly o he subjec s o Compu a ional Geome y and A i icial
In elligence, i was possible o s a wi h a small knowledge base on Machine
Lea ning, Deep Lea ning and Neu al Ne wo ks, which will be discussed in he nex
chap e s. This knowledge was quickly ex ended hanks o he nume ous a icles o
scien i ic jou nals, o cong esses and some books on he subjec , all o hem ound
bo h in Google Schola and in he lib a ies o he Complu ense Uni e si y o Mad id.
I was sea ched mainly o publica ions on Au oma ic Lea ning, Neu al Ne wo ks
(especially con olu ional ones), alsi ica ion o images and ideos and iden i ica ion
o images and ideos. Many o he wo ks used in he esea ch phase we e ound
hanks o he e e ences o o he publica ions al eady s udied.
2. De elopmen : Once he esea ch phase was su icien ly ad anced and all he
necessa y knowledge had been acqui ed, he second phase was s a ed, ha o he
de elopmen o he p oposal. A his ime i was de e mined wha would be he
p oposal ha would p esen his wo k: he de elopmen o a me hod ha allows o
iden i y he sou ce o acquisi ion o a ideo om a CNN. A he same ime ha
he p oposal was de eloped and codi ied, esea ch was also con inued, al hough o
a lesse ex en han in he p e ious phase, only sea ching and consul ing speci ic
concep s. In his phase, he selec ion and c ea ion o he se s o images and ideos
ha would be used o ain and es he p oposed ne wo k was ca ied ou , and
he ne wo k was de eloped, codi ied, es ed and edesigned on nume ous occasions
un il he inal design was achie ed. To do his, i was in es iga ed he p og amming
language Py hon and i s lib a ies Ke as, Tenso low and Sciki Lea n.
3. Resul s: Finally, in he Resul s phase, i p oceeded o he analysis o all he esul s
ha had been ob ained wi h he nume ous es s ca ied ou and he ex ac ion
o conclusions om hese esul s. This phase co e ed a ound wo mon hs and was
o e lapped a mon h and a hal wi h he p e ious phase, since acco ding o he esul s
ob ained, i was necessa y o ca y ou mo e es s o no .
8.6. S u u e o he Wo k
The es o he wo k is o ganized in 9 chap e s wi h he s uc u e explained below:
Chap e 1 is an in oduc ion o his wo k, which is he ansla ion in spanish o his
chap e .
Chap e 2 in oduces he basic concep s o Machine Lea ning, Deep Lea ning and
Neu al Ne wo ks, which a e essen ial o unde s and he ounda ions o he science on
which he o ensic analysis o images and ideos is based.
Chap e 3 explains wha is he iden i ica ion o he sou ce o acquisi ion o an image o
ideo, wha o ensic echniques exis o i and wha elemen s o he came as a e based o
be applied. In his chap e we s a by showing he di e en objec i es pu sued by o ensic
analysis: he de e mina ion o whe he a con en is o iginal o no and he iden i ica ion
o he sou ce came a. In bo h, a p esen a ion o he me hods and echniques used by all
o hem is made. Finally, i is shown in mo e de ail wha cons i u es he iden i ica ion o
he sou ce o acquisi ion om a CNN, since i is a main pa o his wo k.
Chap e 4 con ains a compila ion o he mos impo an in es iga ions o he
iden i ica ion o he sou ce o acquisi ion. In i , i can be ead he achie emen s ob ained
by [BBBT16, TCC16] in he iden i ica ion o he sou ce came a o images cap u ed by a
8.6. S u u e o he Wo k 61
adi ional came a DSC and how [FONBCS18] akes hose esul s one s ep u he applying
hose same echniques o images ob ained om mobile de ices. Nex , he ad ances o
[MG18, YHW12] a e exposed in he ield o ideos, including hose ha ha e been
ansmi ed h ough a social ne wo k.
Chap e 5 con ains he p oposal o his wo k. I explains in gene al wha his p oposal
consis s o and hen de ails he inal ne wo k ha is p oposed.
Chap e 6 desc ibes he expe imen s ca ied ou o e alua e he e ec i eness o
he con olu ional neu onal ne wo k p oposed in he chap e 5 and p esen s he esul s
ob ained.
Chap e 7 shows he main conclusions o his wo k and he possible u u e lines o
esea ch.
Chap e s 8 and 9 a e he English ansla ions o he In oduc ion (Chap e 1) and he
Conclusions (Chap e 7).
Cap´ı ulo 9
Conclusions and Fu u e Wo k
In his las chap e i will be ga he ed he conclusions ha ha e been eached a e
he de elopmen o he p oposal o his wo k and he nume ous expe imen s ca ied ou .
Then, possible u u e wo ks ha can con inue his line o esea ch, expand i and imp o e
i will also be de ailed.
9.1. Conclusions
Once his wo k is inished, he ollowing conclusions ha e been eached:
In he li e a u e cu en ly a ailable, he e is a e y la ge sho age in he in es iga ion
o he sou ce o acquisi ion o he ideos. As explained ea lie in he in oduc ion, his is a
e y big p oblem, since he ise o he echniques ha a e capable o manipula ing ideos
makes i di icul o ely on he con en s o he ideos and hei sou ce o o igin. This
p oblem is being sol ed li le by li le wi h he images, bu no wi h he ideos, which
ake a much slowe ad ance.
As i can be seen in he Expe imen s and Resul s chap e , an accu acy o 89 % has been
ob ained in he classi ica ion o ideos acco ding o he came a ha eco ded hem wi h he
con olu ional neu al ne wo k p oposed in his wo k. These esul s, e en being below 90 %
and being in e io o he accu acy ob ained wo king wi h images, can be conside ed e y
good. When a i ming ha hey a e good esul s, i has also been aken in o accoun ha ,
since he e a e e y ew publica ions ha use a CNN o iden i y he sou ce o acquisi ion
o a ideo, his ob ained p ecision is a mo e han decen and accep able esul as his is
one o he i s app oaches o he iden i ica ion o he sou ce came a o a ideo wi h his
ype o classi ica ion me hod.
To ca y ou he expe imen s p esen ed in his wo k, a pe sonal compu e wi h an 8GB
RAM was used, which, a p io i, seemed su icien . Howe e , i is necessa y o highligh ha
due o he la ge numbe o images used and i s high esolu ion, i soon became e y sho ,
slowing down he execu ions eno mously ( eaching a ound 3h each) o e en becoming
sa u a ed and p e en ing i s execu ion. This p oblem was mi iga ed in pa wi h he use
o he Google Collabo a o y ool, which has up o 12GB o RAM. Howe e , a he ime
o execu ing he expe imen s wi h Se 4, he sho age o memo y became pa en again,
so i is sugges ed ha an imp o emen in he esou ces used could ep esen a mo e agile
execu ion and be e esul s.
In his wo k, as explained in p e ious chap e s, a he ime o eeding he ne wo k,
all he images a e i s di ided in o smalle a eas o pa ches. This is so, o wo easons:
he impossibili y o execu ing he code wi h he images in hei o iginal esolu ion due o
lack o memo y, and he sugges ions o [FONBCS18, BLG+17] o di ide he images. We
63
64 Cap´
ı ulo 9. Conclusions and Fu u e Wo k
wan o poin ou ha , con a y o wha [FONBCS18] sugges s, he bes esul s ha e been
ob ained by di iding each image in o pieces o 64x64 pixels, no 32x32 as hey sugges .
In addi ion, i has been necessa y o aise he numbe o pa ches by 32 pic u es p oposed
[BLG+17] o 256, ob aining he bes accu acy wi h his igu e.
The algo i hm p esen ed in his pape is designed in such a way ha i p esen s g ea
e sa ili y, allowing i o pe o m a couple o ex a asks ha a e a li le di e en om
he o iginal one:
Fi s , i s s uc u e allows i o be able o analyze he sou ce o image acquisi ion in
addi ion o hose o he ideos. Fo ha , i would be enough o commen on he code
he pa o he algo i hm which is des ined o he ames ex ac ion and he inal pa in
which he class o each ideo is disco e ed om he ames. I should also be ensu ed ha
he olde whe e he pho og aphs o be analyzed a e loca ed has he same s uc u e as he
o iginal olde FRAMES.
Secondly, he algo i hm allows o analyze he p ecision o a p e iously ained and
gene a ed model, wi hou he need o use he CNN p oposed in he code and in his wo k.
9.2. Fu u e Wo k
As possible u u e wo ks ollowing his in es iga ion line, he e a e p oposed he
ollowing ones:
Compa ison o his wo k wi h a SVM. A s udy on he iden i ica ion o he ideo
acquisi ion sou ce using a SVM is p oposed as a logical con inua ion o his wo k. I
is hough ha i may be a good idea o de elop a SVM capable o iden i ying he
came a ha eco ded a ce ain ideo om i s ames, jus as i has been done he e, in
o de o be able o compa e he esul s ob ained wi h one and ano he classi ica ion
me hod. This would allow o see which o he wo ob ains a highe p ecision, i
i is possible o imp o e i s execu ion ime o i i could be ca ied ou wi h less
demanding esou ces han he con olu ional neu al ne wo k needs. The esul s ha
we e h own om he e could de e mine which is he mos sui able me hod o classi y
ideos, and hus acili a e he inc ease o s udies and esul s in his ega d, since i
is a ield li le s udied.
Use o a SHAP o LIME ype sys em. Being able o explain a model is a p io i y
nowadays o he scien i ic communi y, since i would a oid model biases and allow
decision-make s o unde s and how he CNN wo k o use hem in he bes possible
way. SHAP and LIME a e wo lib a ies o he p og amming language Py hon whose
objec i e is o y o explain he model o a CNN. SHAP is esponsible o conside ing
all possible p edic ions o an ins ance om all i s possible inpu alues, and hanks
o his comp ehensi e app oach, i can gua an ee p ope ies such as consis ency
and local p ecision. LIME cons uc s sca e ed linea models o each p edic ion o
explain i s ope a ion. The inco po a ion o hese lib a ies o his wo k could p o ide
in e es ing and use ul in o ma ion in o de o imp o e he esul s p esen ed and
inc ease he accu acy al eady ob ained.
Inco po a ion o he audio o he ideo. In his wo k, o iden i y he sou ce
o acquisi ion o a ideo, only he in o ma ion con ained in i s ames, p e iously
ex ac ed, is used. This means wo hings:
Fi s ly, i means ha all he in o ma ion ha he audio can con ain is los . When
he audio is disca ded, i is no aken in o accoun i i p o ides aluable in o ma ion
9.2. Fu u e Wo k 65
ha can help o imp o e he classi ica ion o he ideo o , con e sely, i may ha m
ha classi ica ion. The inco po a ion o audio in o he classi ica ion is p oposed as
u u e wo k, and he compa ison o hese esul s wi h hose p esen ed he e.
The second meaning is ha i may be ha in a ideo he only elemen ha is alsi ied
is i s audio. I his is he case, he s udy o i s sou ce o acquisi ion h ough only he
ames is useless, since i will no de ec any modi ica ion. I is he e o e necessa y
o de elop an addi ional s udy in which he sou ce o he ideo’s acquisi ion is
e alua ed om i s audio, o added o his in o ma ion. In his way, he wo k will be
complemen ed and i is possible ha he e o a e o his wo k will be educed.
Bibliog a ´ıa
[ABHAN+19] H. Al Banna, A. Haide , J. Al Nahian, M. Islam, K.A. Tahe , and S. Kaise .
Came a Model Iden i ica ion using Deep CNN and T ans e Lea ning App oach.
In P oceedings o he In e na ional Con e ence on Robo ics, Elec ical and Signal
P ocessing Techniques (ICREST), Dhaka, Bangladesh, Janua y 2019.
[Agg18] C.C. Agga wal. Neu al Ne wo ks and Deep Lea ning. Sp inge , 2018.
[BBBT16] L. Ba o io, L. Bondi, P. Bes agini, and S. Tuba o. Came a Iden i ica ion wi h Deep
Con olu ional Ne wo ks. CoRR, Ma ch 2016.
[BFM+12] P. Bes agini, M. Fon ani, S. Milani, M. Ba ni, A. Pi a, M. Tagliasacchi, and
S. Tuba o. An O e iew on Video Fo ensics. APSIPA T ansac ions on Signal
and In o ma ion P ocessing, 1:1229–1233, Augus 2012.
[BLG+17] L. Bondi, S. Lame i, D. G¨ue a, P. Bes agini, E.J. Delp, and S. Tuba o. Tampe ing
de ec ion and localiza ion h ough clus e ing o came a-based CNN ea u es. In
P oceedings o he IEEE Con e ence on Compu e Vision and Pa e n Recogni ion
Wo kshops (CVPRW), Honolulu, HI, USA, July 2017.
[BM13] G.K. Bi ajda and V.H. Manka . Digi al Image Fo ge y De ec ion Using Passi e
Techniques: A Su ey. ELSEVIER Digi al In es iga ion, 10(3):226–245, Oc obe
2013.
[Buc05] B.G. Buchanan. A (Ve y) B ie His o y o A i icial In elligence. AI Magazine,
26(4):53–60, Decembe 2005.
[CFGL08] M. Chen, J. F id ich, M. Goljan, and J. Lukas. De e mining Image O igin and
In eg i y Using Senso Noise. IEEE T ansac ions on In o ma ion Fo ensics and
Secu i y, 3(1):74–90, Ma ch 2008.
[CLW06] K.S. Choi, E.Y. Lam, and K.K.Y. Wong. Au oma ic Sou ce Came a Iden i ica ion
Using he In insic Lens Radial Dis o ion. Op ics Exp ess, 14(24):11551–11565,
No embe 2006.
[CPN+17] G. Ca aneo, U.F. Pe illo, M. Nappi, F. Na ducci, and G. Roscigno. An E icien
Implemen a ion o he Algo i hm by Lukas e al. on Hadoop. In P oceedings o he
12 h In e na ional Con e ence on G een, Pe asi e, and Cloud Compu ing, pages
475–489, Ce a a, I aly, Ap il 2017.
[CR10] H.R. Chennamma and L. Ranga ajan. Sou ce Came a Iden i ica ion Based on
Senso Readou Noise. In e na ional Jou nal o Digi al C ime and Fo ensics
(IJDCF), 2(3):28–42, Sep embe 2010.
[CSA+18] D. Coombes, J. Sha p, G. Allix, J. S i up, and A. Moll. Mic oso O icial Cou se,
20774A Pe o m Cloud Da a Science wi h Azu e Machine Lea ning. Mic oso ,
Oc obe 2018.
[FFG08] T. Fille , J. F id ich, and M. Goljan. Using Senso Pa e n Noise o Came a Model
Iden i ica ion. In P oceedings o he 2008 15 h IEEE In e na ional Con e ence on
Image P ocessing, San Diego, CA, USA, Oc obe 2008.
67
68 BIBLIOGRAF´
IA
[FONBCS18] D. F ei e-Ob eg´on, F. Na ducci, S. Ba a, and M. Cas ill´on-San ana. Deep Lea ning
o Sou ce Came a Iden i ica ion on Mobile De ices. Pa e n Recogni ion Le e s,
Janua y 2018.
[GB11] T. Gloe and R. B¨ohme. The ’D esden Image Da abase’ o Benchma king Digi al
Image Fo ensics. Jou nal o Digi al Fo ensic P ac ice, 3(2–4):150–159, Feb ua y
2011.
[GKWB07] T. Gloe, M. Ki chne , A. Winkle , and R. Bohme. Can We T us Digi al Image
Fo ensics? In P oceedings o he 15 h In e na ional Con e ence on Mul imedia, pages
78–86, Augsbu g, Ge many, Sep embe 2007.
[GZY+18] D. G¨ue a, F. Zhu, S.K. Ya lagadda, S. Tuba o, P. Bes agini, and E.J. Delp.
Reliabili y Map Es ima ion o CNN-Based Came a Model A ibu ion. In
P oceedings o he 2018 IEEE Win e Con e ence on Applica ions o Compu e
Vision (WACV), Lake Tahoe, NV, USA, Ma ch 2018.
[JM15] M.I. Jo dan and T.M. Mi chell. Machine Lea ning: T ends, Pe spec i es and
P ospec s. Science, 349(6245):255–260, July 2015.
[JMM96] A.K. Jain, J. Mao, and K.M. Mohiuddin. A i icial Neu al Ne wo ks: a Tu o ial.
Compu e , 29(3):31–44, Ma ch 1996.
[KAS17] S. King a, N. Agga wal, and R.D. Singh. Video In e - ame Fo ge y De ec ion
App oach o Su eillance and Mobile Reco ded Videos. In e na ional Jou nal o
Elec ical and Compu e Enginee ing (IJECE), 7(2):831–841, Ap il 2017.
[KG15] M. Ki chne and T. Gloe. Handbook o Digi al Fo ensics o Mul imedia Da a and
De ices. John Wiley Sons, L d., July 2015.
[KSH12] A. K izhe sky, I. Su ske e , and G.E. Hin on. ImageNe Classi ica ion wi h Deep
Con olu ional Neu al Ne wo ks. In P oceedings o he 25 h In e na ional Con e ence
on Neu al In o ma ion P ocessing Sys ems, pages 1097–1105, Lake Tahoe, NV, USA,
Decembe 2012.
[KSM04] M. Kha azi, H.T. Senca , and N. Memon. Blind Sou ce Came a Iden i ica ion. In
P oceedings o he 2004 In e na ional Con e ence on Image P ocessing, 2004. ICIP
’04., pages 709–712, Singapo e, Singapo e, Oc obe 2004.
[Kub17] M. Kuba . An In oduc ion o Machine Lea ning. Sp inge , 2017.
[LBH15] Y. LeCun, Y Bengio, and G. Hin on. Deep Lea ning. Na u e, 521:436–444, May
2015.
[LFG06] J. Lukas, J. F id ich, and M. Goljan. Digi al Came a Iden i ica ion om
Senso Pa e n Noise. IEEE T ansac ions on In o ma ion Fo ensics and Secu i y,
1(2):205–214, June 2006.
[Li10] C.T. Li. Sou ce Came a Iden i ica ion Using Enhanced Senso Pa e n Noise. IEEE
T ansac ions on In o ma ion Fo ensics and Secu i y, 5(2):280–287, June 2010.
[LWY15] B. Liu, X. Wei, and J. Yan. Enhancing Senso Pa e n Noise o Sou ce Came a
Iden i ica ion: An Empi ical E alua ion. In P oceedings o he 3 d ACM Wo kshop
on In o ma ion Hiding and Mul imedia Secu i y, pages 85–90, Po land, OR, USA,
June 2015.
[MA13] M. Mish a and M.C. Adhika . Digi al Image Tampe De ec ion Techniques - A
Comp ehensi e S udy. In e na ional Jou nal o Compu e Science and Business
In o ma ics, 2(1):1–12, June 2013.
[MAU15] K. Mush aque, K. Ahsan, and A. Ume . Digi al Fo ensic In es iga ion Models:
an E olu ion S udy. JISTEM - Jou nal o In o ma ion Sys ems and Technology
Managemen , 12(2), Augus 2015.
BIBLIOGRAF´
IA 69
[McC04] P. McCo duck. Machines Who Think - A Pe sonal Inqui y in o he His o y and
P ospec s o A i icial In elligence. CRC P ess, Ma ch 2004.
[MG18] C. Meij and Z. Ge ad s. Sou ce Came a Iden i ica ion Using Pho o Response
Non-Uni o mi y on Wha sApp. ELSEVIER Digi al In es iga ion, 24:142–154,
Ma ch 2018.
[RM15] S. Rachska and V. Mi jalili. Py hon Machine Lea ning. Machine Lea ning and
Deep Lea ning wi h Py hon, sciki -lea n and Tenso Flow. Pck Publishing L d.,
Sep embe 2015.
[RTD11] J.A. Redi, W. Tak ak, and J.L. Dugelay. Digi al Image Fo ensics: a Bookle o
Beginne s. Mul imedia Tools and Applica ions, 51(1):133–162, Janua y 2011.
[SAR+13] A.L. Sando al, D.M. A enas, J. Rosales, L.J. Ga cia, and J.C. He nandez-Cas o.
Techniques o Sou ce Came a Iden i ica ion. In P oceedings o he 6 h In e na ional
Con e ence on In o ma ion Technology, pages 1–9, Dubai, Uni ed A ab Emi a es,
May 2013.
[SM08] H.T. Senca and N. Memon. O e iew o S a e-o - he-A in Digi al Image
Fo ensics. Algo i hms, A chi ec u es and In o ma ion Sys ems Secu i y, pages
1325–347, No embe 2008.
[SXD09] Y. Su, J. Xu, and B. Dong. A Sou ce Video Iden i ica ion Algo i hm Based on
Mo ion Vec o s. In P oceedings o he Second In e na ional Wo kshop on Compu e
Science and Enginee ing, pages 312–316, Qingdao, China, Oc obe 2009.
[TCC16] A. Tuama, F. Comby, and M. Chaumon . Came a Model Iden i ica ion wi h he
Use o Deep Con olu ional Neu al Ne wo ks. In P oceedings o he 2016 IEEE
In e na ional Wo kshop on In o ma ion Fo ensics and Secu i y (WIFS), Abu Dhabi,
Uni ed A ab Emi a es, Decembe 2016.
[TNC10] V. L. L. Thing, K. Y. Ng, and E. C. Chang. Li e Memo y Fo ensics o Mobile
Phones. Digi al In es iga ion, 7:74–82, Augus 2010.
[VLCEK07] T. Van Lanh, K. S. Chong, S. Emmanuel, and M. S. Kankanhalli. A Su ey on
Digi al Came a Image Fo ensic Me hods. In P oceedings o he IEEE In e na ional
Con e ence on Mul imedia and Expo, pages 16–19, Beijing,China, July 2007.
[YHW12] S. Yahaya, A.T.S. Ho, and A.A. Wahab. Ad anced Video Came a Iden i ica ion
Using Condi ional P obabili y Fea u es. In P oceedings o he IET Con e ence on
Image P ocessing, pages 1–5, London, Uni ed Kingdom, July 2012.
[YNZZ19] P. Yang, R. Ni, Y. Zhao, and W. Zhao. Sou ce Came a Iden i ica ion Based
on Con en -Adap i e Fusion Residual Ne wo ks. ELSEVIER Pa e n Recogni ion
Le e s, 119:195–204, Ma ch 2019.
[ZZC+17] K. Zhang, W. Zuo, Y. Chen, L. Zhang, and D. Meng. Beyond a Gaussian Denoise :
Residual Lea ning o Deep CNN o Image Denoising. IEEE T ansac ions on Image
P ocessing, 26(7):3142–3155, July 2017.