Identificación de la fuente de adquisición de ficheros multimedia de dispositivos móviles mediante Deep Learning

Iden i icaci´on de la Fuen e de Adquisici´on de Fiche os Mul imedia de Disposi i os M´o iles median e Deep Lea ning TRABAJO FIN DE GRADO Doble G ado En Ma em´a icas e Ingenie ´ıa In o m´a ica CURSO 2018–2019 Almudena Ou eda Rod ´ıguez Di ec o es Luis Ja ie Ga c´ıa Villalba Ana Lucila Sando al O ozco Depa amen o de Ingenie ´ıa del So wa e e In eligencia A i icial Facul ad de In o m´a ica Uni e sidad Complu ense de Mad id Mad id, Junio de 2019 Ag adecimien os Quisie a ag adece y dedica es e abajo al G upo de In es igaci´on de An´alisis, Segu idad y Sis emas (GASS), especialmen e a mis u o es Luis Ja ie Ga c´ıa Villalba y Ana Lucila Sando al O ozco po habe me b indado la opo unidad de abaja en un p oyec o de al magni ud, guia me y da me acilidades pa a ealiza un abajo del que me sien o o gullosa. A odos los miemb os del g upo, especialmen e a Es eban Alejand o A mas Vega po habe es ado ah´ı en cada duda que me su gie a. A Jenny Ci uen es po las cha las de edes neu onales. G acias a odos po guia me y po oda la paciencia demos ada. Tambi´en quie o ag adece a mi amilia y a mi pa eja la paciencia que han enido conmigo es os meses y la ayuda que me han b indado pa a pode ealiza es e abajo. iii ´ Indice Gene al ´ Indice de Figu as IX ´ Indice de Tablas XI Lis a de Ac ´ onimos XIV Abs ac XVII Resumen XIX 1. In oducci´ on 1 1.1. Mo i aci´on .................................... 1 1.2. Con ex o ..................................... 2 1.3. Obje o de la In es igaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.4. T abajosRelacionados.............................. 3 1.5. PlandeT abajo ................................. 3 1.6. Es uc u adelT abajo.............................. 4 2. Ma co Te´ o ico 7 2.1. Ap endizaje Au om´a ico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1.1. De inici´on................................. 7 2.1.2. Concep os, Me odolog´ıas y Modelos . . . . . . . . . . . . . . . . . . 9 2.2. El Ap endizaje P o undo F en e al Ap endizaje Au om´a ico . . . . . . . . . 10 2.2.1. Rep esen aciones de Da os y Reconocimien o de Ca ac e ´ıs icas . . . 10 2.2.2. A qui ec u a del Deep Lea ning y Es uc u a en G andes Da os . . 11 2.3. LasRedesNeu onales .............................. 11 2.3.1. Redes Neu onales A i iciales . . . . . . . . . . . . . . . . . . . . . . 11 2.3.2. Redes Neu onales Con olucionales . . . . . . . . . . . . . . . . . . . 13 3. An´ alisis Fo ense de Iden i icaci´ on de la Fuen e de Adquisici´ on 17 3.1. O iginalidad del Con enido que P esen a el Fiche o Mul imedia . . . . . . . 18 3.1.1. Falsi icaci´on de Im´agenes Digi al . . . . . . . . . . . . . . . . . . . . 18 3.1.2. Es eganog a ´ıa Digi al de Im´agenes . . . . . . . . . . . . . . . . . . . 21 i ´ INDICE GENERAL 3.1.3. Falsi icaci´on de V´ıdeos . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2. Iden i icaci´on de la Fuen e de Adquisici´on . . . . . . . . . . . . . . . . . . . 23 3.2.1. T´ecnicas de Iden i icaci´on de la Fuen e de Adquisici´on en Im´agenes . 24 3.2.2. T´ecnicas de Iden i icaci´on de la Fuen e de Adquisici´on en V´ıdeos . . 25 3.2.3. Iden i icaci´on de la Fuen e de Adquisici´on con Redes Neu onales Con olucionales.............................. 26 4. Es ado del A e 27 4.1. Tipos de En oque en las In es igaciones . . . . . . . . . . . . . . . . . . . . 27 4.1.1. BasadoenModelos............................ 27 4.1.2. BasadoenDa os ............................. 28 4.2. Uso de las Redes Neu onales Con olucionales . . . . . . . . . . . . . . . . . 28 4.2.1. Iden i icaci´on de los Modelos de C´ama a T adicionales . . . . . . . . 29 4.2.2. Iden i icaci´on de C´ama as de M´o iles . . . . . . . . . . . . . . . . . 30 4.2.3. Iden i icaci´on de la Fuen e de Adquisici´on de V´ıdeos . . . . . . . . . 32 5. Algo i mo P opues o 35 5.1. Desc ipci´on del Algo i mo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 5.1.1. Ex acci´on de los Fo og amas de un V´ıdeo . . . . . . . . . . . . . . . 35 5.1.2. Reducci´on de los Fo og amas en ´ A eas m´as Peque˜nas . . . . . . . . 36 5.1.3. P epa aci´on de los Da os . . . . . . . . . . . . . . . . . . . . . . . . 36 5.1.4. Clasi icaci´on de los Pa ches con la CNN P opues a . . . . . . . . . . 36 5.1.5. C´alculo de la P ecisi´on de la CNN con V´ıdeos a pa i de la P ecisi´on Ob enida con los Fo og amas . . . . . . . . . . . . . . . . . . . . . . 37 5.2. Desa ollo de la Red P opues a . . . . . . . . . . . . . . . . . . . . . . . . . 38 5.2.1. P ime a Red Neu onal Con olucional . . . . . . . . . . . . . . . . . 38 5.2.2. Segunda Red Neu onal Con olucional . . . . . . . . . . . . . . . . . 39 5.3. Recu sos y He amien as U ilizadas . . . . . . . . . . . . . . . . . . . . . . . 41 5.3.1. Con igu aci´on y Componen es de los Expe imen os . . . . . . . . . . 41 6. Expe imen os y Resul ados 43 6.1. Elecci´on de los Conjun os de Mues as . . . . . . . . . . . . . . . . . . . . . 43 6.1.1. Conjun os de Im´agenes . . . . . . . . . . . . . . . . . . . . . . . . . 43 6.1.2. Da ase M´o iles GASS . . . . . . . . . . . . . . . . . . . . . . . . . . 44 6.1.3. Conjun os de V´ıdeos . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 6.2. T a amien o y P ep ocesamien o de los Conjun os . . . . . . . . . . . . . . 45 6.2.1. Selecci´on y C eaci´on de los Conjun os . . . . . . . . . . . . . . . . . 45 6.2.2. Sepa aci´on en Dos Conjun os: En enamien o y Validaci´on . . . . . . 46 6.2.3. Ex acci´on de los Fo og amas de cada V´ıdeo . . . . . . . . . . . . . 46 6.2.4. Di isi´on de cada Imagen en ´ A eas m´as Peque˜nas . . . . . . . . . . . 46 6.3. Resul ados Ob enidos con la Red 1 . . . . . . . . . . . . . . . . . . . . . . . 47 ´ INDICE GENERAL ii 6.3.1. Resul ados del Conjun o 1 con la Red 1 . . . . . . . . . . . . . . . . 47 6.3.2. Resul ados del Conjun o 2 con la Red 1 . . . . . . . . . . . . . . . . 48 6.4. Resul ados Ob enidos con la Red 2 . . . . . . . . . . . . . . . . . . . . . . . 48 6.4.1. Resul ados del Conjun o 1 con la Red 2 . . . . . . . . . . . . . . . . 49 6.4.2. Resul ados del Conjun o 2 con la Red 2 . . . . . . . . . . . . . . . . 49 6.4.3. Resul ados del Conjun o 3 con la Red 2 . . . . . . . . . . . . . . . . 50 6.4.4. Resul ados del Conjun o 4 con la Red 2 . . . . . . . . . . . . . . . . 51 7. Conclusiones y T abajo Fu u o 53 7.1. Conclusiones ................................... 53 7.2. T abajoFu u o.................................. 54 8. In oduc ion 57 8.1. Mo i a ion .................................... 57 8.2. Con ex ...................................... 58 8.3. Objec o he In es iga ion . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 8.4. Rela edWo ks .................................. 59 8.5. Wo kplan ..................................... 59 8.6. S u u eo heWo k............................... 60 9. Conclusions and Fu u e Wo k 63 9.1. Conclusions.................................... 63 9.2. Fu u eWo k ................................... 64 Bibliog a ´ ıa 67 ´ Indice de Figu as 2.1. His o ia de la In eligencia A i icial y el Machine Lea ning . . . . . . . . . . 8 2.2. Pasos a segui pa a desa olla un modelo basado en Machine Lea ning . . . 9 2.3. Esquema de una ed neu onal p ealimen ada. . . . . . . . . . . . . . . . . . 12 2.4. Esquema de una ed neu onal ecu en e. . . . . . . . . . . . . . . . . . . . 12 2.5. Esquema de la a qui ec u a de una ed neu onal con olucional. En azul se mues an las capas con olucionales, en ojo, la capa la ened y en e de, las capas comple amen e conec adas. . . . . . . . . . . . . . . . . . . . . . . 14 3.1. Ejemplo del e ec o Copy Pas e [RTD11]. . . . . . . . . . . . . . . . . . . . . 18 3.2. Ejemplo del e ec o de elimina un obje o de una imagen [MA13]. . . . . . . 19 3.3. Ejemplo del e ec o de e oca una imagen [RTD11]. . . . . . . . . . . . . . . 19 3.4. Ejemplo del e ec o de ealiza un mon aje a pa i de dos o og a ´ıas [BM13]. 19 3.5. Ejemplo de una imagen con es eganog a ´ıa [MA13] . . . . . . . . . . . . . . 22 5.1. Esquema de la a qui ec u a de la Red 1. . . . . . . . . . . . . . . . . . . . . 39 5.2. Esquema de la a qui ec u a p opues a pa a la Red 2. . . . . . . . . . . . . . 41 ix Abs ac Nowadays, socie y li es su ounded by mul imedia con en such as images and ideos. The p esence o elec onic de ices capable o aking pho og aphs o eco ding ideos is a eali y in ou daily li es, and hei numbe inc eases wi h he passage o ime. The as majo i y o socie y ca ies a mobile phone in hei pocke and makes use o i o ake pho os o ideos. Associa ed o his, o e he yea s ha e been appea ing alsi ica ion echniques and manipula ion o mul imedia con en ha make i di icul o know i ha con en is au hen ic o no and whe e i comes om, which makes o ensic analysis echniques a cu en necessi y. In his wo k a con olu ional neu onal ne wo k capable o iden i ying he sou ce o acquisi ion o ideos eco ded wi h a mobile de ice is p oposed. The esul s ha ha e been ob ained in he expe imen s o his wo k shown clea ly he e ec i eness o he p oposed me hods. Fo he e alua ion o hese p oposed me hods he e ha e been ca ied ou expe imen s using a public da ase , which has been ampli ied wi h he li e a u e and a gene a ed da ase . Keywo ds: Acquisi ion Sou ce Iden i ica ion, Classi ica ion, Digi al Image, Digi al Video, Fo ensics Analysis, Neu onal Con olu ion Ne wo k. x ii Resumen Ac ualmen e, la sociedad i e odeada de con enido mul imedia como son las im´agenes y los ´ıdeos. La p esencia de disposi i os elec ´onicos capaces de ealiza o og a ´ıas o g aba ´ıdeos es una ealidad en nues a ida co idiana, y su n´ume o aumen a con el paso del iempo. La g an mayo ´ıa de la sociedad lle a un m´o il en el bolsillo y hace uso de ´el pa a ealiza o os o ´ıdeos. Ligado a ello, con los a˜nos han ido apa eciendo ´ecnicas de alsi icaci´on y manipulaci´on de con enidos mul imedia que di icul an sabe si ese con enido es au ´en ico o no y de d´onde p ocede, lo que hace que las ´ecnicas de an´alisis o ense sean una necesidad ac ual. En es e abajo se p opone una ed neu onal con olucional capaz de iden i ica la uen e de adquisici´on de ´ıdeos g abados con un disposi i o m´o il. Los esul ados ob enidos de los expe imen os ealizados en es e abajo demues an la e iciencia de m´e odos p opues os. Pa a la e aluaci´on de los m´e odos p opues os se ealiza on expe imen os con un da ase p´ublico ampliamen e u ilizado en la li e a u a y un da ase gene ado. Palab as cla e: An´alisis Fo ense, Clasi icaci´on, Iden i icaci´on de Fuen e, Im´agenes Digi ales, Red Neu onal Con olucional, V´ıdeos Digi ales. xix Cap´ı ulo 1 In oducci´on 1.1. Mo i aci´on Hoy en d´ıa, la g an mayo ´ıa de la poblaci´on lle a un el´e ono m´o il en el bolsillo, cuando no m´as de uno. En sus inicios, es os disposi i os en´ıan unciones muy b´asicas, como las de ealiza o ecibi llamadas o se capaces de en ia y ecibi mensajes. Poco a poco, se les ha ido a˜nadiendo m´as uncionalidades como juegos, calenda ios y c´ama as m´o iles. A d´ıa de hoy, la inmensa mayo ´ıa de los m´o iles disponen de al menos, una c´ama a o og ´a ica, capaz de hace an o o og a ´ıas como ´ıdeos. Es o, sumado a la sencillez con la que pueden usa se es os disposi i os, hace que el hecho de ealiza una o og a ´ıa o ´ıdeo en cualquie momen o y en cualquie luga sea un ac o no malizado en el d´ıa a d´ıa de cualquie pe sona. Con ecuencia, has a hace unos a˜nos, los con enidos que pueden e se en una o og a ´ıa o ´ıdeo han sido conside ados ealidades incues ionables. Sin emba go, se ha p oducido un auge de las ecnolog´ıas y m´e odos de alsi icaci´on y al e aci´on de im´agenes y ´ıdeos y de su uso, incluso en e aquellas pe sonas que no ienen conocimien os en es e campo [GKWB07]. Es e en´omeno ha implicado que ya no se pueda con ia en lo que ep esen a una imagen ni un ´ıdeo nunca m´as. Po ello, a la ez que el n´ume o de enga˜nos en las im´agenes aumen a, se ha desa ollado pa alelamen e una se ie de es udios e in es igaciones que sean capaces de de e mina de mane a un´ı oca si una imagen o un ´ıdeo ha sido al e ado o mues a su con enido o iginal. Uno de los en oques m´as impo an es que se le ha dado a es as in es igaciones y a ances es el in en o de descub i qu´e c´ama a ue la que g ab´o un de e minado ´ıdeo o imagen. Es o se hace a pa i del p opio ´ıdeo o imagen, sin m´as ayuda que la in o maci´on que pueda con ene . A o unadamen e, a la ho a de g aba se, cada c´ama a deja en los elemen os cap u ados una huella p opia con di e en es ca ac e ´ıs icas, lo que pe mi e hace un seguimien o de esas ca ac e ´ıs icas y di e encia una c´ama a de o a. Los a ances en es e campo son dispa es seg´un si se a a de im´agenes o ´ıdeos, o de si ue on g abados con una c´ama a adicional o con la c´ama a de un disposi i o m´o il, pe o odos ellos son muy impo an es pa a pode mejo a es as ´ecnicas de iden i icaci´on y se ´u iles a la sociedad. G acias a es os abajos, es posible de e mina si un de e minado ´ıdeo o o og a ´ıa puede se usado como p ueba judicial y con ia plenamen e en el con enido que se mues a. Es o ha acili ado la admisi´on de im´agenes y ´ıdeos de di e sas c´ama as, especialmen e las ideoc´ama as de segu idad como p uebas judiciales, y han ayudado a la iden i icaci´on de culpables a pa i de la iden i icaci´on del disposi i o que g ab´o las im´agenes. 1 2Cap´ ı ulo 1. In oducci´ on 1.2. Con ex o El p esen e T abajo Fin de G ado se enma ca den o de un p oyec o de in es igaci´on i ulado RAMSES ap obado po la Comisi´on Eu opea den o del P og ama Ma co de In es igaci´on e Inno aci´on Ho izon e 2020 (Con oca o ia H2020-FCT-2015, Acci´on de Inno aci´on, N´ume o de P opues a: 700326) y en el que pa icipa el G upo GASS del Depa amen o de Ingenie ´ıa del So wa e e In eligencia A i icial de la Facul ad de In o m´a ica de la Uni e sidad Complu ense de Mad id (G upo de An´alisis, Segu idad y Sis emas, h p://gass.ucm.es, g upo 910623 del ca ´alogo de g upos de in es igaci´on econocidos po la UCM). Adem´as de la Uni e sidad Complu ense de Mad id pa icipan las siguien es en idades: •T eelogic Telem´a ica y L´ogica Racional pa a la Emp esa Eu opea SL (Espa˜na) •Minis ´e io da Jus i¸ca (Po ugal) •Uni e si y o Ken (Reino Unido) •Cen o Rice che e S udi su Sicu ezza e C iminali `a (I alia) •Fachhochschule u O en liche Ve wal ung und Rech sp lege in Baye n (Alemania) •T ila e al Resea ch & Consul ing LLP (Reino Unido) •Poli ecnico di Milano (I alia) •Se ice Public Fede al In e ieu (B´elgica) •Uni e si ¨a des Saa landes (Alemania) •Di ecci´on Gene al de Polic´ıa - Minis e io del In e io (Espa˜na) 1.3. Obje o de la In es igaci´on Se ha demos ado que es posible iden i ica la uen e de adquisici´on de una imagen o un ´ıdeo a a ´es de las ca ac e ´ıs icas que p esen an sus elemen os in e nos y sus me ada os. Es as ca ac e ´ıs icas, que son adqui idas du an e su p oceso de c eaci´on y en p ocesamien os pos e io es, o man pa e de lo que se pod ´ıa conside a el ADN de una imagen o ´ıdeo, y siendo analizadas, pueden mos a in o maci´on de e minan e sob e un con enido digi al. Pa e de es as se˜nas de iden idad son o o gadas po la c´ama a uen e que om´o la imagen o ´ıdeo, que deja una huella p opia sob e sus c eaciones, y que pe mi i ´a iden i ica la a pos e io i. La mayo ´ıa de las in es igaciones ealizadas en los ´ul imos a˜nos sob e ´ecnicas de iden i icaci´on de uen e se han en ocado ´unicamen e en la iden i icaci´on de c´ama as adicionales Digi al S ill Came a (DSC). Con la apa ici´on y masi icaci´on de los disposi i os m´o iles, en su mayo ´ıa capaces de cap u a o og a ´ıas, se conside ´o necesa io ealiza nue as in es igaciones sob e las ´ecnicas pa a iden i ica la uen e de im´agenes gene adas po disposi i os m´o iles. La g an mayo ´ıa de es os es udios se han ealizado en oc´andose en im´agenes, habiendo muy pocos sob e ´ıdeos. La p esen e in es igaci´on se cen a en las ´ecnicas de iden i icaci´on de uen e de un ´ıdeo, ya que es un campo mucho menos es udiado. Tambi´en, se a a ´an las ´ecnicas de iden i icaci´on de la uen e de im´agenes, ya que ienen una elaci´on impo an e. Es e abajo p opone una ed neu onal con olucional capaz de iden i ica el disposi i o m´o il que gene ´o un ´ıdeo a pa i de sus o og amas. 1.4. T abajos Relacionados 3 1.4. T abajos Relacionados Las a eas de an´alisis o ense de im´agenes digi ales pueden di idi se en cua o amas, en unci´on del obje i o que pe sigan [CFGL08]: Ve i icaci´on de in eg idad. Recupe aci´on de la his o ia de p ocesamien o. Clasi icaci´on basada en la uen e. Ag upaci´on po disposi i o uen e e iden i icaci´on de la uen e. Den o de los cua o g upos, el modus ope andi que se u iliza es muy simila : con el obje i o de implemen a un algo i mo que ayude al an´alisis o desa olla un m´e odo nue o que acili e la clasi icaci´on, la comunidad cien ´ı ica es udia las ca ac e ´ıs icas que componen o con iene un con enido digi al, pa a pode usa la in o maci´on de las mismas en sus in es igaciones. Es as ca ac e ´ıs icas, que pueden se de muy dis in a na u aleza, como las peculia idades del senso de la c´ama a o la dis o si´on de la len e, son la pied a angula del an´alisis o ense. En [VLCEK07, TNC10] se lle a a cabo un es udio sob e cu´ales pueden se las ca ac e ´ıs icas de una imagen que pueden se in e esan es o ´u iles pa a el an´alisis o ense en disposi i os m´o iles. En la li e a u a disponible se pueden encon a di e sos abajos basados en el uso de una o a ias de es as ca ac e ´ıs icas, de los cuales des acan p incipalmen e [BBBT16, TCC16, FONBCS18, BLG+17, MG18, YHW12]. Su pun o com´un y el mo i o de se especialmen e impo an es pa a es e abajo es la u ilizaci´on po pa e de casi odos de una ed neu onal con olucional pa a la iden i icaci´on de la uen e de adquisici´on, siendo la misma ´ecnica que se usa ´a en es e abajo. [YHW12] no hace uso de una Con olu ional Neu al Ne wo ks (CNN), pe o al a a se de una in es igaci´on sob e la uen e de adquisici´on de un ´ıdeo, al igual que es e abajo, se ha is o in e esan e a˜nadi sus conclusiones. Cabe des aca que la li e a u a disponible sob e el an´alisis de la iden i icaci´on de las uen es de adquisici´on es muy desigual seg´un si a an sob e im´agenes o ´ıdeos. Sob e las p ime as exis e un n´ume o acep able de publicaciones, aunque no muy nume oso. En cambio, el n´ume o de abajos que se cen an en la iden i icaci´on de la uen e de adquisici´on de un ´ıdeo es muy in e io . Po ello, animados po los esul ados ob enidos en la li e a u a al aplica las ´ecnicas de Machine Lea ning a las im´agenes pa a clasi ica las seg´un la c´ama a que las cap u ´o, en es e abajo se p opone aplica esas mismas ´ecnicas a los ´ıdeos. Como esul ado, la p opues a de es e abajo es el uso de una ed CNN pa a su clasi icaci´on. Su elecci´on se debe a se una ´ecnica muy poco es udiada en ´ıdeos a´un, y a que seg´un los esul ados de la li e a u a m´as ac ual, es uno de los m´e odos m´as ´apidos y e icaces que exis e hoy en d´ıa. Adem´as, es un m´e odo capaz de adap a se a dis in os p op´osi os con acilidad. 1.5. Plan de T abajo El desa ollo de es e abajo se ha ealizado en es ases: 1. In es igaci´ on: Es a p ime a ase se lle ´o a cabo en un pe iodo ap oximado de es meses. Comenz´o con la elecci´on de la em´a ica del abajo jun o con los u o es: la iden i icaci´on de la uen e de adquisici´on de ´ıdeos digi ales. Una ez elegido se inici´o la in es igaci´on sob e la em´a ica del p oyec o en el que se enma ca el abajo. E a necesa io sabe qu´e se hab´ıa hecho ya al espec o pa a pode a anza 4Cap´ ı ulo 1. In oducci´ on y amplia los esul ados ya conocidos. G acias p incipalmen e a las asigna u as de Geome ´ıa Compu acional e In eligencia A i icial, se pa ´ıa con una peque˜na base de conocimien os sob e Ap endizaje Au om´a ico, Ap endizaje P o undo y Redes Neu onales, de los que se habla ´a en los p ´oximos cap´ı ulos. Es os conocimien os ue on ´apidamen e ampliados g acias a los nume osos a ´ıculos de e is as cien ´ı icas, de cong esos y algunos lib os sob e la ma e ia, odos ellos encon ados an o en Google Schola como en las biblio ecas de la Uni e sidad Complu ense de Mad id. Se busca on p incipalmen e publicaciones sob e Ap endizaje Au om´a ico, Redes Neu onales (especialmen e las con olucionales), alsi icaci´on de im´agenes y ´ıdeos e iden i icaci´on de im´agenes y ´ıdeos. Muchos de los abajos u ilizados en la ase de in es igaci´on ue on encon ados g acias a las e e encias de o as publicaciones ya es udiadas. 2. Desa ollo: Una ez que la ase de in es igaci´on es u o su icien emen e a anzada y se adqui ie on odos los conocimien os necesa ios, se comenz´o la segunda ase, la del desa ollo de la p opues a. En es e momen o se de e min´o cu´al se ´ıa la p opues a que p esen a ´ıa es e abajo: el desa ollo de un m´e odo que pe mi a iden i ica la uen e de adquisici´on de un ´ıdeo a pa i de una CNN. A la ez que se desa oll´o y codi ic´o la p opues a, se sigui´o ambi´en con la in es igaci´on, aunque en meno medida que en la ase an e io , solo buscando y consul ando concep os pun uales. En es a ase se lle ´o a cabo la elecci´on y c eaci´on de los conjun os de im´agenes y ´ıdeos que se ´ıan u ilizados pa a en ena y e alua la ed p opues a y se desa oll´o, codi ic´o, p ob´o y edise˜n´o la ed en nume osas ocasiones has a log a el dise˜no de ini i o. Pa a ello, se in es ig´o sob e el lenguaje de p og amaci´on Py hon y sus lib e ´ıas Ke as, Tenso low ySciki Lea n. 3. Resul ados: Finalmen e, en la ase de Resul ados se p ocedi´o al an´alisis de odos los esul ados que se hab´ıan ob enido con las nume osas p uebas ealizadas y a la ex acci´on de conclusiones a pa i de dichos esul ados. Es a ase aba c´o en o no a los dos meses y ue solapada un mes y medio con la ase an e io , ya que seg´un los esul ados que se ob u ie an, e a necesa io ealiza m´as p uebas o no. 1.6. Es uc u a del T abajo El es o del abajo es ´a o ganizado en 9 cap´ı ulos con la es uc u a que se explica a con inuaci´on: En el Cap´ı ulo 2 se in oducen los concep os b´asicos del Ap endizaje Au om´a ico, el Ap endizaje P o undo y las Redes Neu onales, que son elemen ales pa a comp ende las bases de la ciencia en las que es ´a cimen ado el an´alisis o ense en im´agenes y ´ıdeos. En el Cap´ı ulo 3 se explica qu´e es la iden i icaci´on de la uen e de adquisici´on de una imagen o ´ıdeo, qu´e ´ecnicas o enses exis en pa a ello y en qu´e elemen os de las c´ama as se basan pa a pode aplica se. En es e cap´ı ulo se comienza mos ando los di e en es obje i os que pe sigue el an´alisis o ense: la de e minaci´on de si un con enido es o iginal o no y la iden i icaci´on de la c´ama a uen e. En ambos se ealiza una p esen aci´on de los m´e odos y ´ecnicas que u ilizan odos ellos. Po ´ul imo, se mues a de o ma m´as de allada en qu´e consis e la iden i icaci´on de la uen e de adquisici´on a pa i de una CNN, pues es una pa e p incipal de es e abajo. El Cap´ı ulo 4 ecoge una ecopilaci´on de las in es igaciones m´as impo an es de la iden i icaci´on de la uen e de adquisici´on. En ´el, se pueden lee los log os ob enidos po [BBBT16, TCC16] en la iden i icaci´on de la c´ama a uen e de im´agenes cap adas po una 1.6. Es uc u a del T abajo 5 c´ama a DSC adicional y como [FONBCS18] lle a dichos esul ados un paso m´as all´a aplicando esas mismas ´ecnicas a im´agenes ob enidas a pa i de disposi i os m´o iles. A con inuaci´on, se exponen los a ances de [MG18, YHW12] en el e eno de los ´ıdeos, a ando incluso aquellos que han sido ansmi idos po una ed social. El Cap´ı ulo 5 con iene la p opues a de es e abajo. En ´el se explica de o ma gene al en qu´e consis e dicha p opues a y a con inuaci´on se de alla la ed inal que se p opone. El Cap´ı ulo 6 desc ibe los expe imen os ealizados pa a e alua la e ec i idad de la ed neu onal con olucional p opues a en el cap´ı ulo 5 y p esen a los esul ados ob enidos. El Cap´ı ulo 7 mues a las p incipales conclusiones de es e abajo y las posibles l´ıneas u u as de in es igaci´on. Los Cap´ı ulos 8 y 9 son las aducciones al ingl´es de la In oducci´on (es e cap´ı ulo) y de las Conclusiones (Cap´ı ulo 7). 12 Cap´ ı ulo 2. Ma co Te´ o ico McCulloh ha sido gene alizada de muchas mane as. Una de las m´as usadas es el cambio de la unci´on umb al po una unci´on de ac i aci´on, lo que mejo a los esul ados de dicha neu ona. Las ANN son is as a eces como g a os ponde ados di igidos, d´onde las neu onas a i iciales son los nodos y las a is as ponde adas y di igidas son las conexiones exis en es en e cada neu ona. Bas´andose en su a qui ec u a o pa ´on de conexi´on, pueden se clasi icadas en dos ipos [JMM96]: 1. Red Neu onal P ealimen ada. Tambi´en conocidas po su nomb e en ingl´es, Feed-Fo wa d Ne wo ks, se ca ac e izan po sus g a os, que no p esen an bucles. Puede e se un esquema de es e ipo de ed en la Figu a 2.3. Figu a 2.3: Esquema de una ed neu onal p ealimen ada. 2. Red Neu onal Recu en e. Las conexiones de es as edes p esen an bucles al se posible que el esul ado de una neu ona sea el da o de en ada de una neu ona an e io . Puede e se un esquema de es e ipo de ed en la Figu a 2.4. Figu a 2.4: Esquema de una ed neu onal ecu en e. 2.3. Las Redes Neu onales 13 Seg´un sus conexiones, las edes neu onales pueden ene compo amien os muy di e sos. Las edes eed- o wa d se ca ac e izan po se es ´a icas, lo que signi ica que solo gene an un conjun o de esul ados pa a una en ada dada, en ez de una secuencia de es os. Adem´as, es as edes no ienen memo ia, ya que su esul ado depende ´unicamen e del es ado de la neu ona an e io . Las edes ecu en es son en cambio din´amicas, lo que implica que cada ez que apa ece una nue a en ada, odos sus esul ados deben calcula se de nue o, ya que los da os de en ada pueden habe se modi icado. 2.3.1.1. Ap endizaje con Redes Neu onales A i iciales El p oceso de ap endizaje en una ANN se lle a a cabo ac ualizando la a qui ec u a de la ed y los pesos de cada conexi´on de o ma que cada ed pueda se e icien e pa a una a ea espec´ı ica. La ed po lo gene al ap ende los di e en es pesos de di e en es pa ones de en enamien o. De es a mane a, su desempe˜no a mejo ando seg´un a p obando dis in os pesos y a ac ualiz´andolos seg´un los esul ados que ha ob enido en las p uebas an e io es. Es o es lo que concede a las ANN su mayo en aja sob e el es o de sis emas expe os: su capacidad de ap ende a pa i de ejemplos, sin necesidad de un c´odigo complejo. Sin emba go, el alo de los pesos no se descub e de o ma m´agica. Su mane a de i ac ualizando su alo , depende del algo i mo de ap endizaje que se haya elegido pa a el en enamien o, que es el que de e mina que eglas han de segui se a la ho a de ajus a los pesos [JMM96, Agg18]. 2.3.2. Redes Neu onales Con olucionales Las Redes Neu onales Con olucionales, o m´as com´unmen e conocidas con su nomb e en ingl´es, Con olu ional Neu al Ne wo ks (en adelan e CNN) son ANN p o undas, dise˜nadas y pensadas especialmen e pa a clasi ica im´agenes seg´un lo que ep esen an, ag upa las po simili ud o econoce obje os en una imagen. Las CNN ealizan un econocimien o ´op ico de im´agenes pa a digi aliza ex o y pode p ocesa as´ı el lenguaje na u al. Las CNN ienen la capacidad de oma una imagen y asigna le una impo ancia a cada una de sus ca ac e ´ıs icas y/o aspec os, siendo capaz de di e encia unos de o os. El iempo de p ep ocesamien o que necesi a es ela i amen e bajo, pues igual que los ANN, con su icien e en enamien o, es capaz de ap ende a di e encia cada imagen, sin necesidad de un c´odigo ex enso de ´as [Agg18]. Su es uc u a es simila a las de una ANN, ya que, en el ondo, se a a de una especializaci´on de una ANN. Sin emba go, hay m´as mo i os po los que es m´as ecomendable usa una CNN an es que una ANN. Si se compa a una CNN con una ed eed- o wa d, a p io i, pueden pa ece lo mismo. Si una imagen no deja de se un conjun o de p´ıxeles, ¿po qu´e no se anspo an odos ellos a un a ay, y se usan como los da os de en ada pa a un pe cep ´on mul icapa? Aunque es e m´e odo puede da esul ados ´op imos con im´agenes bina ias ex emadamen e simples, en el momen o en el que se in en e ep oduci con una imagen compleja, el m´e odo pie de po comple o p ´ac icamen e oda su p ecisi´on. ¿Po qu´e? [TCC16]. La espues a se encuen a en los p opios p´ıxeles. Si bien cada p´ıxel es independien e de cualquie o o de o ma absolu a, su posici´on exac a en la imagen puede p opo ciona in o maci´on ex a debido a las dependencias con sus ecinos. Es deci , un p´ıxel como al puede da la in o maci´on de que iene X uido, pe o eso no signi ica que el siguien e enga el mismo uido. Sin emba go, si un p´ıxel iene inco po ada su posici´on en el espacio, puede da la in o maci´on ex a de que, si iene X uido, es al amen e p obable 14 Cap´ ı ulo 2. Ma co Te´ o ico que sus ecinos m´as ce canos engan un uido muy simila , a´un sin ene la in o maci´on de dichos ecinos. Y es a es la g an en aja que p esen an las CNN: es e ipo de edes son capaces de cap u a y en ende las dependencias empo ales y espaciales de los p´ıxeles de una imagen, de o ma que es capaz de ap o echa se de esa in o maci´on ex a pa a mejo a el desempe˜no del m´e odo. Es o lo hace a a ´es de la aplicaci´on de de e minados il os. Adem´as, la a qui ec u a de las CNN acili a una mejo adap aci´on del conjun o de im´agenes g acias a la educci´on de pa ´ame os y la eu ilizaci´on de los pesos. De o ma coloquial, se pod ´ıa deci que una CNN es capaz de comp ende el concep o de imagen de o ma m´as in eligen e. Como esumen, el obje i o de una CNN es educi el ama˜no de las im´agenes que se le pasan como da os de en ada pa a acili a el p oceso, pe o sin pe de po ello las ca ac e ´ıs icas que son p imo diales pa a una buena clasi icaci´on. Es o es impo an e, ya que no es solo buena ap endiendo ca ac e ´ıs icas, sino ambi´en es escalable pa a bases de da os masi os [Agg18, RM15, TCC16]. La Figu a 2.5 mues a un esquema de la a qui ec u a de es e ipo de edes neu onales. Figu a 2.5: Esquema de la a qui ec u a de una ed neu onal con olucional. En azul se mues an las capas con olucionales, en ojo, la capa la ened y en e de, las capas comple amen e conec adas. 2.3.2.1. Capas Con olucionales, Capas de Clasi icaci´ on y el Ke nel Las CNN es ´an compues as po una o m´as capas, de las cuales la p ime a debe se siemp e una capa con olucional. La capa con olucional es ´a compues a po es ope aciones dis in as: la con oluci´on, la unci´on de ac i aci´on y el pooling. El esul ado de es a capa es un mapa de ca ac e ´ı icas de los da os in oducidos. La con oluci´on puede exp esa se de la siguien e o ma [TCC16]: al j= n X i=1 al−1 i∗wl−1 ij +bl j donde * deno a la con oluci´on, al jes la j-´esima salida de la capa l,∗wl−1 ij es el ke nel con olucional que conec a la i-´esima salida de la capa l-1 con la j-´esima en ada de la capa l,bl jes el sesgo del pa ´ame o de en enamien o pa a la j-´esima salida de la capa l ynes el n´ume o de ca ac e ´ıs icas de la capa l-1. 2.3. Las Redes Neu onales 15 En es e ipo de capas, el elemen o que lle a a cabo la ope aci´on con olucional es llamado ke nel. El ke nel acos umb a a ene una p o undidad igual a la de la imagen de en ada, especialmen e con aquellas que ienen m´as de un canal. La unci´on de ac i aci´on es la enca gada de de ol e una salida a pa i de un alo de en ada. Se aplica a cada alo de la imagen il ada y no malmen e el conjun o de alo es de salida se encuen a comp endido en un ango de e minado como (0,1) o (-1,1). Lo ideal de una unci´on de ac i aci´on es que sean unciones en las que las de i adas sean simples, pa a minimiza con ello el cos e compu acional. Exis en muchos ipos de unciones de ac i aci´on [Agg18, RM15]: Funci´ on sigmoide. T ans o ma los alo es in oducidos en una escala (0,1). Sus en ajas son que pe mi e in e p e a cada esul ado como un po cen aje de p obabilidad en la clasi icaci´on y iene un muy buen endimien o en la ´ul ima capa. (x) = 1 1−e−x Funci´ on Tangen e Hipe b´ olica. Se enca ga de eescala los alo es in oducidos a una escala (-1,1). Es simila a la sigmoide y es sus mejo es esul ados se ob ienen con edes ecu en es. (x) = 2 1 + e−2x−1 Funci´ on Rec i ied Lineal Uni (ReLU). Es a unci´on ans o ma los alo es in oducidos de al o ma que anula los alo es nega i os y deja los posi i os al y como en an. Es o p o oca que no desac i e demasiadas neu onas y p opo ciona un g an desempe˜no con im´agenes y edes con olucionales. (x) = max(0, x) Funci´ on Leaky ReLU. Muy simila a la unci´on ReLU, deja los alo es posi i os in ac os y a los nega i os los mul iplica po un coe icien e de ec i icaci´on. Al igual que la ReLU, ambi´en p esen a su mejo endimien o con im´agenes y edes con olucionales. (x) =      a∗x si x < 0 x si x ≥0 Funci´ on So max. Es a unci´on ans o ma las en adas de al o ma que sus salidas son una ep esen aci´on en o ma de p obabilidades, de al mane a que el suma o io de odas las salidas de 1. Se u iliza pa a no maliza ipo mul iclase. (z)j=ezj PK k=1 ezk 16 Cap´ ı ulo 2. Ma co Te´ o ico El siguien e paso impo an e es el pooling. Las capas de pooling suelen inse a se en e medias de dos capas con olucionales sucesi as. Su obje i o es educi el ama˜no espacial de la ep esen aci´on, pa a educi as´ı el n´ume o de pa ´ame os con los que se ope a y simpli ica , pe o sin pe de su in o maci´on. No malmen e, se ealiza una media o un m´aximo. El ´ul imo p oceso de la capa con olucional es la no malizaci´on de los mapas de ca ac e ´ıs icas. Es o se hace pa a pode ob ene alo es compa ables de cada neu ona. Las capas de clasi icaci´on consis en en una o m´as capas comple amen e conec adas y una unci´on so max al inal de ´es as. Como puede deduci se de su nomb e, en una capa comple amen e conec ada, odas las neu onas es ´an conec adas con odas las ac i aciones de la capa p e ia. Es as ac i aciones se pueden compu a con una mul iplicaci´on ma icial seguida de un sesgo de desplazamien o. Se ´a la capa comple amen e conec ada la que calcule el alo de clasi icaci´on que ob u ie on los da os con la ayuda de la unci´on so max. 2.3.2.2. P oceso de Ap endizaje Cuando las ca ac e ´ıs icas ap endidas pasan a a ´es de una capa comple amen e conec ada, son en iadas a la capa supe io de la CNN, d´onde se usa ´a una unci´on de ac i aci´on so max pa a clasi ica las. Pa a en ena una CNN se usa un algo i mo de backp opaga ion.´ Es e hace que los sesgos y los pesos puedan se modi icados en las capas, an o con olucionales como comple amen e conec adas, debido al p oceso de p opagaci´on del e o . De es a mane a, el esul ado de la clasi icaci´on puede e oalimen a se pa a ex ae las ca ac e ´ıs icas au om´a icamen e y es ablece se un mecanismo de ap endizaje. La a qui ec u a de las CNN puede gene a millones de pa ´ame os debido a p oblemas de sob eajus e. Pa a e i a lo, se u iliza la ´ecnica de d opou , ambi´en conocido como pa ´ame o de ap endizaje. Consis e en es ablece la salida de cada neu ona ocul a con una p obabilidad de en e 0 y 0.5. Las neu onas que se eliminan de es a mane a no ansmi en su in o maci´on a las capas pos e io es y no pa icipan en la p opagaci´on hacia a ´as. Es a ´ecnica aumen a la obus ez, ya que una neu ona no puede depende de la p esencia de ninguna o a neu ona. Po lo an o, se ue za a la ed a ap ende ca ac e ´ıs icas m´as obus as que son ´u iles en conjun o [Agg18]. Cap´ı ulo 3 An´alisis Fo ense de Iden i icaci´on de la Fuen e de Adquisici´on Hoy en d´ıa, la posibilidad de adqui i un disposi i o que posea la capacidad de cap u a im´agenes se ha pues o al alcance de cualquie a. La masi icaci´on de es os disposi i os en la calle y la acilidad de posee uno, lle an a la conclusi´on de que millones de im´agenes son c eadas odos los d´ıas en cualquie momen o y en cualquie si io. Es o a su ez, gene a un p oblema asociado: ¿c´omo se puede sabe de d´onde p ocede una imagen en conc e o? De hecho, ¿es posible iden i ica qu´e disposi i o ue el que cap u ´o esa imagen? T as muchos a˜nos de in es igaciones y desa ollos, inalmen e se puede conclui que s´ı, es posible iden i ica dicha uen e, g acias a la ayuda de di e sos m´e odos del Machine Lea ning, en e ellos, las CNN. Adem´as, es e inc emen o masi o de disposi i os, ha a´ıdo asociado un aumen o del n´ume o de ´ecnicas que pe mi en manipula una imagen y alsea la, con di e sos m´e odos y esul ados (elimina obje os, a˜nadi los, usiona dos im´agenes, e c.). Cla o es ´a, es e segundo p oblema implica que ya no es posible ia se del con enido que mues a una imagen, y po an o, no se ´ıa posible usa la como p ueba i e u able en un juicio, po ejemplo. Po ello, se plan ea un segundo in e ogan e: ¿es posible de ec a , de o ma ´apida ein alible, si una imagen ha sido ucada? A d´ıa de hoy exis en a ios abajos que desa ollan di e sas ´ecnicas pa a conclui si una imagen ha sido manipulada o no, ali´endose de la in o maci´on de los p´ıxeles de la p opia imagen. Sin emba go, es as ´ecnicas se encuen an en ase desa ollo oda ´ıa, y si bien hay a ias p opues as ya y se ha demos ado las en ajas de unas sob e o as, es e campo a´un puede so p ende . Es os es udios se han desa ollado siguiendo dos caminos di e en es, cada uno de los cuales a a de da espues a a una p egun a di e en e. En es e cap´ı ulo se con es a ´a a las p egun as o muladas y se explica ´an las ´ecnicas de de ecci´on de alsi icaci´on de im´agenes y ´ıdeos e iden i icaci´on de la uen e de adquisici´on. Es e cap´ı ulo explica ´a ambos caminos, cada uno en un apa ado di e en e. Den o de cada apa ado, se p esen a ´a las di e en es o mas en las que se pueden encon a es as manipulaciones en los con enidos digi ales, y a con inuaci´on, las ´ecnicas que exis en pa a iden i ica los y de ec a los pa a cada uno de ellos. 17 18Cap´ ı ulo 3. An´ alisis Fo ense de Iden i icaci´ on de la Fuen e de Adquisici´ on 3.1. O iginalidad del Con enido que P esen a el Fiche o Mul imedia Es e p ime plan eamien o es la p ime a p egun a que se hace a la ho a de a i ma si una imagen o ´ıdeo es au ´en ico o no. Se capaces de disce ni si aquello que p esen a una imagen o ´ıdeo es eal o ha sido manipulado puede aho a muchos queb ade os de cabeza y enga˜nos. Pe o, ¿c´omo se puede asegu a que s´ı, que el con enido es o iginal? En p ime luga , se ´a necesa io conoce la exis encia de los es p incipales modos de al e aci´on de con enido y el obje i o que pe siguen cada uno de ellos. 3.1.1. Falsi icaci´on de Im´agenes Digi al Las ´ecnicas de alsi icaci´on digi al de im´agenes o Digi al Image Tampe ing en ingl´es (Digi al Image Tampe ing (DIT) en adelan e) consis en en la manipulaci´on del con enido o iginal que p esen a una imagen con la inalidad de esconde obje os o in o maci´on que apa ece en ella y enga˜na al obse ado pa a que se c ea la e dad e ´onea de esa imagen. Pa a empeza , se ´a impo an e conoce las di e en es o mas en las que una imagen ha podido se ampeada [BM13, MA13]: Copy-Pas e. Es a ´ecnica consis e en duplica una secci´on conc e a de la imagen y ubica la en cualquie pa e de la misma. Es de las ´ecnicas m´as usadas y ´aciles de ep oduci . La Figu a 3.1 p esen a un ejemplo de es a ´ecnica. Figu a 3.1: Ejemplo del e ec o Copy Pas e [RTD11]. Elimina . Es posible elimina cie os p´ıxeles o pa es de la imagen pa a bo a escenas u obje os. En la imagen siguien e, se puede e como ejemplo como ha sido eliminado el ayudan e de Mussolini pa a da le a la escena una ac i ud m´as he oica. La Figu a 3.2 p esen a un ejemplo de es a ´ecnica. Splicing. Simila al copy-pas e, es a ´ecnica pe mi e mo e una zona conc e a de la imagen pa a eubica la en o o si io di e en e. Re oques. Comunes p incipalmen e en las o os de pe sonas, consis e en al e a una zona de la imagen pa a ala ga la, acha a la o simila , log ando as´ı una pe spec i a di e en e a la eal. Tambi´en puede se usada pa a al e a la ex u a de una supe icie, como puede e se en es e e oque o og ´a ico de Joan C aw o d. La Figu a 3.3 p esen a un ejemplo de es a ´ecnica. Mon ajes. Pa a ealiza lo, se ´a necesa io la combinaci´on de dos im´agenes di e en es, no malmen e, a˜nadiendo elemen os p esen es en una de las im´agenes en la o a. La Figu a 3.4 p esen a un ejemplo de es a ´ecnica. 3.1. O iginalidad del Con enido que P esen a el Fiche o Mul imedia 19 Figu a 3.2: Ejemplo del e ec o de elimina un obje o de una imagen [MA13]. Figu a 3.3: Ejemplo del e ec o de e oca una imagen [RTD11]. Figu a 3.4: Ejemplo del e ec o de ealiza un mon aje a pa i de dos o og a ´ıas [BM13]. 20Cap´ ı ulo 3. An´ alisis Fo ense de Iden i icaci´ on de la Fuen e de Adquisici´ on Descub i si alguna de es as ´ecnicas ha sido usada, es ela i amen e ´acil si se iene la inmensa o una de dispone la imagen o iginal, ya que ´unicamen e bas a ´a con compa a las, incluso aunque la manipulaci´on haya sido muy peque˜na y su il. Si no se iene an a sue e, se ´a necesa io ecu i a ´ecnicas de de ecci´on de manipulaci´on de im´agenes. Las ´ecnicas de de ecci´on pa a DIT se pueden di idi en ´e minos gene ales en dos g upos: ´ecnicas ac i as y ´ecnicas pasi as o ciegas [MA13]. 3.1.1.1. T´ ecnicas Ac i as Las ´ecnicas ac i as de DIT equie en un p ep ocesamien o p e io de la imagen y necesi an de la exis encia de ma cas de agua o i mas digi ales en la imagen pa a iden i ica las. Es as condiciones limi an su uso, especialmen e la segunda, ya que pa a que dicha ma ca de agua exis a, es necesa io que la c´ama a que om´o la imagen a˜nadiese dicha ma ca de agua en el momen o de la cap u a, y que odas las c´ama as exis en es u iesen una ma ca de agua p opia. Consegui que odas las c´ama as lle en inco po ada dicha ma ca de agua, a d´ıa de hoy, no es iable po a ios mo i os. Pone de acue do a odas las compa˜n´ıas que ab ican c´ama as de o os pa a su inco po aci´on es una a dua a ea que nadie quie e emp ende po el momen o. Adem´as, se ´ıa necesa io sac i ica calidad de cada imagen pa a a˜nadi dicha ma ca, y es posible que en el p oceso de a˜nadi la ma ca cu´ando se cap u a una imagen alen ice el p oceso de cap u a de la misma. A odo ello, hab ´ıa que suma le que ya exis en millones de c´ama as en el mundo pe ec amen e ope a i as y sin su ma ca de agua co espondien e. Po lo an o, es a idea es poco iable de pone en ma cha en un u u o ce cano. Po odo ello, el uso de ´ecnicas ac i as a la ho a de de ec a la alsi icaci´on digi al de im´agenes es muy poco com´un. Sin emba go, son el m´e odo m´as e ec i o pa a de ec a es e ipo de alsi icaciones y se han lle ado a cabo nume osos es udios y expe imen os en es e ´a ea. Es as ´ecnicas pueden clasi ica se en dos ca ego ´ıas [MA13, RTD11]: La p ime a u iliza una ma ca de agua ´agil, que es capaz de de ec a y localiza las modi icaciones que se han ealizado al con enido. Si bien es e m´e odo iene una asa muy ele ada de de ecci´on de manipulaciones, no es capaz de de ec a de o ma iable un cambio en el b illo, el con as e o incluso si se ha a˜nadido un obje o. Sin emba go, con un aumen o de la escala de g ises s´ı se ´ıa capaz de de ec a una manipulaci´on, a´un cuando no es pe cep ible al ojo humano. La segunda usa una ma ca de agua semi ´agil, que solo de ec a cambios signi ica i os en la imagen y pe mi e el p ocesamien o del con enido de la misma. Pa a sol en a los p oblemas y limi aciones de la ma ca de agua ´agil, que no es capaz de dis ingui una eliminaci´on en una pa e de la imagen de un simple ajus e del b illo, pe o que en cambio es muy ´u il en las p opiedades de localizaci´on y segu idad, apa eci´o la ma ca de agua h´ıb ida: una combinaci´on de la ma ca de agua ´agil y la obus a. Es a ma ca de agua h´ıb ida es capaz de iden i ica con p ecisi´on los cambios as´ı como de iden i ica las alsi icaciones de o o ipo de ope aciones. Ac ualmen e, se sigue in es igando en es e campo con la inalidad de ob ene un m´e odo iable de iden i icaci´on de alsi icaciones que a su ez no pe judique a la calidad de la imagen as su p ocesamien o. 3.1.1.2. T´ ecnicas Pasi as o Ciegas Las ´ecnicas pasi as o ciegas son conside adas un desa ollo e olu i o en la ciencia de de ecci´on de alsi icaciones en im´agenes. A di e encia de las ´ecnicas ac i as, es as no 3.1. O iginalidad del Con enido que P esen a el Fiche o Mul imedia 21 equie en de in o maci´on p e ia de la imagen ni de la p esencia de ninguna ma ca de agua, lo que acili a su uso y que sean m´as conocidas. Es as ´ecnicas se basan en la asunci´on de que, as habe sido al e ada una imagen, es necesa io que las p opiedades es ad´ıs icas de la imagen hayan sido al e adas ambi´en ine i ablemen e. Po an o, pa a su es udio no es necesa io ene la imagen o iginal ni una ma ca de agua p esen e en la imagen, bas a con es udia es as p opiedades es ad´ıs icas de la misma pa a ob ene una conclusi´on. P incipalmen e, se suelen en oca en dos m´e odos pasi os [MA13, RTD11, SM08]: De ecci´ on de clonaci´ on: El a e de copia y pega una pa e de la imagen en o o si io pa a ocul a algo es una de las ´ecnicas m´as empleadas en la alsi icaci´on. Tan o, que muy bien lle ada a cabo es p ´ac icamen e imposible de de ec a po el ojo humano. Tampoco es posible ealiza una b´usqueda compu acional, ya que como la egi´on clonada puede se de cualquie o ma y ama˜no, y ubica se en cualquie pun o de la imagen, uel e imposible una b´usqueda exhaus i a en odas sus posiciones. Sin emba go, se ha encon ado que es e ipo de alsi icaci´on in oduce una co elaci´on en e el segmen o de la imagen o iginal y el pegado. Es os segmen os s´olo pueden coincidi de o ma ap oximada, pe o nunca exac a, debido al uso de ope aciones de posp ocesado como el sua izado, que son imp escindibles pa a una buena clonaci´on. Tambi´en pueden habe sido a ec ados po una comp ensi´on. Es o es lo que se usa como base pa a la de ecci´on de es e ipo de ampa y asegu a su ´exi o. De ecci´ on de ´ ecnicas de uni´ on (splicing): La uni´on de dos o m´as im´agenes en una sola es o a de las ´ecnicas de alsi icaci´on m´as popula es. Igualmen e, si es ealizada con me iculosidad, los bo des de las dos im´agenes unidas no pueden se de ec ados a simple is a. Es u ilizada p incipalmen e pa a dis o siona el con enido sem´an ico de la imagen y c ea una segunda ealidad. En cambio, es a ´ecnica no p ecisa de ninguna ´ecnica de posp ocesado como sua izado o desen oque. Al no depende de es o, y sumado al hecho de que la imagen no p esen a egiones duplicadas, se llega a la conclusi´on de que es a ´ecnica es mucho m´as compleja de de ec a que una simple clonaci´on. Sin ene las im´agenes o iginales de la uni´on como e e encia, no se dispone de ninguna pis a. Sin emba go, a o unadamen e se ha encon ado que es as uniones al e an las es ad´ıs icas de Fou ie de o den supe io , p opo cionando una ayuda pa a de ec a es as ampas. Ac ualmen e se es ´an lle ando a cabo nume osas in es igaciones y descub imien os sob e cu´al es el m´e odo m´as e icaz pa a enca a es e p oblema. 3.1.2. Es eganog a ´ıa Digi al de Im´agenes Es a o a ´ecnica manipula i a, si bien al e a el con enido de la imagen, no busca enga˜na al espec ado con dicho con enido. Su p op´osi o a m´as all´a: la inalidad de es a ´ecnica consis e en a˜nadi una in o maci´on en la imagen, que es a ´a escondida a simple is a. En o as palab as, la es eganog a ´ıa de una imagen se puede de ini como el p oceso de a˜nadi una in o maci´on sec e a a una imagen. Es a in o maci´on debe ´a se codi icada den o de los bi s de dicha imagen, de o ma que a simple is a no se ap ecie es e a˜nadido y no le an e sospechas [MA13]. En la Figu a 3.5 puede e se un ejemplo de es eganog a ´ıa. Debido a su obje i o, es necesa io que la imagen o iginal y la imagen s ego sean lo m´as simila posible, al con a io que las im´agenes ob enidas po alsi icaci´on digi al, cuyo p op´osi o es ob ene una imagen di e en e de la o iginal. 28 Cap´ ı ulo 4. Es ado del A e una imagen, ap o echando odos los a ances exis en es en a qui ec u a p o unda y algo i mos de ap endizaje. Es e abajo p opone un modelo de CNN capaz de maneja la eliminaci´on de uido gaussiano en una imagen con un ni el de uido desconocido. 4.1.2. Basado en Da os El segundo g upo se ca ac e iza po el uso de m´e odos que se basan en la ex acci´on de un ec o de ca ac e ´ıs icas y en los algo i mos de Machine Lea ning adicionales. Es o quie e deci que el obje i o es ap ende las ca ac e ´ıs icas que poseen las im´agenes dispa adas con di e en es c´ama as di ec amen e desde las p opias im´agenes, sin impone un modelo p econcebido. Al igual que en el o o g upo, se han lle ado a cabo di e sos abajos y es udios en ocados de o mas dis in as pa a esol e el mismo p oblema: encon a la uen e de adquisici´on de una imagen. Ap endizaje Supe isado: [KSM04] han desa ollado un m´e odo basado en el ap endizaje supe isado que se ale de las ca ac e ´ıs icas ex a´ıdas de los dominios espaciales y ond´ıculas. Pa a la clasi icaci´on de cinco c´ama as dis in as, u ilizan una m´aquina de sopo e ec o ial, ob eniendo una asa de e o comp endida en e el 5 % y el 22 %. Senso es: Al igual que en el o o g upo, los senso es y sus ca ac e ´ıs icas pueden se empleados en las in es igaciones. El PRNU, como se ha desc i o en el cap´ı ulo an e io , es uno de los m´e odos de es udio del senso que p opo ciona pa e de los mejo es esul ados. [FFG08] se basa on en el concep o de que el PRNU es ´unico en cada c´ama a con el obje i o de demos a que g acias a ´el, se pod´ıa iden i ica no s´olo la ma ca de un disposi i o, sino ambi´en el p opio disposi i o. Es o es posible ya que las im´agenes en o ma o TIFF/JPEG con ienen una es uc u a local espec´ı ica debido a a ios p ocesos p oducidos du an e la oma de la o og a ´ıa. Es a es uc u a puede se de ec ada ex ayendo una se ie de ca ac e ´ıs icas num´e icas y clasi ica la u ilizando m´e odos de clasi icaci´on de pa ones. Su clasi icaci´on usando es as ca ac e ´ıs icas a oja una asa de e o del 11.2 % a la ho a de iden i ica las c´ama as. O o ejemplo son los abajos de [LWY15], que han ealizado una ex ensa e aluaci´on de las di e en es mane as de mejo a el pa ´on de uido en el senso (Senso Pa e n Noise o SPN). G acias a es o, han iden i icado qu´e m´e odos o ecen alguna mejo a y p opo cionan algunas ideas sob e el compo amien o de los SPN. Consiguie on una asa de e o del 15 %. En es a misma l´ınea de abajo, [LFG06] han conseguido esul ados muy in e esan es en el cos e de una g an demanda compu acional, a la ez que [CPN+17] han p opues o una implemen aci´on escalable y dis ibuida ac ible de es os esul ados. Redes Neu onales Con olucionales: Si bien odos los abajos que han u ilizado es a ´ecnica pe enecen al en oque del Machine Lea ning, al se es e es udio sob e CNN, dedica emos un subapa ado en e o a es os abajos. 4.2. Uso de las Redes Neu onales Con olucionales Como se ha is o a lo la go de odo es e es udio, el Deep Lea ning y en pa icula las CNN, han demos ado un muy buen desempe˜no en m´ul iples a eas como econocimien o acial, de ecci´on de pea ones o econocimien o de esc i u a. Al con a io que odos los 4.2. Uso de las Redes Neu onales Con olucionales 29 abajos an e io es basados en la ex acci´on de ec o es de ca ac e ´ıs icas y en los algo i mos cl´asicos de Machine Lea ning, el Deep Lea ning depende de la capacidad de los da os de en ada de impulsa su p opio p ocesamien o de ca ac e ´ıs icas. G acias a las indiscu ibles en ajas de las CNN, como minimiza la unci´on de cos e du an e el p oceso de en enamien o, las CNN son capaces de de ec a pa ones en los da os de en ada. Es e p oblema ha sido ya es udiado po a ios g upos de in es igado es usando el Deep Lea ning: 4.2.1. Iden i icaci´on de los Modelos de C´ama a T adicionales El p ime e o que se plan e´o la comunidad cien ´ı ica ue el de iden i ica la uen e de adquisici´on de una imagen omando como mues as las im´agenes cap u adas po c´ama as o og ´a icas con encionales. Aqu´ı se puede encon a c´ama as compac as, ´e lex, c´ama as sin espejo o b idges, en e o as. Los abajos m´as ele an es se p esen an a con inuaci´on. 4.2.1.1. T abajos y Es udios [BBBT16] p oponen una ed con olucional con dos obje i os: 1. Reconocimien o de disposi i o. Es deci , p e enden que la ed con olucional sea capaz de iden i ica im´agenes omadas po di e en es disposi i os pe enecien es a un mismo modelo. 2. Reconocimien o de modelo. De o ma simila al obje i o an e io , aqu´ı los au o es a an de iden i ica o og a ´ıas omadas po el mismo modelo de c´ama a, sin ene en cuen a qu´e disposi i o ue el que la om´o. Pa a el en enamien o y es eo de la ed se han alido del da ase D esden [GB11], compues o po 16k im´agenes, omadas po 74 disposi i os dis in os pe enecien es a 27 modelos de c´ama a di e en es. Es e da ase ha sido usado ´ın eg o en los expe imen os de cada obje i o, de o ma sepa ada, po lo que es necesa io ealiza una copia del da ase . El 70 % de las im´agenes se ´an usadas pa a el en enamien o y el 30 % es an e pa a la alidaci´on de la ed. Adem´as, cada imagen es eco ada en 25 egiones o pa ches de 48x48 p´ıxeles. [TCC16] lle an a cabo una e aluaci´on de la mejo a ob enida al modi ica la ed que p opone [KSH12]. Tambi´en compa an expe imen almen e su ed con AlexNe y GoogleNe . [TCC16] u ilizan pa a sus expe imen os dos da ase di e en es, compues os po 33 modelos de c´ama as: el p ime o es el da ase D esden, el mismo que u ilizan [BBBT16]; y el segundo es un da ase p opio de ellos, compues o po 6 modelos de c´ama as pe sonales. An es de manipula las im´agenes, es as son di ididas en un 80 % pa a en enamien o y las es an es pa a alidaci´on. A con inuaci´on, son eco adas en un ama˜no de 256x256 p´ıxeles, lo que aumen a el ama˜no del da ase con el que ope an. 4.2.1.2. Resul ados y P opues as [BBBT16] p oponen como esul ado inal a sus in es igaciones una ed con olucional o mada po es capas con olucionales y dos capas comple amen e conec adas, como se ap ecia en la Tabla 4.1. 30 Cap´ ı ulo 4. Es ado del A e # Tipo de capa Pa ´ame os Dimensiones 1 Con olucional Tama˜no Ke nel 7x7x3 # de il os 128 S ide 1 2 ReLU - - 3Max Pooling Tama˜no Ke nel 3x3 S ide 2 4 Con olucional Tama˜no Ke nel 7x7x128 # de il os 512 S ide 1 5 ReLU - - 6Max Pooling Tama˜no Ke nel 3x3 S ide 2 7 Con olucional Tama˜no Ke nel 6x6x512 # de il os 2048 ´ Indice de d opou 0.5 8 ReLU - - 9 Comple amen e Conec ada Tama˜no Ke nel 1x1x2048 # de il os 2048 S ide 1 10 ReLU - - 11 Comple amen e Conec ada Tama˜no Ke nel 1x1x3048 # Combinaciones # Clasi icaciones 12 So Max - - 10 LogLoss - - Tabla 4.1: De alle de la ed p opues a po [BBBT16] Es a es uc u a les pe mi e consegui una p ecisi´on del 94 % en sus expe imen os pa a iden i ica el modelo. Sin emba go, como ellos mismos econocen, no es su icien emen e complejo, po lo que la p ecisi´on que ob ienen a la ho a de iden i ica los disposi i os es ´unicamen e de un 29.8 %. [TCC16] ealizan a ios expe imen os con su ed una ez de inida la a qui ec u a de ini i a de la ed con olucional. Es a a qui ec u a es ´a o mada po es capas con olucionales y una capa single pooling a con inuaci´on de ´es as. Los de alles de es a ed pueden e se en la Tabla 4.2. Pa a compa a su es uc u a con AlexNe y con GoogleNe , [TCC16] en enan esas dos edes con el mismo da ase que han usado ellos con su ed. Una ez ealizados los expe imen os, la asa de e o que ob ienen es meno del 10 %. 4.2.2. Iden i icaci´on de C´ama as de M´o iles T as los es udios ealizados en la iden i icaci´on del modelo de la c´ama a o og ´a ica que om´o una de e minada imagen, algunos es udios an m´as all´a y epi en es os expe imen os con las im´agenes omadas po un m´o il o una able en algunos casos. El obje i o de es os es udios es se capaces de iden i ica el modelo de un m´o il que om´o una imagen o incluso si ue su c´ama a delan e a o la ase a. 4.2.2.1. T abajos y Es udios [FONBCS18] p oponen desa olla una a qui ec u a de CNN que sea capaz de clasi ica de o ma sa is ac o ia qu´e modelo de m´o il ealiz´o una de e minada o og a ´ıa. Pa a sus 4.2. Uso de las Redes Neu onales Con olucionales 31 # Tipo de capa Pa ´ame os Dimensiones 1 Con olucional Tama˜no Ke nel 3x3 # de il os 256 S ide 2 2 ReLU - - 3 Con olucional Tama˜no Ke nel 3x3 # de il os 63 S ide 2 4 ReLU - - 5 Con olucional Tama˜no Ke nel 3x3 # de il os 63 ´ Indice de d opou - 6 ReLU - - 7Max Pooling Tama˜no Ke nel 3x3 S ide 2 8 Comple amen e Conec ada Tama˜no Ke nel - # de il os 256 S ide 1 9 Comple amen e Conec ada Tama˜no Ke nel - # de il os 4096 S ide 1 10 Comple amen e Conec ada Tama˜no Ke nel - # Combinaciones # Clasi icaciones 11 So Max - - Tabla 4.2: De alle de la ed p opues a po [TCC16] expe imen os han u ilizado el da ase MICHE-I, que consis e en 3732 im´agenes de es disposi i os dis in os: un Iphone 5, un Samsung Galaxy IV y un Galaxy Table III. En ellos, odas las im´agenes son di ididas en 256 pa ches de 32x32 p´ıxeles. Es e abajo iene dos obje i os p incipales: 1. Reconocimien o del modelo. Se a a de iden i ica cu´al es el modelo de m´o il que ealiz´o una de e minada o og a ´ıa. 2. Reconocimien o de la c´ ama a. Es a pa e del abajo in en a iden i ica cu´al de las cinco c´ama as (cada m´o il posee dos, una delan e a y o a ase a, y la able posee solo una) ealiz´o la o o analizada. [ABHAN+19] c ea su p opio da ase de 3900 im´agenes, usando 3 modelos de c´ama a di e en es y u ilizan la ans e encia de ap endizaje pa a ex ae las ca ac e ´ıs icas y acele a as´ı el p oceso. Tambi´en a˜naden o os modelos del da ase K aggle pa a aumen a el ama˜no del suyo p opio. En su abajo, es udian es clasi icado es di e en es de Machine Lea ning pa a descub i cu´al unciona mejo en es e p oblema. Los clasi icado es usados son: M´aquina de Sopo e Vec o ial. Reg esi´on Log´ıs ica. Bosques alea o ios. 32 Cap´ ı ulo 4. Es ado del A e 4.2.2.2. Resul ados y P opues as T as lle a a cabo sus in es igaciones, [FONBCS18] concluyen que la mejo es uc u a pa a la ed es ´a o mada po dos capas con olucionales en ez de es, y que el ke nel de es as es ecomendable que sea peque˜no. Tambi´en u iliza una capa max pooling y es comple amen e conec adas. Con es a a qui ec u a es capaz de ob ene un 98.1 % de p ecisi´on en la iden i icaci´on del modelo, pe o solo un 91.1 % en la p ecisi´on de iden i icaci´on del senso , lo que lle a a pensa que es mucho m´as di ´ıcil dis ingui c´ama as del mismo ab ican e. A su ez, iendo la ma iz de con usi´on, podemos e que ampoco es ´acil dis ingui en e c´ama as si uadas en la misma posici´on. Pa a inaliza , [FONBCS18] compa a sus esul ados con los de [BBBT16] y los de [TCC16]. P ueba ambas es uc u as con el da ase MICHE-I, pues o que es as a qui ec u as no hab´ıan sido p obadas con im´agenes omadas po m´o iles. T as los expe imen os, puede e que su es uc u a es la m´as e icien e de las es. Con los esul ados ob enidos po [ABHAN+19], se lleg´o a la conclusi´on de que el mejo clasi icado en es e p oblema ue la SVM, llegando a mos a una p ecisi´on del 98.82 %, seguida po la Reg esi´on Log´ıs ica, que ob u o una p ecisi´on del 98.54 %. La peo pa ada en es os expe imen os ue el Bosque Alea o io, que s´olo mos ´o un 97.16 % de p ecisi´on en sus clasi icaciones. Sin emba go, a pesa de los buenos esul ados ob enidos con la SVM, [ABHAN+19] se˜nalan que es e m´e odo de clasi icaci´on ue sin duda el m´as len o, con una a danza de poco menos de 30min en e a los 6 o 7min que a da on los o os dos m´e odos. Tambi´en ema can la p´e dida de p ecisi´on en los modelos de disposi i os que p esen aban menos ejemplos a la ho a de en ena . 4.2.3. Iden i icaci´on de la Fuen e de Adquisici´on de V´ıdeos Finalmen e, se habla ´a de aquellos abajos m´as ele an es y pun e os en la iden i icaci´on de la uen e de adquisici´on de un ´ıdeo. Los ´ıdeos, hablando de o ma muy gene al, son una con inua sucesi´on de im´agenes llamadas o og amas, que son las enca gadas de gene a la sensaci´on de mo imien o que se en en ellos. Es po ello que a lo la go de odo es e abajo se ha hablado de im´agenes, pues no es posible comp ende los ´ıdeos y su iden i icaci´on sin comp ende el ni el in e io que son las im´agenes simples. Sin emba go, son m´as complejos que una simple sucesi´on de o og a ´ıas, ya que la g an mayo ´ıa de ellos lle an inco po ados un audio y un sen ido espacio empo al. A con inuaci´on se expond ´an dichos es udios. 4.2.3.1. T abajos y Es udios El abajo m´as in e esan e que se encuen a en es e campo es el ealizado po [MG18], que no s´olo se emba ca en la ambiciosa a ea de iden i ica la uen e de adquisici´on de un ´ıdeo, sino que adem´as in es iga aquellos ´ıdeos p oceden es de una ed social, en conc e o en es e caso, Wha sapp. [MG18] u ilizan pa a sus expe imen os los ´ıdeos de 10 c´ama as di e en es, empleando es ´ıdeos po c´ama a: uno g abado en in e io , o o en ex e io y el ´ul imo es un ´ıdeo de e e encia que g aba una supe icie g is. A los dos p ime os los llaman ´ıdeos na u ales y al ´ul imo, ´ıdeo plano. Pa a la iden i icaci´on de cada ´ıdeo, se alen de la compa aci´on de los pa ones de PRNU de los ´ıdeos. Pa a ello, u ilizan el so wa e PRNUCompa e e sion 2.2, desa ollado po he Ne he lands Fo ensic Ins i u e. La idea es compa a los pa ones PRNU de los ´ıdeos na u ales con el pa ´on PRNU del ´ıdeo plano. Una ez esuel a la iden i icaci´on de cada ´ıdeo o iginal, en ´ıan cada ´ıdeo a a ´es de Wha sapp de odas las combinaciones posibles, que son: 4.2. Uso de las Redes Neu onales Con olucionales 33 De IOS a IOS. De IOS a And oid. De And oid a IOS. De And oid a And oid. Una ez ansmi idos, [MG18] ex aen de nue o los pa ones PRNU y los compa an de o ma simila a la compa aci´on an e io . O o abajo que ale la pena des aca en es e ´ambi o es el de [YHW12], que p opone un m´e odo de iden i icaci´on u ilizando los o og amas ex a´ıdos de un ´ıdeo. A pa i de dichos o og amas, ex aen las ca ac e ´ıs icas de p obabilidad condicional (Condi ional P obabili y Fea u es (CPF)), que u iliza ´an pa a clasi ica los ´ıdeos, con la ayuda de una SVM. En conc e o, se cen an en iden i ica di e en es modelos de c´ama as. Los ´ıdeos u ilizados en es e abajo pe enecen a cua o c´ama as con encionales di e en es, y ienen odos la misma du aci´on: 9 segundos. Todos ellos han sido g abados con su ama˜no y o ma o po de ec o. Pa a los expe imen os, se u iliza on an o ´ıdeos en mo imien o como es ´a icos, u ilizando 40 pa a en ena y 8 pa a la alidaci´on. 4.2.3.2. Resul ados y P opues as T as ealiza las compa aciones en el abajo de [MG18], el p opio algo i mo PRNUCompa e ealiza un es udio de la co elaci´on que es ´an ob eniendo los esul ados, el Peak o Co ela ion Ene gy oPeak o Co ela ion Ene gy (PCE). En odos los casos, odas las dispa idades ob ienen un PCE in e io a 100, mien as que los PCE de las co espondencias son mucho m´as al os (a excepci´on de uno). Es o quie e deci que los pa ones de PRNU de los ´ıdeos o iginales na u ales ienen un mayo g ado de simili ud con el ´ıdeo plano omado con la misma c´ama a que con los ´ıdeos planos ilmados po o a c´ama a dis in a. Los esul ados indican que es posible de e mina la c´ama a uen e de un ´ıdeo o iginal, con una p obabilidad muy al a de acie o. Los ´ıdeos que p o ienen de una misma c´ama a mues an muchas semejanzas en e s´ı, lo que acili a clasi ica los en e ellos de o os de c´ama as di e en es. Una ez han sido ansmi idos po Wha sapp, es a p ecisi´on en la clasi icaci´on baja, aunque sigue siendo posible clasi ica bien la g an mayo ´ıa de ellos, con unos esul ados mucho m´as malos en el caso de IOS. Sin emba go, al pasa po es a ed social, deja de se posible de e mina si dos ´ıdeos ienen la misma c´ama a de o igen. [YHW12] ex aen las ca ac e ´ıs icas de p obabilidad condicional de los o og amas con alo es de luminosidad de cada ´ıdeo pa a calcula su e icacia en un dominio espacial en un p ime expe imen o. La p ecisi´on que ob iene es de un 82.6 %, que es ela i amen e baja compa ada con es udios de iden i icaci´on de c´ama a de im´agenes. En el segundo expe imen o, deciden usa el mismo conjun o de ´ıdeos, omando el alo de la luminosidad. Con es as ca ac e ´ıs icas, el acie o ue o al. Finalmen e, en un ´ul imo expe imen o, se oma on ´ıdeos m´as complejos con cambios en las escenas m´as ap eciables, lo que les dio un esul ado del 97.2 %. Cap´ı ulo 5 Algo i mo P opues o En es e cap´ı ulo, se p ocede a explica la p opues a p esen ada en es e abajo: el desa ollo de un m´e odo pa a la iden i icaci´on de la uen e de adquisici´on de ´ıdeos basado en edes neu onales y espec´ı icamen e u ilizando una a qui ec u a de ap endizaje p o undo como las edes neu onales con olucionales (CNN). 5.1. Desc ipci´on del Algo i mo El obje i o p incipal de es e abajo es p opone un modelo de ed neu onal con olucional capaz de iden i ica la c´ama a uen e de un ´ıdeo que ha sido g abado con un disposi i o m´o il, a pa i de los o og amas de dicho ´ıdeo. A pesa de que se p opone una ´unica ed como esul ado inal, se ha u ilizado una segunda ed como ed inicial, en la cual se han p obado los esul ados pa a pode desa olla la ed inal. Ya que es a ed abaja con los o og amas de un ´ıdeo, inicialmen e ha sido es eada con dos conjun os de im´agenes, uno p oceden e de c´ama as adicionales DSC y o o p oceden e de disposi i os m´o iles, pa a p oba su e iciencia. El modelo de ed con olucional ob enido se ha adap ado pa a unciona con los o og amas ex a´ıdos de los ´ıdeos. Es a p opues a se compone de di e en es pa es pa a pode ob ene el esul ado inal: la iden i icaci´on de la c´ama a que g ab´o el ´ıdeo. 5.1.1. Ex acci´on de los Fo og amas de un V´ıdeo El p ime paso de la p opues a es ex ae un n´ume o de o og ama de un ´ıdeo. El n´ume o de o og amas a ex ae depende ´a de la du aci´on de cada ´ıdeo, po lo que no se ´a el mismo en odos. Cada o og ama que se ex aiga se ´a gua dado de la misma mane a que los ´ıdeos o iginales: ag upado p ime o po la ma ca del m´o il o c´ama a que g ab´o el ´ıdeo al que pe enece y en segundo luga ag upado seg´un el modelo. A cada o og ama se le o o ga ´a la siguien e nomencla u a: Nomb eV´ıdeo −No.F ame −I .Ex ensi´onImagen Pa a pode lle a a cabo bien la ejecuci´on del algo i mo, se ´a necesa io que ning´un nomb e de los ´ıdeos a iden i ica con enga guiones. En caso de con ene los, debe ´a a˜nadi se un s´ımbolo dis in i o y ´unico en e el nomb e del ´ıdeo y el n´ume o del o og ama pa a pode ag upa m´as adelan e los o og amas seg´un a qu´e ´ıdeo pe enezcan. 35 36 Cap´ ı ulo 5. Algo i mo P opues o 5.1.2. Reducci´on de los Fo og amas en ´ A eas m´as Peque˜nas Si bien inicialmen e se pensaba abaja con cada o og ama en su esoluci´on o iginal, se p opone di idi cada o og ama en 256 ozos (pa ches) de 64x64 p´ıxeles pa a acili a el abajo de la ed y mejo a su e iciencia. El p oceso de c eaci´on de pa ches ha sido di idido en dos secciones: La p ime a secci´on se enca ga de enca ga de asigna a cada modelo de c´ama a un n´ume o que se ´a su clase. Es e paso es muy sencillo ya que odos los o og amas se encuen an ag upados p ime o seg´un la ma ca de la c´ama a o m´o il que g ab´o el ´ıdeo, y luego seg´un el modelo. Tambi´en se eco an desde el cen o odos los o og amas pa a que sean odos del mismo ama˜no. Toda es a in o maci´on se ´a gua dada en un iche o .npy que se ´a u ilizado en la segunda secci´on de es e p oceso. La segunda secci´on se enca ga de la c eaci´on de los pa ches como al, pe o ´es a se lle a a cabo con 12 p ocesos dis in os, lo que puede p o oca que el o den en el que se c ean y gua dan los pa ches no sea siemp e el mismo. Tambi´en, cabe des aca que as la c eaci´on de los pa ches, se eliminan aquellos muy sa u ados, pues no apo an ning´un ipo de in o maci´on y pe judican a la p ecisi´on del an´alisis pos e io . 5.1.3. P epa aci´on de los Da os En p ime luga , se comp ime odos los pa ches que componen odos los o og amas en un a chi o numpy pa a agiliza la ed neu onal con olucional p opues a. Seguidamamen e, pa a acili a la ejecuci´on, se o ganiza los pa ches en una es uc u a de ca pe as je ´a quica, d´onde el ni el m´as ex e io sea la ma ca del disposi i o, seguido po el modelo y, inalmen e, el ni el m´as in e io sean odos los pa ches pe enecien es a una ma ca y un modelo de e minado. En segundo luga , una ez gene ado odos los pa ches de cada o og ama, se lle a a cabo una p epa aci´on an es de comenza a en ena la CNN. Es a p epa aci´on consis e en la gene aci´on de cinco a chi os .npy. Dos de ellos con end ´an los pa ches que en ena ´an y alida ´an la ed, espec i amen e. O os dos con end ´an las clases a las que pe enece cada pa ch, siendo gua dados en dos iche os di e en es seg´un si pe enecen al conjun o de en enamien o o al de alidaci´on. El ´ul imo a chi o se llama ´a class pa ches.npy y con end ´a la in o maci´on de a qu´e clase pe enece cada pa ch del conjun o de alidaci´on. En es e a chi o, cada pa ch es ´a en el mismo o den que en el a chi o da ase es .npy, lo que acili a su uso en la Subsecci´on 5.1.4. 5.1.4. Clasi icaci´on de los Pa ches con la CNN P opues a Una ez hecho odo lo an e io , se u iliza la CNN p opues a pa a clasi ica los o og amas de cada ´ıdeo, de e mina a qu´e c´ama a pe enece cada uno y el po cen aje de p ecisi´on que p esen a la CNN en su misi´on. En es a pa e, el usua io pod ´a modi ica los pa ´ame os que desee de la ed, siendo los que se p opo cionan po de ec o los que p opone es e abajo. Tambi´en pod ´a decidi si quie e simplemen e alida un modelo que ya ha sido en enado p e iamen e o cu´an os modelos quie e en ena , pa a ealiza la media de sus p ecisiones despu´es. En el caso de s´olo que e en ena un ´unico modelo, es posible gua da lo. Pa a en ena y alida la ed, se u ilizan los da os que se han gua dado en los iche os .npy en la Subsecci´on an e io . Po cada modelo que se en ene, se ealiza ´a su alidaci´on y se gua da ´an las p edicciones ob enidas en cada modelo ien un iche o llamado p edic s uel a %i.npy, d´onde ies el n´ume o del modelo en enado. Es as p edicciones que 5.1. Desc ipci´ on del Algo i mo 37 se gua dan son las p edicciones que ha ob enido cada pa ch con ese modelo. Finalmen e, ambi´en se gua da en o o iche o llamado p edic s o al.npy la p ecisi´on o al ob enida con cada modelo en enado. 5.1.5. C´alculo de la P ecisi´on de la CNN con V´ıdeos a pa i de la P ecisi´on Ob enida con los Fo og amas Debido a que los o og amas no ep esen an una unidad po s´ı sola, su clasi icaci´on no es su icien e. Es necesa io po an o de e mina a qu´e modelo pe enece cada ´ıdeo en unci´on de los esul ados de sus o og amas. Pa a ello, la ´ul ima pa e del algo i mo p opues o se enca ga de de e mina cu´al es la c´ama a uen e de un ´ıdeo, a pa i de los esul ados ob enidos po la CNN. Una ez de e minada, se compa an los esul ados con las clases a las que e dade amen e pe enecen dichos ´ıdeos (in o maci´on que ha sido gua dada du an e el p oceso) pa a comp oba la e icacia del algo i mo p opues o. Es o se lle a a cabo una ez ob enidos los iche os .npy que con ienen las p edicciones de odos los pa ches con cada modelo, se lle a a cabo la econs ucci´on de los ´ıdeos a pa i de esos pa ches pa a pode sabe cu´al es la p edicci´on de la ed con cada ´ıdeo y po an o, su p ecisi´on. Pa a ello, es a pa e se di ide en a ias ases: 1. Asociaci´ on de cada pa ch a un modelo. Las p edicciones que de uel e la CNN pa a cada pa ch ienen la o ma de un a ay con an os elemen os como modelos de c´ama as haya a clasi ica . Cada elemen o idel a ay se ´a un n´ume o en e 0 y 1, que ep esen a ´a la p obabilidad de dicho pa ch a pe enece en la clase i. Pa a de e mina a qu´e clase ha p edicho la CNN que pe enece dicho pa ch, se oma la clase i al que el elemen o idel a ay es el m´aximo. Una ez de e minado es o, se de uel e un a ay con odos los pa ches, la clase a la que pe enece y la clase a la que se ha p edicho que pe ence. Pa a conoce su clase eal, se ha usado el a chi o class pa ches.npy que se gua d´o en la Subsecci´on 5.1.3, y se basa en el hecho de que la CNN de uel e las p edicciones en el mismo o den que se in oduje on los pa ches en la ed. 2. Ag upaci´ on de los pa ches seg´ un los o og amas. G acias a la nomencla u a que se le dio a los pa ches a la ho a de c ea los, en es e pun o se di ide el nomb e en dos de mane a que se elimina la pa e del nomb e que con iene el n´ume o del pa ch y se ag upan los pa ches que ienen el mismo nomb e. De es a mane a, se ienen odos los pa ches que componen un o og ama ag upados. Una ez hecho es o, se decide la clase de cada o og ama, que se ´a la clase que m´as se epi a den o de las clases de los pa ches que lo componen. 3. Ag upaci´ on de los o og amas seg´ un los ´ ıdeos. Al igual que el paso an e io , se lle a un p oceso muy simila con los o og amas pa a ag upa los seg´un los ´ıdeos a los que pe enecen. Una ez ag upados los o og amas de cada ´ıdeo, se de e mina la clase que se ha p edicho pa a ese ´ıdeo eligiendo la clase que m´as se epi a en e las clases de sus o og amas. Po ´ul imo, se e al´ua la p ecisi´on del modelo e aluando cu´an os ´ıdeos han sido bien clasi icados. Pa a ello, se compa a la clase p edicha con su clase eal, que ha sido gua dada a su ez en el a ay du an e odo el p oceso. 44 Cap´ ı ulo 6. Expe imen os y Resul ados en ´el. Es as im´agenes han sido omadas po 73 c´ama as di e en es pe enecien es a 25 modelos dis in os. Se a a de un da ase p´ublico y de acceso lib e pues o a disposici´on de la comunidad cien ´ı ica y u ilizado en a ias in es igaciones. Pa a los expe imen os, se seleccion´o una peque˜na pa e de ´el: se oma on odas las o os ealizadas po odos los disposi i os pe enecien es a cua o modelos di e en es: A ga DC-504, A ga DC-733s, Canon Ixus55 y Nikon D200. Po comodidad, odos los da os de in e ´es e e en es a es e conjun o de im´agenes se mues an en la Tabla 6.1. Ma ca Modelo Noimgs. En enamien o Noimgs. Validaci´on Resoluci´on O iginal A ga DC-504 51 21 4032x3024 A ga DC-733s 106 45 3072x2304 Canon Ixus55 126 53 2592x1944 Nikon D200 416 178 3872x2592 Tabla 6.1: In o maci´on sob e el Conjun o 1 En es e da ase se eligie on ´unicamen e 4 modelos pa a p oba la iabilidad inicial de la p opues a a en ena y es ea , ya que cu´an os menos modelos a clasi ica , m´as ´acil es en eo ´ıa su clasi icaci´on. Adem´as, las in es igaciones sob e las im´agenes omadas con c´ama as de o os, y en pa icula sob e es e da ase son ela i amen e abundan es, luego no en´ıa mucho sen ido p o undiza con ´el. Pa a acili a su nomencla u a y di e encia lo del es o de conjun os que se de inen a con inuaci´on, es e conjun o se ´a llamado a pa i de aho a el Conjun o 1. 6.1.2. Da ase M´o iles GASS Es e segundo da ase ha sido c eado po el G upo de An´alisis, Segu idad y Sis emas de la Uni e sidad Complu ense de Mad id con la inalidad de lle a a cabo a ias in es igaciones del depa amen o. El conjun o o iginal cons a de 11601 o og a ´ıas omadas po 68 m´o iles di e en es pe enecien es a 48 modelos dis in os. A pa i de es e da ase , se han elabo ado dos conjun os di e en es, donde el segundo es una ampliaci´on del p ime o y siendo los dos una pa e del o al del da ase o iginal. El p ime conjun o se ha o mado con las o og a ´ıas omadas po 5 disposi i os pe enecien es a 5 modelos di e en es, que son el LG p760, el Nokia 800-lumia, los Samsung S3 Neo y S4 Mini y el Xiaomi Mi3. El mo i o de la u ilizaci´on de es e conjun o, al que se llama ´a Conjun o 2, se debe a la in enci´on de es ea la p opues a con un conjun o de im´agenes que no haya sido u ilizado en o os expe imen os o abajos an e io men e y pode as´ı e i ica que es a ed se adap a a cualquie conjun o y no s´olo a los conjun os ya ’p ede inidos’. Adem´as, e a in e esan e u iliza un conjun o o mado po im´agenes omadas con disposi i os m´o iles, ya que po la manu ac u aci´on de sus senso es, el hecho de dispone de dos c´ama as un mismo disposi i o y el h´abi o que ienen a ias ma cas en compa i senso , di icul a la a ea de iden i ica ielmen e la uen e de adquisici´on usada. Pa a comenza , se eligi´o un conjun o o mado po 5 ´unicas clases pa a acili a la iden i icaci´on y comp oba su buen uncionamien o. El segundo conjun o, al que se llama ´a Conjun o 3, es simplemen e una ampliaci´on del Conjun o 2. A dicho conjun o se le han a˜nadido las o og a ´ıas omadas po los disposi i os pe enecien es a 5 modelos m´as, pa a a a de di icul a el p oceso de iden i icaci´on y alo a as´ı su e iciencia. Los da os se e lejan en la Tabla 6.2. 6.2. T a amien o y P ep ocesamien o de los Conjun os 45 Ma ca Modelo Noimgs. En enamien o Noimgs. Validaci´on Resoluci´on O iginal LG p760 100 27 1944x2592 Nokia 800-lumia 100 27 3264x2448 Samsung S3 Neo 50 27 1280x720 Samsung S4 Mini 50 27 3264x1836 Xiaomi Mi3 100 27 4208x2364 Aqua is M5 80 20 4096x2304 Apple iPhone 6 Plus 100 100 3264x2448 OnePlus One A0001 100 100 4160x3120 Ouki el K6000 P o 50 50 3120x4160 Xpe ia M2 D2303 100 100 3104x1746 Tabla 6.2: In o maci´on sob e el Conjun o 2 y 3 6.1.3. Conjun os de V´ıdeos Pa a abaja con ´ıdeos, solo se ha escogido un ´unico conjun o, al que se e e i ´a a lo la go del abajo como Conjun o de V´ıdeos. Es e conjun o es ´a compues o po ´ıdeos g abados po 5 modelos de disposi i os di e en es, ambi´en ob enidos del da ase del G upo de An´alisis, Segu idad y Sis emas de la Uni e sidad Complu ense de Mad id. Los de alles se pueden obse a en la Tabla 6.3. Ma ca Modelo NoDisposi i os NoV´ıdeos Resoluci´on O iginal Apple iPhone 6 2 5 1920x1080 OnePlus One A0001 1 5 1920x1080 Samsung Galaxy S3 1 5 1920x1080 Xiaomi Mi3 1 5 1280x720 Xpe ia M2 D2303 1 5 1920x1080 Tabla 6.3: In o maci´on sob e el Conjun o de V´ıdeos 6.2. T a amien o y P ep ocesamien o de los Conjun os Los conjun os han sido some idos a dis in os p ep ocesamien os pa a pode se u ilizados en los expe imen os. 6.2.1. Selecci´on y C eaci´on de los Conjun os Ninguno de los conjun os u ilizados en es os expe imen os son el o al de un da ase ya exis en e, sino que son una pa e de uno de ellos. El p ime paso de los p ep ocesamien os ue, po an o, c ea esos subconjun os de los da ase ya exis en es. Se a ´o simplemen e de elegi den o de odos los modelos disponibles de cada da ase un n´ume o de modelos ijo y u iliza odas las im´agenes disponibles de esos modelos. Es o ue as´ı en los Conjun os 1, 2 y 3. Pa a el Conjun o de V´ıdeos, en cambio, se seleccion´o ambi´en un n´ume o ijo de ´ıdeos (6) de cada modelo, en ez de usa odos los disponibles. 46 Cap´ ı ulo 6. Expe imen os y Resul ados 6.2.2. Sepa aci´on en Dos Conjun os: En enamien o y Validaci´on Es e a amien o ue solamen e lle ado a cabo con el Conjun o 1 y el Conjun o de V´ıdeos. El Conjun o 1 en su o ma o iginal se encon aba o ganizado en una es uc u a de ca pe as d´onde cada una e a una ma ca de c´ama as o og ´a icas, y en las que a su ez, en su in e io se encon aban m´as ca pe as en las que cada una e a un modelo de dicha ma ca. Finalmen e, en el in e io de las ca pe as de los modelos se encon aban las o og a ´ıas o iginales pe enecien es a cada modelo. T as selecciona los modelos a u iliza , ue necesa io di idi las im´agenes de cada modelo en dos g upos: uno pa a en enamien o y o o pa a alidaci´on. Pa a ello, se con ´o el n´ume o de im´agenes disponibles de cada modelo y se di idie on de o ma alea o ia: el 70 % de las im´agenes de cada modelo ue on pa a la ca pe a ’En enamien o’ y el 30 % es an e, pa a la de ’Validaci´on’. La di isi´on el el Conjun o de V´ıdeos ue mucho m´as simple: de los 6 ´ıdeos seleccionados, se deja on 5 pa a el conjun o de en enamien o y se apa ´o uno pa a que o mase pa e del conjun o de alidaci´on. Con los Conjun os 2 y 3 no ue necesa io es e a amien o ya que la o ganizaci´on o iginal de sus conjun os pad e en´ıa es a di isi´on ya ealizada. 6.2.3. Ex acci´on de los Fo og amas de cada V´ıdeo En es e caso, lo p ime o de odo pa a pode p epa a el conjun o de da os de en enanien o de la CNN, es necesa io ex ae los o og amas de cada ´ıdeo. Po cada ´ıdeo, se ex ajo una can idad a iable de o og amas o o og amas de cada ´ıdeo y se gua da on jun os odos los o og amas pe enecien es a un modelo, es deci , cada ca pe a de modelo con en´ıa los o og amas de odos los ´ıdeos pe enecien es a dicho modelo. El n´ume o de o og amas ex a´ıdos po ´ıdeo es p opo cional a la du aci´on del ´ıdeo, po lo que los ´ıdeos m´as ex ensos dispon´ıan de m´as o og amas. Pa a e i a su mezcla y sabe qu´e o og ama pe enece a qu´e ´ıdeo, cada o og ama adop ´o la siguien e es uc u a en su nomb e: Nomb eV´ıdeo −NoF o og ama −I .Ex ensi´onImagen Una ez ex a´ıdos odos, nos queda un conjun o nue o, al cu´al nos e e i emos como el Conjun o 4. Sus da os m´as ele an es se p esen an en la Tabla 6.4. Ma ca Modelo NoImgs. En enamien o NoImgs. Validaci´on Resoluci´on O iginal Apple iPhone 6 101 96 1920x1080 OnePlus One A0001 53 14 1920x1080 Samsung Galaxy S3 55 11 1920x1080 Xiaomi Mi3 185 32 1280x720 Xpe ia M2 D2303 417 59 1920x1080 Tabla 6.4: In o maci´on sob e el Conjun o 4 6.2.4. Di isi´on de cada Imagen en ´ A eas m´as Peque˜nas Inicialmen e, se a ´o de usa las im´agenes de cada conjun o con su esoluci´on o iginal, pe o no ue iable po su g an ama˜no, el ele ado n´ume o de im´agenes de las que se dispon´ıa y po los ecu sos de memo ia con los que se con aba. 6.3. Resul ados Ob enidos con la Red 1 47 Po ello, siguiendo los consejos de [BLG+17], se desa oll´o un algo i mo a pa i del c´odigo de los expe imen os de es os in es igado es que pe mi ´ıa di idi cada imagen en peque˜nos ozos o pa ches que no solapasen en e s´ı. E a posible elegi el ama˜no de cada pa ch y el n´ume o o al de ellos que se que ´ıa po imagen. Se comenz´o di idiendo cada imagen en 32 pa ches de 64x64 p´ıxeles, pe o como se e ´a en los apa ados siguien es, es os alo es se ue on modi icando poco a poco has a llega a los ideales. 6.3. Resul ados Ob enidos con la Red 1 Una ez la p ime a ed es u o de inida y desa ollada, ue p obada su e iciencia con los di e en es conjun os an es desc i os. Es os ue on los esul ados. 6.3.1. Resul ados del Conjun o 1 con la Red 1 Los p ime os esul ados ob enidos con la Red 1 ue on bas an e acep ables a pesa de las malas condiciones en las que ue on ejecu ados. Po el equipo del que se dispon´ıa, ejecu a 20 uel as o epochs del Conjun o 1 pod´ıa llega a a da del o den de 30 minu os. Pa a pode ealiza los c´alculos, e a necesa io ejecu a cada en enamien o 10 eces, con cuyos esul ados se ealizaba una media despu´es. En la Tabla 6.5 se mues an los esul ados ob enidos en es os expe imen os. El signi icado de las cabece as de cada columna es el siguien e: A: Conjun o de da os empleado en los expe imen os. B: Node im´agenes del conjun o usadas pa a en enamien o. C: Node im´agenes del conjun o usadas pa a alidaci´on. D: Node ´a eas o pa ches en los que es ´a eco ada cada imagen. E: Dimensi´on de cada pa ch. F: Tama˜no de cada ba ch. H: P ecisi´on ob enida en el expe imen o en la ed con los da os an e io es. La columna Hmues a la media inal ob enida as e alua 10 eces la ed con los mismos pa ´ame os. En los expe imen os de es a abla, cada imagen del Conjun o 1 ue di idida en 32 pa ches de 64x64 p´ıxeles, pues e a el ama˜no ecomendado en un p ime momen o po [BLG+17]. A B C D E F G H Conjun o 1 25526 6122 32 64x64x1 10 20 82.778 % Conjun o 1 25526 6122 32 64x64x1 10 30 82.473 % Conjun o 1 25526 6122 32 64x64x1 10 50 83.585 % Conjun o 1 25526 6122 32 64x64x1 10 70 82.866 % Conjun o 1 25526 6122 32 64x64x1 10 100 81.813 % Tabla 6.5: Resul ados de la Red 1 con el Conjun o 1 48 Cap´ ı ulo 6. Expe imen os y Resul ados En es e p ime momen o el in e ´es se cen ´o en las epochs, ya que e a necesa io sabe cu´al e a el n´ume o ideal de epochs con las que ob ene los mejo es esul ados, pues no se con aba con excesi os medios y as´ı se ´ıa posible op imiza mejo el iempo y la in es igaci´on. Como se ha esal ado en neg i a en la abla, el mejo esul ado ob enido ue con 50 epochs, consiguiendo una p ecisi´on del 83.585 %. Es a p ecisi´on, sin se b illan e, no e a mala del odo pa a un p ime in en o. El siguien e es eo pa a mejo a la ed ue el ba ch size. Tomando iguales odos los pa ´ame os de la abla an e io y ijando las epochs a 50, se p ocedi´o a es udia el ba ch size con la espe anza de ob ene una mejo a. Los esul ados pueden e se en la Tabla 6.6. La elaci´on del signi icado de las cabece as de cada columna es la misma que la de la Tabla 6.5. A B C D E F G H Conjun o 1 25526 6122 32 64x64x1 10 50 83.585 % Conjun o 1 25526 6122 32 64x64x1 30 50 85.323 % Conjun o 1 25526 6122 32 64x64x1 50 50 84.978 % Conjun o 1 25526 6122 32 64x64x1 - 50 86.403 % Tabla 6.6: Resul ados de la Red 1 con el Conjun o 1 Aqu´ı, los mejo es esul ados se ob u ie on as no especi ica el ba ch size, y mejo a on en casi un 3 % con espec o a los an e io es. Pa e de es a mejo a se debi´o a la posibilidad de ob ene mejo es ecu sos de compu aci´on, como una RAM m´as g ande. Es o pe mi i´o pode expe imen a m´as y amplia la dimensi´on del ba ch has a ob ene unos esul ados mejo es. 6.3.2. Resul ados del Conjun o 2 con la Red 1 T as los esul ados ob enidos con el Conjun o 1, se p ob´o la e iciencia de la Red 1 en el Conjun o 2. A pesa de con a con la capacidad de c´ompu o mejo ada que se hab´ıa conseguido en los ´ul imos expe imen os y de emplea la misma con igu aci´on pa a la Red 1 que en el apa ado an e io , los esul ados que se ob u ie on aqu´ı no ue on buenos, como pueden e se en la Tabla 6.7. La elaci´on del signi icado de las cabece as de cada columna es la misma que la de la Tabla 6.5. A B C D E F G H Conjun o 2 12800 4320 32 64x64x1 10 50 30.385 % Conjun o 2 12800 4320 32 64x64x1 - 100 33.71 % Tabla 6.7: Resul ados de la Red 1 con el Conjun o 2 An e an malos esul ados, se p ocedi´o mejo a la ed y p oba una nue a: la Red 2. 6.4. Resul ados Ob enidos con la Red 2 La Red 2 y los esul ados ob enidos con ella e elan dos cosas: 1. El hecho de cambia y a ina la ed p opo cion´o mejo es esul ados en la clasi icaci´on, lo cual se˜nala que ene una buena ed es un pun o muy impo an e. 6.4. Resul ados Ob enidos con la Red 2 49 2. Ya no s´olo los cambios en la ed p opo cionan una mejo ´ıa, sino ambi´en el juga y a ina el p ep ocesamien o de da os, como se pudo e en es a ase de la in es igaci´on. A con inuaci´on, apa ecen los esul ados ep esen ados en ablas. 6.4.1. Resul ados del Conjun o 1 con la Red 2 Ya que los mejo es da os ob enidos has a aho a ue on con el Conjun o 1, y pa a man ene el mismo o den que en las p uebas an e io es, se en en´o y es e´o la Red 2 con es e conjun o p ime o. Los esul ados es ´an e lejados en la Tabla 6.8. La elaci´on del signi icado de las cabece as de cada columna es la misma que la de la Tabla 6.5. A B C D E F G H Conjun o 1 25526 6122 32 64x64x1 - 50 92.496 % Conjun o 1 25526 6122 32 64x64x1 100 300 94.325 % Conjun o 1 25526 6122 32 64x64x1 - 300 94.315 % Tabla 6.8: Resul ados de la Red 2 con el Conjun o 1 Como puede ap ecia se, los esul ados mejo a on has a en un 8 %, log ando una p ecisi´on ealmen e buena en el mejo de los casos y p obando la mejo a de es a ed en e a su p edeceso a la Red 1. 6.4.2. Resul ados del Conjun o 2 con la Red 2 T as los buenos esul ados con el Conjun o 1, e a necesa io con es a a la siguien e p egun a: ¿Se ´ıa capaz es a ed de mejo a ambi´en los esul ados del Conjun o 2? A B C D E F G H Conjun o 2 12800 4320 32 64x64x1 - 100 41.824 % Conjun o 2 12800 4320 32 64x64x1 - 300 41.755 % Conjun o 2 12800 4320 32 64x64x1 100 300 43.131 % Conjun o 2 12800 4320 32 64x64x1 50 300 41.535 % Conjun o 2 12800 4320 32 64x64x1 200 300 42.646 % Tabla 6.9: Resul ados de la Red 2 con el Conjun o 2 Como puede ap ecia se en la Tabla 6.9, los esul ados mejo a on has a un 10 %, pe o no s´olo es aban lej´ısimos de los esul ados ob enidos con el conjun o 1, sino que adem´as segu´ıan po debajo del 50 % de p ecisi´on, lo que signi icaba que la ed allaba m´as de lo que ace aba en su clasi icaci´on. La elaci´on del signi icado de las cabece as de cada columna es la misma que la de la Tabla 6.5. ¿A qu´e se deb´ıan una di e encia an abismal de esul ados? A p io i, pa ec´ıa que pod´ıa es a causado po dos mo i os: 1. El p ime mo i o pod ´ıa es a elacionado con el senso que cap u ´o las im´agenes. Es o signi ica ´ıa que las im´agenes omadas con un m´o il pudiesen ene menos in o maci´on en sus me ada os o m´as con usa, lo que p opiciase que la ed no uese an p ecisa en su clasi icaci´on. 50 Cap´ ı ulo 6. Expe imen os y Resul ados 2. El segundo mo i o end ´ıa que e con el ama˜no de la mues a del Conjun o 2. Como puede e se a lo la go de las ablas p esen adas, el n´ume o de im´agenes del Conjun o 2 es ap oximadamen e la mi ad que las que iene el Conjun o 1. Po an o, es a al a de im´agenes en la mues a, pod ´ıa es a pe judicando a los esul ados ya que la ed no es capaz de ap ende lo su icien e. T as es e an´alisis, se in en ´o encon a un palia i o al segundo mo i o, la al a de im´agenes. Dado que en un u u o p ´oximo no e a posible aumen a ese da ase , se op ´o po aumen a el n´ume o de pa ches po o o. Los esul ados es ´an en la Tabla 6.10. La elaci´on del signi icado de las cabece as de cada columna es la misma que la de la Tabla 6.5. A B C D E F G H Conjun o 2 100312 33444 256 64x64x1 100 300 87.205 % Conjun o 2 100312 33444 256 64x64x1 - 300 86.388 % Conjun o 2 102400 34560 256 32x32x1 100 300 74.238 % Conjun o 2 102400 34560 256 32x32x1 - 300 73.402 % Tabla 6.10: Resul ados de la Red 2 con el Conjun o 2 Se ealiza on a ias p uebas: se aumen ´o el n´ume o de pa ches a 256 en odos los casos, y a su ez se in es ig´o c´omo a ec aba la dimensi´on de dichos pa ches y de los ba ches. Los esul ados ue on incluso mejo es de lo p e is o, ya que se log ´o una mejo a del 44 % en la p ecisi´on, llegando a un 87.205 % en el mejo de los casos. Si bien a´un es aban lejos del Conjun o 1, es o e a una mejo a muy impo an e de ca a a segui con las in es igaciones. 6.4.3. Resul ados del Conjun o 3 con la Red 2 Llegados a es e pun o, se aumen ´o el Conjun o 2 a˜nadiendo nue as im´agenes y modelos, c eando como esul ado el Conjun o 3, an e io men e de inido. Se p esen aban aho a dos obje i os: comp oba que la mejo a de p ecisi´on log ada en el Conjun o 2 se man u iese en el Conjun o 3, y a a de encon a el mejo p ep ocesamien o y con igu aci´on de la ed pa a log a la mayo p ecisi´on posible. A B C D E F G H Conjun o 3 26528 16160 32 64x64x1 100 300 41.313 % Conjun o 3 106240 64582 128 64x64x1 100 300 61.222 % Conjun o 3 210392 127978 256 64x64x1 100 300 68.568 % Conjun o 3 106240 64384 128 32x32x1 100 300 47.88 % Conjun o 3 212480 129280 256 32x32x1 100 300 54.34 % Tabla 6.11: Resul ados de la Red 2 con el Conjun o 3 Aplicando los mismos azonamien os que con el Conjun o 2, se aumen ´o el n´ume o de pa ches de las im´agenes del Conjun o 3. Si bien no se consigui´o alcanza el buen esul ado del Conjun o 2, se log ´o una p ecisi´on de un poco menos del 70 %, lo cu´al no es ´a del odo mal. Es os esul ados se encuen an en la Tabla 6.11. La elaci´on del signi icado de las cabece as de cada columna es la misma que la de la Tabla 6.5. 6.4. Resul ados Ob enidos con la Red 2 51 6.4.4. Resul ados del Conjun o 4 con la Red 2 Pa a pode en ena y es ea la Red 2 con el Conjun o 4, e a necesa io en p ime luga , ex ae los o og amas de cada ´ıdeo como se ha desc i o an e io men e. Una ez ob enidos, la ed e a usada como en los casos an e io es: p ime o se ha oceado cada o og ama en 256 pa ches de 64x64 p´ıxeles cada uno y se han u ilizado pa a en ena y es ea la ed. El p oblema inal es aba al llega a los esul ados: la ed de ol ´ıa la clase a la que pe enec´ıa cada pa ch de los o og amas, cuando el obje i o que se buscaba e a sabe a qu´e clase pe enece cada ´ıdeo como un o al. Pa a log a es o, se lle ´o a cabo el dise˜no e implemen aci´on de un algo i mo auxilia , con el obje i o de conclui cu´al e a la clase de cada ´ıdeo, omando el ´ıdeo como elemen o ´unico. 6.4.4.1. La Clase como la Moda de los Resul ados de los Fo og amas Una ez ob enidos los esul ados de las p edicciones de la ed pa a cada pa ch, se desa oll´o un algo i mo que uese capaz de hace los siguien es pasos: 1. Como p ime paso, el algo i mo se enca ga de de e mina cu´al es la clase a la que pe enece cada p edicci´on ob enida, pues los da os de los que se disponen son una lis a que con iene una lis a con an os elemen os como clases a clasi ica , y en el in e io de cada lis a de clase hay an as lis as como pa ches pe enecien es a esa clase. Cada lis a de pa ch con iene los po cen ajes de clasi icaci´on de ese pa ch a cada una de las clases. Pa a asigna la clase a la que pe enece cada pa ch, se ha omado la clase en la que el po cen aje de clasi icaci´on es el mayo . Como esul ado, ob enemos una lis a con an as lis as como clases, donde cada lis a de clase iene an os elemen os como pa ches. Cada elemen o con iene la clase a la que pe enece ese pa ch seg´un los esul ados ob enidos en la ed y el po cen aje asociado. 2. La segunda unci´on ha consis ido en asocia los esul ados de los pa ches ob enidos en el paso an e io a cada pa ch conocido. Pa a ello, se ha usado el conocimien o de que cada esul ado ue de uel o en el o den en el que se in oduje on los pa ches y una lis a auxilia que con iene el o den de cada pa ch, con su clase y su nomb e conocido pa a pode iden i ica cada uno. El obje i o de es o es sabe qu´e pa ch pe enece a cada o og ama y pode as´ı ag upa los, p ime o po clases, y luego po o og amas. Una ez ag upados, se le ha asociado a cada o og ama la clase que m´as ecuencia u iese en e los pa ches que la o masen. En caso de ene alg´un empa e, se seleccionaba la clase que u iese el po cen aje m´as al o en e las que u iesen mayo ecuencia. Como esul ado, se ob en´ıa una lis a con an as lis as como clases. Cada lis a de clase con en´ıa a su ez an os elemen os como o og amas pe eneciesen a esa clase, jun o con la clase a la que debe ´ıan pe enece y la clase en la que ha sido clasi icado. 3. El pen´ul imo paso ha consis ido en ealiza un p oceso simila pa a ag upa cada o og ama seg´un el ´ıdeo al cu´al pe enece. Una ez ag upados, p ime o po clase, y luego po ´ıdeos, se ha p ocedido a calcula la clase a la que pe enece cada ´ıdeo, calculando la clase m´as epe ida de sus o og amas. En es e caso, en caso de da se un empa e, se seleccionaba al aza una de las clases de la moda m´ul iple. El esul ado ob enido ha sido una lis a con an as lis as como clases, donde cada lis a de clase en´ıa an os elemen os como ´ıdeos. Cada ´ıdeo con en´ıa la in o maci´on 52 Cap´ ı ulo 6. Expe imen os y Resul ados de su nomb e, la clase a la que deb´ıa pe enece y la clase que le ha o o gado la clasi icaci´on. 4. Pa a inaliza , se ha calculado la p ecisi´on de la clasi icaci´on calculando el po cen aje de ´ıdeos bien clasi icados. Los esul ados inales apa ecen en la Tabla 6.12. Adem´as de apa ece las mismas columnas que las ablas an e io es, se han a˜nadido un pa de columnas nue as. La elaci´on del signi icado de las cabece as de las columnas de la A a la G es la misma que la de la Tabla 6.5. El signi icado de la columnas nue as es el siguien e: H: P ecisi´on ob enida en la clasi icaci´on de los pa ches que o man cada o og ama. Al igual que en las ablas an e io es, la p ecisi´on que se mues a aqu´ı es el esul ado de hace la media de las p ecisiones ob enidas en 10 ejecuciones dis in as. I: P ecisi´on ob enida en la clasi icaci´on de los ´ıdeos. Se ha ob enido de o ma simila a la an e io , pe o con lige as di e encias: P ime o, se han calculado los esul ados ob enidos pa a los ´ıdeos 4 eces pa a cada esul ado ob enido con los o og amas y se ha hecho la media de ellos. A con inuaci´on, se ha hecho la media de las medias ob enidas en el paso an e io . Es a ´ul ima media es la que se e leja en la abla. A B C D E F G H I Conjun o 4 203004 51072 256 64x64x1 100 20 80.13 % 89 % Tabla 6.12: Resul ados de la Red 2 con el Conjun o 4 Po ´ul imo, la Tabla 6.13 mues a la ma iz de con usi´on con los esul ados ob enidos. Como puede ap ecia se, los ´unicos modelos que p esen a di icul ades en su clasi icaci´on son el OnePlus One A0001, que es con undido con el Xiaomi Mi3 y el Samsung Galaxy S3, que se con unde m´ınimamen e con el OnePlus One A0001. Apple OnePlus Samsung Galaxy Xiaomi Xpe ia iPhone 6 One A0001 Galaxy S3 Mi3 M2 D2303 Apple iPhone 6 30 0 0 0 0 OnePlus One A0001 0 18 0 12 0 Samsung Galaxy S3 0 1 29 0 0 Xiaomi Mi3 0 0 0 30 0 Xpe ia M2 D2303 0 0 0 0 30 Tabla 6.13: Ma iz de con usi´on del Conjun o 4 con la Red 2 Cap´ı ulo 7 Conclusiones y T abajo Fu u o En es e ´ul imo cap´ı ulo se ecoge ´an las conclusiones a las que se ha llegado despu´es del desa ollo de la p opues a de es e abajo y los nume osos expe imen os lle ados a cabo. A con inuaci´on, ambi´en se de alla ´an posibles abajos u u os que puedan con inua es a l´ınea de in es igaci´on, amplia la y mejo a la. 7.1. Conclusiones Una ez inalizado es e abajo se han ob enido las siguien es conclusiones: En la li e a u a disponible ac ualmen e, hay una escasez muy g ande en la in es igaci´on de la uen e de adquisici´on de los ´ıdeos. Como se ha explicado an e io men e en la in oducci´on, es o es un p oblema muy g ande, ya que el auge de las ´ecnicas que son capaces de manipula los ´ıdeos di icul a en g an medida pode ia se del con enido que p esen an los mismos y de su uen e de p ocedencia. Es e p oblema se es ´a solucionando poco a poco con las im´agenes, pe o no as´ı con los ´ıdeos, que lle an un a ance mucho m´as len o. Como se ha podido e en el cap´ı ulo de Expe imen os y Resul ados, se ha ob enido una p ecisi´on del 89 % en la clasi icaci´on de ´ıdeos seg´un la c´ama a que los g ab´o con la ed neu onal con olucional p opues a en es e abajo. Es os esul ados, a´un es ando po debajo del 90 % y siendo in e io es a la p ecisi´on ob enida abajando con im´agenes, se pueden conside a muy buenos. Al a i ma que son buenos esul ados, se ha enido en cuen a ambi´en que, al habe muy pocas publicaciones que u ilicen una CNN pa a iden i ica la uen e de adquisici´on de un ´ıdeo, es a p ecisi´on ob enida es un esul ado m´as que decen e y acep able pa a a a se de una de las p ime as ap oximaciones que exis en a la iden i icaci´on de la c´ama a uen e de un ´ıdeo con es e ipo de m´e odo pa a clasi icaci´on. Pa a lle a a cabo los expe imen os p esen ados en es e abajo, se ha u ilizado un o denado pe sonal con una RAM de 8GB que, a p io i, pa ec´ıa su icien e. Sin emba go, es necesa io des aca que debido al g an n´ume o de im´agenes u ilizadas y a su g an esoluci´on, p on o se qued´o muy co a, alen izando eno memen e las ejecuciones (llegando a a da en o no a 3h cada una) o incluso lleg´andose a sa u a e impidiendo su ejecuci´on. Es e p oblema ue paliado en pa e con el uso de la he amien a Google Colabo a o y, que cuen a con has a 12GB de memo ia RAM. Sin emba go, a la ho a de ejecu a los expe imen os con el Conjun o 4, se hizo pa en e de nue o la escasez de memo ia, po lo que se sugie e que una mejo a en los ecu sos u ilizados pod ´ıa ep esen a una ejecuci´on m´as ´agil y unos mejo es esul ados. 53 60 Cap´ ı ulo 8. In oduc ion h ee mon hs we e spen on in o ma ion esea ch. I was necessa y o know wha had al eady been done in o de o ad ance and expand he al eady known esul s. Thanks mainly o he subjec s o Compu a ional Geome y and A i icial In elligence, i was possible o s a wi h a small knowledge base on Machine Lea ning, Deep Lea ning and Neu al Ne wo ks, which will be discussed in he nex chap e s. This knowledge was quickly ex ended hanks o he nume ous a icles o scien i ic jou nals, o cong esses and some books on he subjec , all o hem ound bo h in Google Schola and in he lib a ies o he Complu ense Uni e si y o Mad id. I was sea ched mainly o publica ions on Au oma ic Lea ning, Neu al Ne wo ks (especially con olu ional ones), alsi ica ion o images and ideos and iden i ica ion o images and ideos. Many o he wo ks used in he esea ch phase we e ound hanks o he e e ences o o he publica ions al eady s udied. 2. De elopmen : Once he esea ch phase was su icien ly ad anced and all he necessa y knowledge had been acqui ed, he second phase was s a ed, ha o he de elopmen o he p oposal. A his ime i was de e mined wha would be he p oposal ha would p esen his wo k: he de elopmen o a me hod ha allows o iden i y he sou ce o acquisi ion o a ideo om a CNN. A he same ime ha he p oposal was de eloped and codi ied, esea ch was also con inued, al hough o a lesse ex en han in he p e ious phase, only sea ching and consul ing speci ic concep s. In his phase, he selec ion and c ea ion o he se s o images and ideos ha would be used o ain and es he p oposed ne wo k was ca ied ou , and he ne wo k was de eloped, codi ied, es ed and edesigned on nume ous occasions un il he inal design was achie ed. To do his, i was in es iga ed he p og amming language Py hon and i s lib a ies Ke as, Tenso low and Sciki Lea n. 3. Resul s: Finally, in he Resul s phase, i p oceeded o he analysis o all he esul s ha had been ob ained wi h he nume ous es s ca ied ou and he ex ac ion o conclusions om hese esul s. This phase co e ed a ound wo mon hs and was o e lapped a mon h and a hal wi h he p e ious phase, since acco ding o he esul s ob ained, i was necessa y o ca y ou mo e es s o no . 8.6. S u u e o he Wo k The es o he wo k is o ganized in 9 chap e s wi h he s uc u e explained below: Chap e 1 is an in oduc ion o his wo k, which is he ansla ion in spanish o his chap e . Chap e 2 in oduces he basic concep s o Machine Lea ning, Deep Lea ning and Neu al Ne wo ks, which a e essen ial o unde s and he ounda ions o he science on which he o ensic analysis o images and ideos is based. Chap e 3 explains wha is he iden i ica ion o he sou ce o acquisi ion o an image o ideo, wha o ensic echniques exis o i and wha elemen s o he came as a e based o be applied. In his chap e we s a by showing he di e en objec i es pu sued by o ensic analysis: he de e mina ion o whe he a con en is o iginal o no and he iden i ica ion o he sou ce came a. In bo h, a p esen a ion o he me hods and echniques used by all o hem is made. Finally, i is shown in mo e de ail wha cons i u es he iden i ica ion o he sou ce o acquisi ion om a CNN, since i is a main pa o his wo k. Chap e 4 con ains a compila ion o he mos impo an in es iga ions o he iden i ica ion o he sou ce o acquisi ion. In i , i can be ead he achie emen s ob ained by [BBBT16, TCC16] in he iden i ica ion o he sou ce came a o images cap u ed by a 8.6. S u u e o he Wo k 61 adi ional came a DSC and how [FONBCS18] akes hose esul s one s ep u he applying hose same echniques o images ob ained om mobile de ices. Nex , he ad ances o [MG18, YHW12] a e exposed in he ield o ideos, including hose ha ha e been ansmi ed h ough a social ne wo k. Chap e 5 con ains he p oposal o his wo k. I explains in gene al wha his p oposal consis s o and hen de ails he inal ne wo k ha is p oposed. Chap e 6 desc ibes he expe imen s ca ied ou o e alua e he e ec i eness o he con olu ional neu onal ne wo k p oposed in he chap e 5 and p esen s he esul s ob ained. Chap e 7 shows he main conclusions o his wo k and he possible u u e lines o esea ch. Chap e s 8 and 9 a e he English ansla ions o he In oduc ion (Chap e 1) and he Conclusions (Chap e 7). Cap´ı ulo 9 Conclusions and Fu u e Wo k In his las chap e i will be ga he ed he conclusions ha ha e been eached a e he de elopmen o he p oposal o his wo k and he nume ous expe imen s ca ied ou . Then, possible u u e wo ks ha can con inue his line o esea ch, expand i and imp o e i will also be de ailed. 9.1. Conclusions Once his wo k is inished, he ollowing conclusions ha e been eached: In he li e a u e cu en ly a ailable, he e is a e y la ge sho age in he in es iga ion o he sou ce o acquisi ion o he ideos. As explained ea lie in he in oduc ion, his is a e y big p oblem, since he ise o he echniques ha a e capable o manipula ing ideos makes i di icul o ely on he con en s o he ideos and hei sou ce o o igin. This p oblem is being sol ed li le by li le wi h he images, bu no wi h he ideos, which ake a much slowe ad ance. As i can be seen in he Expe imen s and Resul s chap e , an accu acy o 89 % has been ob ained in he classi ica ion o ideos acco ding o he came a ha eco ded hem wi h he con olu ional neu al ne wo k p oposed in his wo k. These esul s, e en being below 90 % and being in e io o he accu acy ob ained wo king wi h images, can be conside ed e y good. When a i ming ha hey a e good esul s, i has also been aken in o accoun ha , since he e a e e y ew publica ions ha use a CNN o iden i y he sou ce o acquisi ion o a ideo, his ob ained p ecision is a mo e han decen and accep able esul as his is one o he i s app oaches o he iden i ica ion o he sou ce came a o a ideo wi h his ype o classi ica ion me hod. To ca y ou he expe imen s p esen ed in his wo k, a pe sonal compu e wi h an 8GB RAM was used, which, a p io i, seemed su icien . Howe e , i is necessa y o highligh ha due o he la ge numbe o images used and i s high esolu ion, i soon became e y sho , slowing down he execu ions eno mously ( eaching a ound 3h each) o e en becoming sa u a ed and p e en ing i s execu ion. This p oblem was mi iga ed in pa wi h he use o he Google Collabo a o y ool, which has up o 12GB o RAM. Howe e , a he ime o execu ing he expe imen s wi h Se 4, he sho age o memo y became pa en again, so i is sugges ed ha an imp o emen in he esou ces used could ep esen a mo e agile execu ion and be e esul s. In his wo k, as explained in p e ious chap e s, a he ime o eeding he ne wo k, all he images a e i s di ided in o smalle a eas o pa ches. This is so, o wo easons: he impossibili y o execu ing he code wi h he images in hei o iginal esolu ion due o lack o memo y, and he sugges ions o [FONBCS18, BLG+17] o di ide he images. We 63 64 Cap´ ı ulo 9. Conclusions and Fu u e Wo k wan o poin ou ha , con a y o wha [FONBCS18] sugges s, he bes esul s ha e been ob ained by di iding each image in o pieces o 64x64 pixels, no 32x32 as hey sugges . In addi ion, i has been necessa y o aise he numbe o pa ches by 32 pic u es p oposed [BLG+17] o 256, ob aining he bes accu acy wi h his igu e. The algo i hm p esen ed in his pape is designed in such a way ha i p esen s g ea e sa ili y, allowing i o pe o m a couple o ex a asks ha a e a li le di e en om he o iginal one: Fi s , i s s uc u e allows i o be able o analyze he sou ce o image acquisi ion in addi ion o hose o he ideos. Fo ha , i would be enough o commen on he code he pa o he algo i hm which is des ined o he ames ex ac ion and he inal pa in which he class o each ideo is disco e ed om he ames. I should also be ensu ed ha he olde whe e he pho og aphs o be analyzed a e loca ed has he same s uc u e as he o iginal olde FRAMES. Secondly, he algo i hm allows o analyze he p ecision o a p e iously ained and gene a ed model, wi hou he need o use he CNN p oposed in he code and in his wo k. 9.2. Fu u e Wo k As possible u u e wo ks ollowing his in es iga ion line, he e a e p oposed he ollowing ones: Compa ison o his wo k wi h a SVM. A s udy on he iden i ica ion o he ideo acquisi ion sou ce using a SVM is p oposed as a logical con inua ion o his wo k. I is hough ha i may be a good idea o de elop a SVM capable o iden i ying he came a ha eco ded a ce ain ideo om i s ames, jus as i has been done he e, in o de o be able o compa e he esul s ob ained wi h one and ano he classi ica ion me hod. This would allow o see which o he wo ob ains a highe p ecision, i i is possible o imp o e i s execu ion ime o i i could be ca ied ou wi h less demanding esou ces han he con olu ional neu al ne wo k needs. The esul s ha we e h own om he e could de e mine which is he mos sui able me hod o classi y ideos, and hus acili a e he inc ease o s udies and esul s in his ega d, since i is a ield li le s udied. Use o a SHAP o LIME ype sys em. Being able o explain a model is a p io i y nowadays o he scien i ic communi y, since i would a oid model biases and allow decision-make s o unde s and how he CNN wo k o use hem in he bes possible way. SHAP and LIME a e wo lib a ies o he p og amming language Py hon whose objec i e is o y o explain he model o a CNN. SHAP is esponsible o conside ing all possible p edic ions o an ins ance om all i s possible inpu alues, and hanks o his comp ehensi e app oach, i can gua an ee p ope ies such as consis ency and local p ecision. LIME cons uc s sca e ed linea models o each p edic ion o explain i s ope a ion. The inco po a ion o hese lib a ies o his wo k could p o ide in e es ing and use ul in o ma ion in o de o imp o e he esul s p esen ed and inc ease he accu acy al eady ob ained. Inco po a ion o he audio o he ideo. In his wo k, o iden i y he sou ce o acquisi ion o a ideo, only he in o ma ion con ained in i s ames, p e iously ex ac ed, is used. This means wo hings: Fi s ly, i means ha all he in o ma ion ha he audio can con ain is los . When he audio is disca ded, i is no aken in o accoun i i p o ides aluable in o ma ion 9.2. Fu u e Wo k 65 ha can help o imp o e he classi ica ion o he ideo o , con e sely, i may ha m ha classi ica ion. The inco po a ion o audio in o he classi ica ion is p oposed as u u e wo k, and he compa ison o hese esul s wi h hose p esen ed he e. The second meaning is ha i may be ha in a ideo he only elemen ha is alsi ied is i s audio. I his is he case, he s udy o i s sou ce o acquisi ion h ough only he ames is useless, since i will no de ec any modi ica ion. I is he e o e necessa y o de elop an addi ional s udy in which he sou ce o he ideo’s acquisi ion is e alua ed om i s audio, o added o his in o ma ion. In his way, he wo k will be complemen ed and i is possible ha he e o a e o his wo k will be educed. Bibliog a ´ıa [ABHAN+19] H. Al Banna, A. Haide , J. Al Nahian, M. Islam, K.A. Tahe , and S. Kaise . Came a Model Iden i ica ion using Deep CNN and T ans e Lea ning App oach. In P oceedings o he In e na ional Con e ence on Robo ics, Elec ical and Signal P ocessing Techniques (ICREST), Dhaka, Bangladesh, Janua y 2019. [Agg18] C.C. Agga wal. Neu al Ne wo ks and Deep Lea ning. Sp inge , 2018. [BBBT16] L. Ba o io, L. Bondi, P. Bes agini, and S. Tuba o. Came a Iden i ica ion wi h Deep Con olu ional Ne wo ks. CoRR, Ma ch 2016. [BFM+12] P. Bes agini, M. Fon ani, S. Milani, M. Ba ni, A. Pi a, M. Tagliasacchi, and S. Tuba o. An O e iew on Video Fo ensics. APSIPA T ansac ions on Signal and In o ma ion P ocessing, 1:1229–1233, Augus 2012. [BLG+17] L. Bondi, S. Lame i, D. G¨ue a, P. Bes agini, E.J. Delp, and S. Tuba o. Tampe ing de ec ion and localiza ion h ough clus e ing o came a-based CNN ea u es. In P oceedings o he IEEE Con e ence on Compu e Vision and Pa e n Recogni ion Wo kshops (CVPRW), Honolulu, HI, USA, July 2017. [BM13] G.K. Bi ajda and V.H. Manka . Digi al Image Fo ge y De ec ion Using Passi e Techniques: A Su ey. ELSEVIER Digi al In es iga ion, 10(3):226–245, Oc obe 2013. [Buc05] B.G. Buchanan. A (Ve y) B ie His o y o A i icial In elligence. AI Magazine, 26(4):53–60, Decembe 2005. [CFGL08] M. Chen, J. F id ich, M. Goljan, and J. Lukas. De e mining Image O igin and In eg i y Using Senso Noise. IEEE T ansac ions on In o ma ion Fo ensics and Secu i y, 3(1):74–90, Ma ch 2008. [CLW06] K.S. Choi, E.Y. Lam, and K.K.Y. Wong. Au oma ic Sou ce Came a Iden i ica ion Using he In insic Lens Radial Dis o ion. Op ics Exp ess, 14(24):11551–11565, No embe 2006. [CPN+17] G. Ca aneo, U.F. Pe illo, M. Nappi, F. Na ducci, and G. Roscigno. An E icien Implemen a ion o he Algo i hm by Lukas e al. on Hadoop. In P oceedings o he 12 h In e na ional Con e ence on G een, Pe asi e, and Cloud Compu ing, pages 475–489, Ce a a, I aly, Ap il 2017. [CR10] H.R. Chennamma and L. Ranga ajan. Sou ce Came a Iden i ica ion Based on Senso Readou Noise. In e na ional Jou nal o Digi al C ime and Fo ensics (IJDCF), 2(3):28–42, Sep embe 2010. [CSA+18] D. Coombes, J. Sha p, G. Allix, J. S i up, and A. Moll. Mic oso O icial Cou se, 20774A Pe o m Cloud Da a Science wi h Azu e Machine Lea ning. Mic oso , Oc obe 2018. [FFG08] T. Fille , J. F id ich, and M. Goljan. Using Senso Pa e n Noise o Came a Model Iden i ica ion. In P oceedings o he 2008 15 h IEEE In e na ional Con e ence on Image P ocessing, San Diego, CA, USA, Oc obe 2008. 67 68 BIBLIOGRAF´ IA [FONBCS18] D. F ei e-Ob eg´on, F. Na ducci, S. Ba a, and M. Cas ill´on-San ana. Deep Lea ning o Sou ce Came a Iden i ica ion on Mobile De ices. Pa e n Recogni ion Le e s, Janua y 2018. [GB11] T. Gloe and R. B¨ohme. The ’D esden Image Da abase’ o Benchma king Digi al Image Fo ensics. Jou nal o Digi al Fo ensic P ac ice, 3(2–4):150–159, Feb ua y 2011. [GKWB07] T. Gloe, M. Ki chne , A. Winkle , and R. Bohme. Can We T us Digi al Image Fo ensics? In P oceedings o he 15 h In e na ional Con e ence on Mul imedia, pages 78–86, Augsbu g, Ge many, Sep embe 2007. [GZY+18] D. G¨ue a, F. Zhu, S.K. Ya lagadda, S. Tuba o, P. Bes agini, and E.J. Delp. Reliabili y Map Es ima ion o CNN-Based Came a Model A ibu ion. In P oceedings o he 2018 IEEE Win e Con e ence on Applica ions o Compu e Vision (WACV), Lake Tahoe, NV, USA, Ma ch 2018. [JM15] M.I. Jo dan and T.M. Mi chell. Machine Lea ning: T ends, Pe spec i es and P ospec s. Science, 349(6245):255–260, July 2015. [JMM96] A.K. Jain, J. Mao, and K.M. Mohiuddin. A i icial Neu al Ne wo ks: a Tu o ial. Compu e , 29(3):31–44, Ma ch 1996. [KAS17] S. King a, N. Agga wal, and R.D. Singh. Video In e - ame Fo ge y De ec ion App oach o Su eillance and Mobile Reco ded Videos. In e na ional Jou nal o Elec ical and Compu e Enginee ing (IJECE), 7(2):831–841, Ap il 2017. [KG15] M. Ki chne and T. Gloe. Handbook o Digi al Fo ensics o Mul imedia Da a and De ices. John Wiley Sons, L d., July 2015. [KSH12] A. K izhe sky, I. Su ske e , and G.E. Hin on. ImageNe Classi ica ion wi h Deep Con olu ional Neu al Ne wo ks. In P oceedings o he 25 h In e na ional Con e ence on Neu al In o ma ion P ocessing Sys ems, pages 1097–1105, Lake Tahoe, NV, USA, Decembe 2012. [KSM04] M. Kha azi, H.T. Senca , and N. Memon. Blind Sou ce Came a Iden i ica ion. In P oceedings o he 2004 In e na ional Con e ence on Image P ocessing, 2004. ICIP ’04., pages 709–712, Singapo e, Singapo e, Oc obe 2004. [Kub17] M. Kuba . An In oduc ion o Machine Lea ning. Sp inge , 2017. [LBH15] Y. LeCun, Y Bengio, and G. Hin on. Deep Lea ning. Na u e, 521:436–444, May 2015. [LFG06] J. Lukas, J. F id ich, and M. Goljan. Digi al Came a Iden i ica ion om Senso Pa e n Noise. IEEE T ansac ions on In o ma ion Fo ensics and Secu i y, 1(2):205–214, June 2006. [Li10] C.T. Li. Sou ce Came a Iden i ica ion Using Enhanced Senso Pa e n Noise. IEEE T ansac ions on In o ma ion Fo ensics and Secu i y, 5(2):280–287, June 2010. [LWY15] B. Liu, X. Wei, and J. Yan. Enhancing Senso Pa e n Noise o Sou ce Came a Iden i ica ion: An Empi ical E alua ion. In P oceedings o he 3 d ACM Wo kshop on In o ma ion Hiding and Mul imedia Secu i y, pages 85–90, Po land, OR, USA, June 2015. [MA13] M. Mish a and M.C. Adhika . Digi al Image Tampe De ec ion Techniques - A Comp ehensi e S udy. In e na ional Jou nal o Compu e Science and Business In o ma ics, 2(1):1–12, June 2013. [MAU15] K. Mush aque, K. Ahsan, and A. Ume . Digi al Fo ensic In es iga ion Models: an E olu ion S udy. JISTEM - Jou nal o In o ma ion Sys ems and Technology Managemen , 12(2), Augus 2015. BIBLIOGRAF´ IA 69 [McC04] P. McCo duck. Machines Who Think - A Pe sonal Inqui y in o he His o y and P ospec s o A i icial In elligence. CRC P ess, Ma ch 2004. [MG18] C. Meij and Z. Ge ad s. Sou ce Came a Iden i ica ion Using Pho o Response Non-Uni o mi y on Wha sApp. ELSEVIER Digi al In es iga ion, 24:142–154, Ma ch 2018. [RM15] S. Rachska and V. Mi jalili. Py hon Machine Lea ning. Machine Lea ning and Deep Lea ning wi h Py hon, sciki -lea n and Tenso Flow. Pck Publishing L d., Sep embe 2015. [RTD11] J.A. Redi, W. Tak ak, and J.L. Dugelay. Digi al Image Fo ensics: a Bookle o Beginne s. Mul imedia Tools and Applica ions, 51(1):133–162, Janua y 2011. [SAR+13] A.L. Sando al, D.M. A enas, J. Rosales, L.J. Ga cia, and J.C. He nandez-Cas o. Techniques o Sou ce Came a Iden i ica ion. In P oceedings o he 6 h In e na ional Con e ence on In o ma ion Technology, pages 1–9, Dubai, Uni ed A ab Emi a es, May 2013. [SM08] H.T. Senca and N. Memon. O e iew o S a e-o - he-A in Digi al Image Fo ensics. Algo i hms, A chi ec u es and In o ma ion Sys ems Secu i y, pages 1325–347, No embe 2008. [SXD09] Y. Su, J. Xu, and B. Dong. A Sou ce Video Iden i ica ion Algo i hm Based on Mo ion Vec o s. In P oceedings o he Second In e na ional Wo kshop on Compu e Science and Enginee ing, pages 312–316, Qingdao, China, Oc obe 2009. [TCC16] A. Tuama, F. Comby, and M. Chaumon . Came a Model Iden i ica ion wi h he Use o Deep Con olu ional Neu al Ne wo ks. In P oceedings o he 2016 IEEE In e na ional Wo kshop on In o ma ion Fo ensics and Secu i y (WIFS), Abu Dhabi, Uni ed A ab Emi a es, Decembe 2016. [TNC10] V. L. L. Thing, K. Y. Ng, and E. C. Chang. Li e Memo y Fo ensics o Mobile Phones. Digi al In es iga ion, 7:74–82, Augus 2010. [VLCEK07] T. Van Lanh, K. S. Chong, S. Emmanuel, and M. S. Kankanhalli. A Su ey on Digi al Came a Image Fo ensic Me hods. In P oceedings o he IEEE In e na ional Con e ence on Mul imedia and Expo, pages 16–19, Beijing,China, July 2007. [YHW12] S. Yahaya, A.T.S. Ho, and A.A. Wahab. Ad anced Video Came a Iden i ica ion Using Condi ional P obabili y Fea u es. In P oceedings o he IET Con e ence on Image P ocessing, pages 1–5, London, Uni ed Kingdom, July 2012. [YNZZ19] P. Yang, R. Ni, Y. Zhao, and W. Zhao. Sou ce Came a Iden i ica ion Based on Con en -Adap i e Fusion Residual Ne wo ks. ELSEVIER Pa e n Recogni ion Le e s, 119:195–204, Ma ch 2019. [ZZC+17] K. Zhang, W. Zuo, Y. Chen, L. Zhang, and D. Meng. Beyond a Gaussian Denoise : Residual Lea ning o Deep CNN o Image Denoising. IEEE T ansac ions on Image P ocessing, 26(7):3142–3155, July 2017.