UNIVERSIDAD DE LAS PALMAS DE GRAN CANARIA
Más e O icial en Sis emas In eligen es y Aplicaciones Numé icas en
Ingenie ía
T abajo Final de Más e
P o o ipo uncional de aplicación mó il pa a la mejo a
de la accesibilidad de con enidos audio isuales pa a
pe sonas so das o ciegas
Ma cos Jesús San ana Quin ana
Tu o : Caye ano Gue a A al
Diciemb e del 2014
1
Ag adecimien os
An e odo ag adece el apoyo ecibido po mi amilia. Nadie mejo que ellos saben la
dedicación y el es ue zo que me ha supues o es e abajo inal de ca e a. Su apoyo ha
sido i al pa a que hoy pueda p esen a es e abajo in de más e y con él, e mina mis
es udios uni e si a ios.
Quie o exp esa mi más since o ag adecimien o al D . Don Caye ano Gue a A al po
su ayuda incondicional, su colabo ación y su es imado apoyo.
Po úl imo, no puedo ol ida me de mis compañe os: Diego Nie o, Daniel Teje a,
Imanol Pé ez y Mahy Quin ana. Sin ellos no hab ía sido lo mismo es e camino
eco ido. Va po odos ellos.
2
Resumen
En la ac ualidad las pe sonas con de iciencias audi i as o isuales no ienen acceso a
las adap aciones (sub i ulado y audiodesc ipción) de con enidos audio isuales de
o ma habi ual, sal o po los cauces adicionales como DVD Home, canales de TV con
esa ca ac e ís ica, e c., y aun así oda ía hay mucho po hace . Incluso hoy día,
median e DVD Home, Blu- ay Home o la isualización de con enidos po In e ne de
las adap aciones de con enidos, son di íciles de encon a .
Las posibilidades pa a accede al cine, la ele isión, ea o o cualquie e en o en di ec o
pa a pe sonas con discapacidad son educidas, ya que no se suele acili a ese con enido
adicional y además cada colec i o iene unas necesidades conc e as:
Las pe sonas so das pueden accede po medio del sub i ulado pa a so dos y/o la
lengua de signos.
Pa a las pe sonas ciegas las posibilidades con las que se cuen an son las
audiodesc ipciones pa a ciegos y el sis ema B aile pa a la lec u a de algún
con enido.
Es e abajo in de más e a a de modela un p oduc o que signi ica á una g an libe ad
de acceso de las pe sonas con discapacidades senso iales. La idea consis e en desa olla
una aplicación pa a Sma phone o Table pa a que es e colec i o pueda accede al
sub i ulado o audiodesc ipción de cualquie película, pudiendo dis u a así de dicho
con enido que se p oyec e en el cine, en su casa, o donde sea, siendo o almen e
sinc onizado con lo que se p oyec e. Como cabe espe a , es os ecu sos se mos a án de
o ma o almen e au omá ica y sinc onizada. G acias a es a aplicación, es e colec i o
se á capaz de accede a ídeos, documen ales o a cualquie película que se ep oduzca
en el luga que sea, simplemen e con la ayuda de un elé ono in eligen e.
3
Índice de Con enidos
1. In oducción ......................................................................................................................... 7
1.1 Obje i os ...................................................................................................................... 7
1.2 Es ado del a e ............................................................................................................. 7
1.3 P eámbulo .................................................................................................................. 10
2. P o o ipo de aplicación ..................................................................................................... 15
2.1 Análisis del p oyec o ................................................................................................. 17
2.2 Desa ollo ................................................................................................................... 21
2.3 Resul ados ob enidos ................................................................................................. 36
2.4 O as p uebas ealizadas .......................................................................................... 45
3. Conclusiones y línea de abajos u u os ......................................................................... 49
3.1 Conclusiones .............................................................................................................. 49
3.2 Línea de abajos u u os ......................................................................................... 49
4. Bibliog a ía ........................................................................................................................ 51
Anexo .......................................................................................................................................... 52
4
Índice de Figu as
Figu a 1. Ga as Epson Mo e io BT-100. ...................................................................................... 9
Figu a 2. Ilus ación del uso de ga as con AppCine. ..................................................................... 9
Figu a 3. Rep esen ación de una onda. ....................................................................................... 10
Figu a 4. Señal cuad ada gene ada a pa i de senos y cosenos. ................................................. 11
Figu a 5. Señal descompues a po señales de di e en es ecuencias. ......................................... 12
Figu a 6. Rep esen ación idimensional de la descomposición ecuencial de una señal. ......... 12
Figu a 7. Disc e ización de una señal con inua. .......................................................................... 13
Figu a 8. P o o ipo de aplicación. ............................................................................................... 15
Figu a 9. Ejemplo del uncionamien o de la aplicación. ............................................................. 16
Figu a 10. Rep esen ación de las mues as de dos audios. .......................................................... 17
Figu a 11. Rep esen ación ecuencial de dos audios. ................................................................ 18
Figu a 12. Rep esen ación mues al y ecuencial de la suma de dos audios. ............................. 18
Figu a 13. Rep esen ación mues al y ecuencial de un sonido g abado. .................................. 19
Figu a 14. Rep esen ación mues al y ecuencial de o o sonido g abado. ................................ 19
Figu a 15. Rep esen ación mues a y ecuencial de la suma de ambos sonidos. ....................... 20
Figu a 16. Rep esen ación mues a y ecuencial de un audio en o o ins an e de iempo. ........ 20
Figu a 17. Rep esen ación del “P ep ocesado” ........................................................................... 22
Figu a 18. Rep esen ación de los di e en es p ocesos que con i en en la aplicación. ............... 23
Figu a 19. Rep esen ación del espacio mues al de es agmen os de un audio. ...................... 24
Figu a 20. Rep esen ación mues al del solape de un agmen o con los adyacen es. ................ 25
Figu a 21. Rep esen ación de la unción de Hanning. ................................................................ 26
Figu a 22. Rep esen ación de un agmen o de audio as a ios pasos aplicados. ..................... 27
Figu a 23. Rep esen ación ecuencial del agmen o inicial. ..................................................... 28
Figu a 24. Rep esen ación ecuencial de un agmen o con solape. .......................................... 28
Figu a 25. Rep esen ación ecuencial de un agmen o as el il o de Hanning. ..................... 29
Figu a 26. Picos de ec ados en la ep esen ación ecuencial an e io . ....................................... 30
Figu a 27. F agmen os ecuenciales de p ueba. ......................................................................... 31
Figu a 28. Mues as de un audio de p ueba y una g abación de p ueba. .................................... 32
Figu a 29. F ecuencias de un audio de p ueba y una g abación de p ueba. ................................ 32
Figu a 30. Co espondencia en la p ime a i e ación del algo i mo de ma ching. ....................... 33
Figu a 31. Co espondencia en la segunda i e ación del algo i mo de ma ching. ....................... 33
Figu a 32. Flujog ama de algo i mo de con ol de la salida de in o mación. ............................. 35
Figu a 33. Ejemplo de uncionamien o de la in e az de la aplicación. ...................................... 36
Figu a 34. Resul ados ob enidos con la e sión o iginal del p og ama. ..................................... 37
Figu a 35. Compa a i a de esul ados con con igu aciones del po cen aje de solape. ............... 40
Figu a 36. Compa a i a de esul ados con con igu aciones del amaño de los in e alos. ......... 41
Figu a 37. Compa a i a de esul ados con con igu aciones de la en ana de ecuencial. ......... 42
Figu a 38. Compa a i a de esul ados con con igu aciones del iempo de g abación. ............... 43
Figu a 39. Compa a i a de esul ados con algo i mos con compa aciones di e en es. ............... 46
Figu a 40. Ejemplo de cómo lanza el algo i mo de p ocesado. ................................................. 53
Figu a 41. Ejemplo de la in e az del algo i mo una ez lanzado. .............................................. 54
5
Índice de Tablas
Tabla 1. Dis ibución de las g á icas de esul ados en elación a los casos de p ueba. ............... 37
Tabla 2. Tabla de pa áme os po de ec o del algo i mo o iginal. .............................................. 39
Tabla 3. Tabla inal de esul ados ob enidos con di e en es con igu aciones. ............................ 44
Tabla 4. Tabla inal de esul ados con algo i mos con compa aciones di e en es. ..................... 47
6
Índice de Ecuaciones
Ecuación 1. Se ies de Fou ie . ..................................................................................................... 11
Ecuación 2. T ans o mada de Fou ie . ........................................................................................ 13
Ecuación 3. T ans o mada disc e a de Fou ie . ........................................................................... 14
Ecuación 4. Exp esión del cálculo de simili ud en e agmen os. .............................................. 31
Ecuación 5. Co elación en el algo i mo de búsqueda po co espondencia. .............................. 34
Ecuación 6. Exp esión del nue o cálculo de simili ud en e agmen os. ................................... 45
Ecuación 7. Ecuación de la des iación ípica. ............................................................................. 47
7
1. In oducción
A con inuación se comen a án cuáles son los obje i os de es e abajo in de más e ,
cuáles son los p oduc os que ac ualmen e se encuen an en el me cado que cub en
necesidades pa ecidas a las que a a de abo da en es e documen o y po úl imo, se ha á
un b e e epaso sob e concep os básicos sob e los que se ha á mención en capí ulos
pos e io es.
1.1 Obje i os
El obje i o p incipal de es e abajo in de más e es la de desa olla un p o o ipo
uncional de aplicación mó il pa a que pe sonas so das o ciegas puedan dis u a de
con enido audio isual en cualquie luga con la ayuda de su elé ono mó il.
Po o o lado, el obje i o a medio-la go plazo es la de desa olla la aplicación mó il
pa a dis in as pla a o mas, siemp e y cuando el p o o ipo que se p e ende implemen a
en es e abajo uncione de o ma adecuada.
1.2 Es ado del a e
Den o de las opciones que podemos encon a en el me cado de aplicaciones mó iles
que o ecen acilidades a pe sonas con de iciencias audi i as o isuales pa a hace
accesible cualquie con enido e in o mación con ellas, hay di e en es ipos.
Po un lado, pa a pe sonas con de iciencias isuales podemos encon a aplicaciones
que asladan los con enidos desde el elé ono mó il al usua io po medio del sonido o
del ac o, median e un disposi i o de b aile conec ado po Blue oo h al Sma phone. En
es e sen ido se pueden encon a aplicaciones como:
B ailleBack
TalkBack
Mobile Accesibili y
Po o o lado, pa a las pe sonas con de iciencias audi i as se puede encon a g an
can idad de aplicaciones y de dis in a inalidad. Pa a aquellas pe sonas con di icul ades
audi i as pe o no llegan a se so das comple amen e, se puede encon a aplicaciones
des inadas a ampli ica la señal de audio que cap an los disposi i os desde los
mic ó onos y ep oduci lo po los au icula es. De es e ipo de aplicaciones podemos
encon a :
Loude TV
Play I Down
Tap Tap
También exis en aplicaciones mó iles que a an de hace de aduc o es a pa i del
sonido hablado al lenguaje esc i o (pa a pe sonas con p oblemas de audición) o lenguaje
de signos (pa a pe sonas so das). En es e sen ido podemos encon a :
ASL Dic iona y
D agon Dic a ion
8
iASL
Sin emba go, pocas son las aplicaciones que a an de ace ca el con enido audio isual,
como son películas, documen ales, e c. a es os colec i os. En es e nicho de me cado es
donde se p e ende indaga un poco con es e abajo in de más e .
Sin emba go, es e me cado no es á comple amen e inexplo ado, ya que hay p oduc os
que o ecen es e ipo de se icios, ales como AYNA, AUDESCMOBILE, AppCine.
AYNA y AUDESCMOBILE son aplicaciones de emisión de adap aciones de
con enidos audio isuales pa a de icien es senso iales y pe sonas con dé ici de a ención,
en sopo es: Sma phone y Table (sub i ulado pa a so dos y audiodesc ipciones pa a
ciegos) aplicable en salas de cine, ideo home, con enidos de ele isión, e c.
Ambas aplicaciones mó iles sinc onizan la emisión de con enidos en cualquie
momen o de la ep oducción de con enidos audio isuales con con enidos adap ados
(sub í ulos y/o audiodesc ipciones) con sólo cap a unos segundos de audio. Los
con enidos disponibles son o almen e accesibles, y se pueden consulados desde la
p opia aplicación.
Tan o AYNA como AUDESCMOBILE son p oyec os de aplicaciones ya publicados
en los p incipales se icios de dis ibución de aplicaciones de las g andes pla a o mas
mó iles. Ac ualmen e ambas aplicaciones publicadas pa ecen se p o o ipos uncionales
con las ca ac e ís icas comen adas an e io men e. Pa ecen se p o o ipos ya que as
p oba sendas aplicaciones y no ecibi con i mación alguna po pa e de los
desa ollado es de cuál es el es ado ac ual en el que se encuen an dichas aplicaciones,
se ha llegado esa conclusión.
Po o o lado se encuen a AppCine, que es una aplicación mó il simila a las
aplicaciones comen adas an e io men e, con la di e encia de que a a de ace ca la
expe iencia del cine a pe sonas con discapacidad. A pa e de la ca ac e ís ica de que es
una aplicación pa a usa solamen e en cines adap ados, o ece con enido adap ado al
lenguaje de signos.
En el caso de AYNA y AUDESCMOBILE, el con enido audio isual es o almen e
accesible desde la app desde cualquie luga . A di e encia de es as aplicaciones,
AppCine pe mi e el acceso a los con enidos solamen e desde la ed WiFi del p opio
cine.
15
2. P o o ipo de aplicación
El p opósi o inal de es e abajo es desa olla una aplicación mó il que acili e el
acceso de con enido mul imedia en o ma o an o sub i ulado como audiodesc ip i o.
De es e modo los colec i os de pe sonas so das o ciegas pod án hace uso del mismo
desde cualquie luga y en cualquie momen o pa a dis u a de una película,
documen al, e c. median e su elé ono mó il.
Tal y como se mues a en la Figu a 8, la in ención es la de acili a la desca ga de es e
ipo de con enido, indexado y publicado en una lis a accesible median e dicha
aplicación. La desca ga de es e con enido no supone la desca ga del con enido isual
sino de los sub í ulos o audiodesc ipción e in o mación ela i a al audio de la p opia
película, documen al, o cualquie o o con enido.
Figu a 8. P o o ipo de aplicación.
De es e modo, una ez desca gado el con enido podemos hace uso de él median e el
lanzamien o de la p opia aplicación, que se enca ga á de sinc oniza los sonidos
ob enidos desde el mic ó ono del disposi i o con el audio que se encuen a con enido en
la in o mación desca gada. De es e modo, la aplicación de ec a á en qué momen o
exac o nos encon amos de la película y así és a mos a á los sub í ulos o ep oduci á la
audiodesc ipción co espondien e a esa escena.
16
Figu a 9. Ejemplo del uncionamien o de la aplicación.
En la Figu a 9 se mues a un ejemplo ilus a i o de cómo unciona ía la aplicación inal,
donde una ez de ec ada la escena ac ual de la película que se es á isualizando (Pea l
Ha bo en el ejemplo de la Figu a 9), se mues an los sub í ulos (en el caso de pe sonas
so das) aco de a ese ins an e conc e o.
Una ez explicado el uncionamien o de la aplicación, se ha de comen a que lo más
complejo que plan ea dicho uncionamien o es la de ección del ins an e en el que se
encuen a la película en el momen o en el que el usua io lanza la aplicación. Po al
mo i o, es e abajo in de más e gi a en o no al desa ollo de un p o o ipo uncional
de la aplicación en el que se demues e que es posible es e compo amien o median e el
es udio ecuencial de las señales de audio.
En esencia se p e ende es udia la señal de audio de la película o iginal, de ec ando
ca ac e ís icas ecuenciales en cada ins an e de iempo y almacenando es a in o mación
jun o con la in o mación ela i a a los sub í ulos y/o audiodesc ipciones en un iche o
con un o ma o de e minado.
Es e iche o, ya p ep ocesado, se á el que se use de e e encia pa a busca las
co espondencias en e la in o mación que almacena y la in o mación cap ada desde un
mic ó ono. Como se comen a á en la siguien e sección, la in o mación cap ada desde
mic ó ono es á muy condicionada a uido y al e aciones. Es e hecho hace in iable
17
ealiza un algo i mo de búsqueda po co espondencia sin p e io paso de ambas señales
po il ados y p ocesamien o de la p opia señal.
2.1 Análisis del p oyec o
La aplicación que se p e ende modela en es e abajo in de más e a a de de e mina
en qué minu o y segundo exac o se encuen a la película que el usua io es á
isualizando pa a mos a los sub í ulos co espondien es a la escena ac ual (sub í ulos
en el caso de pe sonas so das). Pa a ello es necesa io disc imina de algún modo el
sonido co espondien e a cada ins an e de iempo de la película.
Es e disc iminan e se á las ecuencias, ya que esul a más ápida, iable y obus a la
espues a en una búsqueda po ecuencias de un de e minado ins an e de iempo.
Cuando se dispone de una señal de audio a una de e minada ampli ud y se le aplica la
FFT (T ans o mada Rápida de Fou ie ) pa a ob ene las ecuencias dominan es,
obse amos que pa a la misma señal de audio con una ampli ud dis in a (con una
in ensidad de sonido mayo o meno ), al aplica le la FFT, el esul ado es muy pa ecido.
Po o o lado, en muchas ocasiones, un mic ó ono al cap u a un audio, ac úa como un
ecualizado . Un ecualizado es un disposi i o que modi ica la in ensidad del con enido
ecuencial de la señal que p ocesa; es deci , que el mic ó ono ya sea po la p opia
ecnología o po la ealimen ación del disposi i o disminuye la ampli ud de las
ecuencias al as. Po lo an o la señal que se ob iene a pa i de la señal o iginal end á
con más o menos uido en unción de la calidad del mic ó ono con el que se cap a el
sonido.
Po ejemplo, supongamos que gene amos con la ayuda de un edi o de audio una señal
de sonido de 440 Hz de ecuencia y o a señal con una ecuencia 6 eces supe io
(6.600 Hz). En la Figu a 10 se mues an ambas señales con una ecuencia de mues eo
de 44.1 kHz.
Figu a 10. Rep esen ación de las mues as de dos audios.
En la Figu a 10 se mues an 102 mues as de cada señal. Si se ha mues eado la señal a
44.1 kHz, es o quie e deci que se es án isualizando las mues as de un in e alo de 2.3
milisegundos de ambas señales.
18
Un de alle a ene en cuen a en la Figu a 10 es que las señales es án no malizadas en e
los alo es 1 y -1, y la ampli ud de las señales iene el máximo alo en cada pe íodo.
Po o o lado se mues a en la Figu a 11 ambas señales ep esen adas en el espacio
ecuencial. Nó ese que solamen e se mues an las componen es posi i as de las
ecuencias, pa a acili a cualquie a amien o y p ocesado.
Figu a 11. Rep esen ación ecuencial de dos audios.
Vemos en la Figu a 11 como hay sendos picos en las ep esen aciones ecuenciales de
las señales, donde cada pico co esponde con la ecuencia con la que se han gene ado
ambas señales (440 y 6.600 Hz, espec i amen e).
Si decidié amos gene a una señal de sonido sumando las dos señales an e io es
ob end íamos una señal como la que se mues a en la Figu a 12.
Figu a 12. Rep esen ación empo al y ecuencial de la suma de dos audios.
Se puede obse a en la Figu a 12 la ep esen ación empo al y la ep esen ación
ecuencial de una señal de sonido gene ada a pa i de la suma de las dos señales
an e io es. Se puede obse a en la ep esen ación ecuencial como aho a enemos dos
picos de ecuencias si uadas en 440 y 6.600 Hz. Po o o lado emos que la
ep esen ación empo al de la señal, en el la e al izquie do de la Figu a 12, no iene
pa ece alguno con las ep esen aciones empo ales de la Figu a 10.
19
Si en luga de ep esen a las señales o iginales, se mues an las mismas señales
ob enidas a a és de un mic ó ono mien as se ep oducen po un al a oz,
ob end íamos algo como lo que se mues an en la Figu a 13 y Figu a 14.
Figu a 13. Rep esen ación empo al y ecuencial de un sonido g abado.
Figu a 14. Rep esen ación empo al y ecuencial de o o sonido g abado.
Se puede obse a en la Figu a 13 como la señal empo al se e lige amen e a ec ada en
compa ación con la señal empo al o iginal. Sin emba go, esas pequeñas de o maciones
gene an una se ie de pe u baciones en la ep esen ación ecuencial de la misma,
añadiendo uido a la ep esen ación ecuencial.
Po o o lado, en la Figu a 14 se obse a como la señal empo al no pa ece an
de o mada (ya que la ecuencia de mues eo no nos pe mi e ob ene más de alles de la
señal), pe o sí se puede obse a como la ampli ud de la señal es menos de la mi ad de
la ampli ud de la señal o iginal. Es o es debido a lo que se comen ó en an e io men e, y
es que en ocasiones el mic ó ono ac úa como ecualizado (dependiendo de la calidad del
disposi i o con el que se g abe). En es e caso, obse amos que pa a ecuencias al as
(6.600 Hz) la ampli ud de la onda empo al se e a ec ada. Es e p oblema se aslada a
la ep esen ación ecuencial de la p opia señal, pudiéndose obse a que, a pesa de que
se ha añadido uido hay un pico dominan e en la señal, pe o la ampli ud de es e pico es
meno que el del pico de la ep esen ación ecuencial o iginal.
O o ejemplo en el que se puede isualiza pe ec amen e el compo amien o del
mic ó ono an e sonidos de ecuencias al as lo encon amos en la Figu a 15, que
co esponde con la señal que se mos ó en la Figu a 12 pe o g abada desde mic ó ono.
20
Figu a 15. Rep esen ación mues a y ecuencial de la suma de ambos sonidos.
En la ep esen ación empo al de la señal de la Figu a 15 no se en de o maciones
des acables en compa ación con la ep esen ación empo al de la señal o iginal (Figu a
12). Lo más des acable es la ampli ud de las pequeñas oscilaciones den o de la p opia
onda. Sin emba go, en la ep esen ación ecuencial de la señal g abada obse amos que
apa e del uido in oducido po el mic ó ono emos que la ampli ud de los picos de
ecuencia de 440 Hz y 6.600 Hz no son iguales. Teniendo en cuen a que la señal de
audio o iginal es una señal gene ada a pa i de la suma de dos señales (suma ponde ada
de señales con ambos pesos iguales a 1) con ecuencias di e en es pe o de ampli ud
simila , al e aho a que la ampli ud de las ecuencias del audio cap u ado po el
mic ó ono no son iguales podemos in ui que es e gazapo es debido al disposi i o de
cap u a ac úa como un ecualizado .
Finalmen e, un de alle a comen a es que pa a una misma señal de audio podemos
ob ene una ep esen ación ecuencial di e en e de la señal, dependiendo del in e alo
empo al de la señal que se seleccione pa a aplica la FFT. Po ejemplo, en la Figu a 10
se mos aba en el lado izquie do un agmen o de 2.3 milisegundos de una señal
empo al y su ep esen ación ecuencial en el lado izquie do de la Figu a 11. Se puede
obse a , en dicha Figu a 10, como el agmen o de la señal empo al comienza y
inaliza con una ampli ud igual a 0 y és a a ía a lo la go del eje empo al. Po o o lado,
se puede obse a como la ep esen ación ecuencial, en dicha Figu a 11, es bas an e
a mónica sin o os picos que no sea la ecuencia p opia de la señal.
Sin emba go, en la Figu a 16 se puede obse a un agmen o de la misma señal con la
di e encia de que en luga de comenza con ampli ud 0 comienza con o o alo .
Figu a 16. Rep esen ación mues a y ecuencial de un audio en o o ins an e de iempo.
21
A su ez, se obse a en la Figu a 16 como la ep esen ación ecuencial del agmen o
de señal empo al que se mues a en la pa e de echa deja de se a mónico como el que
se mos ó en la Figu a 11. Se obse a como la FFT ha necesi ado añadi nue as señales
de ecuencias al as pa a descompone la señal empo al de la pa e izquie da de la
Figu a 16. Es o se debe a que, como el agmen o de señal empo al que se p e ende
descompone , no comienza con una ampli ud nula sino con una ampli ud conside able,
es necesa io añadi señales con o o ipo de ecuencias (gene almen e ecuencias al as)
pa a co egi ese des ase que se iene de la señal.
Po lo an o se puede conclui que al abaja con ep esen aciones ecuenciales de las
señales de audio, nos podemos encon a con algunos p oblemas como:
La apa ición de ecuencias a pa i del uido que nos añade el mic ó ono.
La modi icación de las ampli udes de ecuencias al as po causa del p opio
mic ó ono.
La apa ición de uido ecuencial cuando el agmen o de audio a ans o ma no
pa e del eposo ni eg esa a él; es deci , no comienza ni e mina en alo es
ce canos 0.
2.2 Desa ollo
En apa ados an e io es se comen ó que la aplicación in e namen e a a de ealiza una
búsqueda po co espondencia en e la señal de audio que se iene almacenada de una
película (po ejemplo) y una señal de audio que se cap u a desde el mic ó ono, y
conoce así el momen o exac o en el que se encuen a dicho ilme.
También se comen ó que lo que se p e ende es udia son las señales de audio, buscando
ca ac e ís icas ecuenciales y así, hace posible la búsqueda po co espondencia de
o ma e ec i a. Po es e mo i o, se pa e de la idea de que en la pa e ‘back-end’ o pa e
del adminis ado de la aplicación se dispone an o del con enido en ídeo como del
con enido adap ado (sub i ulado o audiodesc i o) de una película (po ejemplo).
22
Figu a 17. Rep esen ación del “P ep ocesado”
Pa iendo de ahí, el adminis ado de la aplicación puede gene a un iche o con un
o ma o de e minado, al y como se mues a en la Figu a 17, median e un algo i mo
desa ollado en es e abajo in de más e . Es e algo i mo lle a a cabo un p ocesamien o
de la señal de audio ex ayendo ca ac e ís icas ecuenciales, almacenando dicha
in o mación en un iche o con un o ma o conc e o e inc us ando a su ez la
in o mación ela i a al sub i ulado o audiodesc ipción. A es e paso se le conoce como
‘P ep ocesado’.
Po o o lado, en la pa e ‘ on -end’ o pa e del usua io de la aplicación, pa a hace uso
del algo i mo de búsqueda po co espondencia que o ece la aplicación, se debe
dispone del iche o gene ado po el adminis ado de la aplicación. Como se comen ó
en secciones an e io es, es a in o mación se á accesible a a és de la p opia aplicación.
Po su pa e, aplicación debe á ob ene la señal de audio, p ocesa la del mismo modo
que se hizo con la señal de audio o iginal de la película pa a ob ene así las
ca ac e ís icas ecuenciales del sonido y po úl imo, ealiza la búsqueda po
co espondencia con la in o mación gene ada po el adminis ado de la aplicación.
Pa a ga an iza la mejo espues a en el meno iempo posible, la aplicación se ha
diseñado e implemen ado con p ocedimien os que abajan de o ma pa alela en odo
momen o.
23
Pa a ello se ha plan eado un escena io como el que se mues a en la Figu a 18, donde se
puede obse a que la aplicación man iene en ejecución en odo momen o cua o
p ocesos: g abación, p ocesamien o, búsqueda po co espondencia y con ol de la
in o mación de salida.
Figu a 18. Rep esen ación de los di e en es p ocesos que con i en en la aplicación.
En la Figu a 18 se puede obse a cómo hay un p oceso inicial que se enca ga de
inicializa las a iables de la aplicación y de p epa a el escena io pa a que uncione
co ec amen e el algo i mo. Una de las a eas que ealiza es e p oceso de inicialización
es la de lee el iche o gene ado en el ‘P ep ocesado’, y ob enido a a és la aplicación,
ya que sin es e iche o no se pod ía lle a a cabo la búsqueda po co espondencia. Una
ez inicializado el algo i mo queda a la espe a que el usua io dé la o den de comenza
con la búsqueda del ins an e en el que se encuen a el con enido audio isual en ese
momen o. Cuando el usua io lanza la o den, se lanzan en pa alelo cua o p oceso que
son explicados a con inuación.
Fase de g abación
La ase de g abación se enca ga en odo momen o de g aba , desde el mic ó ono del
disposi i o, agmen os de sonido de una de e minada du ación e i encolándolos en un
con enedo de ipo FIFO (Fi s In Fis Ou ) compa ido con el p oceso denominado
‘Signal P ocessing’.
24
Fase de p ocesamien o de la señal
Al mismo iempo, el p oceso de ‘p ocesamien o de la señal’ ecoge la in o mación
cap u ada po el p oceso de ‘g abación’ y p ocede a aplica di e en es il os a la señal
pa a ob ene una in o mación lo más ep esen a i a posible del sonido ambien e.
Es a ase del p ocesamien o de la señal, a su ez, pasa po dis in as e apas que se lle an
a cabo de o ma secuencial. Es as e apas son las siguien es:
Di isión
Solape
Fil o de Hamming
FFT (Fas Fou ie T ans o m)
Reducción
De ección de picos
A con inuación se explica án de alladamen e cada una de las e apas, como se lle an a
cabo y el po qué de dicho paso. Pa a ayuda a comp ende la e olución de la señal de
audio a lo la go de la ase de p ocesamien o se mos a án di e en es Figu as, que
ep esen a á el es ado de un agmen o de audio g abado a lo la go de la p esen e ase.
Di isión
Como se había comen ado en el capí ulo an e io , la T ans o mada Rápida de Fou ie es
la ope ación ma emá ica; basada en la T ans o mada Disc e a de Fou ie , que
ans o ma una señal disc e a del dominio empo al al dominio ecuencial. Pa a ello es
necesa io oma segmen os empo ales de audio pequeños pa a aplica la FFT y ob ene
las ecuencias ca ac e ís icas de dicho in e alo.
Pa a ob ene es os segmen os empo ales, se di ide la señal de audio en segmen os de
milisegundos iguales. El amaño de es os milisegundos puede con igu a se en el p opio
algo i mo.
Figu a 19. Rep esen ación del espacio empo al de es agmen os de un audio.
En la Figu a 19 se puede obse a las mues as de una señal de audio ag upadas en es
segmen os de 100 mues as cada uno. Como se a a de una señal de audio mues eada a
44.100 Hz, podemos calcula el amaño empo al de los agmen os:
31
simila idad en e ambas y de e mina así en qué momen o exac o pe enece el ozo de
audio g abado del audio o iginal.
Básicamen e lo que se hace es, eniendo la in o mación de las ca ac e ís icas
ecuenciales de la película o iginal (que las ob enemos desde el iche o gene ado po la
adminis ación de la aplicación) y las ca ac e ís icas ecuenciales ob enidas de la ase
de p ocesamien o de la señal, se ealiza una compa ación.
En es e caso la compa ación se lle a a cabo con abilizando el núme o de picos que
coinciden en e los dos agmen os de ecuencia. Si los dos agmen os ienen un pico
ecuencial en una misma ecuencia, es a ecuencia se conside a como un pico de
ecuencia común.
Po ejemplo, supongamos que enemos dos agmen os ecuenciales que que emos
compa a ales como los que se mues an en la Figu a 27.
Figu a 27. F agmen os ecuenciales de p ueba.
En la Figu a 27 podemos obse a dos agmen os ecuenciales los cuales poseen 4
picos cada uno. En el p ime caso (izquie da) los picos son localizados en las siguien es
posiciones [3, 5, 9, 12], mien as que en el segundo caso (de echa) los picos se
encuen an en [3, 6, 9, 12]. En es e caso pa icula , ambos agmen os ienen en común
la posición de es de sus cua o picos [3, 9, 12]. Po lo an o si aplicamos la Ecuación 5,
ob enemos que ambos agmen os se pa ecen un 75 %. [
]
(5)
Ecuación 5. Exp esión del cálculo de simili ud en e agmen os.
Donde P es el po cen aje de simili ud, n es el núme o de picos en la g abación, m el
núme o de picos en el agmen o o iginal, las ecuencias de la g abación y o las
ecuencias del agmen o o iginal, siendo x la componen e del eje de abscisas de ambas
ecuencias ( alo de la ecuencia).
An e io men e se comen ó que en la ase de g abación se g aban a ios segundos de
audio, a los cuales pos e io men e se aplica un p ocesado, en la ase de p ocesamien o
de la señal, cuyo esul ado del mismo es el que se usa pa a hace la búsqueda po
co espondencia.
0
1
2
3
4
5
6
7
1
2
3
4
5
6
7
8
9
10
11
12
13
0
1
2
3
4
5
6
7
1
2
3
4
5
6
7
8
9
10
11
12
13
32
Al g aba se a ios segundos de audio, el esul ado ob enido de la ase de p ocesamien o
de la señal cons a de g an núme o de agmen os ecuenciales, po lo que la búsqueda
po co espondencia no se basa sólo en el esul ado de la compa ación de dos
agmen os en e sí, sino de una búsqueda conjun a de odos es os agmen os. Al
algo i mo que ealiza es a compa a i a conjun a se le denomina á a pa i de es e pun o,
algo i mo de ma ching.
Pa a comp ende mejo el uncionamien o de es e algo i mo, ha emos uso de o o
ejemplo. Supongamos que enemos una señal de audio de una película o iginal y una
señal de audio g abada de un agmen o de la p opia película. Supongamos que la señal
de audio de la película co esponde con la imagen supe io de la Figu a 28, mien as que
la señal de audio de la g abación co esponde con la imagen in e io de la Figu a 28.
Figu a 28. Mues as de un audio de p ueba y una g abación de p ueba.
Si le aplicamos la ase de p ocesamien o de la señal a ambas señales ob enemos las
ep esen aciones ecuenciales con sus espec i os picos, al y como se mues a en la
Figu a 29.
Figu a 29. F ecuencias de un audio de p ueba y una g abación de p ueba.
Una ez enemos es a in o mación, el ma ching se lle a a cabo de o ma i e a i a de
modo que se espe e la secuencialidad de los agmen os en ambos audios. Es o quie e
deci , que pa a encon a el mejo encaje del agmen o g abado den o del audio
o iginal se calcula el alo de simili ud de o ma conjun a en e ambas señales.
Pa a el caso del ejemplo, en p ime luga se calcula el alo de simili ud en e los
p ime os agmen os de ambas señales al y como se mues a en la Figu a 30. De es e
modo ob end emos es alo es de simili ud (uno po cada agmen o). Pa a ene una
isión gene al de cuán simila son ambos audios en esa posición conc e a, se calcula el
alo medio de los es alo es de simili ud y nos quedamos con él.
33
Figu a 30. Co espondencia en la p ime a i e ación del algo i mo de ma ching.
De o ma simila se ealiza el cálculo de la media de los alo es de simili ud en e los
agmen os que se señalan en la Figu a 31; es deci , de los agmen os adyacen es y
consecu i os al p ime o, analizado en la i e ación an e io . Es e cálculo nos da á o o
alo de simili ud, el cuál compa a emos con el alo de simili ud calculado en la
i e ación an e io , quedándonos con el mayo de los alo es.
Figu a 31. Co espondencia en la segunda i e ación del algo i mo de ma ching.
Es e p oceso ejecu ado de o ma i e a i a a lo la go de la señal de audio de la película
o iginal, nos de ol e á inalmen e una posición den o de dicha señal, que se á donde
mejo encaja la señal de audio g abada. A pa e de la posición de “mejo encaje” de la
señal g abada, el algo i mo ambién de uel e ese alo de simili ud co espondien e a
dicha posición. A pa i de es e pun o pasa á a llama se alo de calidad al alo de
simili ud nomb ado has a el momen o.
Po o o lado, hace una aplicación en la que base su esul ado solamen e en un
agmen o de audio g abado hace bas an e dependien e a la aplicación de ese agmen o
en conc e o. Pa a e i a que es o suceda y hace que el algo i mo sea lo más obus o
posible an e uido y o os ac o es que pueden hace alla al algo i mo de ma ching se
ha diseñado y desa ollado una unidad de con ol de esul ados.
Básicamen e es a unidad de con ol de esul ados, ges iona á los esul ados ob enidos
po pa e del algo i mo de ma ching y se á la que decida inalmen e si la aplicación
mues a los sub í ulos o no de una de e minada posición.
34
Pa a lle a a cabo es a ges ión se iene, po un lado, una a iable de e e encia que
apun a á a la posición de la película donde se c ee, en un momen o de e minado, que se
encuen a la película; y po o o lado, una a iable que con ola á la asa de acie o de
la a iable e e encia, an e io men e nomb ada.
Pa a ayuda a explica el uncionamien o de es as a iables se mues a a con inuación el
pseudocódigo del cálculo de es as a iables:
En p ime luga se busca la co elación exis en e en e el agmen o que se iene de
e e encia y la posición del agmen o de uel o po el algo i mo de ma ching. Es a
co elación se lle a a cabo siguiendo la Ecuación 6:
(6)
Ecuación 6. Co elación en el algo i mo de búsqueda po co espondencia.
Donde c es la co elación, la posición de e e encia y pTime la posición de uel a po el
algo i mo de ma ching. Una ez calculado es e alo comp obamos si se a a de un
alo pequeño; en nues o caso pa icula hemos decidido compa a lo con 0.1. En o as
palab as, si el esul ado de uel o po el algo i mo de ma ching se encuen a 10 segundos
po delan e o 10 segundos po de ás de la posición que se iene de e e encia, se
conside a como un esul ado a o able y po lo an o se e ue za la con ianza que se
iene de esa e e encia. Es e e ue zo consis e en suma a la asa de acie o o al la mi ad
de la asa de acie o del agmen o de uel o po el ma ching. A su ez se desplaza la
posición de e e encia has a la posición in e media en e la p opia posición de e e encia
y la posición de uel a po el ma ching.
Po o o lado, si la co elación es demasiado g ande en e el esul ado del ma ching y la
posición de e e encia, se conside an esul ados ambiguos y como al se lle a a cabo
una co ección. La co ección pasa po compa a la asa de acie o o al que se iene de
la posición de e e encia y la asa de acie o de la posición de uel a po el ma ching. En
el caso en el que la asa de acie o o al sea supe io , su alo se e á a ec ado,
es ándosele la mi ad de la asa de acie o del agmen o de uel o po el ma ching. En
caso con a io se pasa a oma como nue o pun o de e e encia la posición de uel a po
el ma ching.
1. co ela ion = abs( e e ence – posi ionTime(index)) / 100
2. i co ela ion > 0.1:
3. i successRa e > quali y:
4. successRa e -= quali y / 2
5. else:
6. e e ence = posi ionTime(index)
7. successRa e = quali y
8. else:
9. e e ence += posi ionTime(index)
10. e e ence /= 2
11. successRa e += quali y / 2
35
De es a o ma, conseguimos que g adualmen e el algo i mo aya con e giendo a la
posición en la que ealmen e se encuen a la película. Pe o, ¿cómo sabe si algo i mo ha
con e gido co ec amen e?, en es e caso se ha hecho median e la supe ación de
umb ales.
El hecho de usa umb ales en ocasiones esul a “pelig oso” ya que si imponemos un
umb al muy bajo podemos ob ene una espues a ápida po pa e del algo i mo pe o
menos iable que si imponemos un umb al un an o mayo . Pa a soluciona es e
p oblema, se ha diseñado una o ma de ob ene la en aja de ob ene ápidamen e un
esul ado po pa e del algo i mo al mismo iempo que se asegu e que se a a de una
espues a iable.
Figu a 32. Flujog ama de algo i mo de con ol de la salida de in o mación.
En la Figu a 32 podemos obse a el lujo del p oceso de con ol de salida de
in o mación. Se puede obse a que una ez ealizado el ma ching y ecalculado el
alo de la asa de acie o o al (success a e), se comp ueba si es mayo que un cie o
umb al supe io . Si es así el p oceso de búsqueda po co espondencia inaliza dando
po bueno el esul ado. Si no es así, se comp ueba que la asa de acie o o al sea mayo
que un umb al in e io pa a lanza la ase de con ol de la in o mación de salida. Si no
se cumple ninguna de las dos condiciones el algo i mo segui á i e ando una y o a ez
has a que la asa de acie o o al sea lo su icien emen e ele ada pa a supe a alguno de
los dos umb ales.
En nues o caso, hemos es ablecido el umb al supe io (uppe h eshold) en 95%
mien as que el umb al in e io (lowe h eshold) sea el 50%. Con es o conseguimos que
el algo i mo mues e los sub í ulos de mane a ápida y con una espues a medianamen e
iable, mien as que al mismo iempo se sigue comp obando, en un segundo plano, la
posición en la que se encuen a la película has a llega a un umb al lo su icien emen e
iable pa a así da po inalizada la búsqueda.
36
Fase de con ol de la in o mación de salida
Una ez la ase de búsqueda po co espondencia da la o den de mos a los sub í ulos
(cuando la asa de acie o o al haya supe ado el umb al in e io ), la ase de con ol de
la in o mación de salida calcula cuál es la posición exac a en la que se encuen a la
película (ya que la ase de búsqueda po co espondencia de e mina en qué posición se
encuen an los audios g abados desde mic ó ono). Es o se hace colocando una ma ca de
iempo cuando se comienza a g aba , pa a que, una ez sabido el momen o conc e o de
la película donde co esponden los agmen os de audio g abados, se le sume el iempo
que ha necesi ado la aplicación pa a de e mina esa in o mación y así apun a a la
escena exac a en la que se encuen a la película.
Una ez conocida la posición po la que se encuen a la película, se mues an los
sub í ulos co espondien es a cada escena, al y como se mues a en la Figu a 33.
Figu a 33. Ejemplo de uncionamien o de la in e az de la aplicación.
2.3 Resul ados ob enidos
A con inuación se p ocede a mos a los esul ados ob enidos de una se ie de p uebas a
las que se le ha some ido al algo i mo, pa a pone a p ueba su obus ez, iabilidad y
apidez.
Pa a ealiza es as p uebas se ha hecho uso de 5 agmen os de películas de 5 minu os
cada uno ap oximadamen e y de una canción de una du ación simila . En es e caso,
an o las películas como la canción son:
1. A odo gas (2001)
2. Ma ix (1999)
3. Resacón en Las Vegas (2009)
4. Sky all (2012)
37
5. Un ciudadano ejempla (2009)
6. Aho a quien (Ma k An hony, e sión salsa)
A pa i de es e pun o, las g á icas que se mues en en las igu as pos e io es,
co esponde á cada una a los esul ados ob enidos del algo i mo en cada una de las
películas y la canción, colocadas al y como se mues a en la Tabla 1:
1.
2.
3.
4.
5.
6.
Tabla 1. Dis ibución de las g á icas de esul ados en elación a los casos de p ueba.
Los núme os de la abla an e io co esponden con la enume ación an e io en la que se
indicaban el nomb e de las películas y la canción que se han usado en las p uebas.
En la Figu a 34 se pueden obse a los esul ados ob enidos de la aplicación o iginal.
Figu a 34. Resul ados ob enidos con la e sión o iginal del p og ama.
-60
-40
-20
0
20
40
60
80
30
90
150
210
270
-60
-40
-20
0
20
40
60
80
30
90
150
210
270
-60
-40
-20
0
20
40
60
80
30
90
150
210
270
-60
-40
-20
0
20
40
60
80
30
90
150
270
-60
-40
-20
0
20
40
60
80
30
90
150
210
270
-60
-40
-20
0
20
40
60
80
30
90
150
210
270
38
En p ime luga se p ocede á a explica los esul ados mos ados en la Figu a 34. En la
Figu a 34 se in en a plasma cuál es el uncionamien o del algo i mo an o en la alidez
de los esul ados como en el iempo de espues a de los mismos. Dado que la alidez del
esul ado se basa en un alo bina io; es deci , mues a los sub í ulos de la escena ac ual
( esul ado a o able) o po el con a io mues a los sub í ulos de o a escena ( esul ado
des a o able), se conside a án en las g á icas, los alo es posi i os aquellos donde el
algo i mo se ha ubicado co ec amen e y los alo es nega i os odo lo con a io, siendo
cada uno de los alo es los segundos que ha a dado el algo i mo en de ol e dicho
esul ado. En es e caso, el algo i mo de uel e un esul ado cuando la asa de acie o
o al alcanza el umb al in e io que se había es ablecido en 50 %.
Po o o lado en el eje de abscisas podemos obse a la siguien e secuencia [30, 90, 150,
210, 270]. Es a secuencia de alo es co esponde con ubicaciones den o de la película
en las que se ha ealizado la p ueba. Es deci , en el segundo 30 de la película se ha
lanzado el algo i mo de ol iendo un esul ado en un iempo de e minado. Es o se ha
epe ido en dis in os pun os de la película pa a obse a el compo amien o del
p o o ipo.
Es o se hace ya que, dependiendo de lo ca ac e ís ico del momen o en el que se ealiza
la g abación, el algo i mo end á mayo o meno acilidad pa a engancha el momen o
en el que se encuen a la película. Po ejemplo, en el caso de la película ‘Sky all’
(g á ica de la segunda ila y segunda columna) se puede obse a que hay un amo en
el que no se iene alo . Es e hecho ocu e cuando se lanza el algo i mo de búsqueda po
co espondencia a pa i del segundo 150 del agmen o de la película, y lo que sucede
es que el agmen o de la película llega a su inal sin que el algo i mo haya de uel o un
esul ado aún.
Es o sucede po que el algo i mo esul a bas an e cos oso compu acionalmen e, y el
iempo que necesi a pa a p ocesa un segundo de g abación no malmen e es mayo a ese
segundo de g abación. Es e hecho hace que se acumule g an can idad de in o mación
cuando el algo i mo no log a engancha la escena ápidamen e, aduciéndose en
e a dos impo an es del algo i mo a la ho a de de ol e un esul ado.
Vol iendo a la Figu a 34, cuando la g á ica oma alo es po debajo de la línea e de
que señala el 0, signi ica que el algo i mo ha de uel o un esul ado e óneo; es deci ,
que mues a los sub í ulos de o a escena. En el caso de la película ‘Resacón en Las
Vegas’ (g á ica de la segunda ila y p ime a columna) obse amos que los esul ados
son odos posi i os, lo cual nos indica que se a a de una película con ca ac e ís icas
ecuenciales singula es y po lo an o el algo i mo log a disce ni ácilmen e en minu o
y segundo exac o en el que se encuen a la película.
En con apa ida podemos obse a los esul ados de uel os po el algo i mo pa a el
agmen o de la película Ma ix (g á ica de la p ime a ila y segunda columna) o pa a la
canción (g á ica de la e ce a ila y segunda columna) donde no le esul a an sencillo a
la aplicación encon a el pun o de enganche en e la película/canción y la g abación.
En de ini i a, lo que se in en a indica en las g á icas que se mues an en la Figu a 34 es
la capacidad que iene el algo i mo de de ec a co ec amen e un ins an e de e minado a
lo la go de cada una de las películas y de la canción de p ueba.
39
Sin emba go, el algo i mo desa ollado ha sido implemen ado de o ma que sea lo más
pa ame izable posible, de al modo que las a iables p incipales que a ec an en mayo
medida al uncionamien o del mismo puedan se modi icadas.
Básicamen e los p incipales pa áme os de los que depende el algo i mo son:
El po cen aje de solapamien o con los in e alos adyacen es.
El amaño de los in e alos de iempo en los que se di ide la señal, en segundos.
El amaño de la en ana de ecuencias a la que se educe el esul ado de la FFT.
El amaño del agmen o g abado, en segundos.
En un p incipio, cuando se desa olló la aplicación o iginal, se oma on una se ie de
alo es iniciales con los que la aplicación llegó a unciona . Los alo es iniciales son los
que se mues an en la Tabla 2.
Va iable
Valo
Po cen aje de solapamien o
50
Tamaño de los in e alos
0.1
Tamaño de la en ana de ecuencias
256
Tamaño del agmen o g abado
1
Tabla 2. Tabla de pa áme os po de ec o del algo i mo o iginal.
Pa a es udia el compo amien o del algo i mo en unción de es os pa áme os y analiza
así en cuán o a ec an los mismos al algo i mo pa a de ol e un buen esul ado, se ha
lle ado a cabo un pequeño es udio donde se mues a el iempo de espues a del
algo i mo en unción de los pa áme os en los que se basa.
En p ime luga se obse a á el impac o que iene el po cen aje de solapamien o en el
algo i mo. En la Figu a 35 se mues a la compa ación, en e los di e en es casos de
p ueba, de los esul ados ob enidos po la aplicación con los pa áme os o iginales
(azul), con el solapamien o al 20% y es o de pa áme os o iginales ( ojo) y con el
solapamien o al 80% y es o de pa áme os o iginales ( e de).
-120
-70
-20
30
80
30
90
150
210
270
-120
-70
-20
30
80
30
90
150
210
270
40
Figu a 35. Compa a i a de esul ados con con igu aciones del po cen aje de solape.
En la Figu a 35 podemos obse a en sus g á icas, como el compo amien o del
algo i mo pa a las di e en es con igu aciones del po cen aje de solapamien o es bas an e
i egula . No se obse a ninguna mejo ía gene alizada cuando el alo de po cen aje de
solapamien o iene un alo u o o. Po lo an o, el esul ado ob enido en cada caso es
al amen e dependien e del ins an e y de la película o canción que analice.
Po o o lado se comp ueba cómo a ec a el amaño del in e alo en los esul ados del
algo i mo. En la Figu a 36 se mues a la compa ación, en e los di e en es casos de
p ueba, de los esul ados ob enidos po la aplicación con los pa áme os o iginales
(azul), con el in e alo a 0.05 segundos y es o de pa áme os o iginales ( ojo) y con el
in e alo a 0.2 segundos y es o de pa áme os o iginales ( e de).
-120
-70
-20
30
80
30
90
150
210
270
-120
-70
-20
30
80
30
90
150
210
270
-120
-70
-20
30
80
30
90
150
210
270
-120
-70
-20
30
80
30
90
150
210
270
-112
-62
-12
38
88
138
30
90
150
210
270
-112
-62
-12
38
88
138
30
90
150
210
270
47
En la Figu a 39 se puede obse a como los esul ados ob enidos po la aplicación con
la nue a medida de simili ud (línea oja) ienen un compo amien o más i egula e
incluso se puede obse a que, la línea no iene alo es en muchos pun os. Es o se debe
a que la película ha inalizado sin que el algo i mo haya podido de ec a el momen o en
el que se encuen a. Es o en g an pa e se debe al iempo que necesi a el algo i mo pa a
calcula la nue a medida de simili ud, ya que en es e caso, se ealiza un mayo núme o
de ope aciones que en la medida o iginal.
Po o o lado, podemos isualiza la Tabla 4, donde se ecaba oda la in o mación
mos ada en la Figu a 39. En ella se puede obse a que la asa de esul ados con la
nue a e sión es mucho meno que con la e sión o iginal. Es o se debe a la g an
can idad de iempo que necesi a es a e sión pa a ob ene un esul ado, da o que
ambién podemos obse a en la columna segundos. Es e hecho jun o con la
compa ación de asas de acie o, se puede conclui que no supone una mejo a el hace
uso de es a nue a medida de simili ud que iene en cuen a la ampli ud de los picos de
ecuencia.
Ve sión
Tasa de esul ados
Tasa de acie o
Segundos
Medida de simili ud
o iginal
96.67 %
75.86 %
29.45 segs
Nue a medida de simili ud
63.33 %
68.42 %
44 segs
Tabla 4. Tabla inal de esul ados con algo i mos con compa aciones di e en es.
Po o o lado, se in en o implemen a una e sión del algo i mo en la que se e ique a a
de algún modo cada in e alo de o ma que indica a al algo i mo cuán ca ac e ís ico e a
y de es a o ma ayuda a disce ni en e posiciones den o de la película.
Pa a ello se ealizó un algo i mo de ‘P ep ocesamien o’ que se le aplica al iche o
ob enido en la ase de ‘P ep ocesado’ pa a: compa a cada agmen o con el es o,
ob ene un alo de con ianza del mismo y gene a un nue o iche o, simila al an e io
pe o añadiendo la in o mación de con ianza en e in e alos.
Es e nue o p oceso a a de compa a o busca simili udes de cada agmen o con el
es o. El esul ado de es a compa ación, que se á un alo en e 0 y 1, nos indica á qué
agmen o es más ca ac e ís ico (ce cano a 1) y cuál es más común a lo la go de la
película (ce cano a 0). Po lo an o, en una señal de audio de n agmen os, end emos a
su ez n alo es de simili ud de cada agmen o con el es o. Con es os n alo es
podemos ob ene la des iación ípica de dicho conjun o y de es e modo ob ene cuán o
se dis ancia es e agmen o del es o. Con iene eco da que la des iación ípica iene
dada po la Ecuación 8:
(8)
Ecuación 8. Ecuación de la des iación ípica.
Donde es la media de los alo es del conjun o. Al alo de uel o po la exp esión
an e io , se le denomina ‘con ianza’ del agmen o.
48
Po lo an o, lo que añadimos en el nue o iche o como in e alo de con ianza es la
des iación ípica no malizada en e 0 y 1, siendo 1 el mayo alo de in e alo de
con ianza ob enido a lo la go del p oceso.
De es a o ma, el algo i mo cuando ealice el ma ching, mul iplica el alo de con ianza
de dicho in e alo con el alo de la asa de acie o del mismo (de uel o po el
algo i mo de ma ching) y ob iene así un alo de simili ud di e en e, el cuál iene en
cuen a la singula idad de cada agmen o.
Luego de habe implemen ado es a nue a e sión del algo i mo, se ealiza on a ias
p uebas ob eniendo malos esul ados. Es deci , que el in en o de acili a al algo i mo un
alo de con ianza de cada agmen o pa a ob ene esul ados más obus os esul ó
inú il, ya que si la película se encon aba en una posición donde p edominaban
silencios, los alo es de con ianza de es os in e alos e an muy ce canos a 0 y po lo
an o e a casi imposible que el algo i mo encon ase un ‘enganche’ en esa posición.
49
3. Conclusiones y línea de abajos u u os
A con inuación se comen a án las p incipales conclusiones a las que se ha llegado a lo
la go del desa ollo y documen ación de es e abajo in de más e .
3.1 Conclusiones
An e odo se ha de comen a que el obje i o p incipal plan eado, de desa olla un
p o o ipo uncional de aplicación mó il pa a que pe sonas con discapacidad senso ial
pudie an dis u a de con enido audio isual, se ha conseguido. Se ha podido desa olla
un p o o ipo de aplicación en el que se ha demos ado que el uncionamien o plan eado
es posible.
Es e úl imo hecho hace que el obje i o a medio-la go plazo que se plan eó es posible, ya
que el algo i mo desa ollado a lo la go de es e abajo in de más e es o almen e
asladable a o as pla a o mas, como pueden se las pla a o mas mó iles en o ma de
aplicación.
Se ha demos ado a lo la go del documen o las al as asas de acie o ob enidas po el
algo i mo, así como sus iempos de espues a. Se ha documen ado y mos ado a a és
de g á icas y ablas de esul ados, cómo exis e una elación di ec a en e asas de acie o
y iempos de espues a. Es deci , que hay un es echo ínculo en e ambos alo es,
donde si que emos una aplicación o almen e obus a y con iable, debemos sac i ica en
iempo de espues a de la aplicación. Sin emba go, si que emos un algo i mo que
de uel a ápidamen e un esul ado, debemos co e el iesgo que se de uel a un
esul ado e óneo.
3.2 Línea de abajos u u os
A pesa de que es e algo i mo ha sido desa ollado en un lenguaje de al o ni el, como es
Py hon, sus iempos de espues a se conside an aún ele ados. Es os egis os pod ían
mejo a se al p og ama el algo i mo en un lenguaje de más bajo ni el, donde ap o eche
al máximo las ca ac e ís icas del ha dwa e.
También hay que ene en cuen a que las p uebas ealizadas se han lle ado a cabo en un
o denado de sob emesa y en un o denado po á il, cuyos ecu sos ha dwa e son
cla amen e supe io es a los que dispone un disposi i o mó il. Po es e mo i o, se
plan ea la op imización de es e algo i mo, in en ando oma algún ipo de a ajo pa a
e i a an a ca ga compu acional, ya que el obje i o inal es que el algo i mo se ejecu e
en un disposi i o con ecu sos ha dwa e limi ados.
Es e a ajo que se plan ea pod ía se el uso de ablas hash, al y como hace la amosa
aplicación Shazam, donde se almacene en una abla simila ca ac e ís icas ecuenciales
co espondien es a cada ins an e de una película, agilizando el p oceso.
A pa e de las mejo as plan eadas en los pá a os p e ios, si se consiguiese implemen a
un algo i mo obus o y iable, como el que se p esen a en es e abajo in de más e , con
mejo es iempos de espues a y menos ca ga compu acional, se ía ácilmen e asladable
dicha aplicación a disposi i os mó iles como Sma Phones o Table s, así como a
50
gadge s elec ónicos como las Google Glass o Sma Wa chs, an popula es en los
úl imos iempos.
Ab i el abanico de disposi i os que puedan ejecu a un algo i mo como es e, amplía a
su ez los di e en es escena ios en los que pod ía usa se. Pod ía así usa se en la p opia
casa del usua io, así como en luga es públicos como pueden se ea os, espec áculos,
e c.
51
4. Bibliog a ía
Au o es: A e y Li-Chun Wang
Tí ulo: An Indus ial-S eng h Audio Sea ch Algo i hm
Luga : P oceedings o he 4 h In e na ional Con e ence on Music In o ma ion
Re ie al
Páginas: 0-23
Año: 2003
Au o es: Dup az, E.; Richa d, G.
Tí ulo: Robus equency-based Audio Finge p in ing
Re is a: Acous ics Speech and Signal P ocessing (ICASSP), 2010 IEEE
In e na ional Con e ence
Páginas: 281-284
Año: 2010
Au o es: Yang, C.
Tí ulo: MACS: music audio cha ac e is ics sequence indexing o simila i y
e ie al
Re is a: Applica ions o Signal P ocessing o Audio and Acous ics, 2001 IEEE
Wo kshop
Páginas: 123-126
Año: 2001
52
Anexo
En es e úl imo capí ulo se comen a á cómo ins ala la he amien a so wa e usada en
es e abajo in de más e así cómo ejecu a dicha aplicación.
Pa a el desa ollo del p o o ipo de aplicación se ha usado Py hon así como di e en es
lib e ías adicionales pa a dis in as uncionalidades. El desa ollo y p uebas del abajo
in de más e se han lle ado a cabo bajo Windows 7 y Windows 8.
El en o no de Py hon puede se desca gado de la siguien e URL:
h ps://www.py hon.o g/download/
En nues o caso, hemos ins alado la e sión de Py hon 2.7.6.
Una ez ins alado el so wa e de Py hon en el equipo Windows, p ocedemos a añadi al
PATH de las a iables de en o no la u a donde se encuen a el iche o ejecu able de
dicho so wa e. Es o acili a el hecho de lanza algo i mos desde la consola MS-DOS de
Windows.
Pa a hace es o debemos segui los siguien es pasos:
1. Nos ubica nos en ‘Equipo’ con el explo ado de ca pe as.
2. Hacemos el click con el bo ón de echo sob e la zona acía del explo ado y
luego clicamos en ‘P opiedades’.
3. Una ez aquí, clicamos en ‘Con igu ación a anzada del sis ema’ ubicado en el
menú de la izquie da de la pan alla que nos apa ece.
4. Pos e io men e se nos ab e una nue a en ana. Ubicados en la pes aña de
‘Opciones a anzadas’, clicamos sob e ‘Va iables de en o no…’.
5. Se ab i á una nue a en ana, aquí seleccionamos la a iable ‘Pa h’ de la pa e
supe io y clicamos en ‘Edi a …’.
6. Po úl imo, en ‘Valo de la a iable’ nos ubicamos al inal de la línea,
inse amos un pun o y coma ‘;’, y seguidamen e añadimos la u a donde se
encuen a el iche o ejecu able de Py hon (py hon.exe). En nues o caso la u a es
la siguien e:
C: Py hon27
Una ez se iene el in é p e e del lenguaje Py hon, desca gamos e ins alamos las
siguien es lib e ías de Py hon de [aquí] (impo an e el o den):
Pymedia
Numpy
Da eu il
Py z
Pypa sing
Six
Se up ools
Ma plo lib
p2exe
Repo lab
53
wxPy hon
En Windows se hace uso de es as lib e ías ya que no nos si en los ins alado es
o iciales de cada modulo. Es o se debe a que dichos módulos es án pensados pa a se
ins alados en Linux.
Una ez ins alado Py hon y odas las lib e ías de las que hace uso el algo i mo
desa ollado en es e abajo in de más e , p ocedemos a indica cómo se debe lanza
dicho algo i mo.
En p ime luga , se p esupone que hay un di ec o io en el equipo con los iche os con el
código uen e (p ocess_p o o ype.py y app_p o o ype.py) del algo i mo con ex ensión
‘.py’. También se p esupone que se iene en un di ec o io del equipo un agmen o de
una película con o ma o AVI ó WMV, así como un iche o de sub í ulos en o ma o
SRT pa a ese agmen o de película.
Es impo an e des aca que se debe a a de agmen os de una película de una du ación
ecomendada de 5 minu os, ya que los algo i mos desa ollados son demasiado cos osos
compu acionalmen e pa a abaja con películas en e as de la ga du ación.
An es de lanza la aplicación p o o ipo es necesa io p ocesa el audio de la película y
hace co espondencia en e esa señal de audio y los sub í ulos de cada agmen o de
película. Pa a ello se lanza á en p ime luga el ‘algo i mo de p ep ocesamien o’. Pa a
ello ab imos una consola de comandos MS-DOS de Windows.
Pos e io men e median e el comando ‘cd’, nos ubicamos donde engamos los iche os
del código uen e del algo i mo de p ocesamien o. Una ez allí lanzamos la ejecución
del algo i mo pasándole po pa áme os: en p ime luga la u a has a la ubicación de la
película a p ocesa y pos e io men e la ubicación has a el a chi o de sub i ulado.
Figu a 40. Ejemplo de cómo lanza el algo i mo de p ocesado.
54
En la Figu a 40 se mues a como se ha de lanza el algo i mo de p ocesado de la
película. Es e algo i mo puede a da a ios minu os en e mina de gene a un a chi o
bina io con ex ensión ‘.p o o’ donde con end á la in o mación indispensable pa a el
co ec o uncionamien o del algo i mo p o o ipo.
Po úl imo pa a lanza el algo i mo p o o ipo bas a con ubica nos en el di ec o io donde
se encuen a ubicado el código uen e de dicho algo i mo y lo lanzamos al y como se
hizo con la aplicación de p ep ocesamien o pe o pasando po pa áme o el iche o
gene ado po el algo i mo an e io .
Figu a 41. Ejemplo de la in e az del algo i mo una ez lanzado.
En la Figu a 41 se puede obse a una ins an ánea de la pan alla una ez se haya
lanzado el algo i mo p o o ipo. A un lado de la pan alla se puede e el ep oduc o de
Windows Media, el cual es á ep oduciendo una película. El audio de es a película es á
siendo ep oducido po los al a oces, cuyo sonido es cap u ado po un mic ó ono
conec ado al o denado al mismo equipo.
En cuan o se pulse el bo ón ‘Tag’ de la in e az, el algo i mo p o o ipo p ocede á a
analiza el audio cap u ado po el mic ó ono y a busca la co espondencia con el audio
del agmen o de la película pa a mos a los sub í ulos co espondien es a la escena
ac ual.