Procesamiento de voz para mejorar la pronunciación

PROCESAMIENTO DE VOZ PARA MEJORAR LA PRONUNCIACIÓN May a Alexand a Cas osqui Flo ián DOBLE GRADO EN INGENIERÍA INFORMÁTICA Y MATEMÁTICAS FACULTAD DE INFORMÁTICA UNIVERSIDAD COMPLUTENSE DE MADRID TRABAJO DE FIN DE GRADO Feb e o 2017 Di ec o : Ad ián Riesco Rod íguez Codi ec o : En ique Ma ín Ma ín iii Resumen El ap endizaje de la p onunciación de idiomas ex anje os median e p og amas in- o má icos se encuen a en pleno desa ollo en la ac ualidad. Sin emba go, se a a de un campo que no se encuen a muy desa ollado en el so wa e lib e. La mayo ía de aplicaciones de ap endizaje de idiomas que o ecen es a u ilidad ienen so wa e p opie a io. Po es a azón, en es e p oyec o ha emos un es ue zo po in es iga y lle a a cabo una de las ías pa a consegui es a u ilidad. La ap oximación que le da emos a es e p oblema se á la compa ación de audios con las oces de un na i o y un es udi- an e. Se a a án las dos oces pa a acili a su compa ación, es a compa ación nos se i á a los es udian es pa a sabe si nues a p onunciación se ap oxima a la de un na i o y pode nos en oca en qué aspec os mejo a . Pa a ello, e emos cómo hemos de a a señales de oz y qué ipo de il os usa pa a limpia las. Después aplica emos la ans o mada de Fou ie y cons ui emos espec og amas con el obje i o de in oduci el a amien o de imágenes pa a la sim- pli icación de la in o mación y al inal pode hace la compa ación de los da os con la in o mación des acada. Es e p oceso se implemen a á como una aplicación Ja a. Palab as cla e Compa ación del habla, p onunciación de idiomas, il os de señales de oz, espec og ama, de ección de blobs, compa ación de ma ices. Abs ac Lea ning o o eign language p onun ia ion h ough compu e p og ams is in ull de elopmen nowadays. Ne e heless, i is a ield no e y de eloped as ee so - wa e. Mos o he exis ing language lea ning p og ams which o e his u ili y a e p opie a y so wa e. Fo his eason, in his p ojec we will make an e o o in es iga e and acomplish one o he ways o achie e his u ili y. The app oach we will gi e o his p oblem will be he compa ison o he audio gi en by a na i e speake wi h ha o a s uden . Bo h oices will be ea ed o acili a e he compa ison, a compa ison which will help he s uden s o know i hei p onun ia ion is close o ha o a na i e speake , and will le hem ocus on which aspec s o imp o e. Fo his, we will see how we mus ea oice signals and wha ypes o il e s o use in o de o clean hem. Nex , we will apply Fou ie ans o m and build spec o- g ams wi h he pu pose o in oducing image ea men o in o ma ion simpli ica- ion, o ge o do he compa ison be ween he da a and he highligh ed in o ma ion. This p ocess will be implemen ed as a Ja a applica ion. Keywo ds Speech compa ison, language p onuncia ion, oice signal il e , spec- og am, blob de ec ion, ma ix compa ison ii Índice Gene al 1 In oducción 1 1.1 Mo i ación y obje i os ............................ 1 1.2 Es uc u a de la memo ia .......................... 2 2 Diseño e implemen ación 3 2.1 Cap u ando la oz .............................. 4 2.2 Fil ando el audio ............................... 7 2.2.1 Fil os ................................. 7 2.2.2 Fil os digi ales ............................ 7 2.2.3 Tipos de il os digi ales ....................... 8 Según la espues a en ecuencia .................. 9 Exp esión gene al de un il o y clasi icación po espues a al impulso ........................... 9 Los il os que usa emos ....................... 11 2.2.4 IMPLEMENTACIÓN ......................... 12 2.3 T ans o mación ................................ 13 2.3.1 IMPLEMENTACIÓN ......................... 16 2.4 De ección de blobs ............................... 17 2.4.1 IMPLEMENTACIÓN ......................... 19 A. Del espec og ama al de ec o de blobs ............. 19 B. Blob P ocessing ........................... 20 2.5 Compa ación ................................. 22 3 Conclusiones 27 3.1 Di icul ades encon adas ........................... 28 3.2 T abajo u u o ................................. 28 A Resul ados de la p uebas 31 Bibliog a ía 45 ix Índice de Figu as 2.1 Mues eo de una señal con inua pa a ob ene una señal disc e a .... 5 2.2 Fo ma o de a chi os WAVE ......................... 6 2.3 P oceso ípico en DSP (Digi al signal p ocessing).............. 8 2.4 Lími es de audición humanos ........................ 9 2.5 Diag amas de Bode a pa i de la unción de ans e encia de los il os Bessel, Bu e wo h, Chebyshe y elíp ico ................. 12 2.6 In ensidad de la onda a a és del iempo ................. 13 2.7 Espec og ama ................................. 16 2.8 Isolíneas y blobs ................................ 18 2.9 Fo ma o ARGB pa a colo es RGBA ..................... 20 2.10 Píxeles es udiados en la de ección de blobs dado un píxel (x, y)..... 21 2.11 Blobs en un espec og ama .......................... 21 2.12 Audio más e y 3 de p ueba en japonés .................. 24 2.13 Audio más e y 3 de p ueba en co eano .................. 24 2.14 Audio más e y 3 de p ueba en español .................. 25 6Capí ulo 2. Diseño e implemen ación buscando la calidad de las pis as de música. Un canal de audio es un canal o pis a donde los elemen os g abados ienen su p opio á ea en la g abación, cuando es- cuchamos una g abación con a ios canales, odos ellos suenan simul áneamen e. Cuando se almacena música se usan dos canales (es é eo) y más de dos en el caso de películas pa a consegui un mejo e ec o. En cuan o al o ma o del a chi o de audio que ob enemos, como hemos dicho, in en a emos que sea o ma o aw o PCM, es deci , una secuencia de palab as de 16 bi s que ep esen an la in ensidad de cada mues a omada de la señal. En cuan o a la implemen ación, dos de los o ma os con enedo es de audio más conocidos, WAV y AIFF, u ilizan el o ma o PCM. Noso os u iliza emos WAVE (Wa e o m Audio File Fo ma ) conocido como WAV que es, en pocas palab as, un aw con cabece a donde se iene el amaño del a chi o, el amaño de la cabece a, el o ma o de audio (PCM), la ecuencia de mues eo, núme o de canales (1 o 2 ya que WAV es solo pa a audio digi al), el núme o de bi s po mues a y o os campos como se mues a en la imagen 2.2. Qui a esa cabece a y ob ene los da os en c udo es muy simple: an solo debemos desca a los p ime os 44 bi s y gua damos el e- sul ado en un . aw. Nos quedamos con lo el campo da a que es el audio en b u o y se encuen a codi icado con sis ema li le-endian, es o quie e deci que el by e más signi ica i o de los dos que o man las palab as de 16 bi s es el segundo y, po an o, se almacena en p ime luga . FIGURA 2.2: Fo ma o de a chi os WAVE [12]. En esumen los ajus es que usa emos pa a cap u a audio en o ma o WAV se án los siguien es: •Codi icación 16-bi PCM. •Un solo canal o monocanal. •F ecuencia de mues eo: 44.1 kHz 2.2. Fil ando el audio 7 •Sis ema li le-endian pa a almacena los by es. En nues o caso, hemos lle ado a cabo es a cap u a de oz con la aplicación de cap u a y edición de audio Audaci y [13] , que es so wa e lib e y mul ipla a o ma. En Audaci y puedes especi ica las con igu aciones que indicamos en la desc ipción eó ica que hemos p esen ado an e io men e; al lee un iche o aw se á necesa io indica es os ajus es. La o ma de ob ene el a chi o de audio wa o aw es abie a. Usa Audaci y es lo que noso os hemos hecho pe o se pueden ob ene de muchas o as o mas. Po ejemplo, un da o in e esan e es que odo disposi i o And oid sopo a la cap u a de audio con 1 canal a 44.1 kHz en codi icación 16-bi PCM. Ya enemos hecho el p ime paso, hemos conseguido los da os de audio en un o ma o que podemos manipula . El audio g abado es á en b u o, lo siguien e se á qui a le el uido y ecuencias no ú iles. 2.2 Fil ando el audio La segunda pa e de nues o p ocedimien o consis e en aplica il os pa a queda nos con una e sión más limpia de la oz que hemos g abado en el paso an e io . Como que emos que es a aplicación pueda adap a se a a ios in e aces de usua io (apli- caciones web, aplicaciones mó iles y de esc i o io) el sonido se pod á ecoge de muchas mane as. Las ecuencias de oz que con ienen in o mación ele an e es- án den o de un ango ela i amen e es echo y los mic ó onos ecogen un ango mayo . Po an o, cuando g abamos sonido se ecogen muchas ecuencias que no son ú iles pa a el a amien o de oz. A a és de un il o pasa banda se pod án echaza las ecuencias que se encuen an ue a del ango ú il. 2.2.1 Fil os Un il o elec ónico es cualquie medio que una señal a a iesa modi icando la na - u aleza de es a [15]. Los il os son u ilizados en el p ocesamien o de señales. Dis- c iminan componen es de ecuencia de la señal, desca ando o des acando las e- cuencias eque idas pudiendo modi ica la ampli ud o la ase de la señal. Un il o puede se analógico o digi al. Nos cen a emos en los il os digi ales po que es amos abajando con una señal digi al. 2.2.2 Fil os digi ales Un il o digi al [15] es un algo i mo que iene como en ada un señal digi al, es deci , una secuencia disc e a de alo es, y o a señal digi al como salida. Se a a de ope aciones ma emá icas que al e an el espec o o el con enido ecuencial de la señal en an e, pudiendo modi ica su ampli ud o su ase. Se suelen u iliza pa a o - alece o a enua ecuencias, mejo a la calidad de la señal o pa a sín esis de sonido log ando e ec os audi i os. En P ocesamien o digi al de señales (DSP po sus siglas en inglés) los il os digi ales se usan sob e los alo es numé icos asociados a las mues as omadas de señales analógicas. Siemp e se puede hace una con e sión de señal analógica a 8Capí ulo 2. Diseño e implemen ación digi al y ice e sa. Noso os ya enemos nues a señal de audio en mues as y us- a emos los il os digi ales. Es in e esan e des aca que los il os digi ales mues an, en gene al, un mejo desempeño que los il os analógicos, que ope an con señales con inuas y suelen consis i en un disposi i o ha dwa e. Algunas de las en ajas de los il os digi ales sob e los analógicos son que los il os digi ales son p og amables y, po an o, no ienen an as es icciones como los segundos, se pueden consegui ca ac e ís icas muy ex emas e incluso hace que se adap en a la señal según aya siendo p oce- sada. Son más áciles de diseña e implemen a , y no les a ec an las condiciones del ambien e. Po es os mo i os, en e o os, cuando se quie e il a una señal analógica y segui ob eniendo una señal analógica, se hace una con e sión A/D omando mues- as de la señal analógica de en ada pa a ob ene una señal digi al ( alo es disc e- os). Después se le aplica un il o digi al pa a pos e io men e hace o a con e sión D/A y ol e a ob ene una señal con inua a pa i de la señal digi al ya il ada. REF En la igu a 2.3 se ap ecia cómo se u ilizan los il os digi ales pa a p ocesa señales analógicas con ayuda de con e so es A/D (ADC) y con e so es D/A (DAC). FIGURA 2.3: P oceso ípico en DSP(Digi al signal p ocessing) Reco demos que nues o obje i o p incipal es se capaces de compa a dos señales de audio. En es a ase inicial usa emos un il o digi al pa a queda nos con un ango de ecuencias ú iles. Las ecuencias que podemos pe cibi los humanos se encuen- an en e 200 Hz y 20000 Hz. Y especí icamen e la oz humana se encuen a en un ango aún más pequeño como imos en la sección an e io y puede obse a se en la igu a 2.4. Los lími es de la oz es án en e 200-800 Hz y 3000-3500 Hz de ecuencia. Y se án alo es como es os los que se án las ecuencias de co e en nues o il o. 2.2.3 Tipos de il os digi ales Ve emos a los il os digi ales como unciones que eciben una secuencia de núme os o alo es (la señal de en ada) y p oduce una nue a secuencia de alo es (la señal de salida il ada). Hab á a ios ipos de il os según el c i e io que se escoja. Es a in o mación nos ayuda á a decidi qué il os usa emos pa a nues o p opósi o. 2.2. Fil ando el audio 9 FIGURA 2.4: Lími es de audición humanos. [9] Según la espues a en ecuencia Es deci , de acue do a la pa e del espec o que dejan pasa y que a enúan. De es a o ma los il os se puede selecciona qué ecuencias quie en al e a y cuáles blo- quea . Según es o podemos di e encia 4 ipos básicos: •Fil o paso bajo o co e al o. Deja pasa las ecuencias que es án po debajo de una de e minada ecuencia, po an o, a enúa las ecuencia al as. •Fil o paso al o o co e bajo. Deja pasa las ecuencias que es án po encima de una de e minada ecuencia, po an o, pa a las ecuencia bajas. •Fil o pasa banda. Es la combinación de un il o paso bajo y uno paso al o, es e il o deja pasa las ecuencias que es án en una de e minada banda de ecuencia, es deci , en e dos ecuencias de e minadas. •Fil o echaza banda. También es combinación de un paso bajo y uno paso al o, pe o es e deja pasa la mayo pa e de las ecuencias sin al e a y a enúa las de un ango especi icado, es deci , bloquea las ecuencias de la banda de e - minada po dos ecuencias. Los dos p ime os ipos se de inen po su ecuencia de co e. Y los dos úl imos ipos de il os se de inen po su ecuencia cen al y su ancho de banda. La ecuencia de co e es aquella se encuen a en el lími e en e la banda pasan e y la a enuada. Las ecuencias bien po encima o po debajo de ella se en a enuadas po un ac o de 1/√2(ap oximadamen e 0.707). Llamamos banda pasan e (passband) al ango de ecuencias que no se e án a ec- adas po el il o y simplemen e pasa án. Mien as que la banda a enuada (s opband) son aquellas ecuencias que el il o bloquea. Las ansiciones en e la banda pas- an e y la banda de co e no son gene almen e limpias en los il os eales. Exis e, po an o, una banda de ansición. Exp esión gene al de un il o y clasi icación po espues a al impulso Podemos e la ecuación de un il o en unción del núme o de mues a (n): 10 Capí ulo 2. Diseño e implemen ación y(n) = N X k=0 bk·x(n−k)− M X k=1 ak·y(n−k)(2.1) El il o se e de inido po la elección de los coe icien es ayb. Y depende an o de las mues as de en ada an e io es como de las mues as ya il adas. El núme o de mues as an e io es que el il o u iliza y mezcla con la nue a mues a de en ada nos da el o den del il o. Si la salida y(n)solo se calcula con las mues as de en ada se dice que el il o de inido es no- ecu si o. Po o o lado, un il o ecu si o es aquel que ambién u iliza los alo es de salida calculados an es. Es os dos il os ambién son conocidos como FIR (Respues a ini a al impulso oFini e Impulse Response) e IIR (Respues a in ini a al impulso o In ini e Impulse Re- sponse), espec i amen e. Es os é minos son la clasi icación de los il os según su espues a al impulso. La espues a al impulso de un il o digi al es la secuencia de salida cuando el il o iene como en ada la señal impulso o en ada uni a ia, siendo un es a una mues a con el alo 1 seguida de más mues as pe o con alo ce o [16]. Fil os FIR Los il os FIR cuando ienen como en ada la señal impulso p oducen como salida un núme o ini o de é minos. Pa a ob ene las salidas y(n)se e asa la señal de en ada has a ese momen o y se combina con la nue a señal de en ada x(n). Se a a de un combinación lineal y solo es án implicadas señales de la en ada, an o la p esen e como las pasadas. Si emos la ecuación an e io 2.1, pa a los il os FIR queda de la siguien e o ma y[n] = b0·x[n] + b1·x[n−1] + b2·x[n−2] + ···+bN·x[n−N] Solo es án p esen es los coe icien es bique de e minan el compo amien o del il o. Se ienen N+ 1 coe icien es y Nes el o den il o. De hecho, la espues a del il o FIR a la señal impulso x={1,0,0,0,0,0,0, . . .} es la señal y={b0, b1, b2, b3, . . . , bN,0,0,0, . . .} donde se pueden e los coe icien es y la ini ud. Fil os IIR Los il os IIR p oducen una salida in ini a, es o se p oduce po la e- cu sión en su ecuación. Ya que an o a como b son no nulos y la ecuación siemp e es de la o ma y[n] = b0·x[n] + b1·x[n−1] + b2·x[n−2] + ···+bN·x[n−N](2.2) −a1·y[n−1] −a2·y[n−2] −a3·y[n−3] −···−aM·y[n−M] Es deci , pa a la espues a y[n]se iene una combinación lineal de en adas has a ese momen o, la señal de en ada ac ual y señales de salida an e io es. Se ienen N+ 1 é minos del coe icien e byM é minos del coe icien e a. El o den de un il o IIR es el máximo en e NyM. 2.2. Fil ando el audio 11 Se dice que se e oalimen a, po eso son ambién llamados ecu si os o de eed- back. Y po ese mo i o se dice que su espues a es eó icamen e in ini a, siemp e hab á é minos de salida que si an en ada en la ó mula. Pe o en ealidad, a é - minos p ác icos, la espues a de casi odos los il os IIR se educe a ce o en iempo ini o. FIR s IIR. Función de ans e encia La unción de ans e encia de ambos il os se calcula con el uso de la ans o mada Z sob e la espues a al impulso. Lo que eníamos, una unción cuyo dominio disc e o es el iempo, con la aplicación de es a ans o mación, aho a es una unción con dominio la ecuencia y cuya a iable es compleja. De es a mane a, emos la espues a en impulso como espues a en e- cuencia. Es a o ma de ep esen a los il os nos da in o mación sob e los ce os y polos de la ecuación del il o. H(z) = B(z) A(z)=b0+b1z−1+b2z−2+···+bNz−N 1 + a1z−1+a2z−2+···+aMz−M(2.3) Los il os IIR y FIR se dis inguen en los siguien es elemen os: •Tiempo de cómpu o. Mi ando las ecuaciones 2.2 y2.3 pa ece que los il os IIR o ecu si os equie en ealiza más cálculos ya que dependen an o de é mi- nos de la señal de en ada como de é minos ya calculados de la salida. Pe o, en gene al, ocu e lo con a io. Pa a consegui la espues a según unas cie as especi icaciones, los il os IIR necesi an un meno núme o de coe icien es que los il os FIR. Es deci , el il o IIR equie e un o den meno pa a consegui las especi icaciones, haciendo que el cómpu o sea más ápido, la memo ia e- que ida, el núme o de ope aciones y el iempo de cómpu o es meno . •Es abilidad. Si emos la unción de ans e encia de ambos il os se e que un il o IIR puede ene polos y po an o, ines abilidad, mien as que un FIR sólo iene ce os, y po eso, siemp e es es able y no en a en oscilación •Respues a de ase lineal. La ase es la elación que se hay en e un pun o de la señal de en ada y su imagen po el il o. La ase es así una unción que idealmen e es lineal. Pe o es a linealidad solo se consigue ealmen e con los il os FIR. La espues a de ase de los il os IIR no es lineal, sob e odo ce ca a la banda de ansición, pe o se pueden hace buenas ap oximaciones. Además, si es as bandas de ansición son muy co as, es deci se hacen co es muy ab up os, los FIR pueden eque i un g an núme o de e a dos. Mien as que los IIR pueden o ece co es muy ma cados. Es as son las di e encias más no ables, pe o con la ecnología ac ual la di e encia en e los dos ipos es poco pe cep ible. Los il os que usa emos Sabemos que los il os pasa banda se pueden cons ui a pa i de los il os paso bajo. Lo que que emos es desecha las ecuencias que se salen del ango especi i- cado y po eso usa emos un pasa banda. Hab á co es que a enúen ecuencias muy bajas y muy al as. El il o lowpass que usa emos como base pa a el bandpass debe in en a hace un co e limpio. Es e il o elec ónico ideal del que hablamos es el llamado il o b ick-wall, el cual deja pasa po comple o la banda de paso y a enúa 12 Capí ulo 2. Diseño e implemen ación el es o con una ansición muy ab up a. El nomb e se debe a la o ma que iene su unción de ans e encia: cons an e has a que se llega a la ecuencia de co e donde la in ensidad de la señal iende a menos in ini o casi de inmedia o. FIGURA 2.5: Diag amas de Bode a pa i de la unción de ans e en- cia de los il os Bessel, Bu e wo h, Chebyshe y elíp ico Los il os elec ónicos cuyo compo amien o más se asemejan a es e il o ideal son Bu e wo h, Chebyshe I, Chebyshe II, elíp ico y Bessel, podemos e su di- ag ama de Bode en al igu a 2.5. Es os son la e sión digi al de sus homónimos analógicos. Casi odos los il os analógicos son IIR, sin emba go los il os digi ales pueden se FIR o IIR. Reco damos que la p esencia de la e oalimen ación en el il o hace que es e sea IIR. En e las opciones que enemos elegimos usa el il o Bu e wo h, que a a p ese a la pa e de la señal que que emos. 2.2.4 IMPLEMENTACIÓN P og ama un il o conlle a dos pasos. P ime o, eniendo cla o que nues o il o digi al es IIR, sabemos que debemos consegui los coe icien e aybque de ini án a nues o il o. Y segundo, una ez enemos los coe icien es podemos aplica los a cualquie en ada que le demos a nues o il o y ob end emos la señal il ada. Pa a ob ene los coe icien es que de inen al il o lo que hicimos ue documen- a nos sob e cómo lo implemen an en biblio ecas de lenguajes como Py hon y Ma - lab. Al p incipio se in en ó ap o echa que Py hon iene mé odos especí icos pa a el il ado de señales pe o como en esos momen os se in en aba hace una aplicación and oid en And oid S udio, abaja desde ese en o no con Py hon no esul ó muy uc uoso. Se es udia on Jy hon [17] y SL4A (Sc ip Laye o And oid) [18] como posi- bles puen es. Pe o esul a on un poco complicados pa a alguien que no iene expe- iencia en And oid. Como la inal se op ó po una aplicación Ja a se implemen ó el cálculo de los coe icien es y el il ado en una clase de Ja a. 2.3. T ans o mación 13 Pa a calcula ambos coe icien es se necesi a usa núme os complejos así que se añadió la biblio eca commons-ma h3-3.6.1 y se u ilizó en conc e o la clase o g.apache.commons.ma h3.complex.Complex. Po o o lado, ambos coe i- cien es dependen an o de la ecuencia de mues eo s, las ecuencias de co e y del o den del il o. Es os da os se án pa áme os que se especi ican al c ea el il o. Cuando le pasemos es os pa áme os a nues o cons uc o del il o, hay que hace un pequeño p ep ocesamien o. Lo que se quie e es ene en cuen a el Teo- ema de mues eo de Nyquis -Shannon y hace que los co es es én en e 0 y 1. Lo que ha emos es usa la mi ad de scomo el máximo de las ecuencias cap adas m según el eo ema mencionado y después calcula las azones de los co es, es deci la ecuencia de co e di idido en e m. El o den del il o condiciona á el núme o de é minos que end án ayb. Pa a consegui un il o Bu e wo h se ealizan una se ie de ope aciones que pueden se consul adas en el código uen e de ese mé odo en Pyh on [19] , ob end emos 2∗N+1 é minos pa a aybsiendo Nel o den del il o. Una ez que enemos los coe icien es calculados ya podemos aplica la ecuación 2.1 pa a consegui la salida y. De es a mane a ob enemos nues a señal il ada. 2.3 T ans o mación En es e momen o del p oceso enemos la señal digi alizada y il ada con los angos de ecuencia elegidos. Queda usa la ans o mación de Fou ie pa a cons ui el espec og ama y abaja con él. Veamos en qué consis e esa ans o mación. La señal digi al con la que es amos abajando se encuen a oda ía en el dominio del iempo, un ejemplo en la igu a 2.6. Tenemos las in ensidades ep esen adas con 16 bi s a lo la go del iempo, lo que nos da el ango de alo es de -32768 a +32767. Lo que que emos es cambia el dominio de iempo a ecuencia. FIGURA 2.6: In ensidad de la onda a a és del iempo. Pa a es e análisis de ecuencias u iliza emos la T ans o mada de Fou ie . La ans o mada de Fou ie con ie e una señal con inua en el iempo en su espec o de ecuencias, descomponiendo la señal en dis in as ecuencias. La ans o mada de Fou ie de una unción en el iempo es una unción compleja con dominio la ecuencia, donde los módulos de sus alo es complejos ep esen an la can idad de las ecuencias p esen es en la unción inicial; y los a gumen os ep e- sen an la ase en una sinusoide básica en esa ecuencia. La ans o mada de Fou ie 14 Capí ulo 2. Diseño e implemen ación es e e sible, siemp e se puede hace el cambio de un dominio a o o. ¿Qué ecuencias son las de ec adas po la ans o mada de Fou ie ? La señal con iene muchas ecuencias que pueden se de ec adas. Si que emos de ec a una ecuencia pa icula debemos ene en cuen a la ecuencia de mues eo sde nues a señal. Reco damos que el eo ema de Shannon nos dice que dada una señal, es a no puede con ene ecuencias po encima de la mi ad de su ecuen- cia de mues eo. Es deci , si es una ecuencia con enida en la señal en onces − s/2≤ ≤ s/2. Si po el con a io s≤2 , es o es, la ecuencia elegida es muy al a, se da á lo que llamamos aliasing. Po lo que la ecuencia de ec able más al a es jus o la mi ad de la ecuencia de mues eo sy se la llama ecuencia de Nyquis o de doblado ( s/2) [11]. De es a o ma, una señal mues eada con ecuen- cia de mues eo s, po el eo ema de Shannon, los componen es de su espec o que pueden se ex aídos pa a ecuencias que cumplen | | ≤ s/2. Nues a señal no es con inua, es disc e a, po lo que u iliza emos la T ans o - mada de Fou ie Disc e a (DFT), que equie e que la en ada sea disc e a y de du- ación ini a. Como esul ado ob end emos una secuencia con la misma longi ud que es una unción de la ecuencia con alo es complejos. La DFT ecibe como en ada una secuencia de mues as equiespaciadas como la que enemos. Pa a nues a señal disc e a con ecuencia de mues eo s, la DFT nos de uel e una secuencia con la misma longi ud, donde sus componen es am- bién es án equiespaciados pa a las dis in as ecuencias de ec adas. Si la señal es á compues a po nmues as, los alo es de la ans o mada es a án sepa ados po ∆ = s/n Hz. A es e alo se le llama esolución espec al o de ecuencia es la mínima ecuencia de ec ada [?]. Siemp e puede se meno si educimos la ecuen- cia de mues eo so abajamos con una señal más du ade a en el iempo. La T ans o mada de Fou ie Disc e a (DFT) se puede calcula de mane a e icien e con el algo i mo FFT (Fas Fou ie T ans o m). Es e algo i mo ue publicado en 1965 po J. Cooley y J. Tuckey [20] y iene di e sas aplicaciones con señales. Es a écnica hace que el algo i mo consiga una complejidad de O(nlog n)cuando aplicando la de inición se iene una complejidad de O(n2), donde nes el amaño de la en ada. El algo i mo FFT puede se aplicado a secuencias con longi ud que no sea po encia de 2. Pe o el algo i mo más usado es aquel en el que di ide la ans o mada en 2 con la mi ad de amaño en cada paso y po lo an o solo acep a como en ada secuencias de longi ud po encia de 2. Ve emos que cuando apliquemos el algo i mo es a no se á una limi ación muy g ande. Como hemos is o, la secuencia de núme os complejos que nos da el FFT end á una longi ud igual a la de nues a señal disc e a con dominio en el iempo, mien- as que las ecuencias de ec adas i án desde − s/2a s/2. La segunda mi ad de sus componen es co esponde a las ecuencias nega i as y con iene los conjugados complejos de la p ime a mi ad posi i a de ecuencias, po lo que no añade nue a in o mación. De hecho, la secuencia de longi ud ncons uida po el FFT es á o mado po un p ime elemen o que es la ampli ud de la señal pa a la ecuencia = 0, seguido de n/2elemen os pa a las ecuencias s/n, 2 s/n, . . . , (n/2) s/n = s/2 2.3. T ans o mación 15 siendo es a úl ima ecuencia la esolución espec al, el elemen o pa a es a ecuencia iene pa e imagina ia nula po lo que coincide con el elemen o pa a la ecuencia − s/2. Los úl imos n/2−1elemen os se co esponden con las ecuencias nega i as o denadas de meno a mayo : (n/2−1) s/n, . . . , −2 s/n, − s/n Si suponemos que nues a ecuencia de mues eo ses 44.1 kHz y el núme o de mues as igual a la longi ud de la secuencia FFT es n= 1024, en onces las ecuencias pa a las que se calcula la ampli ud en la señal se án: 0:0∗44100/1024 = 0.0Hz 1:1∗44100/1024 = 43.1Hz 2:2∗44100/1024 = 86.1Hz 3:3∗44100/1024 = 129.2Hz . . . 511 : 511 ∗44100/1024 = 22006.9Hz Cabe esal a que las ecuencias ú iles son, en e ec o, las n/2p ime as. La úl ima ampli ud ú il pa a aplicaciones p ác icas es la asignada a la ecuencia (n/2−1)- ésima, 22006.9 Hz en nues o ejemplo. La magni ud pa a la ecuencia n/2∗ s/n o ecuencia de Nyquis , 22050 Hz en el ejemplo, no es usada gene almen e. Ya que, en casos p ác icos, pa a e i a el aliasing no se u ilizan las señales a ecuencia s/2y supe io es. Sin emba go, si aplicamos DFT con el algo i mo FFT a oda nues a señal, nos encon amos que pe demos oda la in o mación con espec o al iempo, sabemos la magni ud de la señal con espec o a la ecuencia pe o no sabemos en qué momen o se es án dando esas magni udes, po lo que pa a calcula la magni ud ha emos uso de una en ana deslizan e, es o es, di idi la señal o al en pa es o chunks o mados po un núme o ijo de mues as. Y aplica la ans o mada de Fou ie disc e a a cada una, así sab emos las magni udes po ecuencia en cada chunk. El amaño de es os chunks se á de alguna po encia de 2 (256, 512 o 1024 mues as equi alen e a 512,1024 o 2048 by es) que es la longi ud que debe ene el inpu del FFT. De es a o ma ob enemos el espec og ama que es una ep esen ación isual de es dimensiones de la señal de audio, podemos e un ejemplo en la igu a 2.7. En un espec og ama se puede obse a en el eje e ical las ecuencias, en el eje ho izon al el iempo (los chunks) y en cada pun o la magni ud de la in ensidad de la señal en ese iempo y esa ecuencia. De es a o ma, una línea ho izon al ep esen a un ono pu o, es deci una señal con una sola ecuencia y una línea e ical signi ica una á aga de uido blanco, es deci , una señal que iene la misma in ensidad en ecuencias dis in as. El obje i o de u iliza el espec og ama es consegui una ep esen ación g á ica del audio. Es a es la ep esen ación de la que pa imos pa a compa a pos e io - men e dos señales de audio. 22 Capí ulo 2. Diseño e implemen ación las dimensiones del blob b:xmin,xmax,ymin yymax se ac ualizan. Después se ex- aminan los píxeles ecinos pa a e si ellos ambién son pa e de b, pa a ello se hace una llamada ecu si a: se examina de la misma o ma a los ecinos del píxel ac ual y se examina a los ecinos de es os úl imos. Cada ez que se explo a un nue o píxel se ma ca como isi ado. Al inal enemos de inidos a ios blobs dado un umb al de inido. Noso os ejecu amos es e p oceso pa a odos los umb ales de inidos en la e apa de h esholding. Po lo que pa a cada ni el, enemos un conjun o de blobs de ec ados. Po la na u aleza de los espec og amas, no enemos egiones de ec adas que sean g andes o signi ica i as po sí solas. Po lo que nos queda emos con los xmin,xmax, ymin yymax de odos los blobs de ec ados en cada ni el. Es a es la in o mación que nos se á ú il en el siguien e paso. 2.5 Compa ación Es a es la úl ima e apa de nues a aplicación y de nues o eco ido. A pa i del p ocesamien o que ha pasado la señal de oz del inicio amos a ob ene una ma iz. De es a o ma la compa ación de oces se ha educido a compa a ma ices. Los alo es del espec og ama se án la base pa a la ma iz que ep esen e la p o- nunciación g abada. Pa a cada alo que oma el umb al en la de ección de blobs, se o ma á una ma iz que se á el espec og ama que hemos con uido pe o eco ada según lo que algan las a iables xmin,xmax,ymin yymax. Pa a ellos hemos con- s uido los mé odos eco a X y eco a Y que eco an la ma iz. Es o signi ica que dado un umb al, podemos ob ene ma ices de dis in as dimensiones pa a cada a chi o de audio que se usa á en la compa ación. Pe o amos a que e que, si dos ma ices se an a compa a , sean de dimensiones iguales. Es o lo consegui emos g acias a la in e polación lineal. En nues o p oyec o Ja a una ma iz es á o mada po un a ay con los elemen os de la ma iz y dos en e os: al o (núme o de ilas) y ancho (el núme o de columnas), ya que nues as ma ices son de dos dimensiones (como los espec og amas y las imágenes). Pa a iguala las dimensiones de dos ma ices, hallamos la mayo al u a y la mayo an- chu a, y pos e io men e in e polamos ambas ma ices haciendo que su al o y ancho coincidan con los máximos calculados. Una ez enemos dos ma ices que compa en dimensiones, podemos pasa a los mé odos de compa ación de ma ices. En p ime luga , medi emos la simili ud en e las ma ices con la simili ud del coseno. Es a medida si e pa a de e mina la simili ud en e ec o es no nulos, nos da el alo del coseno del ángulo en e los ec o es independien emen e de la magni ud de los ec o es. La simili ud de dos ec o es AyB iene dada po cos (θ) = A·B kAkkBk Analicemos, lo que es o signi ica, el coseno del ángulo en e AyB a ía en e -1 y 1, si es e es posi i o los ec o es o man un ángulo agudo, si es 0 son pe pendicula es y si es nega i o o man un ángulo ob uso. Teniendo que si ale 1, ienen la misma di ección y si ale -1, son opues os. 2.5. Compa ación 23 Pa a nues os cálculos, conside a emos a la ma iz como un solo ec o de al o*ancho elemen os. Según hemos cons uido el espec og ama, solo enemos elemen os pos- i i os, po lo que el ango del coseno del ángulo se educe a se de 0 a 1, y el ángulo a ía de 0 a π/2. Lo cual nos pe mi e deci que la dis ancia y la simili ud en e Ay Bson: dis ancia =cos−1(simili udCoseno) π/2 simili ud = 1 −dis ancia El es o de mé odos es a án basados en el cálculo de dis ancias en e ma ices. Ex ae emos una ma iz de la o a y medi emos la di e encia con las co espondi- en es no mas de ma ices. Las no mas aplicadas se án: •No ma in ini o, que es simplemen e la máxima suma absolu a de las columnas de la ma iz. kAk1= max 1≤j≤n m X i=1 |aij| •No ma 1, que es simplemen e la máxima suma absolu a de las ilas de la ma- iz. kAk∞= max 1≤i≤m n X j=1 |aij| •No ma F obenius, que es equi alen e a la no ma 2 en ec o es de una dimen- sión. kAkF= u u m X i=1 n X j=1 |aij|2 Lo siguien e se á hace p uebas y alo a los esul ados. P oba emos 3 ases de dis in os idiomas: •Japonés: I adakimasu (g acias po la comida; comamos) •Co eano: bogo sip-eoyo, eodiyeyo? ( e echo de menos, ¿dónde es ás?; quie o e e, ¿dónde es ás?) •Español: Ellos inie on a casa mien as es abas ue a. 24 Capí ulo 2. Diseño e implemen ación Tend emos una mues a maes a pa a cada ase y 3 in en os de una pe sona p onunciando la ase, e igu as 2.12,2.13,y2.14. FIGURA 2.12: Audio más e y 3 de p ueba en japonés FIGURA 2.13: Audio más e y 3 de p ueba en co eano Veamos los esul ados ob enidos si compa amos cada ase con los 9 in en os gua dados. P ime o explica emos el o ma o de los esul ados que hemos adjun ado en la memo ia en el apéndice A. Pa a cada compa ación gua damos la simili ud, la dis- ancia in ini o, la dis ancia uno y la dis ancia F obenius pa a cada umb al. El umb al de ine el g ado de simili ud de colo en e los píxeles que se pide, mien as más al o el umb al es más es ic a la o mación de blobs. Es amos abajando con 12 umb ales o ni eles: 2.5. Compa ación 25 FIGURA 2.14: Audio más e y 3 de p ueba en español •25.0% •31.25% •37.5% •43.75% •50.0% •56.25% •62.5% •68.75% •75.0% •81.25% •87.5% •93.75% Pa a la simili ud del coseno, mien as el alo sea más ce cano a 1, más pa eci- das se án las mues as de audio. Como omamos la simili ud pa a a ios ni eles, hemos calculado la media de los 12 alo es. Pa a las dis ancias, po el con a io, mien as más se ace quen a ce o, más simila es se án los audios. En es e caso, com- pa amos los esul ados de los in en os pa a e cuál ha enido más éxi o. Una o ma de e lo, es e cuál de los in en os ha ob enido más mínimos compa ando con los demás.Veamos casos más conc e os. Cuando compa amos el más e de japonés con sus 3 in en os, según la simili ud del coseno el e ce in en o es el más simila . Si mi amos la dis ancia in ini o, los alo es del e ce audio son meno es que el es o, es o ambién signi ica que el e ce in en o ha enido un mejo esul ado pa a es a dis ancia. Además la dis ancia 1 y la de F obenius es án de acue do con es a decisión. 26 Capí ulo 2. Diseño e implemen ación ¿Qué pasa si hablamos en o o idioma cuando el p og ama espe a es a ase en japonés? La simili ud del coseno, nos da esul ados que no mues an mucha di e en- cia compa ados con el caso japonés-japonés. Sin emba go, las es dis ancias mues- an, en su mayo ía, alo es supe io es a la compa ación con la misma ase, lo que se aduce a más di e en es. Po an o, más simili ud conseguida pa a las mismas ases g acias a las dis ancias. La excepción ha sido el e ce in en o de co eano, que mues a esul ados de se muy simila . si obse amos sus mues as, podemos e que e ec i amen e, son muy pa ecidas. O a de las p uebas es con co eano. P ime o se compa an los 3 in en os de deci la ase elegida y luego o os idiomas con ases dis in as. En es e caso, los alo es más al os en la simili ud del coseno dan la mejo simili ud, po poco, a la com- pa ación co eano-co eano. La dis ancia 1 deja cla o que la ase en español es muy dis in a a la co eana pe o la japonesa no an o; los esul ados son muy simila es. F obenius sí que nos ayuda a con i ma que las ases en co eano son las más pa e- cida, las di e encia con el es o de ases es signi ica i a. Pa a el español hemos gua dado, en los in en os 2 y 3, e siones na u al e in en- cionadamen e dis o sionadas de la ase. Pa a las cua o compa aciones, se mues as mejo es esul ados, como espe ábamos, del in en o 1. 27 Capí ulo 3 Conclusiones En la ac ualidad, en el campo de e i icación de la p onunciación, hay poco so wa e abie o. Casi odo el so wa e que un usua io puede usa con es a uncionalidad es p i ado. La mayo ía de es os so wa e o ecen una subsc ipción pa a el uso de su p oduc o que suele se una aplicación de ap endizaje de idiomas bas an e comple o, incluyendo muchas o as ac i idades además del e ue zo en la p onunciación. Al- gunas de es as aplicaciones son: •Duolingo [25]. •Rose a S one y su ecnologia T uAccen [26]. Es a emp esa comp ó Tellmem- o e de Au alog [27]. •Mango [28]. •Saundz [29]. •saundz [30]. •Babbel [31]. En es e p oyec o hemos is o el paso a paso del p ocesamien o del habla, cómo se cap u a la oz, las con igu aciones necesa ias según las aplicaciones que se le quie an da . Cómo es su icien e solo un canal y cuál debe se la ecuencia de mues eo necesa ia pa a cap u a la oz. Hemos is o que hay dis in os il os pa a las señales digi ales, que noso os necesi amos un il o paso banda y el il o Bu e - wo h es una buena opción po que conse a las dis in as in ensidades de la onda. Hemos is o qué ecuencias del esul ado de la ans o mada de Fou ie son las necesa ias pa a la c eación del espec og ama, las ecuencias posi i as. Y ap endi- mos que la de ección de blobs en imágenes se puede hace buscando lo que es más simila a una e e encia o buscando los con as es en oda la imagen haciendo que los blobs se o men solos a pa i de la c eación de bo des. En con as e con el guión [2]: •La sus acción del sonido de ondo del modo que se desc ibe no mues a buenos esul ados. •La compa ación de ma ices deja no es muy p ecisa si se a a de dis in as ases compa adas. •Al a a se de espec og amas de ases de palab as, elegi el blob más g ande no es buena opción, ya que se pie de mucha in o mación. Op amos po eso elegi la unión de los blobs. 28 Capí ulo 3. Conclusiones También in es igamos si aplicaciones de econocimien o de música nos pod ían se ú iles, como Shazam [32], que lo que hace es busca una canción, dada una mues- a, en una base de da os con millones de canciones. El p oceso en es e caso es muy pa ecido al nues o: cons uye un espec og ama y luego aplica una ex acción de ca ac e ís icas di e en e, al inal consigue un código con los ea u es impo an es de la canción y lo gua da en una abla cla e- alo [33]. Es o nos demues a que una e sión de la ap oximación he hemos omado es usada en una de las aplicaciones más conocidas a ni el mundial. El abajo, al es a esc i o en Ja a, puede se u ilizado en una g an di e sidad de sis emas ope a i os y ha dwa e. El p oyec o ha lle ado a cabo las e apas indi- iduales exi osamen e pe o al inal de odo el eco ido es indiscu ible e que aún al an cosas po puli y hace las más a la medida de los da os, es deci , adap a nos aún más a su na u aleza, po ejemplo, lo espec og amas que a amos con isión a i icial no son imágenes que el ojo humano es á acos umb ado a e y con las que es a á ea de in es igación abaja, po lo que la de ección del ea u e p incipal de la imagen se pod ía p ac ica o os mé odos de ex acción de ea u es [34] o o a imple- men ación del de ec o de blobs. 3.1 Di icul ades encon adas Como hemos mencionado an e io men e, nos opamos con muchos mu os di íciles de en en a . Muchos de ellos los supe amos omando caminos al e na i os. El p ime p oblema ue lo ambicioso del p oyec o, el iempo necesa io pa a e - mina un p oyec o de es as ca ac e ís icas supe a el iempo el de un TFG y po an o no pudo lle a se a cabo. Hay muchos caminos que nos hab ía gus ado explo a más y lle a a cabo más p uebas. Al p incipio del p oyec o, se que ía implemen a una aplicación And oid p epa ada pa a la in e acción con el usua io. Con imágenes a iempo eal y más u ilidades complemen a ias. Pe o al a a se de sola una pe sona con el iempo limi ado, y las di icul ades que su gían pa a adap a el guión [2] a una aplicación And oid, se de- cidió implemen a solo el p ocesamien o de oz y p epa a el so wa e de al mane a que se pudie a u iliza en cualquie pla a o ma y se u ilizado den o de o as apli- caciones. Más en conc e o, una de las di icul ades encon adas ue al p incipio, en la ase de in es igación pa a empeza el desa ollo. Al se a amien o de señal de oz, lo que más se encuen a buscando sob e es e ema son soluciones Py hon o Ma lab. Se es udia on Jy hon [17] y SL4A (Sc ip Laye o And oid) [18] como posibles enlaces pe o el paso de da os de un lenguaje a o o lo complicaba innecesa iamen e. Más adelan e su gió la p egun a de cómo en en a se al esul ado que daba el de ec o de blobs y el en endimien o del código uen e que usamos. Al inal, se solucionó como demos amos en el capí ulo 2. 3.2 T abajo u u o Es e abajo, al a a se de una posible ía de muchas pa a implemen a el p oce- samien o y la compa ación de p onunciaciones, el so wa e iene mucha cabida pa a 3.2. T abajo u u o 29 su mejo a. Inspi ándonos en los p og amas que exis en en la ac ualidad y en la ex- pe iencia y oma de decisiones hecha du an e el desa ollo de la aplicación, aquí enemos algunas posibles ex ensiones o mejo as: •Rep esen ación de la señal de onda y del espec og ama en iempo eal pa a compa a los sonidos cuando se haya op ado po una in e az de usua io. •Compa a con a ias mues as hechas po na i os en cada compa ación y no solo con una. •Es udia el caso de pasa un econocimien o de oz pa a e i ica las palab as usadas además de compa a la en onación. •Es udia la compa ación de señales de oz po co elación. 31 Apéndice A Resul ados de la p uebas Incluimos el esul ado de las p uebas. Es os han sido analizados y podemos e su in e p e ación al inal del capí ulo 2. ko ean Página 7 ko 0-esp2 o 0-esp3 o 0-esp4 cosine simila i y 0,774960232 0,76117031 0,76985079 0,782369647 0,777490153 0,776887349 0,779910401 0,774505802 0,776447218 0,771754074 0,767556681 0,766599311 0,772076071 0,771498785 0,767174358 0,794893252 0,790880338 0,789013591 0,794851545 0,78688292 0,793678412 0,796835383 0,784595078 0,796391021 0,792771152 0,784342322 0,794322792 0,799700193 0,81720137 0,801820231 0,805596486 0,813516378 0,810711574 0,823461078 0,836867972 0,830589713 0,796745111 0,79076496 0,788875676 0,789457196 0,79076496 dis in 113,4484197 135,043392 87,95414742 150,3768599 87,95414742 110,4342861 123,3408974 122,3933847 142,5153617 122,3933847 99,63481765 111,5030152 106,5354196 128,6471703 106,5354196 132,3637724 134,285415 142,5128444 159,47866 134,285415 115,8717825 134,2071439 142,0004545 158,3258405 134,2071439 104,5282301 94,18993476 99,10945156 115,7976064 94,18993476 63,98904112 96,78041628 112,5582454 101,127204 96,78041628 63,43039586 80,86739861 79,99843747 96,9647379 79,99843747 64,86366646 75,22456247 80,14110972 83,20552423 75,22456247 62,2342437 47,08126844 41,71376256 74,13949582 41,71376256 30,99271674 29,62427945 34,02714398 36,62869039 29,62427945 5,646428652 7,183759232 7,056933011 6,101297469 6,101297469 Dis 1 24,4703707 36,9919981 35,97837255 49,45132125 35,97837255 24,30829814 39,13518658 37,85060077 44,90709526 37,85060077 22,20779791 37,52219777 37,24544087 47,47676055 37,24544087 22,82391557 38,63509897 40,69028344 49,86295711 38,63509897 23,81765547 37,09589877 37,96046413 50,21712601 37,09589877 24,65142039 41,76961083 47,18892672 55,34531513 41,76961083 20,19668854 42,29722111 41,38991468 54,8988134 41,38991468 21,31150689 31,4080424 36,08658069 35,44793508 31,4080424 17,91725772 29,46574111 28,35022847 40,94285809 28,35022847 19,68295783 28,14023964 29,65641803 42,03720581 28,14023964 19,5117203 30,38418283 31,90015937 34,34946315 30,38418283 15,28382039 26,38379901 23,27627389 37,35716692 23,27627389 dis F obenius 33,67679425 57,06255646 47,80771328 62,95161451 47,80771328 38,77430418 54,29138488 55,16147898 60,00154999 54,29138488 30,37953386 51,01763199 52,33534737 56,22816645 51,01763199 37,06500167 59,02510481 59,7323329 65,14798638 59,02510481 39,17016204 58,98322212 59,03369704 65,04667488 58,98322212 37,04933979 46,45664919 49,31404416 52,88295463 46,45664919 29,14235009 46,2923597 47,07641981 50,61182585 46,2923597 ko ean Página 8 26,89212085 40,39285939 43,30797396 47,71439898 40,39285939 26,36900379 38,20016933 41,06004015 43,94564126 38,20016933 25,6943739 30,49755717 27,92595515 40,50002272 27,92595515 17,19254424 24,86012604 27,34891042 28,85657225 24,86012604 8,109179688 10,33233615 9,444946494 11,15558875 9,444946494 spanish Página 9 esp1-esp2 esp1-esp3 esp1-esp4 esp1-jap1 esp1-jap2 cosine simila i y cosine simila i y 0,822641475 0,801569899 0,822860709 0,781321483 0,774080052 0,801345552 0,792812393 0,799840004 0,787230543 0,791345307 0,816260667 0,808916203 0,811771963 0,78458393 0,77568375 0,802338634 0,797650732 0,800184779 0,784126667 0,773737997 0,801979449 0,797228098 0,8005974 0,779461515 0,787041353 0,820382565 0,799319971 0,799742282 0,784073929 0,788503415 0,80457146 0,823290359 0,801801904 0,790191026 0,773925329 0,829350765 0,817059418 0,79945312 0,793637814 0,771901643 0,82710804 0,831499386 0,803517418 0,797110116 0,77339283 0,839437056 0,827693603 0,815149852 0,812050708 0,812172636 0,852089683 0,822165042 0,828660001 0,799046339 0,816522657 0,848806155 0,829294421 0,839154673 0,809422287 0,815580746 0,822192625 0,812374961 0,810227842 0,822192625 0,791854697 0,787823976 dis in dis in 145,3418793 123,5937754 173,2274316 123,5937754 263,1608237 132,022834 142,2499721 141,9169067 176,7382848 141,9169067 241,7672547 138,2417511 163,1937888 152,0126961 189,7437868 152,0126961 276,0518859 139,2793049 129,213706 156,8182661 131,77201 129,213706 238,5765212 123,0992488 132,9590804 155,1784986 132,5220781 132,5220781 227,9255317 134,2871179 113,2257607 119,9029829 122,4172356 113,2257607 239,4118433 135,3873937 129,2442222 125,1621248 119,9867766 119,9867766 225,6244679 114,1699763 99,44856329 112,5299697 109,0171794 99,44856329 228,0826233 114,8094424 92,24114633 85,93142372 111,8779484 85,93142372 220,5952136 101,3271754 59,46214476 79,53435156 79,24785634 59,46214476 119,1824726 72,76059161 32,2439948 61,0316864 35,48315745 32,2439948 59,60874704 37,02517284 8,049137835 7,635113004 8,062826905 7,635113004 8,873604182 7,390077977 Dis 1 Dis 1 27,91345407 39,8935788 37,06597076 27,91345407 34,4522941 38,1331934 35,95554925 35,14048796 38,62041082 35,14048796 38,5419762 39,37950724 32,67043826 32,53894676 49,8212631 32,53894676 37,40231527 42,95972073 32,67686451 33,57056402 41,49523117 32,67686451 35,17230361 40,16860306 33,01430425 35,56417314 41,3924425 33,01430425 37,89102007 42,63651074 26,49196054 31,25718393 38,48287548 26,49196054 40,7196699 38,43733605 28,94450072 25,32806408 43,23971213 25,32806408 35,52584949 41,39658914 26,6354045 29,84330974 38,89012208 26,6354045 36,05628505 39,4347472 25,70091092 31,55497779 44,60871187 25,70091092 39,96593783 37,64665043 27,96195931 35,67324331 34,70753059 27,96195931 33,35869168 26,74196138 21,77456391 35,25759538 30,28681706 21,77456391 33,1393798 36,46906785 23,14784812 29,81966125 34,23982009 23,14784812 27,75939548 35,85205015 dis F obenius dis F obenius 44,99875692 45,62033905 48,68426358 44,99875692 48,40226264 48,93994178 48,94629234 50,66934779 53,05666877 48,94629234 47,76001292 47,15803011 49,71565386 51,03513758 54,32241015 49,71565386 48,8927066 48,66991982 48,65775488 49,51608829 53,00275786 48,65775488 45,14491493 46,74141043 48,69979725 49,49610353 52,85917603 48,69979725 45,70437154 47,27011327 42,80488775 47,49103461 50,52335447 42,80488775 47,87545758 47,25902125 44,28826582 41,08432403 48,84332668 41,08432403 43,57973388 44,36098749 spanish Página 10 38,73968424 42,72780788 47,06089456 38,73968424 42,45896015 42,32160264 35,29032118 38,10636441 41,89986834 35,29032118 42,06776195 37,95332185 29,61322975 37,04849188 37,84784534 29,61322975 31,76677481 29,1440011 20,80302327 29,61351557 26,13790434 20,80302327 24,20327855 24,84268516 9,493903603 10,89481912 10,83131644 9,493903603 11,17713736 10,79648194 spanish Página 11 esp1-jap3 esp1-ko 1 esp1-ko 2 esp1-ko 3 cosine simila i y cosine simila i y 0,789612692 0,814587017 0,769259761 0,816398027 0,808359529 0,802173289 0,788402398 0,833420296 0,797443486 0,805561026 0,774553442 0,829204232 0,803651453 0,789356352 0,791812291 0,827621342 0,806406525 0,788749209 0,772397487 0,831957851 0,805857183 0,789566232 0,776743751 0,83297196 0,799129526 0,796576994 0,761232299 0,830756177 0,802595957 0,800609293 0,769048757 0,830691502 0,815673012 0,821946185 0,796119034 0,83590469 0,808791897 0,820259809 0,783203479 0,847121446 0,815427657 0,819308783 0,791561512 0,854018528 0,84839896 0,831588004 0,796322909 0,852990592 0,808445656 0,808445656 0,806690183 0,780888093 0,83525472 0,83525472 dis in 110,6261204 110,6261204 153,2847558 152,9496932 162,7464372 152,9496932 98,23237209 98,23237209 128,699921 174,7037004 143,9830021 128,699921 108,3172791 108,3172791 153,7655243 152,0061641 138,0032114 138,0032114 106,4326582 106,4326582 154,0678393 156,4274838 124,7495009 124,7495009 95,50206297 95,50206297 150,035166 140,1650959 140,9685662 140,1650959 102,703549 102,703549 138,0620666 115,3335786 127,8006815 115,3335786 98,16480728 98,16480728 145,9829584 130,729052 123,6478853 123,6478853 83,2852176 83,2852176 136,8926287 123,8561776 105,6694147 105,6694147 63,45193137 63,45193137 86,67057069 71,0762207 108,5219707 71,0762207 74,70550525 72,76059161 84,11826006 84,29567125 75,07945451 75,07945451 52,18277092 37,02517284 47,39295879 44,80214986 44,63144604 44,63144604 7,460970744 7,390077977 6,698070048 7,53323756 6,332681695 6,332681695 Dis 1 40,13377298 34,4522941 29,91386291 35,27650175 40,34929974 29,91386291 37,96085797 37,96085797 32,21586448 38,05398751 33,45887576 32,21586448 35,84592225 35,84592225 30,04733308 30,78457107 30,69753556 30,04733308 33,04898594 33,04898594 37,32750587 34,77723306 32,79682412 32,79682412 39,12086111 37,89102007 36,35701229 33,82475057 31,60804338 31,60804338 35,67081749 35,67081749 34,65938594 32,0156622 31,68767604 31,68767604 33,78114496 33,78114496 28,10200936 40,6188498 30,61952881 28,10200936 30,70594353 30,70594353 26,6162232 34,67860775 26,46591666 26,46591666 32,81584203 32,81584203 30,17425669 32,64913834 29,05858326 29,05858326 33,62377437 26,74196138 26,92928576 40,69917736 37,00809659 26,92928576 43,25744013 33,1393798 36,40636008 37,4416361 34,25604344 34,25604344 34,03289886 27,75939548 28,63430026 29,98428419 27,09911416 27,09911416 dis F obenius dis F obenius 49,40471169 48,40226264 42,5208845 49,11080152 57,39820372 42,5208845 44,3930431 44,3930431 42,03275167 51,12236196 44,08464987 42,03275167 48,20007353 48,20007353 44,49445688 48,62002687 48,0796948 44,49445688 43,84372865 43,84372865 50,16954234 47,46445689 46,18189956 46,18189956 42,86446887 42,86446887 49,51658117 46,49835729 45,41719078 45,41719078 45,48749338 45,48749338 47,24462551 45,10968048 43,38672222 43,38672222 42,3633879 42,3633879 41,52395393 46,61276608 41,89174574 41,52395393 spanish Página 12 38,48079104 38,48079104 39,07902694 42,74110228 39,53907409 39,07902694 32,05178539 32,05178539 33,46673689 34,59697172 37,33967091 33,46673689 31,95884226 29,1440011 31,32099157 44,43523674 32,3554433 31,32099157 32,76137116 24,20327855 28,99165784 31,54390859 25,18367613 25,18367613 11,15767669 10,79648194 10,13326335 11,64252492 10,58601881 10,13326335 45 Bibliog a ía [1] Reposi o io del p ojec o h ps://gi hub.com/A yalexa/Lea nLanguage [2] Algo i hm - How o de ec how simila a speech eco ding is o ano he speech eco ding, h ps://s acko e low.com/ques ions/17010516/ how- o-de ec -how-simila -a-speech- eco ding-is- o-ano he -speech- eco ding [3] Mues o digi al, h ps://es.wikipedia.o g/wiki/Mues eo_digi al [4] Cuan i icación, h ps://es.wikipedia.o g/wiki/Cuan i icación_ digi al [5] Pulse-code modula ion (PCM) h ps://en.wikipedia.o g/wiki/ Pulse-code_modula ion [6] Señal de oz, h ps://es.wikipedia.o g/wiki/Se~nal_de_ oz [7] Voice Acous ics: an in oduc ion, h p://new .phys.unsw.edu.au/jw/ oice.h ml [8] Umb ales de la audición, h p://www.eumus.edu.uy/docen es/ maggiolo/acuapu/umb.h ml [9] Lími es de audición, h ps://si es.google.com/ si e/lasondasyelsonido/on aminacion-acus ica/ limi es-de-audicion [10] Reco d, play and isualize aw audio da a in An- d oid, h ps://www.new en u eso wa e.com/blog/ eco d-play-and- isualize- aw-audio-da a-in-and oid [11] Teo ema de mues eo, h ps://es.wikipedia.o g/wiki/Teo ema_de_ mues eo_de_Nyquis -Shannon [12] WAVE PCM sound ile o ma , h p://sound ile.sapp.o g/doc/ Wa eFo ma / [13] Audaci y h p://www.audaci y eam.o g/ [14] Fil o elec ónico, h ps://es.wikipedia.o g/wiki/Fil o_ elec ónico [15] Fil o digi al, h ps://es.wikipedia.o g/wiki/Fil o_digi al [16] Respues a al impulso, h p://www.a mel.com/Images/doc2527.pd [17] Jy hon, h p://www.jy hon.o g/ [18] SL4A, h ps://gi hub.com/damonkohle /sl4a 46 BIBLIOGRAFÍA [19] Bu e wo h il e , h ps://gi hub.com/scipy/scipy/blob/ 0.18.1/ scipy/signal/ il e _design.py#L1861-L1932 [20] Cooley, James W.; Tukey, John W. (1965). "An algo i hm o he machine calcu- la ion o complex Fou ie se ies". Ma hema ics o Compu a ion. 19 (90): 297–301. ISSN 0025-5718. doi:10.1090/S0025-5718-1965-0178586-1 [21] De ección de blobs, h ps://en.wikipedia.o g/wiki/Blob_ de ec ion [22] Me aballs (also known as: Blobs), h p://www.geisswe ks.com/ yan/ BLOBS/blobs.h ml [23] P ocessing, h ps://p ocessing.o g/ [24] RGB, h ps://en.wikipedia.o g/wiki/RGBA_colo _space [25] Duolingo, h ps://es.duolingo.com/ [26] Rose a s one, h p://www. ose as one.com/speech- ecogni ion [27] Tellmemo e, h p://www.edukwes .com/ ose a-s one-acqui es- ell-me-mo e/ [28] Mango, h ps://blog.mangolanguages.com/ in ui i e-language-con uc ion-pa -ii-p onuncia ion/ [29] Saundz, h p://saundz.com/ he-saundz-way-o - eaching-english-p onuncia ion/ [30] VowelViz, h p://comple espeech.com/ owel izp o/ [31] Babbel, h ps://blog.babbel.com/ ech-backg ound-babbel-speech- ecogni ion/ [32] Shazam, h ps://www.shazam.com/es [33] , How Shazam wo ks, h ps://laplacian.wo dp ess.com/2009/01/ 10/how-shazam-wo ks/ [34] Fea u e ex ac ion, h ps://en.wikipedia.o g/wiki/Fea u e_ ex ac ion