APLICACIÓN MÓVIL PARA EL CONTROL Y MONITORIZACIÓN DE
LA EVOLUCIÓN DE LA DEGENERACIÓN MACULAR ASOCIADA
A LA EDAD (DMAE)
TRABAJO FIN DE GRADO
CURSO 2022-2023
DANIEL CASTRO LÓPEZ, ÍÑIGO ROLANDO GARCÍA, SONIA MARCOS DE
BENITO, VÍCTOR DE LA FUENTE SABALETE
JOAQUÍN RECAS PIORNO, MARÍA GUIJARRO MATA-GARCÍA
GRADO EN INGENIERÍA DE SOFTWARE Y COMPUTADORES
FACULTAD DE INFORMÁTICA
UNIVERSIDAD COMPLUTENSE DE MADRID
APLICACIÓN MÓVIL PARA EL CONTROL Y MONITORIZACIÓN DE
LA EVOLUCIÓN DE LA DEGENERACIÓN MACULAR ASOCIADA
A LA EDAD (DMAE)
TRABAJO DE FIN DE GRADO EN INGENIERÍA DE SOFTWARE Y COMPUTADORES
DANIEL CASTRO LÓPEZ, ÍÑIGO ROLANDO GARCÍA, SONIA MARCOS DE
BENITO, VÍCTOR DE LA FUENTE SABALETE
JOAQUÍN RECAS PIORNO, MARÍA GUIJARRO MATA-GARCÍA
CONVOCATORIA: JUNIO 2023
GRADO EN INGENIERÍA DE SOFTWARE Y COMPUTADORES
FACULTAD DE INFORMÁTICA
UNIVERSIDAD COMPLUTENSE DE MADRID
DÍA DE MES DE AÑO
RESUMEN
Nues o abajo de in de g ado consis e en desa olla una aplicación And oid que
median e la cáma a del elé ono pe mi e en iempo eal, g aba y econoce ges os ealizados
con la mano po el usua io. La aplicación mues a en pan alla la imagen ecogida po la cáma a
y pe mi e modi ica la mane a en la que dicha imagen es p esen ada (modi icando el alo del
zoom, con as e o b illo).
En conc e o, es a aplicación puede esul a ú il pa a pe sonas que padecen DMAE
(Degene ación Macula Asociada a la Edad), una en e medad que p oduce una degene ación
de la mácula. Las pe sonas que padecen DMAE expe iencian como su isión se uel e menos
ní ida y el aumen o de un campo bo oso en el cen o de su isión. De al mane a, les esul a á
complicado in e ac ua de o ma habi ual con un disposi i o mó il.
Es e p oyec o si e como p ueba de concep o de una aplicación de ealidad aumen ada
que pe mi a al usua io in e ac ua con el sis ema median e ges os, sin necesidad de usa o os
mé odos de en ada como puedan se bo ones y/o comandos de oz.
Palab as cla e
And oid, MediaPipe, Py hon, Ja a, cáma a, ges o, econocimien o, IA
ABSTRACT
Ou inal deg ee p ojec consis s o de eloping an And oid applica ion ha uses he
phone's came a o eco d and ecognize hand ges u es made by he use in eal ime. The
applica ion displays on sc een he image collec ed by he came a and allows use s o modi y
he way in which he image is p esen ed (modi ying he zoom, con as o b igh ness).
In pa icula , his applica ion can be use ul o people su e ing om AMD (Age-Rela ed
Macula Degene a ion), a disease ha causes degene a ion o he macula. People su e ing
om AMD expe ience how hei ision becomes less sha p and he inc ease o a blu ed ield in
he cen e o hei ision. As such, hey will ind i di icul o in e ac on a egula basis wi h a
mobile de ice.
This p ojec se es as a p oo o concep o an augmen ed eali y applica ion ha allows
he use o in e ac wi h he sys em h ough ges u es, wi hou he need o use o he inpu
me hods such as bu ons and/o oice commands.
Keywo ds
And oid, MediaPipe, Py hon, Ja a, came a, ges u e, ecogni ion, AI
ÍNDICE DE CONTENIDOS
1 In oducción 1
1.1. Mo i ación 1
1.2. Obje i os 1
1.3. Plan de abajo 3
2. Es ado de la cues ión 10
A Sma Wa ch-based Ges u e Recogni ion Sys em o Assis ing People wi h Visual
Impai men s 11
Lea ning Pla o m o Visually Impai ed Child en h ough A i icial In elligence and Compu e
Vision 11
S a ic Hand Ges u e Recogni ion using an And oid De ice 12
Vision-based Ges u e T acking o Teleope a ing Mobile Manipula o s 13
Sma Con ol o Home Appliances Using Hand Ges u e Recogni ion in an IoT-Enabled
Sys em 14
MediaPipe Hands 15
OpenPose 16
OpenCV 16
Came aX 16
Chacuopy 17
Tenso Flow 17
3. Desa ollo de la aplicación 17
3.1. Ges ión de iesgos 17
3.2. Plan de p uebas 22
3.3. I e aciones del p oyec o 25
3.3.1. Fase de in es igación 25
3.3.2. I e ación 1 29
3.3.3. I e ación 2 37
3.3.4. I e ación 3 39
4. Resul ados 45
4.1. Manual de usua io 45
4.2. Aplicación 50
4.3. Análisis é ico 54
4.3.1. Licencias de so wa e 54
4.3.2. Uso de la aplicación: es icciones y soluciones implemen adas 55
5. Conclusiones y abajo u u o 57
Apéndice A - P uebas p ime a i e ación 84
Apéndice B - P uebas segunda i e ación 88
Apéndice C - P uebas e ce a i e ación 91

ÍNDICE DE FIGURAS
Imagen 1.3.1: C onog ama de la i e ación inicial 6
Imagen 1.3.2: P ime a pa e del c onog ama de la i e ación 1 7
Imagen 1.3.3: Segunda pa e del c onog ama de la i e ación 1 7
Imagen 1.3.4: C onog ama de la i e ación 2 8
Imagen 1.3.5: C onog ama de la i e ación 3 9
Imagen 1.3.6: G á ico de po cen ajes de iempo in e idos en cada ipo de a ea 10
Imagen 3.1.1: Ma iz de p obabilidades y impac o de los iesgos 18
Imagen 3.3.2.1. Lis a de co espondencia en e la e sión And oid y el de API 29
Imagen 3.3.2.2: Pun os de la mano que usa el obje o de la lib e ía MediaPipe 32
Imagen 3.3.2.3: Resul ado isual de la lib e ía MediaPipe con una mano eal 32
Imagen 3.3.3.1: Pan alla inicial de la aplicación con el bo ón de in o mación y pan alla de
manual de usua io 38
Imagen 3.3.4.1: Ges o es ablece 41
Imagen 3.3.4.2: Diálogo pa a pedi los pe misos de la cáma a en la aplicación And oid 42
Imágen 3.3.4.3: Ven ana pa a modi ica los ajus es del sis ema 43
Imagen 3.3.4.4: Diálogo modal con la explicación de acceso a los pe misos 45
Imagen 3.3.4.5: mensaje de no pode edi a el b illo en la aplicación 45
Imagen 4.1.1: Ges o B illo 46
Imagen 4.1.2: Ges o Con as e 47
Imagen 4.1.3: Ges o Zoom 47
Imagen 4.1.4: Ges o Aumen a 48
Imagen 4.1.5: Ges o Disminui 49
Imagen 4.2.1: Ma iz de con usión 52
Imagen 4.2.2 In o me de clasi icación 52
Figu a 4.2.3 : Po cen aje de acie o de los dis in os ges os 54
Figu e 1.3.1: Timeline o he ini ial i e a ion 63
Figu e 1.3.2: I e a ion 1 imeline 64
Figu e 1.3.3: Timeline o i e a ion 2 65
Figu e 1.3.4: Timeline o i e a ion 3 66
Figu e 1.3.5: G aph o pe cen ages o ime spen on each ype o ask 66
ÍNDICE DE TABLAS
Tabla 3.1.1: Iden i icación de los iesgos 19
Tabla 3.1.2: Desc ipción de las soluciones de los iesgos 22
Tabla 3.2.1: Plan de p uebas 25
Tabla 4.2.1: Obje i os uncionales 50
Tabla 4.2.2: Obje i os de accesibilidad 51
Tabla 4.2.3: Obje i os é icos 51
1 In oducción
1.1. Mo i ación
Exis e una amplia a iedad de p og amas y aplicaciones que son capaces de iden i ica
ges os, sin emba go, la mayo ía de es as he amien as ienen como obje i o p incipal
o os ines dis in os al de ayuda a soluciona p oblemas pa a pe sonas con
discapacidad isual o mejo a su calidad de ida.
Conc e amen e, es e p oyec o a en ocado a mejo a el día a día de pe sonas que
padecen DMAE (Degene ación Macula Asociada a la Edad), una en e medad que
p oduce una degene ación de la mácula. En consecuencia, las pe sonas que padecen
DMAE expe iencian como su isión se uel e menos ní ida y el aumen o de un campo
bo oso en el cen o de su isión, po lo que modi ica la o ma en la que en el mundo
puede o o ga les una g an ayuda a la ho a de desen ol e se en sus a eas co idianas.
Además, conside amos que esul a ía sumamen e bene icioso y opo uno el uso de
ges os como medio de in e acción con las ga as, ya que ac ualmen e, las pe sonas con
discapacidad isual suelen depende de disposi i os ex e nos pa a egis a las
acciones que desean ealiza .
Además, es a inicia i a ep esen a un p oyec o al amen e in e esan e, que puede se i
como una excelen e opo unidad pa a demos a el eno me po encial que poseen las
ecnologías basadas en in eligencia a i icial pa a esol e necesidades muy especí icas
y mejo a la calidad de ida de pe sonas con discapacidades.
1.2. Obje i os
Pa a de ini los p incipales obje i os de es e p oyec o, dis ingui emos en e es ipos
di e enciados: obje i os uncionales (que pe mi i án que la aplicación econozca ges os
en el meno iempo posible pa a ealiza la acción asociada al mismo), obje i os de
accesibilidad (que pe mi i án a un usua io de la aplicación in e ac ua con la misma sin
ningún p oblema) y obje i os é icos (que pe mi i án al usua io oma decisiones sob e el
uso de la cáma a den o de la aplicación).
En cuan o a los obje i os uncionales encon amos:
1
● Sis ema empo ado sin necesidad de conexión a in e ne : la aplicación pod á se
usada como una aplicación de las p opias ga as de ealidad aumen ada y el
usua io pod á usa la sin necesidad de es a conec ado a in e ne , ya que se a a
de una aplicación en ocada a mejo a la accesibilidad de las ga as pa a
pe sonas con p oblemas de isión, la conec i idad no debe es ingi su uso.
● El sis ema pod á se usado como aplicación And oid en un sma phone y como
aplicación And oid en las ga as de ealidad aumen ada. En consecuencia,
p ime o se desa olla á la aplicación And oid pa a consegui la de ección de los
ges os y más a de se aslada á la implemen ación a las ga as.
● De ección de ges os: la aplicación de ec a á una se ie de ges os que es a án
asociados a una ca ac e ís ica de la imagen (b illo, zoom y con as e), una ez
de ec ado se pod á aumen a o disminui dicha ca ac e ís ica median e la
ealización de o o ges o.
● Tiempo de espues a: dado que es una aplicación que de ec a ges os y ealiza
acciones en base a es o, el iempo de espues a debe se lo su icien emen e
bajo como pa a supone una mejo a sob e la ealización de es as acciones de
o ma manual median e el uso de un mando. El obje i o de es e p oyec o es
pode de ec a un ges o con un iempo de espues a máximo de es segundos.
Con elación a los obje i os de accesibilidad:
● De ección de ges os: asociado al obje i o uncional pa a de ec a ges os y
ealiza una acción en base al mismo, se indica á de mane a cla a qué ges o ha
sido de ec ado pa a que el usua io sepa qué ca ac e ís ica de la imágen a a se
modi icada. Además, en caso de no pode econoce el ges o se in o ma á al
usua io.
● Manual de usua io: la aplicación con a á con un manual de usua io que pod á
se consul ado en caso de exis i alguna duda con la uncionalidad de la app.
Es e manual se á lo más sencillo posible pa a que una pe sona con el mínimo
conocimien o en Tecnologías de la in o mación y comunicación (TIC) pueda
en ende el uncionamien o de la aplicación.
● Na ado : debido a que la aplicación es á des inada a pe sonas con p oblemas
de isión, se inco po a á un na ado a odas las acciones mencionadas
2
Una ez inalizado el desa ollo se ealiza on las p uebas asociadas y se co igie on los
e o es encon ados
Se puede e un c onog ama de la i e ación 3 en la imagen 1.3.4.
Imagen 1.3.5: C onog ama de la i e ación 3
Po úl imo, se ha c eado un diag ama ci cula que ep esen a el po cen aje de iempo
que se ha dedicado a cada ipo de a ea, es o se e leja en la imágen 1.3.5.
9

Imagen 1.3.6: G á ico de po cen ajes de iempo in e idos en cada ipo de a ea
2. Es ado de la cues ión
Con el in de pode es udia o os abajos elacionados con la ma e ia, se ealizó una
in es igación con dos obje i os p incipales, po un lado, encon a soluciones simila es
pa a pe sonas con p oblemas de isión y, po o o, p oyec os que implemen a an
ecnologías que pudie an se de u ilidad pa a la de ección de ges os.
Es a p ime a ap oximación se ía de u ilidad a la ho a de conc e a los obje i os del
p oyec o, di e enciándose de cualquie o o exis en e, además de conoce las lib e ías
más impo an es en la de ección de ges os y acili a la elección de las más ap opiadas
pa a el p oyec o.
En p ime luga , se explican los p oyec os que se encon a on en elación al obje i o
p incipal de es e p oyec o, ayuda a pe sonas con p oblemas de isión:
10
A Sma Wa ch-based Ges u e Recogni ion Sys em o Assis ing People
wi h Visual Impai men s
Es e p oyec o[4] nace de los incon enien es que su gen cuando una pe sona con
p oblemas de isión debe u iliza las uncionalidades de un sma phone. Ac ualmen e, la
solución alcanzada pa a las pe sonas que no pueden usa la in e acción ác il de es os
sma phones es in e ac ua a a és de comandos de oz, sin emba go, al como se
explica en es e p oyec o es a solución puede no se la más adecuada pa a odos los
en o nos (po ejemplo, en o nos con mucho uido).
Es po es o que en es e p oyec o se plan ea la posibilidad de usa un sma wa ch jun o
con un sma phone (median e conexión Blue oo h), de al mane a que el sma wa ch se
enca gue de de ec a la acción que quie e lle a a cabo el usua io (median e la
ealización de un ges o especí ico) y el sma phone de e ec ua la.
Pa a ealiza la de ección de ges os se u iliza la in o mación ob enida del acele óme o
del sma wa ch, que es pos e io men e en iada al sma phone y es e. Usando la imágen
cap u ada median e dis in as écnicas de clasi icación de Suppo Vec o Machine
(SVM), se á capaz de econoce obje os ele an es como pueden se señales de suelo
mojado o dis in os logos.
El in del p oyec o es simila al obje i o p incipal de nues o abajo, ya que, median e el
econocimien o de ges os, es capaz de ealiza acciones que ayudan a pe sonas con
p oblemas de isión. Sin emba go, en es e p oyec o la de ección de ges os supone el
uso de un disposi i o ha dwa e adicional, lo que equie e una conexión en e los dos
disposi i os que puede llega a causa p oblemas al a a de ealiza un escalado de la
aplicación, además de eque i una lógica mucho más compleja.
Lea ning Pla o m o Visually Impai ed Child en h ough A i icial
In elligence and Compu e Vision
Es e abajo[5] consis e en una aplicación en ocada a niños con p oblemas de isión, su
obje i o p incipal es ayuda les a comp ende los obje os que hay a su al ededo . Pa a
11
ello, es capaz de iden i ica obje os y en unción de los ges os del usua io un na ado
lee el nomb e del obje o seleccionado.
Es e p oyec o hace uso de una Red Con olucional pa a log a la de ección an o de los
ges os del usua io como de los obje os que le odean, ob eniendo un esul ado
sumamen e posi i o.
Es impo an e des aca que se ealiza una di e enciación en e en o nos al ai e lib e y
ce ados, es o se debe a que los en o nos ce ados pueden a a se de un en o no
mucho más complicado pa a la de ección de ges os y obje os, ya que pueden se
luga es de baja luminosidad. Cuando la aplicación se u iliza en ex e io es, el usua io
pod á indica el obje o apun ándole, mien as que, en un en o no in e io , debe á
aga a lo.
Es e p oyec o gua da elación con nues o p oyec o ya que se u iliza pa a acili a el día
a día de pe sonas con p oblemas de isión, el p oyec o se en oca conc e amen e en la
educación de niños con p oblemas de isión. Es in e esan e ya que ayuda a en ende
o o pun o de is a a ene en cuen a pa a nues o p oyec o, la di icul ad de de ec a
ges os median e una cáma a en en o nos de baja luminosidad y la posibilidad de
di e encia los ges os en unción de si el usua io se encuen a en espacio in e io o
ex e io .
Los abajos lis ados a con inuación ienen obje i os écnicos simila es al de es e
p oyec o, pe o no se cen an en sus en a ayuda a pe sonas con p oblemas de isión:
S a ic Hand Ges u e Recogni ion using an And oid De ice
El p ime abajo[6] que se encon ó elacionado con la emá ica p incipal del p oyec o ue
un es udio elacionado con la de ección de ges os es á icos en And oid. En es e
p oyec o se ealiza una p edicción de ges os en base una imagen median e es ases:
p ep ocesamien o, ex acción de ca ac e ís icas y clasi icación.
En la p ime a e apa se ealiza un p ep ocesamien o de la imagen o iginal pa a que al
ealiza el en enamien o y p edicción se minimicen aquellas ca ac e ís icas que no sean
necesa ias (como puede se la iluminación o el ángulo desde el que se ha omado la
12
o o), es o se consigue ans o mando la imagen a una escala de g ises, ealizando una
eo ien ación de la imagen en base a la posición de la mano, co ando odos los
elemen os innecesa ios pa a queda se solo con la imagen de la mano y po úl imo
no malizando los da os de la imagen.
La segunda e apa es á basada en la écnica P incipal Componen Analysis (PCA) que
en base a una imagen ob iene sólo las ca ac e ís icas p incipales y necesa ias pa a el
en enamien o y la clasi icación. Es a écnica hace que las imágenes pesen mucho
menos op imizando así la aplicación And oid.
Po úl imo, se ealiza la clasi icación de la imagen que se había p ocesado en las
e apas an e io es. Pa a es a clasi icación se usa un modelo de clasi icación conocido
como Suppo Vec o Machines (SVM) combinado con el modelo de á boles de decisión.
Usando es os dos mé odos ob iene un po cen aje de p ecisión muy ele ado y consigue
de ec a los 5 ges os con los que se ha en enado el sis ema usando las imágenes
ob enidas con un disposi i o And oid.
Es e p oyec o es muy in e esan e ya que explica de o ma bas an e esumida como se
ha ealizado el p oceso de clasi icación de los ges os median e una imágen, sin
emba go, nues o p oyec o no iene cómo obje i o sólo el econocimien o de ges os,
sino el uso de es e econocimien o como ía pa a ealiza cie as acciones que cambien
las ca ac e ís icas de la cáma a en iempo eal.
Vision-based Ges u e T acking o Teleope a ing Mobile Manipula o s
En es e abajo[7] se ealiza un es udio de la iabilidad de la lib e ía MediaPipe pa a el
econocimien o de ges os. Es a aplicación se cen a en un obje i o muy dis in o al de
nues o p oyec o (ya que a a de pode asocia acciones de un obo a ges os pa a
educi el cos e de eleope ación) pe o aun así si e como ejemplo pa a e el uso de
es a lib e ía.
Pa a asocia los landma ks que usa MediaPipe a un ges o conc e o se u iliza una ed
neu onal básica con es capas. Cabe des aca que es a aplicación iene un endimien o
de 15 o og amas po segundo en la simulación que se ealiza, aunque es iman un
mayo endimien o ue a de la misma, es o en nues o p oyec o debe ene se muy en
cuen a y mejo a se odo lo posible. En e e encia a es e endimien o ambién hay que
13
ene en cuen a que se es á ealizando en un o denado y no en un mó il po lo que
dependiendo de la implemen ación de es a lib e ía pa a dis in os lenguajes se pod án
ene p oblemas u u os en la op imización de la aplicación.
Aun así, pa ece que es a lib e ía da un esul ado muy bueno en la de ección de las
manos y que es un mé odo iable pa a la de ección de ges os po lo que pa a el
desa ollo de nues o p oyec o se es ablece es a lib e ía como un eje undamen al.
Sma Con ol o Home Appliances Using Hand Ges u e Recogni ion in an
IoT-Enabled Sys em
Es e p oyec o[8], al igual que el que se ha explicado an e io men e, ambién usa la
lib e ía MediaPipe pa a la de ección de ges os en una aplicación And oid. Al igual que la
an e io el obje i o de es e p oyec o es conec a una aplicación And oid con un sis ema
enca gado de ealiza cambios en un sis ema, en es e caso, cambia el es ado de unos
leds: si es á encendido o no y el colo asociado, sin emba go, di ie e con el nues o. Aun
así, mues a la conexión en e la aplicación And oid donde se de ec an los ges os
median e el uso de MediaPipe y un ha dwa e enca gado de ealiza las acciones
eque idas median e wi i.
Aunque la idea p incipal de nues a aplicación sea un sis ema empo ado sin ningún ipo
de eque imien o de conexión, es e abajo ap oxima una posible implemen ación que
quizás pod ía ene se en cuen a en caso de que no se puedan cumpli los obje i os
p incipales.
El sis ema es á o mado po 4 módulos:
Los dos p ime os módulos se encuen an en la aplicación Ja a. El p ime o de es os
módulos es el enca gado de cap u a las imágenes de la cáma a y en ia cada
o og ama cap u ado al segundo módulo, es e segundo módulo ecibe y analiza las
imágenes u ilizando la lib e ía Mediapipe con el obje i o de de ec a una mano, en cuyo
caso se en ía la ma iz gene ada con los landma ks de la mano al e ce módulo,
si uado en la aplicación Py hon, en el cual haciendo uso de CNN y la lib e ía Tenso Flow
se asocia la ma iz de los landma ks con el iden i icado de uno de los ges os exis en es
14

o en caso de no supe a el po cen aje de acie o mínimo es ablecido, se asocia al
iden i icado de ges o no de ec ado, es e iden i icado se en ía al cua o y úl imo
módulo, si uado nue amen e en la aplicación Ja a, donde se ealiza la acción asociada
al ges o.
Pa a la implemen ación de es os módulos y en base a lo es udiado en los p oyec os
explicados an e io men e se han decidido usa las siguien es lib e ías:
MediaPipe Hands
MediaPipe hands[9] es una biblio eca de código abie o desa ollada po Google que
u iliza écnicas de ap endizaje au omá ico pa a gene a a pa i de una imagen de una
mano 21 pun os de e e encia (landma ks).
MediaPipe se des aca de o os en oques exis en es ac ualmen e ya que pe mi e un
endimien o a iempo eal en disposi i os mó iles e incluso se adap a a a ias manos de
mane a simul ánea.
MediaPipe u iliza una canalización de Machine Lea ning que se compone po a ios
modelos que abajan conjun amen e:
● Modelo de de ección de manos: Es e modelo se u iliza pa a de ec a la p esencia
de manos en una imagen o ideo. Pa a ello se u iliza una ed neu onal
con olucional (CNN) con la que es posible p edeci la p obabilidad de que haya
una mano en la imagen. El modelo ha sido p e iamen e en enado con un g an
conjun o de imágenes que con ienen manos.
● Modelo de landma ks: Es e modelo se u iliza pa a localiza los pun os cla e de
cada mano en la imagen. El modelo u iliza una ed neu onal con olucional pa a
p edeci la ubicación de 21 pun os cla e en cada mano, conocidos como
landma ks, que se u ilizan pa a as ea y es ima la posición de las manos en
iempo eal.
● Modelo de seguimien o de la mano: Es e modelo se u iliza pa a ealiza un
seguimien o de las manos en iempo eal a medida que se mue en en el ideo.
El modelo u iliza los landma ks de la mano de ec ados po el modelo an e io
como en ada y u iliza écnicas de seguimien o óp ico pa a es ima la posición y
o ien ación de las manos en el cuad o ac ual.
15
● Modelo de il ado de landma ks: Es e modelo se u iliza pa a sua iza y
es abiliza la posición y o ien ación de las manos es imadas po el modelo de
seguimien o de la mano. El modelo u iliza un il o de Kalman pa a es ima la
posición y elocidad de las manos y educi el uido y las luc uaciones en las
es imaciones.
● Fil o de Kalman[10]: es un algo i mo ma emá ico que si e pa a iden i ica un
sis ema dinámico lineal. Al a a se de un algo i mo ecu si o puede u iliza se en
iempo eal u ilizando únicamen e la en ada ac ual, el es ado p e io y su ma iz
de ince idumb e.
Es a lib e ía se usa en a ios de los p oyec os que se han encon ado elacionados con
la de ección de ges os po lo que es la p incipal he amien a que se usa á pa a es o.
OpenPose
Es a lib e ía[11] es pa ecida a MediaPipe pe o es á en ocada p incipalmen e en la
de ección y seguimien o de cue pos en iempo eal. También pe mi e la in eg ación con
dis in as he amien as de p ocesamien o de imágenes po lo que puede esul a muy ú il
en es e p oyec o. Aun así, al no cen a se en la de ección de manos puede ene un
peo endimien o que MediaPipe, se es udia án ambas a la ho a de c ea el p oyec o y
se decidi á cuál es la mejo .
OpenCV
OpenCV[12] es una biblio eca de so wa e lib e y código abie o que se u iliza pa a el
desa ollo de p ocesamien o de imágenes en iempo eal. Pa a ello u iliza algo i mos de
p ocesamien o de imagen y écnicas de ap endizaje au omá ico pa a analiza y p ocesa
imágenes y ideos.
Es a lib e ía se puede usa en dis in os sis emas ope a i os usando a ios lenguajes po
lo que puede se ú il en el p ocesamien o de la imagen en el p oyec o.
Came aX
Came aX[13] pe mi e accede y modi ica ca ac e ís icas a anzadas de la cáma a, como
pueden se el con ol de la exposición o el zoom.
16
Es una lib e ía de And oid que se pod á usa pa a la ges ión de las acciones (zoom,
con as e y b illo) asociadas a cada ges o.
Chacuopy
Chacuopy[14] es una in e az de lenguaje Ja a/Py hon, que pe mi e accede desde Ja a
a Py hon y ice e sa. Pe mi e ealiza una in eg ación comple a median e el sis ema de
compilación G adle es ánda de And oid S udio.
Incluye además una g an a iedad de paque es Py hon de e ce os como OpenCV o
Tenso Flow.
Es a lib e ía nos pe mi i á conec a una aplicación Py hon enca gada de la In eligencia
A i icial pa a la de ección de ges os con la aplicación And oid.
Tenso Flow
Tenso Flow[15] es una lib e ía de código lib e u ilizada en p oyec os de ap endizaje
au omá ico.
Es u ilizada po MediaPipe Hands pa a de ec a y as ea las manos en iempo eal.
3. Desa ollo de la aplicación
A con inuación, se analiza el p oceso de c eación de la aplicación And oid. Explicando
el p oceso p e io de ges ión de iesgos, plani icación del plan de p uebas e
in es igación, además del p oceso ealizado pa a el desa ollo del código de la
aplicación.
3.1. Ges ión de iesgos
Pa a la ges ión de iesgos se ha ealizado un es udio clásico en el desa ollo del
so wa e basándose en una abla de elaciones en e p obabilidad de que ocu a el
iesgo y la g a edad del mismo, al como se puede obse a en la imagen 3.1.1. En es a
abla se an a clasi ica es ipos dis in os de iesgo: al o, medio y bajo.
17
Imagen 3.1.1: Ma iz de p obabilidades y impac o de los iesgos[16]
Además de es a clasi icación en los dis in os ipos de iesgos se ha añadido una
desc ipción del mismo. Aunque en un p incipio se iban a de alla sólo aquellos iesgos
clasi icados como iesgo al o o medio, dado que ob u imos un núme o bas an e limi ado
y es e p oyec o iene una g an impo ancia pa a odos los in eg an es del equipo se
decidie on analiza odos, a ando de soluciona cualquie p oblema que su gie a en el
anscu so del p oyec o. La abla 3.1.1 mues a el es udio de los iesgos asociados a
es e abajo con un iden i icado único y en la abla 3.1.2 asocia cada uno de es os
iesgos a dos ipos de soluciones: una solución pa a p e eni el iesgo y o a pa a ac ua
en caso de que el iesgo se haga ealidad.
ID
DESCRIPCIÓN DEL RIESGO
PROBABILIDAD
IMPACTO
1
Uno de los in eg an es del abajo de in de g ado deja el
p oyec o debido a la imposibilidad pa a compagina lo con o as
asigna u as, haciendo que haya que ol e a plani ica el
p oyec o y da una mayo ca ga de abajo a los demás
in eg an es del g upo.
Excepcional
Mayo
2
Exis e una al a de in o mación con la que documen a se pa a
desa olla las dis in as uncionalidades del p oyec o, haciendo
que las ases de in es igación du en más iempo y
comp ome iendo la en ega del p oyec o en la p ime a
Poco F ecuen e
Ca as ó ico
18
32
G aba pan alla
Pe misos
Al in en a g aba la pan alla de la aplicación se mues a un
mensaje de que no se pe mi e ealiza es a acción.
33
Bloqueo au omá ico
In e acción
El disposi i o no se bloquea de o ma au omá ica, aunque pase el
iempo de inac i idad es ablecido.
34
Ro a pan alla
In e acción
La aplicación unciona de mane a co ec a al o a la pan alla.
35
Manual de usua io
Manual
Al pulsa el bo ón de la pan alla p incipal se edi ige a la pan alla
del manual de usua io donde se mues a el mismo de mane a
co ec a. Si se pulsa sob e el bo ón de a ás se edi igi á de o ma
co ec a a la pan alla p incipal de nue o.
Tabla 3.2.1: Plan de p uebas
Tal como emos en la abla, odas las p uebas se han ealizado de mane a manual y no
se ha usado ningún sis ema pa a au oma iza las. Es o se debe a que oda la
uncionalidad de la aplicación es á asociada a la cáma a y la de ección de ges os po lo
que se ía mucho más complejo y eque i ía mucho más iempo implemen a p uebas
au omá icas que ealiza las de mane a manual.
3.3. I e aciones del p oyec o
3.3.1. Fase de in es igación
En la ase de in es igación nos cen amos en el econocimien o de ges os.
Es u imos in es igando sob e la lib e ía OpenPose, que se puede u iliza pa a el
econocimien o de ges os, además iene o as u ilidades como as ea o de ec a
cue pos humanos a a és de imágenes y ídeos. Es a biblio eca des aca po su
p ecisión a la ho a de ealiza la de ección de manos y los mo imien os que se ealizan.
Además, o ece una al a compa ibilidad con muchos lenguajes de p og amación como
C++, Py hon, Ma lab y Ja a. U iliza algunos ma cos de ap endizaje p o undo como
Tenso Flow lo que pe mi e una in eg ación ácil y ápida en p oyec os que u ilizan es os
ma cos de abajo.
25

El p incipal p oblema de i ado del uso de es a lib e ía es el eque imien o de un al o
cos o compu acional, una g an can idad de ecu sos pa a el p ocesamien o de la
in o mación, po lo que se ía necesa io un ha dwa e muy po en e pa a pode u iliza esa
lib e ía ob eniendo un endimien o adecuado. Teniendo en cuen a que el en o no de
ejecución de nues a aplicación es un sis ema ope a i o And oid, el uso de es a lib e ía
pod ía aca ea p oblemas de endimien o. Además, pa a en ena es a lib e ía se ía
necesa io dispone de una g an can idad de da os de p ueba, lo que conlle a ía un
mayo iempo dedicado al en enamien o. Además, pod ía implica p oblemas en la
de ección de ges os en escena ios de baja iluminación o con un ondo poco dis inguible
de la mano.
Du an e la in es igación de la lib e ía MediaPipe se comp obó su capacidad de análisis
y p ocesamien o de da os mul imedia en casos como la de ección de manos,
seguimien o de ges os y signos ealizados. Es a lib e ía al igual que OpenPose cuen a
con un al o po cen aje de acie o en la de ección de manos y ges os, pe mi e una amplia
pe sonalización y es posible la inclusión de ges os y casos de p ueba p opios. Es
compa ible con lenguajes de p og amación como C++, Py hon, Ja a y Ja asc ip .
También u iliza ma cos de ap endizaje p o undo como Tenso Flow.
Finalmen e se decidió u iliza MediaPipe pa a el desa ollo del p oyec o, ya que además
de aho a una g an can idad de ecu sos con espec o a OpenPose, pe mi ía una
mayo adap abilidad a los equisi os de nues o p oyec o, con aba con una g an
can idad de documen ación y una amplia a iedad de p oyec os que hacían uso de la
misma y además no eque ía de una conexión a In e ne pa a su uso.
T as ealiza una in es igación sob e las di e sas opciones de lenguaje que pe mi ie a
p og ama una in eligencia a i icial, se conside ó Py hon la opción más ac ible, debido
la lexibilidad del lenguaje, acilidad de uso y la disponibilidad de una g an a iedad de
biblio ecas de código abie o exis en es, muchas de ellas elacionadas con el desa ollo
de IAs. Además, es un lenguaje con el que odos los in eg an es del p oyec o es án
amilia izados y po lo que se p e eía un b e e pe iodo de adap ación.
Pa a el desa ollo de la aplicación And oid se op ó po una implemen ación Ja a debido
a su popula idad en el uso de aplicaciones mó iles. O a al e na i a e a hace uso de
26
Ko lin, opción que ue desca ada debido a la nula expe iencia de los miemb os del
p oyec o.
Conside ando que e a necesa io el uso de un na ado enca gado de lee al usua io la
in o mación cla e de la aplicación, se alo a on las di e en es lib e ías capaces de
ealiza es a uncionalidad en And oid. Se concluyó que la opción más iable e a el uso
de Tex ToSpeech, un módulo in eg ado en And oid que pe mi e aplica es a
uncionalidad de mane a muy sencilla.
T as conclui con la ase de in es igación se decidió oma como una de las p incipales
e e encias el ideo[17] c eado po I an Goncha o , en el que se expone de mane a
de allada el p oceso de cons ucción de un sis ema capaz de econoce ges os en
iempo eal a pa i de los o og amas de la cáma a de un o denado en Py hon.
En p ime luga , el ideo abo da una de las p incipales cues iones a a a en nues o
p oyec o, la adquisición de los o og amas. Pa a ello se hace uso de la biblio eca
OpenCV, que o ece un amplio abanico de he amien as pa a el a amien o de
imágenes y ídeos en Py hon. A a és de es a biblio eca, se puede accede a la
cáma a del disposi i o y ob ene los o og amas necesa ios.
Una ez ob enidos los o og amas, es necesa io su p ocesamien o y pos e io ex acción
de la in o mación ele an e pa a el econocimien o de ges os. Pa a ello, se ecu e al
uso de écnicas de ap endizaje au omá ico, en pa icula de ap endizaje p o undo (Deep
Lea ning), haciendo uso de edes neu onales con olucionales(CNN), un ipo especial de
ed neu onal diseñada pa a abaja especí icamen e con imágenes.
La idea cen al del en oque del ap endizaje p o undo u ilizado es la conside ación de
cada o og ama como una ma iz RGB[18], que con iene oda la in o mación necesa ia
pa a la iden i icación de ges os sa is ac o ia. Es a ma iz es analizada median e una ed
neu onal con olucional, dicha ed neu onal con olucional p ocesa la ma iz RGB y
ex ae las ca ac e ís icas más ele an es pa a el econocimien o de ges os.
T as es e en oque inicial el ideo cen a su con enido en la explicación del código[19]
implemen ado o iginalmen e po Kazuhi o Takashi y aducido po Kini i que median e el
uso de MediaPipe ealiza un econocimien o sa is ac o io de ges os es ablecidos po el
27
usua io. Usando la ma iz RGB mencionada an e io men e y MediaPipe se ob end án
los espec i os landma ks asociados a un o og ama que luego se u iliza án en la ed
neu onal con olucional.
Es e código o ece la posibilidad de ajus a el núme o máximo de manos a de ec a en
un mismo o og ama median e el pa áme o "max_num_hands". La con igu ación inicial
se encon aba de inida pa a la de ección de una única mano.
Una de las p incipales en ajas que o ece es e código es la posibilidad de ag ega
ges os pe sonalizados de iniendo ejemplos de en enamien o desde la p opia
aplicación, simplemen e ejecu ando la aplicación en modo “debug” y pulsando en el
eclado el núme o asociado con el ges o a en ena , lo que de i a en el gua dado de los
landma ks asociados al ges o en cues ión.
El ídeo explica ambién de mane a de allada la in eg ación en e las lib e ías de
OpenC y MediaPipe en Py hon pe o en el caso de nues a aplicación no es necesa io,
ya que se u ilizan los o og amas cap u ados desde un disposi i o And oid usando Ja a.
Pa a consegui que la aplicación Py hon econociese los ges os necesa ios se lle ó a
cabo el p oceso de adición de nue os ges os desc i o an e io men e. Pa a ello se u ilizó
la aplicación And oid D oidCam[20], que pe mi e la conexión emo a a una cáma a de un
disposi i o And oid desde un o denado median e el uso de una di ección IP. Usando
es a he amien a, se c ea on ap oximadamen e cien ejemplos de en enamien o po
cada ges o y po cada in eg an e del equipo con el obje i o de ob ene un
econocimien o de ges os lo más p eciso posible. T as es o se combina on odos es os
da os en un mismo iche o cs y se en enó a la IA pa a que ue a capaz de de ec a los
ges os pe sonalizados.
Fue necesa ia la modi icación del código pa a ajus a los po cen ajes de acie o
mínimos pa a conside a un ges o como de ec ado co ec amen e ya que los
po cen ajes p ees ablecidos e an demasiado bajos, lo que conlle aba que el modelo
de ec a a un ges o inco ec amen e de o ma habi ual an es que simplemen e, no
de ec a el ges o. Es o supone un p oblema ya que se de ec a ían ges os no
in encionados po pa e del usua io de o ma ecuen e. Además, se ealizó o a
modi icación sob e el código en el que se ealiza la de ección de manos pa a de ec a la
28
exis encia de una mano sin ningún ges o conocido po la IA, que pos e io men e se á
u ilizado en la ase de desa ollo pa a de ec a si el usua io es á a ando de ealiza un
ges o y no es á siendo de ec ado.
3.3.2. I e ación 1
Comple ado el es udio necesa io pa a el desa ollo de la aplicación se p ocedió a la
c eación de un en p oyec o de And oid S udio eniendo en cuen a las ca ac e ís icas
so wa e que necesi a ía la aplicación en un u u o.
Conside ando que pos e io men e la idea es aslada la aplicación mó il a una
aplicación uncional den o de unas ga as de ealidad aumen ada (que poseen un
so wa e bas an e ac ualizado) po lo que se decidió usa una e sión de api 31 como
mínimo y una e sión de api 33 como a ge , es as e siones de api co esponden a la
e sión 12 y a la e sión Ti amisú espec i amen e, al como se mues a en la imagen
3.3.2.1 ob enida del p opio And oid S udio. Es po es o que es a aplicación pod á usa se
sin p oblemas en cualquie disposi i o And oid ac ual. No se añadió ninguna
con igu ación adicional en un inicio debido a que pod ía de i a en cie as
incompa ibilidades con las di e en es lib e ías a u iliza .
Imagen 3.3.2.1. Lis a de co espondencia en e la e sión And oid y el de API
Una ez se subió el código al ges o de eposi o ios escogido (Gi hub) se ealizó un
es udio de las dis in as lib e ías que pudie an se ú iles pa a ealiza la conexión en e la
aplicación And oid y la aplicación Py hon.
29
T as ba aja las dis in as opciones se concluyó que la lib e ía que más encajaba con los
equisi os de la aplicación e a Chacuopy, ya que el es o de soluciones[21] se en ocaban
p incipalmen e en la in e az g á ica, la cual no es eque ida pa a el desa ollo de
nues a aplicación. Es a lib e ía pe mi e la ins alación de dependencias Py hon desde
un eposi o io p i ado que se añaden pos e io men e en el paque e de aplicación
And oid (APK), además de inclui la posibilidad de ealiza llamadas a código de Py hon
desde código ja a. Pa a su con igu ación ue necesa ia la especi icación de la e sión
de Py hon a usa (3.10) y la u a has a el ejecu able de Py hon. Una ez con igu ada se
c eó un ejemplo simple pa a p oba el co ec o uncionamien o de la lib e ía, que
consis ía en suma dos alo es que ecibía po pa áme os y de ol e el esul ado,
comp obando que se ealiza co ec amen e el en ío y ecepción de da os del código
Py hon. Dado que pa a in oca al código de de ección de ges os en p incipio se usa ía
una implemen ación muy pa ecida (en iando la in o mación necesa ia de cada
o og ama y ob eniendo el ges o asociado) se subió al eposi o io como código de
ejemplo de uso de es a lib e ía.
Una ez ue posible ealiza la llamada a un código Py hon desde la aplicación And oid,
se omó como idea inicial la eu ilización del código Py hon. Pa a ello e a p eciso
ges iona la cáma a desde And oid y se capaces de en ia cada poco iempo la imagen
ob enida.
Debido al conocimien o p e io sob e las lib e ías u ilizadas en el p oyec o Py hon pa a la
ges ión de la cáma a, se a ó busca es as mismas lib e ías en su e sión pa a And oid.
Una de las lib e ías cla e den o del lujo de la aplicación Py hon e a OpenCV, una
lib e ía cuya uncionalidad pe mi ía ealiza la ges ión de la cáma a. Al añadi la al
p oyec o And oid se p ocedió a la c eación de una pan alla simple pa a p oba que el
uso de la cáma a del disposi i o e a el espe ado. Tomando como e e encia la
documen ación o icial de OpenCV pa a And oid se c ea on los mé odos básicos del lujo
de la aplicación y se man u ie on en el p oyec o pa a p oba la conexión en e ambas
aplicaciones.
P e iamen e a comp oba el buen uncionamien o de la aplicación Py hon desde
nues a aplicación se debían ins ala las lib e ías necesa ias pa a la misma, es as se
añaden di ec amen e a la con igu ación del p oyec o And oid al ealiza la compilación
de la aplicación, ya que Chaquopy se enca ga de desca ga las desde su eposi o io
30

p i ado. La lis a de lib e ías que se necesi aban pa a pode ejecu a el código Py hon
(siendo la mayo ía lib e ías des inadas el p ocesamien o de da os y en enamien o de
un modelo de p edicción) es la siguien e: Wheel, OpenCV, Tenso Flow, Sciki -lea n,
Scipy, Ma plo lib, Pandas, Seabo n y MediaPipe. Al a a de ins ala dichas lib e ías
su gió el p ime incon enien e, no exis ía la posibilidad de ins ala MediaPipe como
lib e ía ya que no se encon aba p esen e en la biblio eca p i ada de Chaquopy y
ampoco es aba plan eada una u u a adición, al como se especi ica en una incidencia
del eposi o io de Gi hub o icial de la lib e ía [22].
Es o conlle ó la modi icación de la plani icación o iginal del p oyec o, pues al asumi que
es a solución pod ía unciona , se había planeado que se pod ía comenza a inco po a
la uncionalidad de los dis in os ges os en un co o pe iodo de iempo y inaliza una
p ime a e sión de la aplicación. Es e cambio p o ocó que ue a necesa io plan ea
dis in as soluciones que se discu ie on con los u o es du an e una eunión en la que se
expuso el incon enien e exis en e y se llegó a la conclusión de que la solución más
iable e a añadi la lib e ía de MediaPipe a nues o p oyec o de And oid, pa a p ocesa
la imagen y pasa es e esul ado al código Py hon. Es o eque ía no sólo añadi es a
nue a lib e ía sino que se ía necesa io modi ica el código Py hon pa a que acep a a el
esul ado ob enido po MediaPipe, un obje o que especi ica las coo denadas de los
dis in os pun os de la mano al como se ep esen a en la imagen 3.3.2.2.
Imagen 3.3.2.2: Pun os de la mano que usa el obje o de la lib e ía MediaPipe[23]
Pa a con o ma es a nue a solución en p ime luga se es udia on los dis in os ejemplos
p opo cionados po la p opia lib e ía de MediaPipe, con el obje i o de comp ende el
31
uncionamien o in e no de la lib e ía y el lujo del obje o que con iene las landma ks pa a
adap a lo a nues o p oyec o y ealiza el en ío co ec amen e a la aplicación Py hon.
Du an e dicha búsqueda se analizó un eposi o io de Gi hub con a ios ejemplos de
aplicaciones que u ilizaban MediaPipe en ocada a di e sas á eas, en nues o caso se
in es igó el eposi o io de la aplicación pa a la de ección de manos dónde se
encon aba un p oyec o And oid[24] que pe mi ía p ocesa imágenes es á icas, ídeos e
incluso el p ocesamien o en s eaming conec ado a la p opia cáma a del disposi i o. La
aplicación pe mi e mos a en iempo eal la imagen e lejada en la igu a 3.3.2.3 donde
se dis inguen los dis in os landma ks.
Imagen 3.3.2.3: Resul ado isual de la lib e ía MediaPipe con una mano eal [25]
Se omó es e p oyec o como e e encia y ap o echando que pe mi ía el p ocesamien o
en s eaming se modi icó pa a que, po cada o og ama p ocesado, en caso de habe
de ec ado una mano, se en ia á el obje o que con iene las landma ks pa a se
p ocesado po el código Py hon.
Es e p oceso ue algo complejo ya que exis ían incompa ibilidades en e los obje os de
Ja a y Py hon y los e o es imp esos en la consola no e an lo su icien emen e
desc ip i os como pa a segui la aza de los e o es. Se elimina on a ias unciones del
iche o “app.py” que no se ían necesa ias p o ocado po el uso de la lib e ía MediaPipe
en la aplicación And oid, pe o se p oducía un e o al in en a i e a sob e los pun os del
obje o Ja a que se había ob enido en la aplicación And oid. T as a ias p uebas
32
cambiando los ipos de lis as que con enían es os pun os a lis as i e ables y cambiando
las dis in as unciones que i e an sob e es os pun os se llegó a la conclusión de que los
ipos e an simplemen e incompa ibles y que se debe ían o ma ea an es de pasa los a
la aplicación Py hon.
Pa a ob ene un o ma o uni e sal a odos los lenguajes se decidió con e i el obje o
Ja a con las coo denadas a un obje o JSON. Se usó la lib e ía GSON pa a Ja a que
pe mi e hace es a con e sión de mane a bas an e sencilla. Además, se modi icó el
código de Py hon pa a lee y con e i es e obje o a un obje o Py hon sob e el que ue a
posible i e a . Fue necesa io ambién ealiza cie as modi icaciones en el código ya que
algunos nomb es de a iables no coincidían con los nomb es de inidos en el código
o iginal (po ejemplo, en Ja a los nomb es de las coo denadas enían una ba a baja al
inal: x_, mien as que en el código Py hon no).
Una ez ealizados es os ajus es ue posible ealiza una conexión sa is ac o ia en e las
dos aplicaciones y ob ene en Ja a el iden i icado del ges o a p ocesa .
Dado que en es e pun o ya e a posible ob ene el ges o de ec ado se p ocedió a
in es iga la posibilidad de modi icación de las p opiedades de la cáma a (zoom, b illo y
con as e). La mayo ía de soluciones que se encon a on e e enciaban a un ipo
Came a, el cual en la ac ualidad es á obsole o ya que había sido sus i uido po los ipos
Came a2 y Came aX. T as ealiza una in es igación sob e el ipo usado den o del
ejemplo ob enido del eposi o io de MediaPipe (que había sido modi icado pa a ecibi el
iden i icado de los ges os) se encon ó que u ilizaba una implemen ación del ipo
Came a2 pe o con sus p opios mé odos. Al in en a modi ica los alo es nos dimos
cuen a de que odas es as ca ac e ís icas es aban c eadas de mane a in e na en la
biblio eca y sus alo es e an de solo lec u a, y po lo an o, no edi ables, de al o ma
que no ue posible con inua el desa ollo u ilizando es a solución y e a p eciso busca
una al e na i a dónde e a necesa ia la c eación de la ins ancia de Came a2 o Came aX
pa a ene el con ol sob e la misma y edi a sus pa áme os.
Tal como se ha explicado an e io men e, es e ejemplo con iene es mé odos de
p ocesamien o: imagen, ídeo y s eaming. Dado que el s eaming usaba di ec amen e
una cáma a no edi able se llegó a la conclusión de que se ía necesa io c ea una
ins ancia de la cáma a y añadi un lis ene que se ac i a a cada o og ama pa a en ia la
in o mación de la imagen a la aplicación Py hon. Pa a pode implemen a es a solución
33
se debía p ime o escoge en e las dos opciones disponibles de obje os pa a ges iona
la cáma a: Came a2 y Came aX. T as ealiza una in es igación se llegó a la conclusión
de que la p ime a solución añadía mucha más complejidad en la inicialización pe o
pe mi ía una mayo pe sonalización y la segunda p oponía simpli icación de la p ime a
con algo menos de pe sonalización pe o con las unciones básicas que se ían
su icien es pa a cumpli con los obje i os de la aplicación, po es e mo i o se decidió
usa Came aX.
Came aX iene a ios modos de uncionamien o de los que podemos des aca
p e isualización (p e iew) y análisis (analysis), la p ime a es á diseñada pa a hace
ope aciones muy básicas (como po ejemplo una cap u a de pan alla) y la segunda
añade una capa de complejidad pa a pe mi i o as ope aciones. T as in es iga sob e
es as dos implemen aciones se llegó a la conclusión de que ambas enían
uncionalidades que necesi ábamos: nos in e esaba la simplicidad de p e iew pa a
ob ene un mapa de bi s de la imagen de mane a muy sencilla (median e la unción de
ge Bi map) y las unciones que añadía el modelo de análisis, como la posibilidad de
añadi un lis ene que se ejecu a a cada o og ama pa a pode llama a la aplicación de
Py hon. Es po es o, que se decidió usa una combinación de ambas, usando la
p e isualización pa a mos a la imagen (debido a que al ene una uncionalidad mucho
más básica el núme o de o og amas po segundo e a mucho mayo y lo ácil que e a
ob ene el mapa de bi s) y la de análisis pa a pode c ea un lis ene que se ejecu e a
cada o og ama.
Una ez c eada es a uncionalidad ue añadido en el lis ene la llamada al mé odo de
análisis de imágenes mencionado an e io men e, pasando po pa áme os un mapa de
bi s ep esen ando la imagen ac ual. Se modi ica on cie os pa áme os ya que el
mé odo de p ocesamien o de imágenes además de de ol e el obje o con las
coo denadas de los pun os de la mano ambién c eaba una nue a imagen donde se
mos aban de mane a isual es os pun os, al como se ha explicado an e io men e, es a
uncionalidad no e a necesa ia pa a nues a aplicación. La aplicación Py hon se
compo aba de la misma mane a que con la uncionalidad de s eaming, ecibía el
obje o de coo denadas (que aho a se ob enía del p ocesamien o que MediaPipe ealiza
sob e el mapa de bi s mencionado an e io men e) y de ol ía un iden i icado
ep esen ando el ges o indicado.
34
Imagen 3.3.4.1: Ges o es ablece
De o ma pa alela a es a implemen ación se desa olla on odas las uncionalidades
elacionadas con la é ica de la aplicación: no pe mi i las cap u as ni g aba la aplicación
y explica al en a a la aplicación po p ime a ez pa a qué se necesi an los pe misos
que se solici an.
En p ime luga se deshabili a on la posibilidad de ealiza cap u as y g aba la pan alla
den o de la aplicación, es o se ealizó median e la ac i ación de un lag llamado
FLAG_SECURE en odas las pan allas de la aplicación (la pan alla p incipal donde se
mues a la cáma a y la pan alla de manual de usua io). Una ez añadido es e lag, cada
ez que se in en a á ealiza una cap u a de pan alla, se mos aba un mensaje
explicando al usua io que la aplicación no pe mi e es a ope ación.
T as es o se es udió el mecanismo de solici ud de pe misos ac ual en la aplicación. El
pe miso de acceso a la cáma a es solici ado po de ec o en And oid pa a cualquie
aplicación que haga uso de la misma y dado que se solici a de una mane a cla a, al
como se mues a en la imagen 3.3.4.2 no se añadió ninguna explicación adicional.
41

Imagen 3.3.4.2: Diálogo pa a pedi los pe misos de la cáma a en la aplicación And oid
El caso del pe miso pa a cambia el b illo del disposi i o es algo di e en e, ya que po
de ec o al eque i es e pe miso la aplicación edi ige al usua io a una pes aña de
ajus es en la que es posible concede los pe misos necesa ios a la aplicación. Tal como
mues a la imagen 3.3.4.3, es a pes aña es algo con usa y no explica con cla idad las
acciones que debe oma el usua io: desplaza se has a la aplicación, pulsa sob e ella y
concede le los pe misos.
42
Imagen 3.3.4.3: Ven ana pa a modi ica los ajus es del sis ema
Es po es o que se decidió añadi un diálogo modal con una b e e explicación ace ca de
cómo concede los pe misos a la aplicación y una ez que se hubie a leído y pulsado el
bo ón de con i ma se mos a ía es a pes aña de ajus es pa a que el usua io pudie a
concede los pe misos, es e diálogo se puede e en la imagen 3.3.4.4. Pa a cambia
es a uncionalidad ue necesa io eo ganiza mínimamen e el lujo de la aplicación ya
que en un inicio se daba es e pe miso en la unción inicial (y po an o nada más ab i la
aplicación edi igía al usua io a es a pes aña de ajus es sin llega a e el diálogo
modal). Po es e mo i o el pe miso de la cáma a se man u o en es a unción p incipal,
pe o el de los ajus es ue necesa io modi ica el o den de apa ición pa a que se ejecu e
al ce a el diálogo modal y modi ica algunas unciones del lujo p incipal elacionadas
con el b illo pa a que sólo uncionen en caso que el usua io concedie a dicho pe miso.
Cabe des aca que al a a se de un ajus e que pe mi e modi ica a ios pa áme os del
43
sis ema, se deja a elección del usua io la concesión o no dicho pe miso. En caso de que
decida no concede lo, la aplicación unciona á igual, pe o al econoce el ges o del b illo
en caso de que se quie a aumen a o disminui se mos a á un mensaje a isando al
usua io de que pa a modi ica es e pa áme o es necesa io o o ga pe misos a la
aplicación al como se puede obse a en la imagen 3.3.4.5.
44
Imagen 3.3.4.4: Diálogo modal con la explicación de acceso a los pe misos
Imagen 3.3.4.5: mensaje de no pode edi a el b illo en la aplicación
Po úl imo, se ealiza on las p uebas desc i as en el plan de p uebas y cuyos esul ados
se pod án encon a en el apéndice C al inal del documen o.
4. Resul ados
4.1. Manual de usua io
El obje i o de es e manual es ayuda al usua io a en ende el uncionamien o de la
aplicación median e indicaciones simples acompañadas de imágenes y un b e e
ejemplo de uso.
Los equisi os pa a u iliza la aplicación son:
45
● Disposi i o And oid con And oid Ti amisú o supe io .
● Na ado en español (opcional)*.
● Pe miso a los ajus es (pa a edi a el b illo del disposi i o).
● Acceso a la cáma a** (pa a de ec a los ges os).
* En caso de usa el na ado el usua io escucha á en iempo eal el ges o de ec ado.
** Aunque se enga acceso a la cáma a, po mo i os é icos no se pueden ealiza
cap u as o g abaciones de pan alla.
El uncionamien o de la aplicación consis e en el econocimien o de ges os pa a lle a a
cabo acciones pa a ayuda al usua io.
Se dispone de 3 ges os undamen ales pa a selecciona la ca ac e ís ica a modi ica :
● B illo:
Imagen 4.1.1: Ges o B illo
● Con as e:
46

Imagen 4.1.2: Ges o Con as e
● Zoom:
Imagen 4.1.3: Ges o Zoom
47
T as ealiza cualquie a de es os ges os es posible aumen a o disminui el alo
median e los siguien es ges os:
● Aumen a :
Imagen 4.1.4: Ges o Aumen a
● Disminui :
48
Imagen 4.1.5: Ges o Disminui
Cabe des aca que los ges os se econocen cada dos segundos, po lo que si se
man iene el ges o de aumen a du an e 4 segundos se p oduci á dos eces el aumen o
po ejemplo (ocu e igual pa a odos los ges os disponibles).
Además, exis e un úl imo ges o cuya unción es es ablece los ajus es de b illo, zoom y
con as e a su alo p ede inido:
Imagen 4.1.6: Ges o es ablece
Es impo an e menciona que al ce a la aplicación se gua da la con igu ación ac ual y
se ca ga á au omá icamen e al ol e a usa la aplicación.
A con inuación, se desc ibe un b e e ejemplo de uso:
1. El usua io ab e la aplicación.
2. Realiza el ges o de con as e (el con as e es á seleccionado).
3. Realiza el ges o de aumen a (el con as e aumen a).
4. Realiza el ges o de b illo (el b illo es á seleccionado).
5. Realiza el ges o de disminui (el b illo disminuye).
6. Realiza el ges o de zoom (el zoom es á seleccionado).
49
7. Realiza el ges o de aumen a (el zoom aumen a).
8. Man iene el ges o de aumen a (el zoom aumen a).
9. Realiza el ges o de es ablece (los ni eles de zoom, b illo y con as e se
es ablecen).
En esumen, el usua io ha aumen ado el con as e, ha disminuido el b illo, ha
aumen ado el zoom dos eces y inalmen e ha es ablecido los ajus es.
4.2. Aplicación
Pa a pode e alua los obje i os log ados con el desa ollo de nues a aplicación se
p ocede a analiza cuáles de los obje i os iniciales hemos conseguido cumpli :
Obje i o
Análisis
Sis ema empo ado sin necesidad de conexión
a In e ne
Cumplido, es posible usa la aplicación sin conexión a
In e ne
El sis ema pod á se usado como aplicación
And oid en un sma phone y como aplicación
And oid en las ga as de ealidad aumen ada.
Solo se han ealizado p uebas de la aplicación en un
sma phone
De ección de ges os
Cumplido, la aplicación de ec a los ges os con un
po cen aje de éxi o del 90%
Tiempo de espues a meno a 3 segundos
Cumplido, la aplicación econoce los ges os a iempo
eal, cada 2 segundos puede econoce ges os
nue os
Tabla 4.2.1: Obje i os uncionales
En cuan o a los obje i os de accesibilidad que habíamos p opues o:
Obje i o
Análisis
De ección de ges os
Cumplido, la aplicación indica de mane a cla a el
ges o econocido, median e un ex o en la pan alla o si
no se ha econocido ninguno
50
5. Conclusiones y abajo u u o
Como conclusión del p oyec o ealizado se puede ap ecia que la aplicación inal
cumple con la mayo ía de equisi os p opues os, al como se ha explicado en las
secciones an e io es. Es a aplicación es un p ime paso pa a mejo a la calidad de ida
de los usua ios de ga as de ealidad aumen ada que padecen de dis in os p oblemas de
isión. Aun así, hay cie os concep os que se ía in e esan e implemen a en un u u o
pa a pode mejo a la aplicación: aumen a el b illo median e p ocesamien o de
so wa e, pasa de mane a co ec a la aplicación a unas ga as de ealidad aumen ada,
op imiza los iempos lo máximo posible y een ena odos los ges os.
Ac ualmen e pa a pode cambia al b illo se debe concede a la aplicación pe misos
pa a cambia cualquie ajus e del sis ema, además de que el b illo que se cambia es el
del disposi i o y no el de la imagen que se es á iendo. Aunque se haya in en ado
minimiza es e p oblema explicando de mane a b e e a los usua ios po qué se usa es e
pe miso y pe mi i usa la aplicación, aunque no se conceda, se ía in e esan e busca
una solución al e na i a y debido a que el p oceso de busca una solución so wa e a
es e p oblema es muy cos oso se plan ea como abajo u u o. Median e el
p ocesamien o so wa e de la imagen no se eque i ía concede an os pe misos a la
aplicación, lo que educi ía los p oblemas é icos asociados a la misma e incluso si se
consigue implemen a pod ía se i como base pa a añadi o o ipo de il os a la
imagen, que puedan ayuda a los usua ios de la aplicación.
Tal como se ha explicado en a ias ocasiones en es e documen o, el obje i o inal de
es e p oyec o es el de u iliza la aplicación en unas ga as de ealidad aumen ada. Es e
p oyec o es solo la p ime a ase de es e p oceso ya que simula el uncionamien o ga as
median e un sma phone. Como abajo u u o se plan ea el, usando es a aplicación
como base, p oba su uncionamien o en unas ga as de ealidad aumen ada y cambia
odo lo necesa io pa a op imiza la expe iencia de usua io en es as ga as.
Además, al a a se de una aplicación que es á analizando ges os en iempo de
ejecución, es p obable que añadi nue as uncionalidades a la aplicación conlle e un
de e io o en el endimien o de la misma. Es po es o mismo que se debe ía ealiza una
e isión exhaus i a de la implemen ación, pa a asegu a se de que se ha desa ollado
57

de la o ma más óp ima posible, cen ándose sob e odo en las nue as adiciones y
cómo es as pueden gene a cie as incompa ibilidades con las uncionalidades
p esen adas en es e p oyec o.
Po úl imo, siemp e exis i á un ma gen de e o a la ho a de la de ección de los ges os
ya que se ealiza median e una IA y que depende á del en enamien o ecibido, pa a
p opo ciona mejo es o peo es esul ados. En es e p oyec o el núme o de da os que se
han usado son bas an e limi ados y se han u ilizado p incipalmen e pa a un uso
es ánda de la aplicación, sin emba go, aún se siguen encon ando cie os allos en la
de ección que pod ían se moles os pa a una pe sona que usa á la aplicación
dia iamen e y que se pod án sol en a con un en enamien o con muchos más da os de
p ueba de los que se han usado en el p oyec o.
58
In oduc ion
Mo i a ion
The e is a wide a ie y o p og ams and applica ions ha a e able o iden i y ges u es,
howe e , mos o hese ools ha e as hei main objec i e o he han helping o sol e
p oblems o people wi h isual impai men o imp o e hei quali y o li e.
Speci ically, his p ojec is ocused on imp o ing he daily li e o people su e ing om
AMD (Age-Rela ed Macula Degene a ion), a disease ha causes degene a ion o he
macula. As a esul , people wi h AMD expe ience blu ed ision and an inc ease in a
blu ed ield in he cen e o hei ision, so changing he way hey see he wo ld can
g ea ly help hem in hei daily asks.
In addi ion, we belie e ha he use o ges u es as means o in e ac ion wi h he glasses
would be ex emely bene icial and imely, as cu en ly, isually impai ed people o en ely
on ex e nal de ices o eco d he ac ions hey wish o pe o m.
Fu he mo e, his ini ia i e ep esen s a highly in e es ing p ojec , which can se e as an
excellen oppo uni y o demons a e he eno mous po en ial o a i icial
in elligence-based echnologies o sol e e y speci ic needs and imp o e he quali y o
li e o people wi h disabili ies.
Goals
To de ine he main objec i es o his p ojec , we will dis inguish be ween h ee di e en
ypes: unc ional objec i es ( ha will allow he applica ion o ecognize ges u es in he
sho es possible ime o pe o m he ac ion associa ed wi h i ), accessibili y objec i es
( ha will allow a use o he applica ion o in e ac wi h i wi hou any p oblem) and e hical
objec i es ( ha will allow he use o make decisions abou he use o he came a wi hin
he applica ion).
As o he unc ional objec i es we ind:
59
● Embedded sys em wi hou he need o in e ne connec ion: he applica ion will
be able o be used as an applica ion o he augmen ed eali y glasses hemsel es
and he use will be able o use i wi hou he need o be connec ed o he
in e ne , since i is an applica ion ocused on imp o ing he accessibili y o he
glasses o people wi h ision p oblems, connec i i y should no es ic i s use.
● The sys em will be able o be used as an And oid applica ion on a sma phone
and as an And oid applica ion on he augmen ed eali y glasses. Consequen ly,
i s he And oid applica ion will be de eloped o achie e ges u e de ec ion and
la e he implemen a ion will be mo ed o he glasses.
● Ges u e de ec ion: he applica ion will de ec a se ies o ges u es ha will be
associa ed wi h a cha ac e is ic o he image (b igh ness, zoom and con as ),
once de ec ed i will be possible o inc ease o dec ease ha cha ac e is ic by
pe o ming ano he ges u e.
● Response ime: since i is an applica ion ha de ec s ges u es and pe o ms
ac ions based on his, he esponse ime should be low enough o be an
imp o emen o e pe o ming hese ac ions manually using a emo e con ol. The
objec i e o his p ojec is o be able o de ec a ges u e wi h a maximum
esponse ime o h ee seconds.
In ela ion o he accessibili y objec i es:
● Ges u e de ec ion: associa ed wi h he unc ional objec i e o de ec ges u es and
pe o m an ac ion based on i , i will be clea ly indica ed which ges u e has been
de ec ed so ha he use knows which ea u e o he image is going o be
modi ied. In addi ion, i he ges u e canno be ecognized, he use will be
in o med.
● Use manual: he applica ion will ha e a use manual ha can be consul ed in
case he e is any doub abou he unc ionali y o he app. This manual will be as
simple as possible so ha a pe son wi h minimal knowledge in In o ma ion and
Communica ion Technologies (ICT) can unde s and how he applica ion wo ks.
● Na a o : since he applica ion is in ended o isually impai ed people, a na a o
will be inco po a ed o all he ac ions men ioned abo e (ges u e de ec ion,
e o s...) so ha a blind pe son can use he applica ion wi hou any p oblem.
60
● Tex cus omiza ion: he use will be able o change bo h he ypog aphy and he
on size o be able o use he applica ion wi hou p oblems. These se ings will
be sa ed so ha he nex ime he applica ion is opened hey will be a ailable.
Finally, ega ding he e hical objec i es we ind:
● Rega ding he came a: as he applica ion makes use o he came a i will be
allowed ha he use can e oke he use o he came a a any ime. In addi ion,
sc eensho s will no be allowed wi hin he applica ion i sel and no eco d o he
images used o he de ec ion o ges u es will be sa ed.
● Rega ding he so wa e license: since i is an applica ion o a ce ain complexi y
and wi h a lo o oom o imp o emen , all he so wa e c ea ed will ha e a ee
so wa e license. In his way, his applica ion can be used as a basis o mul iple
applica ions wi h he aim o helping people wi h ision p oblems.
Wo k plan
Fo he de elopmen o he p ojec an i e a i e and inc emen al me hodology has been
used, he p ojec is di ided in o se e al i e a ions o sho wo k cycles, ob aining a
g adual p og ess in he de elopmen . Each i e a ion is di ided in o se e al p ocesses:
planning, design, de elopmen , es ing and deli e y. These i e a ions a e epea ed un il
he p ojec is comple ed.
The ad an ages o using his me hodology a e mainly he acili y o adap he
de elopmen o changing equi emen s as mo e in o ma ion is ob ained, in addi ion o
ha ing con inuous deli e ies allows o de ec and co ec e o s in ea ly s ages o
de elopmen which ansla es in o an imp o emen in he quali y o he inal p oduc .
Rega ding wo k low managemen , Kanban, a isual managemen echnique ha aims o
inc ease he e iciency and quali y o so wa e de elopmen , has been used. Fo his
pu pose, a Kanban boa d is used o ep esen he wo k low and he s a us o he asks.
This boa d is di ided in o se e al columns: "Pending", "In De elopmen ", "Tes ing" and
"Finished".
Pending: The ask is de ined bu has no ye s a ed o be de eloped, he e o e, no eam
membe has ha ask assigned o i .
61
In De elopmen : The ask has been assigned o one o mo e membe s o he
de elopmen eam, he ask will emain a his s age un il i has been comple ed.
Tes ing: Once he ask has been de eloped i mus be es ed be o e being inalized, he
es s mus always be pe o med by a di e en pe son han he one who has pe o med
he de elopmen o he ask, a e he comple ion o he es s he ask can be inalized o ,
in case i has no passed he es s, i mus be sen back o he "In de elopmen " s a us o
p oceed o ix he bugs ound. Fo esea ch asks he es ing phase is no necessa y and
is e mina ed once he necessa y in o ma ion has been ob ained and documen ed.
Comple ed: Upon success ul comple ion o he es ing o a ask, he s a us o he ask
becomes "Comple ed".
To ep esen he s a us o he di e en asks we ha e used he Asana ool, which allows
he c ea ion o i ual Kanban boa ds. Membe s o he de elopmen eam can mo e he
asks be ween he di e en columns as hey p og ess h ough he di e en s ages.
Fo e sion con ol he ool used has been Gi Hub, a main b anch was c ea ed o upload
comple ed asks and addi ionally, i any ask equi ed ce ain es s, a new b anch was
enabled o his.
In he speci ic case o ou p ojec , i has been di ided in o 3 main i e a ions and an ini ial
esea ch phase p io o de elopmen , o none o hem a comple ion o deli e y da e has
been de e mined excep o he las i e a ion ha had o be comple ed wi hin he
deadlines indica ed by he Complu ense Uni e si y o Mad id o he deli e y o he
p ojec .
Du ing he ini ial phase o esea ch phase, he de elopmen eam conduc ed a s udy o
exis ing esea ch o p ojec s on he main subjec o he p ojec , in addi ion o analyzing
he ad an ages and disad an ages o di e en echnologies ha could be used in he
de elopmen o he p ojec . The objec i e o his ini ial phase was o de ine mo e
p ecisely he scope o he p ojec and o sea ch o he mos sui able echnology o mee
he p oposed objec i es.
Ini ial phase:
In he i s ins ance, he de elopmen eam was dedica ed o he s udy o exis ing
p ojec s and applica ions simila o ou p ojec , o his pu pose di e en s udies ela ed
62

o he use o a i icial in elligence o help isually impai ed people we e analyzed. This
s udy helped he de elopmen eam o know he pending esea ch and o be able o
de ine mo e p ecisely he equi emen s o he inal applica ion.
Once he exis ing applica ions we e known and ha ing a pano amic iew o he pending
esea ch, he nex s ep would be o in es iga e he echnologies ha could be used o
he de elopmen o he p ojec .
Finally, ha ing a lis o exis ing echnologies and knowing he p os and cons o each one,
small unc ionali y es s we e pe o med on each o he echnologies o decide which o
hem was he mos op imal o he cha ac e is ics o he p ojec .
A imeline o he ini ial phase can be seen in image 1.3.1.
Figu e 1.3.1: Timeline o he ini ial i e a ion
I e a ion 1:
The i s i e a ion o he p ojec was aimed a inalizing he basic unc ionali ies o he
applica ion, among which we e he de ec ion o he zoom, b igh ness, con as , zoom in
and zoom ou ges u es, and he unc ionali y o hese, modi ying he necessa y came a
pa ame e s.
This i s i e a ion was undoub edly he mos ambi ious o he p ojec , since i no only
equi ed he implemen a ion o he de ec ion o he ges u es desc ibed abo e and he
modi ica ion o he came a con igu a ion, bu also, as i was ou i s con ac wi h he
p ojec , i was necessa y o ca y ou esea ch pa allel o he de elopmen , which mean
ha his i e a ion was also he mos ex ended in ime. Bu i allowed us o es ablish a
solid unc ional base on which o de elop he ollowing i e a ions.
63
To inish he i e a ion, he equi ed es s we e ca ied ou and he e o s ha a ose om
hem we e co ec ed.
A imeline o i e a ion 1 can be seen in image 1.3.2.
Figu e 1.3.2: I e a ion 1 imeline
I e a ion 2:
The goal o his i e a ion was he de elopmen o wo new unc ionali ies, he access o
a use manual om he applica ion i sel and he implemen a ion o he oice na a o .
Bo h unc ionali ies we e implemen ed in pa allel and a unc ionali y o a oid sc een
locking while he applica ion is in use was added. Once inalized a new unc ionali y was
added ha sa ed he cu en con igu a ion when closing he applica ion, his way he
sa ed pa ame e s would be loaded when es a ing he applica ion.
Finally, all he necessa y es s we e pe o med and he esul ing bugs we e ixed.
A imeline o i e a ion 2 can be seen in image 1.3.3.
64
Figu e 1.3.3: Timeline o i e a ion 2
I e a ion 3:
The goal o he hi d and las i e a ion consis ed o implemen ing a se ies o wa nings
and limi a ions wi h he objec i e o gua an eeing he maximum e hical in eg i y o he
applica ion. In addi ion, a new ges u e was included ha allowed ese ing he
con igu a ion o he alues de ined by de aul , adding his new ges u e did no in ol e a
g ea e o since he applica ion had been designed o be scalable in e ms o de ec ing
new ges u es.
Once he de elopmen was inished, he associa ed es s we e ca ied ou and he e o s
ound we e co ec ed.
A imeline o i e a ion 3 can be seen in image 1.3.4.
65
Figu e 1.3.4: Timeline o i e a ion 3
Finally, a pie cha has been c ea ed o ep esen he pe cen age o ime spen on each
ype o ask, as shown in Figu e 1.3.5.
Figu e 1.3.5: G aph o pe cen ages o ime spen on each ype o ask
66
de ellos con sus espec i os casos de aumen a y disminui . Desa olló la uncionalidad
de aumen a y disminui el zoom, g acias a que la lib e ía u ilizada Came aX con aba
con un pa áme o exis en e pa a modi ica lo. Tan solo ue necesa io aumen a o
disminui el alo de ese pa áme o y de ini un alo adecuado pa a el ac o de
aumen o o disminución, de mane a que cada cambio ue a ap eciable, pe o pe mi ie a
ajus a es a con igu ación de la mejo mane a posible.
Realizó las p uebas asociadas a la p ime a i e ación especi icadas en el plan de
p uebas jun o con su compañe o Íñigo Rolando pa a comp oba el co ec o desempeño
de la uncionalidad desa ollada en es a i e ación.
T as acaba de hace las p uebas de la p ime a i e ación se de ec ó que la pan alla del
disposi i o And oid se apagaba debido a la inac i idad. Lo cual no e a un
compo amien o adecuado pa a nues a aplicación ya que es á diseñada pa a que el
usua io no enga que in e eni du an e su uncionamien o ocando el disposi i o.
Po ello e a necesa io con igu a la aplicación pa a que se man u ie a encendida.
And oid con empla el uso de una lag especí ica que conlle a que el disposi i o no se
bloquee, aunque pasen la gos pe iodos de inac i idad. Es a lag se ac i a al inicio del
lujo de la aplicación And oid y pe mi e que siga uncionando con no malidad.
Jun o con su compañe o Íñigo Rolando se enca gó de ealiza las co ecciones
asociadas a las dis in as p uebas que se hicie on en la segunda i e ación, cen ándose
sob e odo en las co ecciones asociadas al na ado (como po ejemplo, añadiendo el
na ado en algunos nue os e o es p opios de es a i e ación).
T as co egi los e o es de la segunda i e ación, se decidió que se ía ú il implemen a
una nue a uncionalidad asociada a un nue o ges o, que se enca gase de einicia la
con igu ación a los alo es p ede e minados de b illo, con as e y zoom. Además eligió
unos alo es p ede e minados que conside ó óp imos. Pa a ello u ilizó el mismo lujo
que el es o de ges os de la aplicación.
Finalmen e, jun o con odos sus compañe os se enca gó de ealiza las p uebas
asociadas a la e ce a y úl ima i e ación pa a comp oba que la aplicación uncionaba de
73

mane a co ec a en base a los equisi os iniciales y se enca gó de pequeños a eglos
que su gie on en base a es as p uebas.
74
Víc o de la Fuen e Sabale e
En p ime luga , ealizó de o ma pa alela una in es igación del es ado del a e jun o con
sus compañe os. Debido a que la emá ica del p oyec o cambió en los p ime os meses,
si ió pa a amilia iza se con las dis in as ecnologías a usa y luego se compa ió dicha
in o mación en euniones pa a p opone dis in as soluciones a los p oblemas que se
plan eaban en un inicio (como e a el p opio ema del p oyec o y las ecnologías que se
debe ían aplica ). T as habe in es igado jun o con odos sus compañe os y decidi usa
una aplicación de py hon ya hecha pa a la de ección de ges o, al como se decidió en
una eunión, ealizó su pa e co espondien e pa a el en enamien o de los dis in os
ges os, usando la aplicación de py hon gene ó un iche o cs con los da os de
en enamien o asociados a cada uno de los ges os (100 casos po cada ges o y po
cada mano) y subió el iche o a un eposi o io común. Una ez subidos odos los
iche os ue el enca gado de uni ica los y en ena la ed neu onal con el iche o
uni icado.
Al comenza la p ime a i e ación, du an e la ins alación de las lib e ías necesa ias pa a
ealiza la compilación del p oyec o, su gió un p oblema, ya que Chaquopy no con aba
con MediaPipe en e sus lib e ías ins alables.
Realizó una in es igación sob e las al e na i as exis en es adap ables al p oyec o que
no equi ie an una emodelación signi ica i a de la es uc u a del p oyec o. Jun o a su
compañe a Sonia Ma cos in es igó una posible o ma de modi ica Chaquopy pa a
pode añadi MediaPipe a sus lib e ías ins alables.
T as conclui la in es igación, jun o con Sonia Ma cos, decidió que la solución más
iable se ía añadi la lib e ía MediaPipe al p oyec o And oid, que se enca ga ía de
p ocesa las imágenes y en ia el lis ado de landma ks a la aplicación Py hon.
Es o a su ez gene ó a ios p oblemas de i ados ya que ue necesa io analiza de
mane a exhaus i a el código de MediaPipe y conoce cómo se gua daban y gene aban
los alo es de los landma ks pa a pode en ia los a la aplicación Py hon.
75
Conocimien o el uncionamien o de MediaPipe pa a la c eación de los landma ks y
con e idos los mismos en un obje o JSON pa a se u ilizados en And oid, implemen ó
con la ayuda de Íñigo Rolando un lis ene en la aplicación And oid que en ía a cada
o og ama es e obje o con la in o mación de la imagen al código de Py hon.
Una ez implemen ado el lis ene se p ocedió a la implemen ación de la uncionalidad
pa a los es ges os exis en es en ese momen o en la aplicación, cada uno de ellos con
sus espec i os casos de aumen a y disminui .
Desa olló la uncionalidad de aumen a y disminui el con as e, g acias a que la lib e ía
u ilizada Came aX con aba con un pa áme o exis en e pa a modi ica el con as e, an
solo ue necesa io aumen a o disminui el alo de ese pa áme o.
También es ableció un alo adecuado pa a el ac o de aumen o o disminución, de
mane a que cada cambio ue a ap eciable, pe o pe mi ie a ajus a es a con igu ación de
una mane a óp ima.
Pa alelamen e a la ealización de las p uebas de la i e ación 1, ealizó jun o con Daniel
Cas o una limpieza y ees uc u ación del código comple o de la aplicación, ya que
quedaban a ias unciones no u ilizadas, o con posibilidad de se op imizadas. También
eliminó y edi ó a ios a chi os del código en py hon con el obje i o de que solamen e
queda án los a chi os es ic amen e elacionados con el econocimien o de ges os y no
con el en enamien o de la in eligencia a i icial, con lo que se consiguió educi el
amaño de la aplicación.
Realizó la c eación de un bo ón si uado en la esquina supe io de echa. El bo ón se
añadió con un ondo anspa en e y con un amaño adecuado pa a que pudie a se is o
con acilidad, pe o lo su icien emen e pequeño pa a no en o pece la isión del usua io.
Al pulsa sob e el bo ón se edi ige al usua io a una pan alla donde se mues a el
manual de usua io c eado po Daniel Cas o, una ez es e es u ie a c eado, leyéndolo
di ec amen e de un a chi o pa a e i a ene que modi ica el código de es a pan alla
an e una posible ac ualización del manual.
Realizó las p uebas asociadas a la i e ación 2 desc i as en el plan de p uebas con la
ayuda de Víc o de la Fuen e.
76
Du an e el desa ollo de la e ce a i e ación de ec ó un p oblema con uso del na ado
en español en caso de que es e no es u ie a ya ins alado en el disposi i o. Po ello,
implemen ó un a iso pa a in o ma al usua io en caso de que en el disposi i o no se
encuen e ins alado el na ado en español de que es a uncionalidad se encon a á
deshabili ada mien as no se ins alen los paque es necesa ios. T as la con i mación de
es e a iso el usua io puede segui usando la aplicación con el es o de uncionalidades
disponibles.
77
Íñigo Rolando Ga cía
En p ime luga , ealizó de o ma pa alela una in es igación del es ado del a e jun o con
sus compañe os. Debido a que la emá ica del p oyec o cambió en los p ime os meses,
si ió pa a amilia iza se con las dis in as ecnologías a usa y luego se compa ió dicha
in o mación en euniones pa a p opone dis in as soluciones a los p oblemas que se
plan eaban en un inicio (como e a el p opio ema del p oyec o y las ecnologías que se
debe ían aplica ). Den o de es a in es igación se cen ó sob e odo en las dis in as
lib e ías exis en es en And oid que se necesi a ían pa a cumpli con éxi o los obje i os
iniciales de la aplicación y que luego se enca ga ía de in eg a en el p opio p oyec o de
And oid. T as habe in es igado jun o con odos sus compañe os y decidi usa una
aplicación de Py hon ya hecha pa a la de ección de ges os, al como se decidió en una
eunión, ealizó su pa e co espondien e pa a el en enamien o de los dis in os ges os,
usando la aplicación de Py hon gene ó un iche o cs con los da os de en enamien o
asociados a cada uno de los ges os (100 casos po cada ges o y po cada mano) y
subió el iche o a un eposi o io común.
T as es o se enca gó de la c eación del p oyec o And oid eniendo en cuen a las
ca ac e ís icas ha dwa e que se habían es ablecido en las euniones an e io es (como
po ejemplo el núme o de e sión de And oid) y de subi es e p oyec o al eposi o io
compa ido en Gi Hub de mane a co ec a (añadiendo odos los iche os cla es de la
aplicación And oid como puede se el iche o build.g adle). Además, se enca gó de
añadi a es a aplicación las lib e ías necesa ias pa a el uncionamien o de la misma:
Chacuopy y MediaPipe. Se enca gó de con igu a es as lib e ías pa a la e sión de
And oid que se es aba usando y en el caso de Chacuopy es udió de mane a exhaus i a
el cómo se con igu aban las dis in as lib e ías de Py hon necesa ias pa a la conexión
en e la aplicación And oid y la aplicación Py hon. Es o supuso un g an p oblema debido
a que Chacuopy usa su p opio eposi o io de lib e ías Py hon y es o gene a cie as
incompa ibilidades en e algunas lib e ías. Al añadi es a lib e ía y en ende bien el
uncionamien o de la misma ambién ealizó una in es igación en cómo in eg a la
aplicación de de ección de ges os en Py hon con la aplicación And oid y jun o con su
compañe o Daniel Cas o se implemen a on dis in as soluciones pa a pode lle a a
78

cabo es a conexión, cen ándose en g an medida en cómo pode pasa el obje o de
landma ks ob enido del p ocesamien o de la imagen de MediaPipe al código de Py hon.
Una ez en endido de mane a co ec a el uncionamien o de es e obje o landma ks y
habiendo implemen ado la o ma co ec a de pasa lo a la IA en Py hon (median e un
o ma o JSON con la lib e ía GSON), implemen ó con la ayuda de Víc o de la Fuen e
un lis ene en la aplicación And oid que en ía a cada o og ama es e obje o con la
in o mación de la imagen al código de Py hon.
Realizó las p uebas asociadas a la p ime a i e ación especi icadas en el plan de
p uebas jun o con su compañe a Sonia Ma cos pa a de e mina el co ec o desempeño
de la uncionalidad desa ollada en es a i e ación.
T as es o se enca gó de la implemen ación del na ado en la aplicación, as una
pequeña in es igación inicial decidió usa Tex ToSpeech, una uncionalidad añadida
di ec amen e en And oid y que pod ía aplica el na ado de mane a muy sencilla. Hizo
que es e na ado se ejecu a á cada ez que se de ec a a un ges o y cada ez que se
ob u ie a un e o en la aplicación.
Median e el uso de Sha edP e e ences añadió la posibilidad de gua da los alo es de
zoom, b illo y con as e que cambia el usua io pa a que cuando la aplicación se ab a de
nue o se puedan ca ga es os alo es. Es o ha ía que la aplicación ue a mucho más
ú il pa a el usua io ya que no end á que cambia las ca ac e ís icas en cada uso.Pa a
ello p ime o in en ó gua da es as p e e encias sólo cuando se ce a a la aplicación pe o
debido a que es o daba cie os p oblemas al ce a se de o ma inespe ada inalmen e
implemen ó es e gua dado cada ez que se cambiaba el alo de uno de los pa áme os
mencionados an e io men e. Además, en caso de habe algún e o al ca ga la
in o mación añadió un alo po de ec o a odas es as ca ac e ís icas.
Jun o con su compañe a Sonia Ma cos se enca gó de ealiza las pequeñas
co ecciones asociadas a las dis in as p uebas que se hicie on en la segunda i e ación,
cen ándose sob e odo en las co ecciones asociadas al na ado (como po ejemplo,
añadiendo el na ado en algunos nue os e o es p opios de es a i e ación).
79
Debido a los obje i os é icos que se p opusie on al inicio del p oyec o se enca gó de
busca una solución a las cap u as de pan alla den o de la aplicación. And oid pe mi e
añadi o elimina pe misos median e la ac i ación de dis in as lags po lo que se
enca gó de añadi es a lag a la aplicación And oid pa a que no se pe mi ie an hace
cap u as ni g aba la pan alla mien as es u ie a es a aplicación en p ime plano.
Po úl imo, jun o con odos sus compañe os se enca gó de ealiza las p uebas
asociadas a la e ce a y úl ima i e ación pa a co obo a que la aplicación uncionaba de
mane a co ec a en base a los equisi os iniciales y se enca gó de pequeños a eglos
que su gie on en base a es as p uebas.
80
BIBLIOGRAFÍA
[1]
¿Po qué u iliza la Me odología kanban?mé odo básico y P incipios Kanban pa a
ayuda le a empeza . Me odología Kanban | Kanban Tool. (n.d.).
h ps://kanban ool.com/es/me odologia-kanban
[2]
Asana. (n.d.-a). Ges iona el T abajo, Los P oyec os y las a eas de u equipo en
línea • asana. Asana. h ps://asana.com/es
[3]
Rolando, I., Cas o, D., de la Fuen e, V., & Ma cos, S. (n.d.).
Inigo olando/TFG_DMAE. Gi Hub. h ps://gi hub.com/InigoRolando/TFG_DMAE
[4]
Po zi, L., Messelodi, S., Modena, C. M., & Ricci, E. (n.d.). A sma wa ch-based
ges u e ecogni ion sys em o assis ing people ...
h ps://www. esea chga e.ne /p o ile/Lo enzo-Po zi/publica ion/262233058_A_sma _
wa ch-based_ges u e_ ecogni ion_sys em_ o _assis ing_people_wi h_ isual_impai
men s/links/54 082a20c 24eb87940ba1e/A-sma -wa ch-based-ges u e- ecogni ion-s
ys em- o -assis ing-people-wi h- isual-impai men s.pd
[5]
Balasu iya, B. K., Lokuhe ia achchi, N. P., Ranasinghe, A. R. M. D. N., Shiwan ha,
K. D. C., & Jayawa dena, C. (n.d.). Lea ning pla o m o isually impai ed child en
h ough a i icial ...
h ps://www. esea chga e.ne /p o ile/Chandimal-Jayawa dena/publica ion/323281352
_Lea ning_pla o m_ o _ isually_impai ed_child en_ h ough_a i icial_in elligence_a
nd_compu e _ ision/links/63681d5c431b1 530076e6c9/Lea ning-pla o m- o - isuall
y-impai ed-child en- h ough-a i icial-in elligence-and-compu e - ision.pd ?o igin=pub
lica ion_de ail
81
[6]
Tejash i J. Joshi, N. Z. Ta apo e, Shi a Kuma , & Vi ek Mohile. (2015, June 21).
S a ic hand ges u e ecogni ion using an And oid de ice - esea chga e.
h ps://www. esea chga e.ne /p o ile/Vi ek-Mohile/publica ion/281415512_S a ic_Ha
nd_Ges u e_Recogni ion_using_an_And oid_De ice/links/619cded1d7d1a 224b1b3
3a4/S a ic-Hand-Ges u e-Recogni ion-using-an-And oid-De ice.pd
[7]
Wang, T., Wan, Y., Pee s, C., Sun, J., & Zhou, C. (2022, July 20). Vision-based
ges u e acking o eleope a ing mobile manipula o s. Whi e Rose Resea ch Online.
h ps://ep in s.whi e ose.ac.uk/189808/
[8]
au ho s, A., Yang, C.-Y., Addi ional in o ma ionFundingThis wo k was suppo ed by
he Minis y o Science and Technology, & Re e encesRelay. [Online] A ailable:
h ps:// u o ials.webduino.io/zh- w/docs/basic/componen / elay.h ml. May 2022a.
[Google Schola ]Alemuda. (2022, May 1). Sma con ol o home appliances using
hand ges u e ecogni ion in an IOT-enabled sys em. Taylo & F ancis.
h ps://www. and online.com/doi/ ull/10.1080/08839514.2023.2176607
[9]
Hand landma ks de ec ion guide. (s. .). Google De elope s.
h ps://de elope s.google.com/MediaPipe/solu ions/ ision/hand_landma ke
[10]
colabo ado es de Wikipedia. (2023). Fil o de Kalman. Wikipedia, la enciclopedia
lib e. h ps://es.wikipedia.o g/wiki/Fil o_de_Kalman
[11]
CMU-Pe cep ual-Compu ing-Lab. (n.d.). CMU-Pe cep ual-Compu ing-Lab/openpose:
OpenPose: Real- ime mul i-pe son keypoin de ec ion lib a y o body, ace, hands,
and oo es ima ion. Gi Hub.
h ps://gi hub.com/CMU-Pe cep ual-Compu ing-Lab/openpose
[12]
OpenCV. (2023, 26 ab il). Home - OpenCV. h ps://openc .o g/
82
17
Disminui b illo más del
mínimo
OK
15
Aumen a con as e más
del máximo
OK
18
Disminui con as e más
del mínimo
OK
19
Res ablece la
con igu ación comple a
OK
20
Res ablece la
con igu ación (zoom)
OK
21
Res ablece la
con igu ación (b illo)
OK
22
Res ablece la
con igu ación (con as e)
OK
23
Gua da con igu ación
an e io ( odos los
pa áme os)
OK
24
Gua da con igu ación
an e io (zoom)
OK
25
Gua da con igu ación
an e io (con as e)
OK
26
Gua da con igu ación
an e io (b illo)
OK
27
Modal pe miso de
cáma a
-
No aplica
28
Modal pe miso b illo
-
No aplica
29
Rechazo pe miso
cáma a
-
No aplica
89

30
Rechazo pe miso b illo
-
No aplica
31
Cap u a de pan alla
-
No aplica
32
G aba pan alla
-
No aplica
33
Bloqueo au omá ico
OK
34
Ro a pan alla
OK
35
Manual de usua io
OK
90
Apéndice C - P uebas e ce a i e ación
ID
NOMBRE DE LA
PRUEBA
Resul ado
Obse aciones
1
Ges o de zoom
OK
2
Ges o de b illo
OK
3
Ges o de con as e
OK
4
Ges o de aumen a
OK
5
Ges o de disminui
OK
6
Ges o de es ablece
OK
7
Aumen a zoom
OK
10
Disminui zoom
OK
8
Aumen a b illo
OK
11
Disminui b illo
OK
9
Aumen a con as e
OK
12
Disminui con as e
OK
13
Aumen a zoom más del
máximo
OK
16
Disminui zoom más del
mínimo
OK
14
Aumen a b illo más del
máximo
OK
17
Disminui b illo más del
mínimo
OK
15
Aumen a con as e más
del máximo
OK
91
18
Disminui con as e más
del mínimo
OK
19
Res ablece la
con igu ación comple a
OK
20
Res ablece la
con igu ación (zoom)
OK
21
Res ablece la
con igu ación (b illo)
OK
22
Res ablece la
con igu ación (con as e)
OK
23
Gua da con igu ación
an e io ( odos los
pa áme os)
OK
24
Gua da con igu ación
an e io (zoom)
OK
25
Gua da con igu ación
an e io (con as e)
OK
26
Gua da con igu ación
an e io (b illo)
OK
27
Modal pe miso de
cáma a
OK
28
Modal pe miso b illo
OK
29
Rechazo pe miso
cáma a
OK
30
Rechazo pe miso b illo
OK
31
Cap u a de pan alla
OK
32
G aba pan alla
OK
92
33
Bloqueo au omá ico
OK
34
Ro a pan alla
OK
35
Manual de usua io
OK
93