EXPLICABILIDAD APLICADA A MODELOS DE
RECONOCIMIENTO DE EMOCIONES EN
IMÁGENES
EXPLAINABILITY APPLIED TO MODELS OF
EMOTION RECOGNITION IN IMAGES
TRABAJO FIN DE GRADO
CURSO 2023-2024
AUTOR
JAVIER GARCÍA VIANA
DIRECTORES
BELÉN DÍAZ AGUDO Y JUAN ANTONIO RECIO GARCÍA
GRADO EN INGENIERÍA INFORMÁTICA
FACULTAD DE INFORMÁTICA
UNIVERSIDAD COMPLUTENSE DE MADRID
EXPLICABILIDAD APLICADA A MODELOS DE
RECONOCIMIENTO DE EMOCIONES EN
IMÁGENES
EXPLAINABILITY APPLIED TO MODELS OF
EMOTION RECOGNITION IN IMAGES
TRABAJO DE FIN DE GRADO EN INGENIERÍA INFORMÁTICA
AUTOR
JAVIER GARCÍA VIANA
DIRECTORES
BELÉN DÍAZ AGUDO Y JUAN ANTONIO RECIO GARCÍA
CONVOCATORIA: JUNIO 2024
GRADO EN INGENIERÍA INFORMÁTICA
FACULTAD DE INFORMÁTICA
UNIVERSIDAD COMPLUTENSE DE MADRID
24 DE MAYO DE 2024
III
DEDICATORIA
A mis pad es, abuelos y he manos.

V
AGRADECIMIENTOS
A mis compañe os de clase, po los momen os i idos y po ayuda me siemp e.
VII
RESUMEN
Con la popula ización y el ápido c ecimien o de la In eligencia A i icial, algunos
modelos de ap endizaje au omá ico, en especial de ap endizaje supe isado, es án
siendo usados pa a sis ema iza el p oceso de de ección de emociones en imágenes.
Debido a que el en oque es ela i amen e nue o, en es e abajo se p e ende explo a
las posibilidades y analiza la p ecisión de es os modelos pa a inalmen e de e mina qué
combinación de ca ac e ís icas conlle a a una mejo p ecisión po pa e de los
modelos. Apa e de es o, el p oblema al que se en en an a menudo aquellas pe sonas
que a an con es os modelos es, a no se capaces de explica la a ibución de
emociones dis in as pa a imágenes de en ada pa ecidas. Po es e mo i o, en es e
abajo se p e ende que los modelos mues en, median e algo i mos de explicabilidad
IA, las egiones de las imágenes que son decisi as en las p edicciones de emociones
pa a pode así explica las decisiones omadas po los modelos y da a conoce los
bene icios de aplica algo i mos de explicabilidad.
Palab as cla e
Explicabilidad, ap endizaje supe isado, imágenes, de ección, emociones,
in e p e ación de esul ados.
XV
Tabla 11.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es
a la clase “ang y” pa a el p oblema de clasi icación de sie e emociones .............50
Tabla 12.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es
a la clase “disgus ” pa a el p oblema de clasi icación de sie e emociones ............52
Tabla 13.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es
a la clase “ ea ” pa a el p oblema de clasi icación de sie e emociones ................53
Tabla 14.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es
a la clase “happy” pa a el p oblema de clasi icación de sie e emociones ............54
Tabla 15.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es
a la clase “neu al” pa a el p oblema de clasi icación de sie e emociones ...........55
Tabla 16.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es
a la clase “sad” pa a el p oblema de clasi icación de sie e emociones .................57
Tabla 17.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es
a la clase “su p ise” pa a el p oblema de clasi icación de sie e emociones ...........58
Tabla 18.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes
co espondien es a la clase “happy” pa a el p oblema de clasi icación de es
emociones .......................................................................................................................60
Tabla 19.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes
co espondien es a la clase “ang y” pa a el p oblema de clasi icación de es
emociones .......................................................................................................................61
Tabla 20.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes
co espondien es a la clase “sad” pa a el p oblema de clasi icación de es
emociones .......................................................................................................................62
Tabla 21.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes
co espondien es a la clase “ang y” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................63
Tabla 22.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes
co espondien es a la clase “disgus ” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................64

XVI
Tabla 23.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes
co espondien es a la clase “ ea ” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................64
Tabla 24.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes
co espondien es a la clase “happy” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................65
Tabla 25.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes
co espondien es a la clase “neu al” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................66
Tabla 26.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes
co espondien es a la clase “sad” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................67
Tabla 27.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes
co espondien es a la clase ”su p ise” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................68
Tabla 28.- Explicabilidad po el mé odo de G adien Simila i y de imágenes
co espondien es a la clase “happy” pa a el p oblema de clasi icación de es
emociones .......................................................................................................................69
Tabla 29.- Explicabilidad po el mé odo de G adien Simila i y de imágenes
co espondien es a la clase “ang y” pa a el p oblema de clasi icación de es
emociones .......................................................................................................................71
Tabla 30.- Explicabilidad po el mé odo de G adien Simila i y de imágenes
co espondien es a la clase “sad” pa a el p oblema de clasi icación de es
emociones .......................................................................................................................71
Tabla 31.- Explicabilidad po el mé odo de G adien Simila i y de imágenes
co espondien es a la clase “ang y” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................72
XVII
Tabla 32.- Explicabilidad po el mé odo de G adien Simila i y de imágenes
co espondien es a la clase “disgus ” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................73
Tabla 33.- Explicabilidad po el mé odo de G adien Simila i y de imágenes
co espondien es a la clase “ ea ” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................74
Tabla 34.- Explicabilidad po el mé odo de G adien Simila i y de imágenes
co espondien es a la clase “happy” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................75
Tabla 35.- Explicabilidad po el mé odo de G adien Simila i y de imágenes
co espondien es a la clase “neu al” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................76
Tabla 36.- Explicabilidad po el mé odo de G adien Simila i y de imágenes
co espondien es a la clase “sad” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................77
Tabla 37.- Explicabilidad po el mé odo de G adien Simila i y de imágenes
co espondien es a la clase “su p ise” pa a el p oblema de clasi icación de sie e
emociones .......................................................................................................................78
1
Capí ulo 1 - In oducción
1.1 Mo i ación
Desde el pun o de is a compu acional, una imagen es una ma iz de núme os
que ep esen an onos de colo es o una escala de g ises. A pa i de la ep esen ación
que los píxeles o ecen, en cie os casos es posible ex ae elaciones signi ica i as
p esen es en e un g upo de ellos, que hacen que a ias imágenes puedan es a
elacionadas en e sí, ya que hay pa ones ecu en es compa idos. Es os pa ones
pueden se de ec ados median e modelos de ap endizaje supe isado del campo del
ap endizaje au omá ico (AA) de la in eligencia a i icial. Exis en di e sos ipos de
modelos que, as busca pa ones sob e un conjun o de imágenes de en ada y sus
espec i as ca ego ías du an e el p oceso de en enamien o, consiguen clasi ica un
conjun o de imágenes en e las dis in as ca ego ías es ablecidas. Cie amen e, muchas
eces es os pa ones y ca ac e ís icas de ec adas son in isibles a los ojos y pasan
desape cibidos po aquellas pe sonas que habi ualmen e usan los modelos pa a ealiza
una clasi icación de un conjun o de imágenes en a ias ca ego ías, ya que muchos de
los modelos más usados se limi an a o ece , dada una imagen de en ada, la p edicción
de la ca ego ía a ibuida, sin mos a las egiones de la imagen po las que ha decidido
asocia la jun o a imágenes de una de e minada ca ego ía u o a.
1.2 Obje i os
Se p e ende ealiza un es udio sob e los dis in os modelos exis en es de
clasi icación aplicados a imágenes, con el obje i o inal de de e mina qué modelo y
qué pa áme os son los ideales pa a esol e un p oblema de clasi icación de
emociones p esen es en ca as. Sin deja a ás es e obje i o, ambién se p e ende ealiza
un es udio de dis in os algo i mos exis en es de explicabilidad aplicadas a imágenes,
con el obje i o inal de pode mos a en la imagen o iginal las zonas seleccionadas po
el mejo modelo de caja neg a ob enido pa a e i ica la co ec a de ección de las
di e sas emociones p esen es en las imágenes y, po an o, la co ec a clasi icación de
las imágenes en las ca ego ías exis en es.
2
1.3 Plan de abajo
En es e apa ado se a a mos a el desa ollo del abajo. A con inuación, se
de allan las e apas del abajo ealizado:
1.3.1 Análisis del es ado de la cues ión
Du an e es a e apa se ha in es igado ace ca de di e sos emas elacionados
con el desa ollo del abajo, que son aquellos elacionados con el ap endizaje
au omá ico de la In eligencia A i icial, más conc e amen e, el ap endizaje supe isado
y las edes neu onales con olucionales. También se ha ealizado un es udio de la
In eligencia A i icial Explicable aplicada a imágenes y de aplicaciones p ác icas del
uso de modelos de de ección de emociones en ca as.
1.3.2 Desa ollo y expe imen ación
En es e subapa ado se a a a a de los conjun os de da os usados y de los
modelos y ca ac e ís icas con las que se ha expe imen ado. En p ime luga , pa a ealiza
una ap oximación inicial al abajo, se usa un conjun o de da os pequeño con imágenes
de pe sonas que ep esen an es ipos de emociones. T as es o, pa a ealiza el abajo
se usa el conjun o de da os llamado FER2013 con imágenes de sie e ipos de emociones
de amaño 48x48 en escala de g ises. Es e da ase con iene muchas más imágenes que
el conjun o de da os an e io . Las p ime as p uebas de los modelos y de la explicabilidad
se han ealizado sob e un subconjun o de imágenes del conjun o de da os inal,
conc e amen e sob e es ipos de emociones. Finalmen e, se han ealizado las p uebas
inales con el conjun o de da os comple o. T as ealiza las p uebas y ija el modelo que
mejo es esul ados o ece, se lle a a cabo la aplicación de a ios algo i mos de
explicabilidad de la lib e ía de ALIBI pa a mos a las egiones de la imagen elegidas
pa a ep esen a la emoción p edicha.
Todo el abajo ealizado se puede consul a en el siguien e di ec o io de Gi Hub:
h ps://gi hub.com/ja ieg25/Explicabilidad-aplicada-a-modelos-de- econocimien o-
de-emociones-en-imagenes.gi
3
1.3.3 Documen ación
A la ez que se expandían los conocimien os en la e apa de análisis del es ado
de la cues ión, y a la ez que se ealizaba el desa ollo y expe imen ación con los
modelos y algo i mos de explicabilidad, se ha ido ellenando la memo ia, incluyendo los
da os usados y las conclusiones a las que se han llegado as ealiza el es udio de los
esul ados ob enidos.
Ilus ación 1.- Diag ama de Gan del plan de abajo

5
Capí ulo 2 - Es ado de la cues ión
En es e capí ulo se a a hace una isión ace ca del ap endizaje au omá ico, en
conc e o, del ap endizaje supe isado y de las edes neu onales con olucionales.
También se ha á un epaso de la in eligencia a i icial explicable y de las di e en es
aplicaciones p ác icas del econocimien o de emociones en imágenes.
2.1 Ap endizaje supe isado
El ap endizaje au omá ico (AA)
1
es una ama de la In eligencia A i icial que iene
po obje i o ap ende median e la ex acción de ca ac e ís icas ele an es de los da os
p opo cionados a los modelos pa a después hace p edicciones sob e nue os da os de
en ada [1]. Es e p oceso in en a imi a la o ma humana de ap ende pa a ob ene
esul ados más p ecisos. Pa a p ocede a esol e un p oblema de ap endizaje
au omá ico, el p ime paso es ecolec a los da os ( ex os, imágenes, da os numé icos,
da os ca egó icos, e c.) con los que se a a abaja . Los da os pueden se ex aídos de
muchas uen es dis in as, pe o las más comunes son: in e aces de p og amación de
aplicaciones
2
(API), bases de da os o comunidades web. La ecolección de da os es un
p oceso muy impo an e po que la p esencia de da os i ele an es o de baja calidad
pueden di icul a el abajo al modelo. Pos e io men e, es necesa io ealiza un
p ocesamien o de los da os, an o pa a de ec a da os e óneos o acíos, como pa a
adap a los da os al modelo y asegu a su co ec a in e p e ación. A con inuación, se
sepa a el conjun o de da os en dos subconjun os, denominados conjun o de
en enamien o y conjun o de p ueba. T as es o, se p ocede a en ena el modelo con
los da os de en enamien o y a alida la p ecisión y el endimien o ob enidos con los
da os de p ueba. Po úl imo, se ealiza un análisis de los esul ados ob enidos pa a pode
ob ene conclusiones de los da os.
1
ambién es llamado Machine Lea ning (ML)
2
La aplicación o ece una in e az pa a que los da os que han sido ecolec ados sean
ácilmen e consul ados y ex aídos.
6
Ilus ación 2.- P oceso pa a esol e un p oblema de ap endizaje au omá ico. Fuen e: P opio
En e los en oques que iene el ap endizaje au omá ico, se encuen a el
ap endizaje supe isado. Es e ipo de ap endizaje ecibe da os con e ique as que guían
al modelo en el p oceso de en enamien o, aumen ando su p ecisión a la ho a de
p edeci y oma decisiones sob e nue os da os. Un ejemplo de p oblema de
ap endizaje supe isado es clasi ica mensajes de co eo en spam/no spam, o
econoce obje os en imágenes, simila a es e abajo, en el que se p e ende de ec a
emociones en imágenes. El ap endizaje au omá ico puede esol e p oblemas de
clasi icación y de eg esión median e los algo i mos que se p esen an a con inuación:
Reg esión lineal: Un algo i mo de eg esión lineal se basa en el modelo
ma emá ico de escala lineal. Es e algo i mo suele oma como en ada da os con a ias
a iables, eniendo en cuen a más de una en ada pa a p edeci un da o con inuo. Po
ejemplo, el algo i mo puede p edeci el p ecio de un coche en unción de la ma ca,
modelo, p es aciones y ipo de combus ible.
Reg esión logís ica: Un algo i mo de eg esión logís ica es á en ocado a p edeci
da os ca egó icos eniendo en cuen a uno o a ios da os de en ada. Cabe des aca
que una p edicción puede pe enece a más de una clase. A modo de ejemplo, es e
ipo de algo i mos pod ía p edeci si un me eo i o cae á en el ma o no, eniendo en
cuen a las ubicaciones de odas las caídas de me eo i os an e io es.
Redes neu onales: Una ed neu onal se basa en las conexiones en e neu onas
del ce eb o humano pa a in e conec a nodos. Los nodos de las edes neu onales más
simples (MLP) eciben una en ada, ponde ación y sesgo, y p oducen una salida que
mandan al siguien e nodo según una unción de ac i ación. El algo i mo in en a ajus a
las ponde aciones median e la p opagación hacia a ás de los alo es calculados. Una
ed neu onal es capaz de de ec a la p esencia de peces o caballos en imágenes.
Nai e bayes: El algo i mo Nai e Bayes de e mina la clase a la que pe enece un
da o de en ada basándose en el Teo ema de Bayes. De es e modo, a a de o ma
7
independien e las dis in as ca ac e ís icas que se ienen en cuen a. Es e algo i mo
pod ía clasi ica las eseñas de un ideojuego en posi i as o nega i as.
KNN: El algo i mo de k ecinos más ce canos a a los da os como pun os. Realiza
la clasi icación eniendo en cuen a la dis ancia (manha an o euclidiana, en e o as)
siguiendo la idea de que da os simila es es án p óximos. Po ejemplo, es e algo i mo
puede p edeci el iesgo de una pe sona de padece un cie o ipo de cánce .
Random Fo es : El algo i mo Random Fo es c ea a ios á boles de decisión pa a
inalmen e p edeci la clase del á bol que mejo se adap a al da o de en ada. Po
ejemplo, es e algo i mo puede p edeci un ipo de medicamen o según sus
ca ac e ís icas químicas.
SVM
3
: El algo i mo de máquina de ec o es de sopo e, al igual que el algo i mo
KNN, a a los da os como pun os. Usa un hipe plano en el que los da os de dos clases
es án sepa ados lo máximo posible en e sí. Po ejemplo, es e algo i mo pod ía clasi ica
ipos de ape i i os en dulces y salados.
2.1.1 Redes neu onales con olucionales
Las edes neu onales con olucionales CNN ienen un mejo endimien o sob e
p oblemas de clasi icación de imágenes que las edes MLP po que se basan en la
mul iplicación de ma ices sob e píxeles pa a pode iden i ica pa ones. A eces es
necesa ia una unidad GPU pa a lle a a cabo la esolución del p oblema debido a la
g an can idad de in o mación de los píxeles. Su uncionamien o es el siguien e: al
p incipio econoce ca ac e ís icas simples como líneas y cu as, pe o a medida que
a anza en el p ocesamien o, iden i ica pa es cada ez más g andes de la imagen. Es e
ipo de ed neu onal no usa capas o almen e conec adas en su es uc u a in e na
4
3
Desa ollado po Vladimi Vapnik
4
También denominadas “ ully connec ed”. El modelo que se ha cons uido pa a es e
abajo sí iene una capa o almen e conec ada, que si e pa a mos a la clase p edicha.
14
SHAP: Es una lib e ía que, al igual que LIME, mues a explicaciones locales
agnós icas, pe o és a en cambio, puede abaja sob e cualquie modelo de
ap endizaje au omá ico. Se basa en la eo ía de juegos pa a asigna pun uaciones a
cada ca ac e ís ica ele an e. [9]
ANCHOR: Es una lib e ía que ancla localmen e la p edicción, de o ma que los
cambios ex e nos a la zona ijada en el mismo da o no se ienen en cuen a. De es e
modo, da os que ijan el mismo ancla end án p edicciones muy pa ecidas. T abaja
sob e da os abula es y ex os pa a cualquie clasi icado de caja neg a. [10]
XRAI: Es un mé odo que mues a explicaciones locales basándose en g adien es
in eg ados. Solamen e puede se aplicado a imágenes. [11]
In eg a ed G adien s: Es un mé odo que se basa en la sensibilidad e in a iabilidad
de implemen ación. Mues a explicaciones median e llamadas al ope ado de
g adien e. Solamen e es aplicable a modelos que abajan con ex os e imágenes. [12]
G ad-CAM: Es un mé odo que p ime o calcula los g adien es de una imagen pa a
después pasá selos a una capa con olucional y así p oduci un mapa de localización
de las egiones ele an es. Funciona sob e cualquie ed neu onal con olucional
aplicada a imágenes. [13]
RISE: Es un mé odo o ien ado a explica imágenes que cons uye un mapa pa a
indica la impo ancia de cada píxel en la p edicción. [14]
FORG ad: Es un mé odo c eado pa a modelos de caja blanca sob e imágenes
que il a el uido de los g adien es del mapa de a ibución calculado po el mé odo de
g adien e. [15]
ALIBI Explain: Es una lib e ía open sou ce que in e p e a modelos de ap endizaje
au omá ico de caja blanca y neg a. A pesa de que se pueda aplica sob e modelos
que esuel en p oblemas de clasi icación y de eg esión sob e di e sos ipos de da os,
en es e abajo se ha en ocado su uso pa a modelos de caja neg a que esuel en
p oblemas de clasi icación de imágenes. El ámbi o que se oma á se á local, es deci ,
se mos a á sob e cada imagen las egiones ele an es pa a la oma de decisión del
modelo. Es a lib e ía es la que se a a usa en es e abajo po que engloba muchos de

15
los mé odos comen ados an e io men e, como In eg a ed G adien s y Ancho Image
aplicados a imágenes. [16]
A con inuación, se a a mos a un mapa con las lib e ías de explicabilidad más
p ome edo as has a el momen o y una abla compa a i a de amewo ks en e dis in as
lib e ías:
Ilus ación 10.- Mapa de algunas lib e ías de explicabilidad. Fuen e: h ps://asse s-global.websi e-
iles.com/6299b185 76ad4 c 9cdbbc/62a72b2ed63903a5ec279339_627a5 a6ecda298d1a40 2a0_Exis ing%
2520XAI%2520lib a ies%2520O e iew(1)%2520(1).png
Tabla 1.- Compa ibilidad de lib e ías de explicabilidad con amewo ks de ML y ipos de da os admi idos.
Fuen e: P opio
Lib e ía
Compa ible con
Sciki -Lea n
Compa ible con
Tenso Flow
Compa ible con
PyTo ch
LIME
Da os abula es
Sí
Imágenes
ANCHOR
Da os abula es y
ex os
Sí
Imágenes
16
ALIBI
Sí
Sí
Sí
SHAP
Da os abula es
Sí
Tex os e imágenes
XRAI
No
Imágenes
Imágenes
In eg a ed g adien s
No
Da os abula es e
imágenes
Da os abula es e
imágenes
G adCam
No
No
Imágenes
Fo GRad
No
Imágenes
Imágenes
RISE
No
Imágenes
Imágenes
2.3 Aplicaciones p ác icas de econocimien o de emociones en imágenes
Muchas pe sonas que p ueban nue os p oduc os no ienden a exp esa lo que
ealmen e piensan ace ca de és e, po lo que no pe mi e la mejo a del p oduc o. Po
o a pa e, casi la mi ad de los pacien es con pa ologías no exp esan e balmen e su
dolo , causando la alen ización de la labo de los médicos. El econocimien o de
emociones en ca as po pa e de modelos de ap endizaje au omá ico y su pos e io
explicación pueden sol en a p oblemas como los comen ados an e io men e. Algunos
colegios e ins i u os, como po ejemplo el T ue Ligh College en Hong Kong [17], han
empezado a implemen a algunos modelos de IA de caja neg a con el obje i o de
analiza las emociones de los alumnos du an e la clase. G acias a la isualización de las
egiones ele an es de la imagen, de ec adas po el modelo, que o ecen los algo i mos
de explicabilidad, los u o es, psicólogos y o ien ado es pueden en oca su abajo, no
solamen e pa a aumen a el endimien o en el aula, sino pa a de ec a casos de acoso
escola de o ma p ecoz. Es os modelos ambién pueden ayuda a de ec a emociones
de pe sonas au is as y educi los acciden es de á ico median e la de ección de las
emociones que expe imen a el conduc o , como el cansancio o la a iga.
17
Ac ualmen e exis en emp esas ecnológicas y en idades educa i as que han
desa ollado he amien as de In eligencia A i icial elacionadas con el econocimien o
de emociones en imágenes:
Azu e AI Face se ice: Mic oso o ece algo i mos de análisis de ca as, de ección
de ca as alsas, iden i icación de pe sonas y búsqueda de ca as simila es. [18]
Amazon Rekogni ion: O ece algo i mos de e i icación, búsqueda, de ección y
econocimien o de ca ac e ís icas en ca as, y de ección de con enido inap opiado,
logo ipos, amosos y ex o. [19]
Google Cloud Vision: O ece un algo i mo que de ec a ojos, cejas, bocas, e c.
de a ias ca as en una imagen. También es capaz de de ec a complemen os como
somb e os, ga as, go os o pendien es, en e o os. [20]
Wa son: Es un asis en e de IBM que o ece muchas uncionalidades, en e ellas,
econocimien o de de ección de emociones en ex os. [21]
EnableX Face AI: Es una he amien a que analiza las emociones de ca as en
iempo eal sob e una o muchas pe sonas a la ez. [22]
Face Mi o : Es un p oduc o de la compañía Bisma que de ec a y analiza el
es ado de ánimo de la pe sona que iene delan e. [23]
Emo ongue: Es una aplicación mó il c eada po una in es igado a de la UAH que
de ec a emociones median e el escaneo acial, o eciendo ecomendaciones sob e
cómo lidia con las emociones de ec adas. [24]
A pesa de que algunas de las he amien as p esen adas an e io men e se
compo an de o ma pa ecida a los modelos c eados en es e abajo, se ha decidido
no aplica la explicabilidad sob e es as he amien as, ya que se p e enden adqui i
conocimien os ace ca del uncionamien o y es uc u a de algunos modelos de IA de
de ección de emociones en imágenes.
18
2.4 T abajos simila es
En la página web de Kaggle
9
se pueden consul a algunos abajos simila es que
c ean o adap an modelos pa a abaja sob e el conjun o de da os FER2013 y pode así
de ec a emociones en imágenes. Muchos de los modelos disponibles que u ilizan es e
conjun o de imágenes son modelos con es uc u a muy simila a la que se a a
desa olla en es e abajo, po lo an o, es in e esan e es udia las p ecisiones ob enidas
pa a cada modelo. A con inuación, se mues a una abla en la que se mues an las
ca ac e ís icas impo an es, endimien os, y enlaces de algunos modelos in e esan es:
Tabla 2.- Ca ac e ís icas, endimien os y enlaces de modelos usados en algunos abajos simila es
9
www.kaggle.com
Ca ac e ísi icas impo an es del
modelo
Rendimien o
Enlace
Sequen ial()
Función de ac i ación: “Relu”
6 capas con olucionales con 32, 64,
128, 256, 512 y 512 il os de amaño
(3,3)
Tamaño de ag upación: (2,2)
Ba chNo maliza ion()
D opou (0.25)
10 épocas de en enamien o
En enamien o: 0.5856
P ueba: 0.5552
h ps://www.kaggle.com/
code/ ha ani ha anm/ e -
using-cnn
T ans e lea ning con VGGNET
VGG16 +
Fla en() +
Dense(1024, ac i a ion=' elu') +
D opou (0.5) +
50 épocas de en enamien o
En enamien o: 0.5472
P ueba: 0.55
h ps://www.kaggle.com/
code/ ha ani ha anm/ e -
using-cnn
19
Dense(512, ac i a ion=' elu')+
D opou (0.5)
T ans e lea ning con RESNET-50
ResNe 50V2() +
D opou (0.25) +
Ba chNo maliza ion() +
Fla en() +
Dense(64,ac i a ion=' elu') +
Ba chNo maliza ion() +
D opou (0.5)
9 épocas de en enamien o
En enamien o: 0.6127
P ueba: 0.6080
h ps://www.kaggle.com/
code/ ha ani ha anm/ e -
using-cnn
Sequen ial()
Función de ac i ación: “Relu”
4 capas con olucionales con 32, 64,
128 y 256 il os de amaño (3,3)
Tamaño de ag upación: (2,2)
Ba chNo maliza ion()
D opou (0.25)
20 épocas de en enamien o
En enamien o: 0.6592
P ueba: 0.6236
h ps://www.kaggle.com/
code/ojaspjoshi/emo ion-
de ec ion
T ans e lea ning con RESNET-50
(simpli icado)
Función de ac i ación: “Relu”
4 capas con olucionales con 64, 128,
256 y 512 il os y pasos de 1, 2, 2 y 2.
Tamaño de ag upación: (2,2)
Ba chNo maliza ion()
MaxPooling (3,3) con paso 3
A e agePooling (2,2)
40 épocas de en enamien o
En enamien o: 0.7074
P ueba: 0.6131
h ps://www.kaggle.com/
code/dishaasinghi/ esne -
simpli ied

20
Algunos de es os abajos se limi an a ans o ma modelos p e iamen e
en enados como VGGNET o RESNET pa a ap o echa odas sus en ajas y así ob ene
endimien os algo más al os, pe o en gene al, odos los modelos ob ienen una p ecisión
de ce cana a 0.6. Es o se puede debe a la limi ación de los da os, ya que el conjun o
no es á balanceado. Algunos modelos necesi an muchas épocas pa a el p oceso de
en enamien o, pe o ealizando una compa ación en e ellos, el núme o de épocas
idóneo es 40.
Sequen ial()
Función de ac i ación: “Relu”
4 capas con olucionales con 32, 64,
128 y 256 il os de amaño (3,3)
Tamaño de ag upación: (2,2)
Ba chNo maliza ion()
MaxPooling2D(2, 2)
D opou (0.25)
150 épocas de
en enamien o
En enamien o: 0.7360
P ueba: 0.6680
h ps://www.kaggle.com/
code/aslinaslin/emo ion-
de ec ion
T ans e lea ning con RESNET-50 2
ResNe 50V2() +
D opou (0.25) +
Ba chNo maliza ion() +
Fla en() +
Dense(64,ac i a ion=' elu') +
Ba chNo maliza ion() +
D opou (0.5) +
Dense(7,ac i a ion='so max')
22 épocas de en enamien o
En enamien o: 0.8906
P ueba: 0.7962
h ps://www.kaggle.com/
code/nexuswho/emo ion-
de ec ion
21
Capí ulo 3 - P ocesamien o de los da os y es uc u a
de los modelos
En es e capí ulo se a a ealiza un es udio de los da os pa a e i ica si es
necesa io lle a a cabo un p ocesamien o de es os. Se de alla á el p oceso de
a amien o de los da os ealizado, así como la especi icación de las ca ac e ís icas
elegidas pa a cons ui los modelos usados en los siguien es capí ulos.
3.1 Ca ga del conjun o de imágenes
El conjun o de da os que se usa pa a ealiza la p ime a ap oximación al abajo
es un conjun o pequeño de imágenes de di e en es amaños a colo de pe sonas con
es ipos de emociones: elicidad, is eza y en ado; y pa a ealiza la ap oximación inal
del abajo se usa un conjun o más amplio de imágenes 48x48 en escala de g ises, en
conc e o, con sie e ipos de emociones, llamado FER2013.
El p ime paso pa a que un modelo log e clasi ica imágenes es ca ga el conjun o
de da os con el que se a a en ena y, pos e io men e p oba el modelo. Como el
clasi icado que se a a cons ui se a a de un modelo de ap endizaje supe isado, es
necesa io ca ga jun o a las imágenes de en ada las clases asociadas a las mismas que,
en es e caso, se án las emociones exp esadas en cada imagen.
Dado que ambos conjun os de da os es án o ganizados en a ias ca pe as que
con ienen las imágenes de cada emoción, el p oceso de ca ga de las imágenes es el
siguien e: se ealiza un eco ido po el di ec o io que con iene las imágenes, y se gua da
en una es uc u a de da os bidimensional
10
la u a de la imagen jun o al nomb e de la
ca pe a con enedo a de la imagen (se á la emoción p esen e en la imagen). T as la
ca ga de las imágenes, es con enien e comp oba si el conjun o de da os es á
equilib ado, es deci , si hay ap oximadamen e el mismo núme o de mues as pa a odas
las clases, po que de lo con a io, el modelo puede ap ende a a o ece la clase
10
Conc e amen e en un Pandas da a ame de la lib e ía pandas.
22
mayo i a ia o incluso sesga las p edicciones a a o de cie a clase en ez de aumen a
la p ecisión de odas las clases exis en es.
3.2 Adap ación del o ma o de las imágenes
El o ma o de las imágenes de en ada del modelo ambién es un ac o bas an e
impo an e a ene en cuen a, ya que in lui á signi ica i amen e en el endimien o del
modelo. Si se p e ende que un modelo sea ápido en p edeci una en ada, se á
necesa io que dicha en ada solamen e con enga da os imp escindibles y no supe luos
de los que el modelo sea capaz de ex ae ca ac e ís icas. Po ejemplo, una imagen en
onos de colo (RGB) puede conse a odas sus ca ac e ís icas en muchos menos da os
as se con e ida a escala de g ises, pasando de ene es canales a solamen e uno,
o incluso as se edimensionada a un amaño ela i amen e meno del o iginal. La
adap ación del o ma o de las imágenes depende á del conjun o de da os usado.
3.2.1 Tamaño
El amaño de las imágenes y la in o mación de los píxeles in luye
signi ica i amen e en el endimien o del modelo. Como un modelo no puede abaja
con imágenes de di e en es amaños, se ha ealizado un es udio de las esoluciones de
las imágenes del conjun o de da os pa a de e mina si hace al a ealiza algún
p ocesamien o a las imágenes pa a adap a las a un amaño inal. Si es necesa io
p ocesa las, en onces, dependiendo del amaño elegido, algunas imágenes pe de án
esolución al educi su núme o de pixeles (downscaling) y o as añadi án in o mación
no ep esen a i a (upscaling)
Las imágenes del conjun o de da os inicial ienen amaños muy a iados. La única
ca ac e ís ica común a las imágenes es su al a esolución, que se á un p oblema a la
ho a de en ena los modelos. Cada pun o de la g á ica siguien e ep esen a una
imagen del conjun o de da os inicial.
23
Ilus ación 11.- Resoluciones de las imágenes del conjun o de da os inicial. Fuen e: P opio
Pa a educi el iempo de en enamien o del modelo, los amaños elegidos pa a
ealiza p uebas con los modelos se án: la media de las esoluciones (1152, 809), la
media*(2/3) (768, 539), la media/3 (384, 269) y o os amaños más pequeños como (96,
96), (48, 48) y (24, 24)
30
Capí ulo 4 - Clasi icación de emociones en imágenes
El conjun o de imágenes con el que se a a abaja pa a la p ime a
ap oximación ha sido ob enido de la página web de Kaggle
12
, y es á disponible pa a su
desca ga
13
. El conjun o de da os cons a de ce ca de 250 imágenes a colo de di e en es
amaños. En las imágenes se pueden isualiza di e en es pe sonas con es ipos de
emociones, en e ellas: elicidad, is eza y en ado. Las imágenes son muy di e en es
en e sí po que se pueden e , an o pe sonas indi iduales como g upos de pe sonas, y
ambién cue pos comple os y ca as. El obje i o de la p ime a ap oximación es
de e mina si el conjun o de da os elegido es ú il, es deci , comp oba si el modelo
consigue ex ae las ca ac e ís icas su icien es pa a pode aplica la explicabilidad. A
con inuación, se mues an el núme o de ejemplos y la ecuencia de cada clase del
conjun o de da os inicial pa a e i ica si es á equilib ado:
Tabla 5.- Comp obación del equilib ado del conjun o de da os inicial
Clase
Núme o de ejemplos
F ecuencia
“happy”
100
37.735849
“sad”
86
32.452830
“ang y”
79
29.811321
Se puede obse a que hay más mues as de la clase “happy” que de las demás,
lo que pod á a ec a nega i amen e a la p ecisión del modelo.
El conjun o de imágenes con el que se a a abaja pa a ealiza la ap oximación
inal ambién ha sido ob enido de la página web de Kaggle y es á disponible pa a su
12
www.kaggle.com
13
Se puede desca ga en el siguien e enlace:
h ps://www.kaggle.com/da ase s/sanidhyak/human- ace-emo ions

31
desca ga
14
. FER2013 con iene al ededo de 35.000 imágenes en escala de g ises de
amaño 48x48. Las imágenes cons an de os os de pe sonas de di e en es edades que
exp esan di e en es emociones, en e ellas: en ado, asco, miedo, elicidad, is eza,
so p esa y neu alidad.
Pa a comenza con el análisis inal, se ha decidido en p ime luga abaja sob e
un subconjun o de imágenes educido pa a de e mina si el conjun o o iginal puede
o ece esul ados p ome edo es. De es a o ma, solamen e se seleccionan del conjun o
de da os o iginal aquellas imágenes en las que apa ecen os os de pe sonas que
exp esan es ipos de emociones: elicidad, is eza y en ado. Con es as es emociones,
se c ea á un clasi icado y se e alua á su p ecisión. A con inuación, se mues an el
núme o de ejemplos y la ecuencia de cada clase del subconjun o de da os usado
pa a e i ica si es á equilib ado:
Tabla 6.- Comp obación del equilib ado del subconjun o ex aído del conjun o de da os inal
Clase
Núme o de ejemplos
F ecuencia
“happy”
8989
44.902343
“sad”
6077
30.356162
“ang y”
4953
24.741496
Se puede obse a que hay muchas más mues as de la clase “happy” que de
las demás, pe o dependiendo de las ca ac e ís icas del modelo usado, el impac o
nega i o a la ho a de clasi ica a ia á.
Pa a ealiza un es udio más ap oximado a la ealidad, se ha decidido abaja
sob e un conjun o de imágenes más complejo que el inicial, con sie e ipos de
emociones. A con inuación, se mues an el núme o de ejemplos y la ecuencia de cada
clase del conjun o de da os inal pa a e i ica si es á equilib ado:
14
Se puede desca ga en el siguien e enlace:
h ps://www.kaggle.com/da ase s/msamba e/ e 2013
32
Tabla 7.- Comp obación del equilib ado del conjun o de da os inal
Clase
Núme o de ejemplos
F ecuencia
“happy”
8989
25.048068
“neu al”
6198
17.270878
“sad”
6077
16.933709
“ ea ”
5121
14.269791
“ang y”
4953
13.801655
“su p ise”
4002
11.151671
“disgus ”
547
1.524229
Se puede obse a , al igual que en el conjun o de da os inicial, sigue habiendo
una g an di e encia de ejempla es de la clase “happy” con espec o a las demás. Cabe
des aca que la clase “disgus ” iene muy pocas mues as, po lo que a ec a á
signi ica i amen e a la p ecisión de los dis in os modelos usados.
4.1 Modelos MLP
Dependiendo de su es uc u a y del amaño de las imágenes de en ada, algunos
modelos end án más ácil de ec a pa ones de las imágenes de en ada que o os. El
iempo de ejecución de cada modelo depende á signi ica i amen e del núme o de
capas ocul as y del amaño de los da os con los que se es é abajando, po lo que es
impo an e es ablece una elación en e la p ecisión ob enida po el modelo, y su
iempo de ejecución pa a elegi el mejo modelo.
Los amaños de las imágenes de en ada pa a los modelos MLP que se an a usa
en el p oceso de en enamien o pa a la p ime a ap oximación son: (1152, 809), (768,
539), (384, 269), (96, 96), (48, 48) y (24, 24) En cambio, los amaños que se an a usa pa a
la ap oximación inal son: (96, 96), (48, 48) y (24, 24)
A con inuación, se mues a una g á ica con los iempos y las p ecisiones
ob enidas sob e el conjun o de en enamien o ob enido del conjun o de da os inicial.
33
Cada pun o ep esen a un modelo MLP con una con igu ación conc e a de los
pa áme os usados:
Ilus ación 15.- Tiempos y endimien os de los modelos MLP del conjun o de da os inicial as el p oceso de
en enamien o
Se puede obse a que las al as p ecisiones ob enidas mues an signos de que los
modelos han sob eap endido de los da os de en enamien o. Cu iosamen e, la mayo ía
de los modelos que mayo p ecisión ob ienen son los que a dan menos en en ena ,
po que abajan con imágenes de amaño bas an e educido (24x24) Es in e esan e
obse a cómo casi la mi ad de los modelos no consiguen ob ene una p ecisión mayo
que 0.33 (que se co esponde a clasi ica alea o iamen e los es ipos de emociones)
Una causa de es o puede se una combinación ex aña de ca ac e ís icas usadas pa a
c ea el modelo, la combinación de imágenes que cons i uyen el conjun o de
en enamien o, o simplemen e po que es e ipo de modelo no es á des inado a
p ocesa imágenes.
A con inuación, se mues a una g á ica con los iempos y las p ecisiones
ob enidas sob e el conjun o de en enamien o pa a el p oblema de clasi icación de es
clases del conjun o de da os inal. Cada pun o ep esen a un modelo MLP con una
con igu ación conc e a de los pa áme os usados:
34
Ilus ación 16.- Tiempos y endimien os de los modelos MLP de clasi icación de es ipos de emociones as
el p oceso de en enamien o
Se puede obse a que no se consiguen esul ados acep ables. Según indica la
g á ica, algunos modelos sob eap enden de los da os de en enamien o al ob ene un
endimien o ce cano al 100%, po lo que su p ecisión sob e el conjun o de p ueba no se
espe a que sea muy bueno. Hay un modelo que ob iene una p ecisión de 0.78 en poco
iempo, en compa ación con o os modelos que ob ienen p ecisiones lige amen e más
al as en iempos mucho mayo es. Es o sugie e que a eces es in e esan e sac i ica
p ecisión a cambio de gana iempo. Llama la a ención que al ededo de 1/3 de los
modelos no consiguen una p ecisión mayo que 0.33, que se co esponde a la p ecisión
de ealiza una clasi icación alea o ia en es clases. Es o puede debe se a que los
modelos MLP no son idóneos pa a el p ocesamien o de imágenes.
Debido a que los modelos MLP de clasi icación de es ipos de emociones del
conjun o de da os inal no o ecen esul ados acep ables, se ha decidido no ealiza más
p uebas con es e ipo de modelo pa a clasi ica sie e ipos de emociones, po que en el
conjun o de da os comple o la di e encia de imágenes en e clases es mucho mayo y
se espe an ob ene da os aún peo es que los p e iamen e ob enidos.
35
4.1.1 Mejo es modelos MLP ob enidos
A con inuación, se mues an las ca ac e ís icas y los esul ados del mejo modelo
MLP ob enido pa a el p oblema de clasi icación de es clases del conjun o de da os
inicial:
• P ecisión sob e el conjun o de en enamien o: 0.81
• P ecisión sob e el conjun o de p ueba: 0.49
• Tamaño de las imágenes de en ada: (48, 48)
• Función de ac i ación: “ReLU”
• Tamaño de las capas ocul as: (200,)
• Alpha: 0.51
Es e modelo sob eap ende de los da os de en enamien o, pe o no a ec a
signi ica i amen e a la p ecisión sob e los da os de p ueba po que sigue siendo el
modelo que mayo p ecisión ob iene sob e es e conjun o, aunque sea insu icien e.
En la ma iz de con usión se puede obse a que la clase que mejo clasi ica es
“ang y”; y la que peo “sad”, que ob iene un po cen aje de acie o del 50%. Las clases
que menos con unde son “sad” y “happy”, po lo que se puede deduci que el modelo
ha ap endido a di e encia bocas cónca as hacia a iba (con en o) de bocas
cónca as hacia abajo ( is e) Como da o cu ioso, la clase que mejo clasi ica no es la
clase mayo i a ia, sino la que menos. Es o se puede debe a que las imágenes elegidas
encajan con los pa ones ob enidos, o que son muy pa ecidas en e sí.

36
Ilus ación 17.- Ma iz de con usión del mejo modelo MLP del conjun o de da os inicial
A con inuación, se mues an las ca ac e ís icas y los esul ados del mejo modelo
ob enido pa a el p oblema de clasi icación de es ipos de emociones del conjun o de
da os inal:
• P ecisión sob e el conjun o de en enamien o: 0.98
• P ecisión sob e el conjun o de p ueba: 0.51
• Tamaño de las imágenes de en ada: (48, 48)
• Función de ac i ación: “logis ic”
• Tamaño de las capas ocul as: (200,)
• Alpha: 0.01
37
Ilus ación 18.- Ma iz de con usión del mejo modelo MLP de clasi icación de es ipos de emociones
El mejo modelo sob eap ende de los da os de en enamien o. Se puede
obse a que la clase que mejo clasi ica es “happy”; y la que peo , “ang y”. Es o se
puede debe al equilib ado de los da os, ya que la p ime a clase es la que más
imágenes iene, y la segunda, la que menos. Aunque la clasi icación que ealiza es
bas an e ace ada, las clases que más con unde en e sí son “happy” y “sad”, aunque
no de o ma gene al; las clases que menos con unde son “ang y” con “happy”. Es o
signi ica que el modelo ha conseguido ex ae las ca ac e ís icas su icien es como pa a
sabe que, po ejemplo, si de ec a la p esencia de dien es en una imagen, no
necesa iamen e la clase a la que pe enece es “happy”, sino que ambién puede se
“ang y”.
4.2 Modelos CNN
Las edes neu onales con olucionales son idóneas pa a p oblemas de
clasi icación de imágenes, po que son capaces de analiza las ca ac e ís icas en e
conjun os de píxeles con iguos de las imágenes de en ada en o ma de ec o es que
con ienen in o mación de los píxeles. Du an e el p oceso de en enamien o de los
modelos, se egis an los iempos que a da cada modelo en ap ende – que depende á
38
signi ica i amen e del amaño de las imágenes de en ada y del núme o de épocas; y
la p ecisión ob enida sob e el conjun o de en enamien o. Pa a ealiza una mejo
e aluación de los modelos, se ha usado el mismo conjun o de imágenes de
en enamien o y p ueba pa a en ena y p oba odos los modelos.
Los amaños de las imágenes de en ada pa a los modelos CNN que se an a
usa en ambos conjun os de da os son: (96, 96), (48, 48) y (24, 24)
El p oceso de en enamien o pa a los modelos de clasi icación en es clases de
la p ime a ap oximación se a a ealiza en 20 épocas,
15
su icien es pa a el educido
núme o de imágenes que cons i uyen el conjun o de da os inicial. Con más de 20
épocas, el modelo se ajus a demasiado a los da os de en enamien o, pe o sin ob ene
mejo a sob e imágenes con las que no ha abajado.
Más adelan e, se mues a una g á ica con los iempos y las p ecisiones ob enidas
sob e el conjun o de en enamien o ob enido del conjun o de da os inicial. Cada pun o
ep esen a un modelo CNN con una con igu ación conc e a de los pa áme os usados.
Las g á icas mues an p ecisiones insu icien es pa a el p oblema de clasi icación de es
clases que se p e ende esol e . Aunque los modelos a den poco en en ena y algunos
consigan ob ene p ecisiones mayo es que 0.7, la endencia es ob ene modelos que no
consiguen ex ae las egiones ele an es de las imágenes de en ada. Se pod ía deci
que se “pie den” o “con unden” con las imágenes usadas pa a en ena los modelos.
15
También llamadas “epoch”
39
Ilus ación 19.- Tiempos y endimien os de los modelos CNN del conjun o de da os inicial as el p oceso de
en enamien o
El p oceso de en enamien o pa a los modelos de clasi icación en es clases del
conjun o de da os inal se a a ealiza en 20 épocas y el en enamien o pa a los
modelos de clasi icación en sie e clases se a a ealiza en 40 épocas. El núme o de
épocas conside ado es su icien e pa a que los modelos ob engan las ca ac e ís icas
necesa ias de cada clase. Un núme o mayo de épocas puede conduci a los modelos
a un sob eap endizaje, consiguiendo una muy buena p ecisión sob e los da os de
en enamien o, pe o muy mala sob e los da os de p ueba.
A con inuación, se mues a una g á ica con los iempos y las p ecisiones
ob enidas sob e el conjun o de en enamien o del conjun o de da os inal pa a el
p oblema de clasi icación de es clases. Cada pun o ep esen a un modelo CNN con
una con igu ación conc e a de los pa áme os usados:
46
A con inuación, se an a mos a algunos ejemplos ep esen a i os del mé odo
Ancho Image pa a el p oblema de clasi icación de es ipos de emociones aplicado a
imágenes del conjun o de da os inal.
En las imágenes pos e io es se puede obse a que el modelo ha conseguido
econoce que en la clase “happy” es impo an e la o ma de la boca, así como las
a ugas de su al ededo . Pa a dis ingui de o as clases pa ecidas como “ang y”, en
algunas imágenes ambién en oca la a ención en la o ma de los ojos. Cabe des aca
que el modelo no ha de ec ado co ec amen e la emoción de la úl ima imagen, en
g an medida, po que no ha de e minado que la in o mación de los ojos e a impo an e
al habe encon ado la p esencia de dien es, ca ac e ís ica que suponemos que
conside a ep esen a i a de la emoción “happy”
Tabla 8.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “happy”
pa a el p oblema de clasi icación de es emociones
Clase eal: “happy”
Clase p edicha: “happy”
Clase eal: “happy”
Clase p edicha: “happy”

47
Clase eal: “happy”
Clase p edicha: “happy”
Clase eal: “ang y”
Clase p edicha: “happy”
En las imágenes pos e io es se puede obse a que el modelo ha conseguido
econoce que en la emoción “ang y” son impo an es las a ugas de la en e y las de
al ededo de la boca. Además, cuando es as ca ac e ís icas son con usas pa a el
modelo y iene que dis ingui “ang y” de “happy”, suele en oca la a ención en la o ma
de los ojos y de la boca, como se indica en las úl imas dos imágenes.
48
Tabla 9.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “ang y”
pa a el p oblema de clasi icación de es emociones
Clase eal: “ang y”
Clase p edicha: “ang y”
Clase eal: “ang y”
Clase p edicha: “ang y”
Clase eal: “ang y”
Clase p edicha: “ang y”
49
En las imágenes que se p esen an a con inuación, se puede obse a que el
modelo ha conseguido econoce que pa a la emoción “sad” la o ma de las cejas
juega un papel undamen al, así como la pos u a de la ca a, que iende a es a más
o cida que en o as emociones conside adas en es e p oblema. De la misma mane a
que las an e io es emociones, a eces necesi a ob ene in o mación ace ca de la o ma
de la boca y ojos pa a disc imina de o as clases. Cabe des aca que en la úl ima
imagen el modelo ha p edicho e óneamen e “sad”, pudiéndose debe a que no ha
de e minado que la in o mación de las cejas e a impo an e.
Tabla 10.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “sad”
pa a el p oblema de clasi icación de es emociones
Clase eal: “sad”
Clase p edicha: “sad”
Clase eal: “sad”
Clase p edicha: “sad”
50
Clase eal: “ang y”
Clase p edicha: “sad”
A con inuación, se an a mos a algunos ejemplos ep esen a i os del mé odo
Ancho Image pa a el p oblema de clasi icación de sie e ipos de emociones aplicado
a imágenes del conjun o de da os inal.
Tabla 11.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “ang y”
pa a el p oblema de clasi icación de sie e emociones
Clase eal: “ang y”
Clase p edicha: “ang y”
51
Clase eal: “ang y”
Clase p edicha: “ang y”
Clase eal: “ ea ”
Clase p edicha: “ang y”
Lo que di e encia la emoción “ang y” de “su p ise” es la o ma de los ojos. En
ambas emociones la boca es á abie a, pe o los ojos de la clase “ang y” no es án
o almen e abie os. La o ma de las cejas ambién juega un papel impo an e a la ho a
de p edeci es a emoción. Se puede obse a que en la úl ima imagen el modelo ha
enido en cuen a los ojos y la boca a la ho a de p edeci , pe o no ha ace ado y ha
p edicho “ang y” po que ha de e minado que la boca es á demasiado abie a.

52
Tabla 12.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase
“disgus ” pa a el p oblema de clasi icación de sie e emociones
Clase eal: “disgus ”
Clase p edicha:
“disgus ”
Clase eal: “disgus ”
Clase p edicha: “happy”
Es a emoción iene ca ac e ís icas comunes a “sad”. Ambas ienen bocas planas
o lige amen e abie as, además de ojos y cejas muy simila es. La g an di e encia con la
emoción “sad” eside en la o ma de la boca. Po lo gene al, la boca en pe sonas
disgus adas no suele es a ce ada y cu a hacia abajo, como es na u al en pe sonas
is es. En la úl ima imagen, a pesa de que el modelo ha enido en conside ación la
o ma del ojo, la engañosa o ma de la boca ha in luido a la ho a de clasi ica la imagen
como “happy”
53
Tabla 13.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “ ea ”
pa a el p oblema de clasi icación de sie e emociones
Clase eal: “ ea ”
Clase p edicha: “ ea ”
Clase eal: “ ea ”
Clase p edicha: “ ea ”
Clase eal: “happy”
Clase p edicha: “ ea ”
La g an di e encia en e “ ea ” y “ang y” es la o ma de la boca. En ambas
emociones es común obse a ojos y cejas con o mas muy pa ecidas, pe o las pe sonas
54
con miedo suelen ene la boca más ce ada. En la úl ima imagen, el clasi icado se ha
con undido de emoción. La inclinación de la cabeza ha a ec ado a la ceja y el ojo,
ambas egiones ele an es pa a el modelo. Se puede pensa que, si hubie a enido en
cuen a la boca, hab ía p edicho co ec amen e la emoción.
Tabla 14.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase
“happy” pa a el p oblema de clasi icación de sie e emociones
Clase eal: “happy”
Clase p edicha: “happy”
Clase eal: “happy”
Clase p edicha: “happy”
55
Clase eal: “sad”
Clase p edicha: “happy”
Pa a clasi ica la emoción “happy”, el modelo iene en cuen a la o ma de la
boca, que iene que se cónca a hacia a iba, pudiendo con ene o no dien es. Si
esul a que no puede ex ae ca ac e ís icas su icien es de la boca, p es a a ención a
los ojos, que ienen o ma cu a hacia abajo, al y como se puede e en la segunda
imagen. En la úl ima imagen se puede obse a una mala p edicción po pa e del
modelo, y se puede debe a que solamen e ha enido en cuen a la mi ad de la boca
que, con usamen e, pa ece es a cu a po la inclinación de la cabeza.
Tabla 15.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase
“neu al” pa a el p oblema de clasi icación de sie e emociones
Clase eal: “neu al”
Clase p edicha: “neu al”
62
En las imágenes de abajo se puede obse a que el modelo ha alo ado
posi i amen e aquellos píxeles ce canos a las cejas y ojos pa a la emoción “sad”. De
es a o ma, de e minadas o mas de ojos y cejas cob an peso a la ho a de de e mina
la emoción a clasi ica . El modelo ha asignado alo es nega i os a los píxeles que azan
el con o no de la ca a en la segunda imagen. Cabe des aca que el modelo no ha
asignado alo es posi i os a la o ma de las cejas en la úl ima imagen, po lo que ha
ealizado una p edicción inco ec a.
Tabla 20.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase
“sad” pa a el p oblema de clasi icación de es emociones
Clase eal: “sad”
Clase p edicha:
“sad”
Clase eal: “sad”
Clase p edicha:
“sad”
Clase eal:
“ang y”
Clase p edicha:
“sad”
A con inuación, se an a mos a algunos ejemplos ep esen a i os del mé odo
In eg a edG adien s pa a el p oblema de clasi icación de sie e ipos de emociones
aplicado a imágenes del conjun o de da os inal.

63
Tabla 21.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase
“ang y” pa a el p oblema de clasi icación de sie e emociones
Clase
eal:
“ang y”
Clase
p edicha:
“ang y”
Clase
eal:
“ang y”
Clase
p edicha:
“ang y”
Clase
eal:
“ ea ”
Clase
p edicha:
“ang y”
En las imágenes an e io es se puede obse a que el modelo ha conseguido
econoce que en la clase “ang y” son impo an es aquellos píxeles ela i os a los ojos,
así como las cejas que p esen an una o ma cu a. En la segunda imagen se han
alo ado nega i amen e los píxeles de las cejas po que conside a que la cu a es
demasiado p onunciada pa a una pe sona en adada. Tal y como se ap ecia en la
úl ima imagen, a eces alo a posi i amen e los píxeles de los dien es si no encuen a
las ca ac e ís icas comen adas an e io men e.
64
Tabla 22.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase
“disgus ” pa a el p oblema de clasi icación de sie e emociones
Clase
eal:
“disgus ”
Clase
p edicha:
“disgus ”
Clase
eal:
“disgus ”
Clase
p edicha:
“happy”
En las imágenes an e io es se puede e cómo ac úa el modelo a la ho a de
clasi ica la emoción “disgus ”. Valo a posi i amen e los píxeles de las cejas si son
cónca as. Po o o lado, ha ap endido a alo a nega i amen e las a ugas de
al ededo de la boca en cie as ocasiones, como es el caso de la p ime a imagen, pe o
no en la segunda.
Tabla 23.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase
“ ea ” pa a el p oblema de clasi icación de sie e emociones
Clase
eal:
“ ea ”
Clase
p edicha:
“ ea ”
65
Clase
eal:
“ ea ”
Clase
p edicha:
“ ea ”
Clase
eal:
“neu al”
Clase
p edicha:
“ ea ”
En lo que espec a a la emoción “ ea ” los píxeles que el modelo ma ca
posi i amen e son los ela i os a los ojos y las cejas, dejando a un lado las egiones de la
boca y aledañas. Pa a e i ica que el modelo no siemp e acie a, se p esen a la úl ima
imagen a modo de ejemplo. El modelo alo a posi i amen e los píxeles
co espondien es a una ceja y un la e al de la boca, y po ese mo i o no ha p edicho la
clase co ec a.
Tabla 24.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase
“happy” pa a el p oblema de clasi icación de sie e emociones
Clase
eal:
“happy”
Clase
p edicha:
“happy”
66
Clase
eal:
“happy”
Clase
p edicha:
“happy”
Clase
eal:
“neu al”
Clase
p edicha:
“happy”
Cuando apa ece una boca que encaja con los pa ones del clasi icado pa a la
emoción “happy”, el modelo alo a posi i amen e los píxeles que modelan esa o ma,
como se puede obse a en las dos p ime as imágenes. En la imagen inal, como no
iene una o ma de inida pa a la boca, se cen a en alo a posi i amen e o os píxeles
que encuen a ele an es, como las a ugas de la en e y la mi ad de un ojo. Debido a
que cen a su a ención en o as ca ac e ís icas, p edice una clase pa ecida a la eal:
“happy”
Tabla 25.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase
“neu al” pa a el p oblema de clasi icación de sie e emociones
Clase
eal:
“neu al”
Clase
p edicha:
“neu al”
67
Clase
eal:
“neu al”
Clase
p edicha:
“neu al”
Clase
eal:
“ ea ”
Clase
p edicha:
“neu al”
El modelo solamen e iende a alo a posi i amen e píxeles ela i os a la boca y
al ededo es pa a la emoción “neu al”. Se puede obse a en la úl ima imagen que se
han alo ado posi i amen e los píxeles de la a uga ce cana a la boca y los que azan
el con o no de un ojo, po lo que no se p edice la emoción co ec a.
Tabla 26.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase
“sad” pa a el p oblema de clasi icación de sie e emociones
Clase
eal:
“sad”
Clase
p edicha:
“sad”
Clase
eal:
“sad”
Clase
p edicha:
“sad”

68
Clase
eal:
“ang y”
Clase
p edicha:
“sad”
Pa a “ang y” se puede obse a que el modelo ha conseguido alo a
posi i amen e los pixeles aledaños a los ojos y a las cejas de las pe sonas de las
imágenes. Po el con a io, alo a nega i amen e los píxeles del con o no de la ca a y
a eces, aquellos ce canos a la boca. Como se puede ap ecia en la úl ima imagen, el
modelo ha asignado alo es posi i os bajos a las cejas, haciendo que no engan g an
ele ancia en la clasi icación, y es po eso po lo que la emoción p edicha es e ónea.
Tabla 27.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase
”su p ise” pa a el p oblema de clasi icación de sie e emociones
Clase
eal:
“su p ise”
Clase
p edicha:
“su p ise”
Clase
eal:
“su p ise”
Clase
p edicha:
“su p ise”
69
Clase
eal:
“sad”
Clase
p edicha:
“su p ise”
El modelo asigna alo es posi i os a los píxeles ela i os a los dien es y al con o no
de la boca cuando es á abie a, pe o alo a nega i amen e los píxeles del in e io de
la boca, po que no o ecen in o mación de in e és. Como se puede e en la úl ima
imagen, se alo an a a o los píxeles que ma can el con o no del ojo de echo, y se
alo an en con a los co espondien es a la boca.
5.3 G adien Simila i y
Es e mé odo mues a, dada una imagen de en ada, es imágenes con asgos
pa ecidos. Es e mé odo de explicabilidad es el que más se ap oxima a la o ma de
clasi ica humana, po que basa las explicaciones en la p oximidad y compa ación con
e e encias.
A con inuación, se an a mos a algunos ejemplos ep esen a i os del mé odo
G adien Simila i y pa a el p oblema de clasi icación de es ipos de emociones
aplicado a imágenes del conjun o de da os inal.
Tabla 28.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase
“happy” pa a el p oblema de clasi icación de es emociones
70
En las imágenes que se mues an an e io men e, se puede obse a que el
modelo, si ecibe una imagen de una pe sona con en a, pe o con boca ce ada,
mues a po lo gene al imágenes de pe sonas con en as, pe o con bocas ce adas, po
lo que se puede deduci que la boca es un ac o impo an e que iene en cuen a a la
ho a de de ec a la emoción “happy”. Como da o cu ioso, ambién se ija si en la ca a
hay p esen es elemen os ex años, pa a así busca imágenes que ambién ienen
elemen os ex años pa ecidos. Un ejemplo de es o es la úl ima imagen, que ha
de ec ado que hay una mano, y mues a ca as con manos. También, en elación con
la úl ima imagen, la emoción p edicha (“happy”) no se co esponde con la o iginal
(“sad”) Es o se puede debe a que hay o a imagen pa ecida que ambién ha
clasi icado de o ma e ónea, pudiendo hace nos pensa que el modelo a as a e o es.
71
Tabla 29.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase
“ang y” pa a el p oblema de clasi icación de es emociones
Al igual que en “happy”, se puede obse a que el modelo, si ecibe una imagen
de una pe sona en adada, pe o con boca abie a, mues a imágenes de pe sonas
en adadas, pe o con boca abie a, lo que nos lle a a pensa que pa a disc imina la
emoción “ang y” se ija en la o ma de la boca. También mues a o mas de cejas
pa ecidas.
Tabla 30.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase
“sad” pa a el p oblema de clasi icación de es emociones
78
El modelo ija su a ención mayo i a iamen e en la o ma de la boca pa a la
emoción “sad”. También se ija algunas eces en las cejas. Po es o mismo, mues a
imágenes con simili udes en es as ca ac e ís icas.
Tabla 37.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase
“su p ise” pa a el p oblema de clasi icación de sie e emociones

79
Cla amen e, el modelo mues a imágenes simila es basándose en la o ma de la
boca pa a la emoción “su p ise”. Aunque ese sea el ac o p edominan e en la elección
de las imágenes más simila es, ambién se basa en la o ma de las cejas. En elación con
la p ime a imagen de la úl ima ila, de clase “ ea ” pe o clasi icada como “su p ise”, la
mala p edicción se puede debe a la p esencia de elemen os ex años en la ca a, como
ga as o pendien es que log an despis a al clasi icado .
80
Capí ulo 6 - Conclusiones y abajo u u o
6.1 Conclusiones
En es e apa ado se comen a án las conclusiones de las di e en es
ap oximaciones que se han lle ado a cabo.
Conclusiones de la p ime a ap oximación a la clasi icación de emociones en
imágenes:
La al a esolución de las imágenes es un p oblema a la ho a de en ena los
modelos, po que a dan más en en ena y no consiguen mejo es p ecisiones. Los
modelos, se “pie den” al en ena y no consiguen ex ae ca ac e ís icas de muchas de
las imágenes, en g an medida po que hay muy pocas imágenes disponibles, y po que
las imágenes son muy dis in as: hay an o pe sonas indi iduales como g upos de
pe sonas, y ambién cue pos comple os y ca as.
Con espec o a los modelos MLP con los que se ha abajado (en o al 96), el 48%
ob ienen una p ecisión en e [0.0-0.09], el 16% en e [0.1-0.19], el 17% en e [0.2-0.29], el
17% en e [0.3-0.39] y el 2% en e [0.4-0.49]. La g an mayo ía ob iene una p ecisión meno
que 0.33 (clasi icación alea o ia)
Con espec o a los modelos CNN con los que se ha abajado (en o al 32), el 59%
ob ienen una p ecisión en e [0.28-0.39], el 31% en e [0.40-0.49], y el 10% en e [0.50-
0.54]. Es os modelos son mucho mejo es que los MLP an e io es, pe o siguen sin ob ene
esul ados acep ables.
Aunque los modelos ob ienen p ecisiones bajas pa a los da os de p ueba, la clase
que mejo clasi ican es la mayo i a ia: “happy”, y la que peo : “sad”. Las clases que
menos con unden son “sad” con “happy”, po lo que ha ex aído ca ac e ís icas que
pe mi en disc imina en e clases, aunque no sean su icien es.
Conclusión: El conjun o de da os usado no es ap o pa a el p oblema que se
quie e esol e .
81
Conclusiones de la ap oximación inal a la clasi icación de emociones en
imágenes:
Clasi icación y explicabilidad de es ipos de emociones:
Debido a que los modelos MLP no es án o ien ados al a amien o de imágenes,
muchos de los modelos ob ienen p ecisiones sumamen e bajas, meno es de 0.33, y o os
en cambio, sob eap enden de los da os de en enamien o. El mejo modelo no es el que
más a da ni el que mayo es amaños pa a las imágenes de en ada ob iene, po lo que
a eces es necesa io desp ecia cie o po cen aje de p ecisión pa a log a que el
modelo sea más ápido. La clase que mejo clasi ica es: “happy” y la que peo : “ang y”.
Además, ex ae alguna ca ac e ís ica impo an e que pe mi e di e encia la clase
“happy” de “ang y”, como la p esencia de dien es.
Los modelos con olucionales consiguen esul ados bas an e acep ables en
iempos bas an e pequeños, pe o la mayo ía no ob ienen una p ecisión mayo que 0.6,
pudiéndose debe a que la combinación de ca ac e ís icas usadas pa a c ea el
modelo no sean las idóneas, o a que los da os no es án balanceados. El mejo modelo
se compo a de o ma muy pa ecida al MLP, pe o con unde menos las clases,
ob eniendo una mayo p ecisión – conc e amen e: 0.73 en e a 0.51 del MLP.
En gene al, al se un p oblema de clasi icación de pocas clases, se puede
obse a median e la explicabilidad que las ca ac e ís icas ob enidas es án muy
ma cadas, exis iendo su icien es a iaciones en e és as pa a pode disc imina con
bas an e acie o las clases.
Clasi icación y explicabilidad de sie e ipos de emociones:
Los modelos con olucionales consiguen esul ados bas an e acep ables en
iempos ela i amen e buenos pa a la g an can idad de imágenes con las que abaja.
La mayo ía de los modelos consiguen una buena p ecisión, es deci , mayo de 0.5, a
pesa de que hay una clase con muy pocas ins ancias. Es o puede debe se a que las
ca ac e ís icas usadas po encian la de ección de pa ones. En compa ación con el
mejo modelo CNN an e io , la p ecisión no es an baja, ya que se han añadido más del
doble de clases nue as. Aunque la asa de acie o sea mayo que la de allo, la clase
que peo clasi ica es: “disgus ” y la que mejo : “happy”. Po o o lado, la clase que más
82
con unde es “sad” con “ ea y las que menos “disgus ” con “happy”, “neu al” y
“su p ise”. Como hay pocas ins ancias de la clase “disgus ”, el modelo no puede ex ae
ca ac e ís icas pa a disc imina es a clase de las demás. La p ecisión del mejo modelo
CNN es 0.56.
Mien as hay clases muy econocibles como: “happy” y “neu al”, hay o as muy
pa ecidas en e sí: “ang y”, “ ea ” y “su p ise”, y “disgus ” y “sad”. Se puede obse a en
la explicabilidad que, aunque engan ca ac e ís icas comunes, hay pequeñas
a iaciones que hace que con unda “disgus ” y “sad” poco en e sí. En cambio, al no
habe encon ado una ca ac e ís ica única pa a la clase “ang y”, se con unde a
menudo po que se basa en ca ac e ís icas que son ambién comunes a “ ea ” y “sad”.
Ocu e lo mismo con la clase “ ea ”, que la con unde mucho con “ang y” y “su p ise”.
En elación con los mé odos XAI usados, son muy ú iles pa a mos a las egiones
impo an es de ec adas po el modelo al que se aplican. Las explicaciones son, en
cie a medida, ácilmen e in e p e ables, po lo que se pueden ex ae conclusiones
aliosas y de g an calidad pa a el es udio.
Conclusión: El conjun o de da os usado es ap o pa a el p oblema que se quie e
esol e , po que hay modelos que consiguen ex ae muchas ca ac e ís icas de muy
buena calidad. En gene al, la explicabilidad mues a egiones aco des con lo que se
p e ende que se ije el modelo, como bocas, ojos, cejas, a ugas, e c. Es po es o po lo
que los mejo es modelos ob enidos son muy buenos.
6.2 T abajo u u o
En es e apa ado se de allan algunas p opues as de abajo u u o que ayuda ían
a comple a el abajo ealizado:
En p ime luga , un aspec o impo an e a ealiza si se con inúa con el abajo es
expandi el conjun o de da os inal, comple ándolo has a log a un conjun o de da os
equilib ado. Una ez ealizadas p uebas sob e un conjun o de da os comple o, se puede
expandi ambién el conjun o de da os inicial y equilib a lo pa a hace p uebas con él.
También se puede expandi el núme o de emociones, eligiendo emociones mucho más
complejas.
83
Po o a pa e, debido a que no ha sido posible ejecu a los modelos MLP con
imágenes de g an esolución, en conc e o con los amaños: (1152, 809) y (768, 539), se
p opone usa disposi i os más po en es en la nube como Google Cloud pa a ejecu a
el p oceso de en enamien o de es os modelos y e si la endencia ac ual de ob ene
mejo es p ecisiones según disminuye el amaño de la imagen, se man iene. También se
pueden usa o os amewo ks de In eligencia a i icial pa a cons ui los modelos, como
PyTo ch.
O o aspec o in e esan e que no se ha conside ado en es e abajo, en g an
medida pa a e i a iempos de en enamien o excesi amen e ele ados, es ealiza el
es udio sob e imágenes a colo y después ealiza una compa ación de las nue as
ca ac e ís icas con las p e iamen e ob enidas pa a e i ica si coinciden y, po lo an o,
la in o mación del colo es un ac o impo an e.

85
In oduc ion
Mo i a ion
F om a compu a ional poin o iew, an image is a ma ix o numbe s which
ep esen colo s o g ay ones. Thanks o he ep esen a ion ha pixels o e , in some cases
i is possible o ex ac exis ing meaning ul connec ions om a g oup o pixels ha c ea e
ela ions be ween a g oup o images, as hey sha e pa e ns. These pa e ns can be
de ec ed by supe ised lea ning models om he machine lea ning ield (ML) o he
A i icial In elligence. The e a e se e al ypes o models ha , a e sea ching o pa e ns
on he inpu images se and he inpu labels se du ing he aining p ocess, can classi y
a se o images among he di e en es ablished ca ego ies. Ce ainly, in mos cases,
hese de ec ed pa e ns and ea u es a e in isible o hose who use he models o make
p edic ions o a se o images o e se e al classes, as almos all he mos used models
only p o ide, gi en an image as an inpu , he a ibu ed class, wi hou showing he
impo an zones o he image by which he model has decided o ela e i wi h one a
g oup o images o ano he .
Goals
Along his hesis i will be ca ied ou a s udy o he di e en exis ing classi ica ion
models applied o images, wi h he inal objec i e o de e mining which model and
pa ame e s a e he bes ones o sol e a p oblem o in- ace emo ions classi ica ion.
Wi hou lea ing behind his objec i e, i will also be ca ied ou a s udy o he di e en
exis ing explainabili y algo i hms applied o images, wi h he inal objec i e o being able
o show in he o iginal image he a eas selec ed by he bes black box model ob ained,
o e i y he co ec de ec ion o he di e en emo ions p esen on he images and
he e o e, he co ec classi ica ion o he images in he exis ing ca ego ies.
Wo k plan
Along his hesis i will be shown he de elopmen o he wo k. The s ages o he
wo k pe o med a e de ailed bellow:
86
In es iga ion
Du ing his phase i has been ca ied ou a esea ch o e a wide ange o opics
ela ed wi h he de elopmen o he wo k, opics ela ed o machine lea ning o A i icial
In elligence, speci ically, supe ised lea ning and con olu ional neu al ne wo ks. No only
has been made a s udy abou he Explainable A i icial In elligence applied o images,
bu also abou he p ac ical applica ions o he use o in- ace emo ion de ec ion models.
De elopmen and expe imen a ion
In his subsec ion i will be alked abou he da ase s which ha e been used and
he models and ea u es ha ha e been expe imen ed wi h. Fi s , o make an ini ial
app oach o he wo k, i has been used a small da ase o images which con ain aces
ha ep esen h ee ypes o emo ions. A e his, o s a wi h he inal wo k i is used a
da ase called FER2013, which con ains 48x48 g ayscale images o se en ypes o
emo ions. This da ase is bigge han he ini ial one. The i s es s ha e been made o e
a subse o he inal da ase , mo e speci ically, o e h ee ypes o emo ions. Finally, he e
we e held some es s o e he en i ely inal da ase . A e es ing and se ing he bes
model, some explainabili y algo i hms om ALIBI lib a y a e used o show he impo an
egions o he inpu image. All he wo k done is a ailable on he nex link:
h ps://gi hub.com/ja ieg25/Explicabilidad-aplicada-a-modelos-de- econocimien o-
de-emociones-en-imagenes.gi
Documen a ion
As long as he knowledge was expanded du ing he esea ch s age, and he
de elopmen and expe imen a ion wi h he models and explainabili y algo i hms was
ca ied ou , his documen has been illed in, including he da a used and he conclusions
eached a e s udying he esul s ob ained.
87
Ilus ación 25.- Gan diag am o he wo k plan
94
[10]
M. T. C. Ribei o, S. Singh y C. Gues in, «Ancho s: High-P ecision Model-Agnos ic Explana ions,» 2018.
[En línea]. A ailable: h ps://gi hub.com/ma co c /ancho .
[11]
A. Kapishniko , T. Bolukbasi, F. Viégas y M. Te y, «XRAI: Be e A ibu ions Th ough Regions,» 2019. [En
línea]. A ailable: h ps://a xi .o g/abs/1906.02825.
[12]
M. Sunda a ajan, A. Taly y Q. Yan, «Axioma ic A ibu ion o Deep Ne wo ks,» 2017. [En línea].
A ailable: h ps://a xi .o g/abs/1703.01365.
[13]
R. R. Sel a aju, M. Cogswell, A. Das, R. Vedan am, D. Pa ikh y D. Ba a, «G ad-CAM: Visual
Explana ions om Deep Ne wo ks ia G adien -based Localiza ion,» 2019. [En línea]. A ailable:
h ps://a xi .o g/abs/1610.02391.
[14]
V. Pe siuk, A. Das y K. Saenko, «RISE: Randomized Inpu Sampling o Explana ion o Black-box
Models,» 2018. [En línea]. A ailable: h p://bm c2018.o g/con en s/pape s/1064.pd .
[15]
S. Muzellec, T. Fel, V. Bou in, L. andéol, R. VanRullen y T. Se e, «Saliency s ikes back: How il e ing ou
high equencies imp o es whi e-box explana ions,» 2024. [En línea]. A ailable:
h ps://a xi .o g/abs/2307.09591.
[16]
J. Klaise, A. V. Loo e en, G. Vacan i y A. Coca, «Alibi Explain: Algo i hms o Explaining Machine
Lea ning Models,» 2021. [En línea]. A ailable: h ps://gi hub.com/SeldonIO/alibi.
[17]
M. Chan, «This AI eads child en’s emo ions as hey lea n,» 2021. [En línea]. A ailable:
h ps://edi ion.cnn.com/2021/02/16/ ech/emo ion- ecogni ion-ai-educa ion-spc-in l-
hnk/index.h ml.
[18]
P. Fa ley, N. Meh o a y E. U ban, «Wha is he Azu e AI Face se ice?,» 2024. [En línea]. A ailable:
h ps://lea n.mic oso .com/en-us/azu e/ai-se ices/compu e - ision/o e iew-iden i y# ace-
ecogni ion.
[19]
A. W. Se ices, «Amazon Rekogni ion,» 2023. [En línea]. A ailable:
h ps://aws.amazon.com/es/ ekogni ion/.

95
[20]
G. Cloud, «de ec - aces,» 2024. [En línea]. A ailable:
h ps://cloud.google.com/ ision/docs/de ec ing- aces?hl=es-419.
[21]
P. Gundecha, «IBM Wa son jus go mo e accu a e a de ec ing emo ions,» 2016. [En línea].
A ailable: h ps://www.ibm.com/blog/announcemen /wa son-has-mo e-accu a e-emo ion-
de ec ion/.
[22]
EnableX, «EnableX Face AI,» 2024. [En línea]. A ailable: h ps://www.enablex.io/cpaas/ aceai/.
[23]
M. Go ini, «El Magic Mi o asomb a en el Mobile Wo ld Cong ess,» 2017. [En línea]. A ailable:
h ps://blog.bisma .com/magic-mi o -asomb a-mwc.
[24]
L. B uno y A. I. Cuélla , «“EMOTONGUE”, UNA APP PARA MANEJAR TUS PROPIAS EMOCIONES,» 2022.
[En línea]. A ailable: h ps://www.uah.es/expo /si es/uah/es/in es igacion/.galle ies/O e a-
Cien i ico-Tecnologica/SOC_03ES.pd .
96
APÉNDICES
Ab e ia u as
AA. Ap endizaje Au omá ico
API. Applica ion P og amming In e ace (IN e az de p og amación de aplicaciones)
CNN. Con olu ional Neu al Ne wo ks (Redes Neu onales Con olucionales)
FORG ad. FOu ie Repa a ion o he G adien s
GPU. G aphics P ocessing Uni (Unidad de P ocesamien o G á ico)
G ad-CAM. G adien -weigh ed Class Ac i a ion Mapping
KNN. K-Nea es Neighbo s (K ecinos más ce canos)
LIME. Local In e p e able Model-agnos ic Explana ions
LSVRC. La ge Scale Visual Recogni ion Challenge
ML. Machine Lea ning
MLP. Mul i-laye Pe cep on (Pe cep ón mul icapa)
MNIST. Modi ied Na ional Ins i u e o S anda ds and Technology
ReLU. Rec i ied Lineal Uni (Unidad Lineal Rec i icada)
RGB. Red,G een,Blue
RISE. Randomized Inpu Sampling o Explana ion
SHAP. SHapley Addi i e exPlana ions
SVM. Suppo Vec o Machine (Máquina de Vec o Sopo e)
UAH. Uni e sidad de Alcalá de Hena es
XAI. eXplainable A i icial In eligence
97