Explicabilidad aplicada a modelos de reconocimiento de emociones en imágenes

EXPLICABILIDAD APLICADA A MODELOS DE RECONOCIMIENTO DE EMOCIONES EN IMÁGENES EXPLAINABILITY APPLIED TO MODELS OF EMOTION RECOGNITION IN IMAGES TRABAJO FIN DE GRADO CURSO 2023-2024 AUTOR JAVIER GARCÍA VIANA DIRECTORES BELÉN DÍAZ AGUDO Y JUAN ANTONIO RECIO GARCÍA GRADO EN INGENIERÍA INFORMÁTICA FACULTAD DE INFORMÁTICA UNIVERSIDAD COMPLUTENSE DE MADRID EXPLICABILIDAD APLICADA A MODELOS DE RECONOCIMIENTO DE EMOCIONES EN IMÁGENES EXPLAINABILITY APPLIED TO MODELS OF EMOTION RECOGNITION IN IMAGES TRABAJO DE FIN DE GRADO EN INGENIERÍA INFORMÁTICA AUTOR JAVIER GARCÍA VIANA DIRECTORES BELÉN DÍAZ AGUDO Y JUAN ANTONIO RECIO GARCÍA CONVOCATORIA: JUNIO 2024 GRADO EN INGENIERÍA INFORMÁTICA FACULTAD DE INFORMÁTICA UNIVERSIDAD COMPLUTENSE DE MADRID 24 DE MAYO DE 2024 III DEDICATORIA A mis pad es, abuelos y he manos. V AGRADECIMIENTOS A mis compañe os de clase, po los momen os i idos y po ayuda me siemp e. VII RESUMEN Con la popula ización y el ápido c ecimien o de la In eligencia A i icial, algunos modelos de ap endizaje au omá ico, en especial de ap endizaje supe isado, es án siendo usados pa a sis ema iza el p oceso de de ección de emociones en imágenes. Debido a que el en oque es ela i amen e nue o, en es e abajo se p e ende explo a las posibilidades y analiza la p ecisión de es os modelos pa a inalmen e de e mina qué combinación de ca ac e ís icas conlle a a una mejo p ecisión po pa e de los modelos. Apa e de es o, el p oblema al que se en en an a menudo aquellas pe sonas que a an con es os modelos es, a no se capaces de explica la a ibución de emociones dis in as pa a imágenes de en ada pa ecidas. Po es e mo i o, en es e abajo se p e ende que los modelos mues en, median e algo i mos de explicabilidad IA, las egiones de las imágenes que son decisi as en las p edicciones de emociones pa a pode así explica las decisiones omadas po los modelos y da a conoce los bene icios de aplica algo i mos de explicabilidad. Palab as cla e Explicabilidad, ap endizaje supe isado, imágenes, de ección, emociones, in e p e ación de esul ados. XV Tabla 11.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “ang y” pa a el p oblema de clasi icación de sie e emociones .............50 Tabla 12.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “disgus ” pa a el p oblema de clasi icación de sie e emociones ............52 Tabla 13.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “ ea ” pa a el p oblema de clasi icación de sie e emociones ................53 Tabla 14.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “happy” pa a el p oblema de clasi icación de sie e emociones ............54 Tabla 15.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “neu al” pa a el p oblema de clasi icación de sie e emociones ...........55 Tabla 16.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “sad” pa a el p oblema de clasi icación de sie e emociones .................57 Tabla 17.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “su p ise” pa a el p oblema de clasi icación de sie e emociones ...........58 Tabla 18.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “happy” pa a el p oblema de clasi icación de es emociones .......................................................................................................................60 Tabla 19.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “ang y” pa a el p oblema de clasi icación de es emociones .......................................................................................................................61 Tabla 20.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “sad” pa a el p oblema de clasi icación de es emociones .......................................................................................................................62 Tabla 21.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “ang y” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................63 Tabla 22.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “disgus ” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................64 XVI Tabla 23.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “ ea ” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................64 Tabla 24.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “happy” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................65 Tabla 25.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “neu al” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................66 Tabla 26.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “sad” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................67 Tabla 27.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase ”su p ise” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................68 Tabla 28.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “happy” pa a el p oblema de clasi icación de es emociones .......................................................................................................................69 Tabla 29.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “ang y” pa a el p oblema de clasi icación de es emociones .......................................................................................................................71 Tabla 30.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “sad” pa a el p oblema de clasi icación de es emociones .......................................................................................................................71 Tabla 31.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “ang y” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................72 XVII Tabla 32.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “disgus ” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................73 Tabla 33.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “ ea ” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................74 Tabla 34.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “happy” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................75 Tabla 35.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “neu al” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................76 Tabla 36.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “sad” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................77 Tabla 37.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “su p ise” pa a el p oblema de clasi icación de sie e emociones .......................................................................................................................78 1 Capí ulo 1 - In oducción 1.1 Mo i ación Desde el pun o de is a compu acional, una imagen es una ma iz de núme os que ep esen an onos de colo es o una escala de g ises. A pa i de la ep esen ación que los píxeles o ecen, en cie os casos es posible ex ae elaciones signi ica i as p esen es en e un g upo de ellos, que hacen que a ias imágenes puedan es a elacionadas en e sí, ya que hay pa ones ecu en es compa idos. Es os pa ones pueden se de ec ados median e modelos de ap endizaje supe isado del campo del ap endizaje au omá ico (AA) de la in eligencia a i icial. Exis en di e sos ipos de modelos que, as busca pa ones sob e un conjun o de imágenes de en ada y sus espec i as ca ego ías du an e el p oceso de en enamien o, consiguen clasi ica un conjun o de imágenes en e las dis in as ca ego ías es ablecidas. Cie amen e, muchas eces es os pa ones y ca ac e ís icas de ec adas son in isibles a los ojos y pasan desape cibidos po aquellas pe sonas que habi ualmen e usan los modelos pa a ealiza una clasi icación de un conjun o de imágenes en a ias ca ego ías, ya que muchos de los modelos más usados se limi an a o ece , dada una imagen de en ada, la p edicción de la ca ego ía a ibuida, sin mos a las egiones de la imagen po las que ha decidido asocia la jun o a imágenes de una de e minada ca ego ía u o a. 1.2 Obje i os Se p e ende ealiza un es udio sob e los dis in os modelos exis en es de clasi icación aplicados a imágenes, con el obje i o inal de de e mina qué modelo y qué pa áme os son los ideales pa a esol e un p oblema de clasi icación de emociones p esen es en ca as. Sin deja a ás es e obje i o, ambién se p e ende ealiza un es udio de dis in os algo i mos exis en es de explicabilidad aplicadas a imágenes, con el obje i o inal de pode mos a en la imagen o iginal las zonas seleccionadas po el mejo modelo de caja neg a ob enido pa a e i ica la co ec a de ección de las di e sas emociones p esen es en las imágenes y, po an o, la co ec a clasi icación de las imágenes en las ca ego ías exis en es. 2 1.3 Plan de abajo En es e apa ado se a a mos a el desa ollo del abajo. A con inuación, se de allan las e apas del abajo ealizado: 1.3.1 Análisis del es ado de la cues ión Du an e es a e apa se ha in es igado ace ca de di e sos emas elacionados con el desa ollo del abajo, que son aquellos elacionados con el ap endizaje au omá ico de la In eligencia A i icial, más conc e amen e, el ap endizaje supe isado y las edes neu onales con olucionales. También se ha ealizado un es udio de la In eligencia A i icial Explicable aplicada a imágenes y de aplicaciones p ác icas del uso de modelos de de ección de emociones en ca as. 1.3.2 Desa ollo y expe imen ación En es e subapa ado se a a a a de los conjun os de da os usados y de los modelos y ca ac e ís icas con las que se ha expe imen ado. En p ime luga , pa a ealiza una ap oximación inicial al abajo, se usa un conjun o de da os pequeño con imágenes de pe sonas que ep esen an es ipos de emociones. T as es o, pa a ealiza el abajo se usa el conjun o de da os llamado FER2013 con imágenes de sie e ipos de emociones de amaño 48x48 en escala de g ises. Es e da ase con iene muchas más imágenes que el conjun o de da os an e io . Las p ime as p uebas de los modelos y de la explicabilidad se han ealizado sob e un subconjun o de imágenes del conjun o de da os inal, conc e amen e sob e es ipos de emociones. Finalmen e, se han ealizado las p uebas inales con el conjun o de da os comple o. T as ealiza las p uebas y ija el modelo que mejo es esul ados o ece, se lle a a cabo la aplicación de a ios algo i mos de explicabilidad de la lib e ía de ALIBI pa a mos a las egiones de la imagen elegidas pa a ep esen a la emoción p edicha. Todo el abajo ealizado se puede consul a en el siguien e di ec o io de Gi Hub: h ps://gi hub.com/ja ieg25/Explicabilidad-aplicada-a-modelos-de- econocimien o- de-emociones-en-imagenes.gi 3 1.3.3 Documen ación A la ez que se expandían los conocimien os en la e apa de análisis del es ado de la cues ión, y a la ez que se ealizaba el desa ollo y expe imen ación con los modelos y algo i mos de explicabilidad, se ha ido ellenando la memo ia, incluyendo los da os usados y las conclusiones a las que se han llegado as ealiza el es udio de los esul ados ob enidos. Ilus ación 1.- Diag ama de Gan del plan de abajo 5 Capí ulo 2 - Es ado de la cues ión En es e capí ulo se a a hace una isión ace ca del ap endizaje au omá ico, en conc e o, del ap endizaje supe isado y de las edes neu onales con olucionales. También se ha á un epaso de la in eligencia a i icial explicable y de las di e en es aplicaciones p ác icas del econocimien o de emociones en imágenes. 2.1 Ap endizaje supe isado El ap endizaje au omá ico (AA) 1 es una ama de la In eligencia A i icial que iene po obje i o ap ende median e la ex acción de ca ac e ís icas ele an es de los da os p opo cionados a los modelos pa a después hace p edicciones sob e nue os da os de en ada [1]. Es e p oceso in en a imi a la o ma humana de ap ende pa a ob ene esul ados más p ecisos. Pa a p ocede a esol e un p oblema de ap endizaje au omá ico, el p ime paso es ecolec a los da os ( ex os, imágenes, da os numé icos, da os ca egó icos, e c.) con los que se a a abaja . Los da os pueden se ex aídos de muchas uen es dis in as, pe o las más comunes son: in e aces de p og amación de aplicaciones 2 (API), bases de da os o comunidades web. La ecolección de da os es un p oceso muy impo an e po que la p esencia de da os i ele an es o de baja calidad pueden di icul a el abajo al modelo. Pos e io men e, es necesa io ealiza un p ocesamien o de los da os, an o pa a de ec a da os e óneos o acíos, como pa a adap a los da os al modelo y asegu a su co ec a in e p e ación. A con inuación, se sepa a el conjun o de da os en dos subconjun os, denominados conjun o de en enamien o y conjun o de p ueba. T as es o, se p ocede a en ena el modelo con los da os de en enamien o y a alida la p ecisión y el endimien o ob enidos con los da os de p ueba. Po úl imo, se ealiza un análisis de los esul ados ob enidos pa a pode ob ene conclusiones de los da os. 1 ambién es llamado Machine Lea ning (ML) 2 La aplicación o ece una in e az pa a que los da os que han sido ecolec ados sean ácilmen e consul ados y ex aídos. 6 Ilus ación 2.- P oceso pa a esol e un p oblema de ap endizaje au omá ico. Fuen e: P opio En e los en oques que iene el ap endizaje au omá ico, se encuen a el ap endizaje supe isado. Es e ipo de ap endizaje ecibe da os con e ique as que guían al modelo en el p oceso de en enamien o, aumen ando su p ecisión a la ho a de p edeci y oma decisiones sob e nue os da os. Un ejemplo de p oblema de ap endizaje supe isado es clasi ica mensajes de co eo en spam/no spam, o econoce obje os en imágenes, simila a es e abajo, en el que se p e ende de ec a emociones en imágenes. El ap endizaje au omá ico puede esol e p oblemas de clasi icación y de eg esión median e los algo i mos que se p esen an a con inuación: Reg esión lineal: Un algo i mo de eg esión lineal se basa en el modelo ma emá ico de escala lineal. Es e algo i mo suele oma como en ada da os con a ias a iables, eniendo en cuen a más de una en ada pa a p edeci un da o con inuo. Po ejemplo, el algo i mo puede p edeci el p ecio de un coche en unción de la ma ca, modelo, p es aciones y ipo de combus ible. Reg esión logís ica: Un algo i mo de eg esión logís ica es á en ocado a p edeci da os ca egó icos eniendo en cuen a uno o a ios da os de en ada. Cabe des aca que una p edicción puede pe enece a más de una clase. A modo de ejemplo, es e ipo de algo i mos pod ía p edeci si un me eo i o cae á en el ma o no, eniendo en cuen a las ubicaciones de odas las caídas de me eo i os an e io es. Redes neu onales: Una ed neu onal se basa en las conexiones en e neu onas del ce eb o humano pa a in e conec a nodos. Los nodos de las edes neu onales más simples (MLP) eciben una en ada, ponde ación y sesgo, y p oducen una salida que mandan al siguien e nodo según una unción de ac i ación. El algo i mo in en a ajus a las ponde aciones median e la p opagación hacia a ás de los alo es calculados. Una ed neu onal es capaz de de ec a la p esencia de peces o caballos en imágenes. Nai e bayes: El algo i mo Nai e Bayes de e mina la clase a la que pe enece un da o de en ada basándose en el Teo ema de Bayes. De es e modo, a a de o ma 7 independien e las dis in as ca ac e ís icas que se ienen en cuen a. Es e algo i mo pod ía clasi ica las eseñas de un ideojuego en posi i as o nega i as. KNN: El algo i mo de k ecinos más ce canos a a los da os como pun os. Realiza la clasi icación eniendo en cuen a la dis ancia (manha an o euclidiana, en e o as) siguiendo la idea de que da os simila es es án p óximos. Po ejemplo, es e algo i mo puede p edeci el iesgo de una pe sona de padece un cie o ipo de cánce . Random Fo es : El algo i mo Random Fo es c ea a ios á boles de decisión pa a inalmen e p edeci la clase del á bol que mejo se adap a al da o de en ada. Po ejemplo, es e algo i mo puede p edeci un ipo de medicamen o según sus ca ac e ís icas químicas. SVM 3 : El algo i mo de máquina de ec o es de sopo e, al igual que el algo i mo KNN, a a los da os como pun os. Usa un hipe plano en el que los da os de dos clases es án sepa ados lo máximo posible en e sí. Po ejemplo, es e algo i mo pod ía clasi ica ipos de ape i i os en dulces y salados. 2.1.1 Redes neu onales con olucionales Las edes neu onales con olucionales CNN ienen un mejo endimien o sob e p oblemas de clasi icación de imágenes que las edes MLP po que se basan en la mul iplicación de ma ices sob e píxeles pa a pode iden i ica pa ones. A eces es necesa ia una unidad GPU pa a lle a a cabo la esolución del p oblema debido a la g an can idad de in o mación de los píxeles. Su uncionamien o es el siguien e: al p incipio econoce ca ac e ís icas simples como líneas y cu as, pe o a medida que a anza en el p ocesamien o, iden i ica pa es cada ez más g andes de la imagen. Es e ipo de ed neu onal no usa capas o almen e conec adas en su es uc u a in e na 4 3 Desa ollado po Vladimi Vapnik 4 También denominadas “ ully connec ed”. El modelo que se ha cons uido pa a es e abajo sí iene una capa o almen e conec ada, que si e pa a mos a la clase p edicha. 14 SHAP: Es una lib e ía que, al igual que LIME, mues a explicaciones locales agnós icas, pe o és a en cambio, puede abaja sob e cualquie modelo de ap endizaje au omá ico. Se basa en la eo ía de juegos pa a asigna pun uaciones a cada ca ac e ís ica ele an e. [9] ANCHOR: Es una lib e ía que ancla localmen e la p edicción, de o ma que los cambios ex e nos a la zona ijada en el mismo da o no se ienen en cuen a. De es e modo, da os que ijan el mismo ancla end án p edicciones muy pa ecidas. T abaja sob e da os abula es y ex os pa a cualquie clasi icado de caja neg a. [10] XRAI: Es un mé odo que mues a explicaciones locales basándose en g adien es in eg ados. Solamen e puede se aplicado a imágenes. [11] In eg a ed G adien s: Es un mé odo que se basa en la sensibilidad e in a iabilidad de implemen ación. Mues a explicaciones median e llamadas al ope ado de g adien e. Solamen e es aplicable a modelos que abajan con ex os e imágenes. [12] G ad-CAM: Es un mé odo que p ime o calcula los g adien es de una imagen pa a después pasá selos a una capa con olucional y así p oduci un mapa de localización de las egiones ele an es. Funciona sob e cualquie ed neu onal con olucional aplicada a imágenes. [13] RISE: Es un mé odo o ien ado a explica imágenes que cons uye un mapa pa a indica la impo ancia de cada píxel en la p edicción. [14] FORG ad: Es un mé odo c eado pa a modelos de caja blanca sob e imágenes que il a el uido de los g adien es del mapa de a ibución calculado po el mé odo de g adien e. [15] ALIBI Explain: Es una lib e ía open sou ce que in e p e a modelos de ap endizaje au omá ico de caja blanca y neg a. A pesa de que se pueda aplica sob e modelos que esuel en p oblemas de clasi icación y de eg esión sob e di e sos ipos de da os, en es e abajo se ha en ocado su uso pa a modelos de caja neg a que esuel en p oblemas de clasi icación de imágenes. El ámbi o que se oma á se á local, es deci , se mos a á sob e cada imagen las egiones ele an es pa a la oma de decisión del modelo. Es a lib e ía es la que se a a usa en es e abajo po que engloba muchos de 15 los mé odos comen ados an e io men e, como In eg a ed G adien s y Ancho Image aplicados a imágenes. [16] A con inuación, se a a mos a un mapa con las lib e ías de explicabilidad más p ome edo as has a el momen o y una abla compa a i a de amewo ks en e dis in as lib e ías: Ilus ación 10.- Mapa de algunas lib e ías de explicabilidad. Fuen e: h ps://asse s-global.websi e- iles.com/6299b185 76ad4 c 9cdbbc/62a72b2ed63903a5ec279339_627a5 a6ecda298d1a40 2a0_Exis ing% 2520XAI%2520lib a ies%2520O e iew(1)%2520(1).png Tabla 1.- Compa ibilidad de lib e ías de explicabilidad con amewo ks de ML y ipos de da os admi idos. Fuen e: P opio Lib e ía Compa ible con Sciki -Lea n Compa ible con Tenso Flow Compa ible con PyTo ch LIME Da os abula es Sí Imágenes ANCHOR Da os abula es y ex os Sí Imágenes 16 ALIBI Sí Sí Sí SHAP Da os abula es Sí Tex os e imágenes XRAI No Imágenes Imágenes In eg a ed g adien s No Da os abula es e imágenes Da os abula es e imágenes G adCam No No Imágenes Fo GRad No Imágenes Imágenes RISE No Imágenes Imágenes 2.3 Aplicaciones p ác icas de econocimien o de emociones en imágenes Muchas pe sonas que p ueban nue os p oduc os no ienden a exp esa lo que ealmen e piensan ace ca de és e, po lo que no pe mi e la mejo a del p oduc o. Po o a pa e, casi la mi ad de los pacien es con pa ologías no exp esan e balmen e su dolo , causando la alen ización de la labo de los médicos. El econocimien o de emociones en ca as po pa e de modelos de ap endizaje au omá ico y su pos e io explicación pueden sol en a p oblemas como los comen ados an e io men e. Algunos colegios e ins i u os, como po ejemplo el T ue Ligh College en Hong Kong [17], han empezado a implemen a algunos modelos de IA de caja neg a con el obje i o de analiza las emociones de los alumnos du an e la clase. G acias a la isualización de las egiones ele an es de la imagen, de ec adas po el modelo, que o ecen los algo i mos de explicabilidad, los u o es, psicólogos y o ien ado es pueden en oca su abajo, no solamen e pa a aumen a el endimien o en el aula, sino pa a de ec a casos de acoso escola de o ma p ecoz. Es os modelos ambién pueden ayuda a de ec a emociones de pe sonas au is as y educi los acciden es de á ico median e la de ección de las emociones que expe imen a el conduc o , como el cansancio o la a iga. 17 Ac ualmen e exis en emp esas ecnológicas y en idades educa i as que han desa ollado he amien as de In eligencia A i icial elacionadas con el econocimien o de emociones en imágenes: Azu e AI Face se ice: Mic oso o ece algo i mos de análisis de ca as, de ección de ca as alsas, iden i icación de pe sonas y búsqueda de ca as simila es. [18] Amazon Rekogni ion: O ece algo i mos de e i icación, búsqueda, de ección y econocimien o de ca ac e ís icas en ca as, y de ección de con enido inap opiado, logo ipos, amosos y ex o. [19] Google Cloud Vision: O ece un algo i mo que de ec a ojos, cejas, bocas, e c. de a ias ca as en una imagen. También es capaz de de ec a complemen os como somb e os, ga as, go os o pendien es, en e o os. [20] Wa son: Es un asis en e de IBM que o ece muchas uncionalidades, en e ellas, econocimien o de de ección de emociones en ex os. [21] EnableX Face AI: Es una he amien a que analiza las emociones de ca as en iempo eal sob e una o muchas pe sonas a la ez. [22] Face Mi o : Es un p oduc o de la compañía Bisma que de ec a y analiza el es ado de ánimo de la pe sona que iene delan e. [23] Emo ongue: Es una aplicación mó il c eada po una in es igado a de la UAH que de ec a emociones median e el escaneo acial, o eciendo ecomendaciones sob e cómo lidia con las emociones de ec adas. [24] A pesa de que algunas de las he amien as p esen adas an e io men e se compo an de o ma pa ecida a los modelos c eados en es e abajo, se ha decidido no aplica la explicabilidad sob e es as he amien as, ya que se p e enden adqui i conocimien os ace ca del uncionamien o y es uc u a de algunos modelos de IA de de ección de emociones en imágenes. 18 2.4 T abajos simila es En la página web de Kaggle 9 se pueden consul a algunos abajos simila es que c ean o adap an modelos pa a abaja sob e el conjun o de da os FER2013 y pode así de ec a emociones en imágenes. Muchos de los modelos disponibles que u ilizan es e conjun o de imágenes son modelos con es uc u a muy simila a la que se a a desa olla en es e abajo, po lo an o, es in e esan e es udia las p ecisiones ob enidas pa a cada modelo. A con inuación, se mues a una abla en la que se mues an las ca ac e ís icas impo an es, endimien os, y enlaces de algunos modelos in e esan es: Tabla 2.- Ca ac e ís icas, endimien os y enlaces de modelos usados en algunos abajos simila es 9 www.kaggle.com Ca ac e ísi icas impo an es del modelo Rendimien o Enlace Sequen ial() Función de ac i ación: “Relu” 6 capas con olucionales con 32, 64, 128, 256, 512 y 512 il os de amaño (3,3) Tamaño de ag upación: (2,2) Ba chNo maliza ion() D opou (0.25) 10 épocas de en enamien o En enamien o: 0.5856 P ueba: 0.5552 h ps://www.kaggle.com/ code/ ha ani ha anm/ e - using-cnn T ans e lea ning con VGGNET VGG16 + Fla en() + Dense(1024, ac i a ion=' elu') + D opou (0.5) + 50 épocas de en enamien o En enamien o: 0.5472 P ueba: 0.55 h ps://www.kaggle.com/ code/ ha ani ha anm/ e - using-cnn 19 Dense(512, ac i a ion=' elu')+ D opou (0.5) T ans e lea ning con RESNET-50 ResNe 50V2() + D opou (0.25) + Ba chNo maliza ion() + Fla en() + Dense(64,ac i a ion=' elu') + Ba chNo maliza ion() + D opou (0.5) 9 épocas de en enamien o En enamien o: 0.6127 P ueba: 0.6080 h ps://www.kaggle.com/ code/ ha ani ha anm/ e - using-cnn Sequen ial() Función de ac i ación: “Relu” 4 capas con olucionales con 32, 64, 128 y 256 il os de amaño (3,3) Tamaño de ag upación: (2,2) Ba chNo maliza ion() D opou (0.25) 20 épocas de en enamien o En enamien o: 0.6592 P ueba: 0.6236 h ps://www.kaggle.com/ code/ojaspjoshi/emo ion- de ec ion T ans e lea ning con RESNET-50 (simpli icado) Función de ac i ación: “Relu” 4 capas con olucionales con 64, 128, 256 y 512 il os y pasos de 1, 2, 2 y 2. Tamaño de ag upación: (2,2) Ba chNo maliza ion() MaxPooling (3,3) con paso 3 A e agePooling (2,2) 40 épocas de en enamien o En enamien o: 0.7074 P ueba: 0.6131 h ps://www.kaggle.com/ code/dishaasinghi/ esne - simpli ied 20 Algunos de es os abajos se limi an a ans o ma modelos p e iamen e en enados como VGGNET o RESNET pa a ap o echa odas sus en ajas y así ob ene endimien os algo más al os, pe o en gene al, odos los modelos ob ienen una p ecisión de ce cana a 0.6. Es o se puede debe a la limi ación de los da os, ya que el conjun o no es á balanceado. Algunos modelos necesi an muchas épocas pa a el p oceso de en enamien o, pe o ealizando una compa ación en e ellos, el núme o de épocas idóneo es 40. Sequen ial() Función de ac i ación: “Relu” 4 capas con olucionales con 32, 64, 128 y 256 il os de amaño (3,3) Tamaño de ag upación: (2,2) Ba chNo maliza ion() MaxPooling2D(2, 2) D opou (0.25) 150 épocas de en enamien o En enamien o: 0.7360 P ueba: 0.6680 h ps://www.kaggle.com/ code/aslinaslin/emo ion- de ec ion T ans e lea ning con RESNET-50 2 ResNe 50V2() + D opou (0.25) + Ba chNo maliza ion() + Fla en() + Dense(64,ac i a ion=' elu') + Ba chNo maliza ion() + D opou (0.5) + Dense(7,ac i a ion='so max') 22 épocas de en enamien o En enamien o: 0.8906 P ueba: 0.7962 h ps://www.kaggle.com/ code/nexuswho/emo ion- de ec ion 21 Capí ulo 3 - P ocesamien o de los da os y es uc u a de los modelos En es e capí ulo se a a ealiza un es udio de los da os pa a e i ica si es necesa io lle a a cabo un p ocesamien o de es os. Se de alla á el p oceso de a amien o de los da os ealizado, así como la especi icación de las ca ac e ís icas elegidas pa a cons ui los modelos usados en los siguien es capí ulos. 3.1 Ca ga del conjun o de imágenes El conjun o de da os que se usa pa a ealiza la p ime a ap oximación al abajo es un conjun o pequeño de imágenes de di e en es amaños a colo de pe sonas con es ipos de emociones: elicidad, is eza y en ado; y pa a ealiza la ap oximación inal del abajo se usa un conjun o más amplio de imágenes 48x48 en escala de g ises, en conc e o, con sie e ipos de emociones, llamado FER2013. El p ime paso pa a que un modelo log e clasi ica imágenes es ca ga el conjun o de da os con el que se a a en ena y, pos e io men e p oba el modelo. Como el clasi icado que se a a cons ui se a a de un modelo de ap endizaje supe isado, es necesa io ca ga jun o a las imágenes de en ada las clases asociadas a las mismas que, en es e caso, se án las emociones exp esadas en cada imagen. Dado que ambos conjun os de da os es án o ganizados en a ias ca pe as que con ienen las imágenes de cada emoción, el p oceso de ca ga de las imágenes es el siguien e: se ealiza un eco ido po el di ec o io que con iene las imágenes, y se gua da en una es uc u a de da os bidimensional 10 la u a de la imagen jun o al nomb e de la ca pe a con enedo a de la imagen (se á la emoción p esen e en la imagen). T as la ca ga de las imágenes, es con enien e comp oba si el conjun o de da os es á equilib ado, es deci , si hay ap oximadamen e el mismo núme o de mues as pa a odas las clases, po que de lo con a io, el modelo puede ap ende a a o ece la clase 10 Conc e amen e en un Pandas da a ame de la lib e ía pandas. 22 mayo i a ia o incluso sesga las p edicciones a a o de cie a clase en ez de aumen a la p ecisión de odas las clases exis en es. 3.2 Adap ación del o ma o de las imágenes El o ma o de las imágenes de en ada del modelo ambién es un ac o bas an e impo an e a ene en cuen a, ya que in lui á signi ica i amen e en el endimien o del modelo. Si se p e ende que un modelo sea ápido en p edeci una en ada, se á necesa io que dicha en ada solamen e con enga da os imp escindibles y no supe luos de los que el modelo sea capaz de ex ae ca ac e ís icas. Po ejemplo, una imagen en onos de colo (RGB) puede conse a odas sus ca ac e ís icas en muchos menos da os as se con e ida a escala de g ises, pasando de ene es canales a solamen e uno, o incluso as se edimensionada a un amaño ela i amen e meno del o iginal. La adap ación del o ma o de las imágenes depende á del conjun o de da os usado. 3.2.1 Tamaño El amaño de las imágenes y la in o mación de los píxeles in luye signi ica i amen e en el endimien o del modelo. Como un modelo no puede abaja con imágenes de di e en es amaños, se ha ealizado un es udio de las esoluciones de las imágenes del conjun o de da os pa a de e mina si hace al a ealiza algún p ocesamien o a las imágenes pa a adap a las a un amaño inal. Si es necesa io p ocesa las, en onces, dependiendo del amaño elegido, algunas imágenes pe de án esolución al educi su núme o de pixeles (downscaling) y o as añadi án in o mación no ep esen a i a (upscaling) Las imágenes del conjun o de da os inicial ienen amaños muy a iados. La única ca ac e ís ica común a las imágenes es su al a esolución, que se á un p oblema a la ho a de en ena los modelos. Cada pun o de la g á ica siguien e ep esen a una imagen del conjun o de da os inicial. 23 Ilus ación 11.- Resoluciones de las imágenes del conjun o de da os inicial. Fuen e: P opio Pa a educi el iempo de en enamien o del modelo, los amaños elegidos pa a ealiza p uebas con los modelos se án: la media de las esoluciones (1152, 809), la media*(2/3) (768, 539), la media/3 (384, 269) y o os amaños más pequeños como (96, 96), (48, 48) y (24, 24) 30 Capí ulo 4 - Clasi icación de emociones en imágenes El conjun o de imágenes con el que se a a abaja pa a la p ime a ap oximación ha sido ob enido de la página web de Kaggle 12 , y es á disponible pa a su desca ga 13 . El conjun o de da os cons a de ce ca de 250 imágenes a colo de di e en es amaños. En las imágenes se pueden isualiza di e en es pe sonas con es ipos de emociones, en e ellas: elicidad, is eza y en ado. Las imágenes son muy di e en es en e sí po que se pueden e , an o pe sonas indi iduales como g upos de pe sonas, y ambién cue pos comple os y ca as. El obje i o de la p ime a ap oximación es de e mina si el conjun o de da os elegido es ú il, es deci , comp oba si el modelo consigue ex ae las ca ac e ís icas su icien es pa a pode aplica la explicabilidad. A con inuación, se mues an el núme o de ejemplos y la ecuencia de cada clase del conjun o de da os inicial pa a e i ica si es á equilib ado: Tabla 5.- Comp obación del equilib ado del conjun o de da os inicial Clase Núme o de ejemplos F ecuencia “happy” 100 37.735849 “sad” 86 32.452830 “ang y” 79 29.811321 Se puede obse a que hay más mues as de la clase “happy” que de las demás, lo que pod á a ec a nega i amen e a la p ecisión del modelo. El conjun o de imágenes con el que se a a abaja pa a ealiza la ap oximación inal ambién ha sido ob enido de la página web de Kaggle y es á disponible pa a su 12 www.kaggle.com 13 Se puede desca ga en el siguien e enlace: h ps://www.kaggle.com/da ase s/sanidhyak/human- ace-emo ions 31 desca ga 14 . FER2013 con iene al ededo de 35.000 imágenes en escala de g ises de amaño 48x48. Las imágenes cons an de os os de pe sonas de di e en es edades que exp esan di e en es emociones, en e ellas: en ado, asco, miedo, elicidad, is eza, so p esa y neu alidad. Pa a comenza con el análisis inal, se ha decidido en p ime luga abaja sob e un subconjun o de imágenes educido pa a de e mina si el conjun o o iginal puede o ece esul ados p ome edo es. De es a o ma, solamen e se seleccionan del conjun o de da os o iginal aquellas imágenes en las que apa ecen os os de pe sonas que exp esan es ipos de emociones: elicidad, is eza y en ado. Con es as es emociones, se c ea á un clasi icado y se e alua á su p ecisión. A con inuación, se mues an el núme o de ejemplos y la ecuencia de cada clase del subconjun o de da os usado pa a e i ica si es á equilib ado: Tabla 6.- Comp obación del equilib ado del subconjun o ex aído del conjun o de da os inal Clase Núme o de ejemplos F ecuencia “happy” 8989 44.902343 “sad” 6077 30.356162 “ang y” 4953 24.741496 Se puede obse a que hay muchas más mues as de la clase “happy” que de las demás, pe o dependiendo de las ca ac e ís icas del modelo usado, el impac o nega i o a la ho a de clasi ica a ia á. Pa a ealiza un es udio más ap oximado a la ealidad, se ha decidido abaja sob e un conjun o de imágenes más complejo que el inicial, con sie e ipos de emociones. A con inuación, se mues an el núme o de ejemplos y la ecuencia de cada clase del conjun o de da os inal pa a e i ica si es á equilib ado: 14 Se puede desca ga en el siguien e enlace: h ps://www.kaggle.com/da ase s/msamba e/ e 2013 32 Tabla 7.- Comp obación del equilib ado del conjun o de da os inal Clase Núme o de ejemplos F ecuencia “happy” 8989 25.048068 “neu al” 6198 17.270878 “sad” 6077 16.933709 “ ea ” 5121 14.269791 “ang y” 4953 13.801655 “su p ise” 4002 11.151671 “disgus ” 547 1.524229 Se puede obse a , al igual que en el conjun o de da os inicial, sigue habiendo una g an di e encia de ejempla es de la clase “happy” con espec o a las demás. Cabe des aca que la clase “disgus ” iene muy pocas mues as, po lo que a ec a á signi ica i amen e a la p ecisión de los dis in os modelos usados. 4.1 Modelos MLP Dependiendo de su es uc u a y del amaño de las imágenes de en ada, algunos modelos end án más ácil de ec a pa ones de las imágenes de en ada que o os. El iempo de ejecución de cada modelo depende á signi ica i amen e del núme o de capas ocul as y del amaño de los da os con los que se es é abajando, po lo que es impo an e es ablece una elación en e la p ecisión ob enida po el modelo, y su iempo de ejecución pa a elegi el mejo modelo. Los amaños de las imágenes de en ada pa a los modelos MLP que se an a usa en el p oceso de en enamien o pa a la p ime a ap oximación son: (1152, 809), (768, 539), (384, 269), (96, 96), (48, 48) y (24, 24) En cambio, los amaños que se an a usa pa a la ap oximación inal son: (96, 96), (48, 48) y (24, 24) A con inuación, se mues a una g á ica con los iempos y las p ecisiones ob enidas sob e el conjun o de en enamien o ob enido del conjun o de da os inicial. 33 Cada pun o ep esen a un modelo MLP con una con igu ación conc e a de los pa áme os usados: Ilus ación 15.- Tiempos y endimien os de los modelos MLP del conjun o de da os inicial as el p oceso de en enamien o Se puede obse a que las al as p ecisiones ob enidas mues an signos de que los modelos han sob eap endido de los da os de en enamien o. Cu iosamen e, la mayo ía de los modelos que mayo p ecisión ob ienen son los que a dan menos en en ena , po que abajan con imágenes de amaño bas an e educido (24x24) Es in e esan e obse a cómo casi la mi ad de los modelos no consiguen ob ene una p ecisión mayo que 0.33 (que se co esponde a clasi ica alea o iamen e los es ipos de emociones) Una causa de es o puede se una combinación ex aña de ca ac e ís icas usadas pa a c ea el modelo, la combinación de imágenes que cons i uyen el conjun o de en enamien o, o simplemen e po que es e ipo de modelo no es á des inado a p ocesa imágenes. A con inuación, se mues a una g á ica con los iempos y las p ecisiones ob enidas sob e el conjun o de en enamien o pa a el p oblema de clasi icación de es clases del conjun o de da os inal. Cada pun o ep esen a un modelo MLP con una con igu ación conc e a de los pa áme os usados: 34 Ilus ación 16.- Tiempos y endimien os de los modelos MLP de clasi icación de es ipos de emociones as el p oceso de en enamien o Se puede obse a que no se consiguen esul ados acep ables. Según indica la g á ica, algunos modelos sob eap enden de los da os de en enamien o al ob ene un endimien o ce cano al 100%, po lo que su p ecisión sob e el conjun o de p ueba no se espe a que sea muy bueno. Hay un modelo que ob iene una p ecisión de 0.78 en poco iempo, en compa ación con o os modelos que ob ienen p ecisiones lige amen e más al as en iempos mucho mayo es. Es o sugie e que a eces es in e esan e sac i ica p ecisión a cambio de gana iempo. Llama la a ención que al ededo de 1/3 de los modelos no consiguen una p ecisión mayo que 0.33, que se co esponde a la p ecisión de ealiza una clasi icación alea o ia en es clases. Es o puede debe se a que los modelos MLP no son idóneos pa a el p ocesamien o de imágenes. Debido a que los modelos MLP de clasi icación de es ipos de emociones del conjun o de da os inal no o ecen esul ados acep ables, se ha decidido no ealiza más p uebas con es e ipo de modelo pa a clasi ica sie e ipos de emociones, po que en el conjun o de da os comple o la di e encia de imágenes en e clases es mucho mayo y se espe an ob ene da os aún peo es que los p e iamen e ob enidos. 35 4.1.1 Mejo es modelos MLP ob enidos A con inuación, se mues an las ca ac e ís icas y los esul ados del mejo modelo MLP ob enido pa a el p oblema de clasi icación de es clases del conjun o de da os inicial: • P ecisión sob e el conjun o de en enamien o: 0.81 • P ecisión sob e el conjun o de p ueba: 0.49 • Tamaño de las imágenes de en ada: (48, 48) • Función de ac i ación: “ReLU” • Tamaño de las capas ocul as: (200,) • Alpha: 0.51 Es e modelo sob eap ende de los da os de en enamien o, pe o no a ec a signi ica i amen e a la p ecisión sob e los da os de p ueba po que sigue siendo el modelo que mayo p ecisión ob iene sob e es e conjun o, aunque sea insu icien e. En la ma iz de con usión se puede obse a que la clase que mejo clasi ica es “ang y”; y la que peo “sad”, que ob iene un po cen aje de acie o del 50%. Las clases que menos con unde son “sad” y “happy”, po lo que se puede deduci que el modelo ha ap endido a di e encia bocas cónca as hacia a iba (con en o) de bocas cónca as hacia abajo ( is e) Como da o cu ioso, la clase que mejo clasi ica no es la clase mayo i a ia, sino la que menos. Es o se puede debe a que las imágenes elegidas encajan con los pa ones ob enidos, o que son muy pa ecidas en e sí. 36 Ilus ación 17.- Ma iz de con usión del mejo modelo MLP del conjun o de da os inicial A con inuación, se mues an las ca ac e ís icas y los esul ados del mejo modelo ob enido pa a el p oblema de clasi icación de es ipos de emociones del conjun o de da os inal: • P ecisión sob e el conjun o de en enamien o: 0.98 • P ecisión sob e el conjun o de p ueba: 0.51 • Tamaño de las imágenes de en ada: (48, 48) • Función de ac i ación: “logis ic” • Tamaño de las capas ocul as: (200,) • Alpha: 0.01 37 Ilus ación 18.- Ma iz de con usión del mejo modelo MLP de clasi icación de es ipos de emociones El mejo modelo sob eap ende de los da os de en enamien o. Se puede obse a que la clase que mejo clasi ica es “happy”; y la que peo , “ang y”. Es o se puede debe al equilib ado de los da os, ya que la p ime a clase es la que más imágenes iene, y la segunda, la que menos. Aunque la clasi icación que ealiza es bas an e ace ada, las clases que más con unde en e sí son “happy” y “sad”, aunque no de o ma gene al; las clases que menos con unde son “ang y” con “happy”. Es o signi ica que el modelo ha conseguido ex ae las ca ac e ís icas su icien es como pa a sabe que, po ejemplo, si de ec a la p esencia de dien es en una imagen, no necesa iamen e la clase a la que pe enece es “happy”, sino que ambién puede se “ang y”. 4.2 Modelos CNN Las edes neu onales con olucionales son idóneas pa a p oblemas de clasi icación de imágenes, po que son capaces de analiza las ca ac e ís icas en e conjun os de píxeles con iguos de las imágenes de en ada en o ma de ec o es que con ienen in o mación de los píxeles. Du an e el p oceso de en enamien o de los modelos, se egis an los iempos que a da cada modelo en ap ende – que depende á 38 signi ica i amen e del amaño de las imágenes de en ada y del núme o de épocas; y la p ecisión ob enida sob e el conjun o de en enamien o. Pa a ealiza una mejo e aluación de los modelos, se ha usado el mismo conjun o de imágenes de en enamien o y p ueba pa a en ena y p oba odos los modelos. Los amaños de las imágenes de en ada pa a los modelos CNN que se an a usa en ambos conjun os de da os son: (96, 96), (48, 48) y (24, 24) El p oceso de en enamien o pa a los modelos de clasi icación en es clases de la p ime a ap oximación se a a ealiza en 20 épocas, 15 su icien es pa a el educido núme o de imágenes que cons i uyen el conjun o de da os inicial. Con más de 20 épocas, el modelo se ajus a demasiado a los da os de en enamien o, pe o sin ob ene mejo a sob e imágenes con las que no ha abajado. Más adelan e, se mues a una g á ica con los iempos y las p ecisiones ob enidas sob e el conjun o de en enamien o ob enido del conjun o de da os inicial. Cada pun o ep esen a un modelo CNN con una con igu ación conc e a de los pa áme os usados. Las g á icas mues an p ecisiones insu icien es pa a el p oblema de clasi icación de es clases que se p e ende esol e . Aunque los modelos a den poco en en ena y algunos consigan ob ene p ecisiones mayo es que 0.7, la endencia es ob ene modelos que no consiguen ex ae las egiones ele an es de las imágenes de en ada. Se pod ía deci que se “pie den” o “con unden” con las imágenes usadas pa a en ena los modelos. 15 También llamadas “epoch” 39 Ilus ación 19.- Tiempos y endimien os de los modelos CNN del conjun o de da os inicial as el p oceso de en enamien o El p oceso de en enamien o pa a los modelos de clasi icación en es clases del conjun o de da os inal se a a ealiza en 20 épocas y el en enamien o pa a los modelos de clasi icación en sie e clases se a a ealiza en 40 épocas. El núme o de épocas conside ado es su icien e pa a que los modelos ob engan las ca ac e ís icas necesa ias de cada clase. Un núme o mayo de épocas puede conduci a los modelos a un sob eap endizaje, consiguiendo una muy buena p ecisión sob e los da os de en enamien o, pe o muy mala sob e los da os de p ueba. A con inuación, se mues a una g á ica con los iempos y las p ecisiones ob enidas sob e el conjun o de en enamien o del conjun o de da os inal pa a el p oblema de clasi icación de es clases. Cada pun o ep esen a un modelo CNN con una con igu ación conc e a de los pa áme os usados: 46 A con inuación, se an a mos a algunos ejemplos ep esen a i os del mé odo Ancho Image pa a el p oblema de clasi icación de es ipos de emociones aplicado a imágenes del conjun o de da os inal. En las imágenes pos e io es se puede obse a que el modelo ha conseguido econoce que en la clase “happy” es impo an e la o ma de la boca, así como las a ugas de su al ededo . Pa a dis ingui de o as clases pa ecidas como “ang y”, en algunas imágenes ambién en oca la a ención en la o ma de los ojos. Cabe des aca que el modelo no ha de ec ado co ec amen e la emoción de la úl ima imagen, en g an medida, po que no ha de e minado que la in o mación de los ojos e a impo an e al habe encon ado la p esencia de dien es, ca ac e ís ica que suponemos que conside a ep esen a i a de la emoción “happy” Tabla 8.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “happy” pa a el p oblema de clasi icación de es emociones Clase eal: “happy” Clase p edicha: “happy” Clase eal: “happy” Clase p edicha: “happy” 47 Clase eal: “happy” Clase p edicha: “happy” Clase eal: “ang y” Clase p edicha: “happy” En las imágenes pos e io es se puede obse a que el modelo ha conseguido econoce que en la emoción “ang y” son impo an es las a ugas de la en e y las de al ededo de la boca. Además, cuando es as ca ac e ís icas son con usas pa a el modelo y iene que dis ingui “ang y” de “happy”, suele en oca la a ención en la o ma de los ojos y de la boca, como se indica en las úl imas dos imágenes. 48 Tabla 9.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “ang y” pa a el p oblema de clasi icación de es emociones Clase eal: “ang y” Clase p edicha: “ang y” Clase eal: “ang y” Clase p edicha: “ang y” Clase eal: “ang y” Clase p edicha: “ang y” 49 En las imágenes que se p esen an a con inuación, se puede obse a que el modelo ha conseguido econoce que pa a la emoción “sad” la o ma de las cejas juega un papel undamen al, así como la pos u a de la ca a, que iende a es a más o cida que en o as emociones conside adas en es e p oblema. De la misma mane a que las an e io es emociones, a eces necesi a ob ene in o mación ace ca de la o ma de la boca y ojos pa a disc imina de o as clases. Cabe des aca que en la úl ima imagen el modelo ha p edicho e óneamen e “sad”, pudiéndose debe a que no ha de e minado que la in o mación de las cejas e a impo an e. Tabla 10.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “sad” pa a el p oblema de clasi icación de es emociones Clase eal: “sad” Clase p edicha: “sad” Clase eal: “sad” Clase p edicha: “sad” 50 Clase eal: “ang y” Clase p edicha: “sad” A con inuación, se an a mos a algunos ejemplos ep esen a i os del mé odo Ancho Image pa a el p oblema de clasi icación de sie e ipos de emociones aplicado a imágenes del conjun o de da os inal. Tabla 11.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “ang y” pa a el p oblema de clasi icación de sie e emociones Clase eal: “ang y” Clase p edicha: “ang y” 51 Clase eal: “ang y” Clase p edicha: “ang y” Clase eal: “ ea ” Clase p edicha: “ang y” Lo que di e encia la emoción “ang y” de “su p ise” es la o ma de los ojos. En ambas emociones la boca es á abie a, pe o los ojos de la clase “ang y” no es án o almen e abie os. La o ma de las cejas ambién juega un papel impo an e a la ho a de p edeci es a emoción. Se puede obse a que en la úl ima imagen el modelo ha enido en cuen a los ojos y la boca a la ho a de p edeci , pe o no ha ace ado y ha p edicho “ang y” po que ha de e minado que la boca es á demasiado abie a. 52 Tabla 12.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “disgus ” pa a el p oblema de clasi icación de sie e emociones Clase eal: “disgus ” Clase p edicha: “disgus ” Clase eal: “disgus ” Clase p edicha: “happy” Es a emoción iene ca ac e ís icas comunes a “sad”. Ambas ienen bocas planas o lige amen e abie as, además de ojos y cejas muy simila es. La g an di e encia con la emoción “sad” eside en la o ma de la boca. Po lo gene al, la boca en pe sonas disgus adas no suele es a ce ada y cu a hacia abajo, como es na u al en pe sonas is es. En la úl ima imagen, a pesa de que el modelo ha enido en conside ación la o ma del ojo, la engañosa o ma de la boca ha in luido a la ho a de clasi ica la imagen como “happy” 53 Tabla 13.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “ ea ” pa a el p oblema de clasi icación de sie e emociones Clase eal: “ ea ” Clase p edicha: “ ea ” Clase eal: “ ea ” Clase p edicha: “ ea ” Clase eal: “happy” Clase p edicha: “ ea ” La g an di e encia en e “ ea ” y “ang y” es la o ma de la boca. En ambas emociones es común obse a ojos y cejas con o mas muy pa ecidas, pe o las pe sonas 54 con miedo suelen ene la boca más ce ada. En la úl ima imagen, el clasi icado se ha con undido de emoción. La inclinación de la cabeza ha a ec ado a la ceja y el ojo, ambas egiones ele an es pa a el modelo. Se puede pensa que, si hubie a enido en cuen a la boca, hab ía p edicho co ec amen e la emoción. Tabla 14.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “happy” pa a el p oblema de clasi icación de sie e emociones Clase eal: “happy” Clase p edicha: “happy” Clase eal: “happy” Clase p edicha: “happy” 55 Clase eal: “sad” Clase p edicha: “happy” Pa a clasi ica la emoción “happy”, el modelo iene en cuen a la o ma de la boca, que iene que se cónca a hacia a iba, pudiendo con ene o no dien es. Si esul a que no puede ex ae ca ac e ís icas su icien es de la boca, p es a a ención a los ojos, que ienen o ma cu a hacia abajo, al y como se puede e en la segunda imagen. En la úl ima imagen se puede obse a una mala p edicción po pa e del modelo, y se puede debe a que solamen e ha enido en cuen a la mi ad de la boca que, con usamen e, pa ece es a cu a po la inclinación de la cabeza. Tabla 15.- Explicabilidad po el mé odo de Ancho Image de imágenes co espondien es a la clase “neu al” pa a el p oblema de clasi icación de sie e emociones Clase eal: “neu al” Clase p edicha: “neu al” 62 En las imágenes de abajo se puede obse a que el modelo ha alo ado posi i amen e aquellos píxeles ce canos a las cejas y ojos pa a la emoción “sad”. De es a o ma, de e minadas o mas de ojos y cejas cob an peso a la ho a de de e mina la emoción a clasi ica . El modelo ha asignado alo es nega i os a los píxeles que azan el con o no de la ca a en la segunda imagen. Cabe des aca que el modelo no ha asignado alo es posi i os a la o ma de las cejas en la úl ima imagen, po lo que ha ealizado una p edicción inco ec a. Tabla 20.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “sad” pa a el p oblema de clasi icación de es emociones Clase eal: “sad” Clase p edicha: “sad” Clase eal: “sad” Clase p edicha: “sad” Clase eal: “ang y” Clase p edicha: “sad” A con inuación, se an a mos a algunos ejemplos ep esen a i os del mé odo In eg a edG adien s pa a el p oblema de clasi icación de sie e ipos de emociones aplicado a imágenes del conjun o de da os inal. 63 Tabla 21.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “ang y” pa a el p oblema de clasi icación de sie e emociones Clase eal: “ang y” Clase p edicha: “ang y” Clase eal: “ang y” Clase p edicha: “ang y” Clase eal: “ ea ” Clase p edicha: “ang y” En las imágenes an e io es se puede obse a que el modelo ha conseguido econoce que en la clase “ang y” son impo an es aquellos píxeles ela i os a los ojos, así como las cejas que p esen an una o ma cu a. En la segunda imagen se han alo ado nega i amen e los píxeles de las cejas po que conside a que la cu a es demasiado p onunciada pa a una pe sona en adada. Tal y como se ap ecia en la úl ima imagen, a eces alo a posi i amen e los píxeles de los dien es si no encuen a las ca ac e ís icas comen adas an e io men e. 64 Tabla 22.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “disgus ” pa a el p oblema de clasi icación de sie e emociones Clase eal: “disgus ” Clase p edicha: “disgus ” Clase eal: “disgus ” Clase p edicha: “happy” En las imágenes an e io es se puede e cómo ac úa el modelo a la ho a de clasi ica la emoción “disgus ”. Valo a posi i amen e los píxeles de las cejas si son cónca as. Po o o lado, ha ap endido a alo a nega i amen e las a ugas de al ededo de la boca en cie as ocasiones, como es el caso de la p ime a imagen, pe o no en la segunda. Tabla 23.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “ ea ” pa a el p oblema de clasi icación de sie e emociones Clase eal: “ ea ” Clase p edicha: “ ea ” 65 Clase eal: “ ea ” Clase p edicha: “ ea ” Clase eal: “neu al” Clase p edicha: “ ea ” En lo que espec a a la emoción “ ea ” los píxeles que el modelo ma ca posi i amen e son los ela i os a los ojos y las cejas, dejando a un lado las egiones de la boca y aledañas. Pa a e i ica que el modelo no siemp e acie a, se p esen a la úl ima imagen a modo de ejemplo. El modelo alo a posi i amen e los píxeles co espondien es a una ceja y un la e al de la boca, y po ese mo i o no ha p edicho la clase co ec a. Tabla 24.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “happy” pa a el p oblema de clasi icación de sie e emociones Clase eal: “happy” Clase p edicha: “happy” 66 Clase eal: “happy” Clase p edicha: “happy” Clase eal: “neu al” Clase p edicha: “happy” Cuando apa ece una boca que encaja con los pa ones del clasi icado pa a la emoción “happy”, el modelo alo a posi i amen e los píxeles que modelan esa o ma, como se puede obse a en las dos p ime as imágenes. En la imagen inal, como no iene una o ma de inida pa a la boca, se cen a en alo a posi i amen e o os píxeles que encuen a ele an es, como las a ugas de la en e y la mi ad de un ojo. Debido a que cen a su a ención en o as ca ac e ís icas, p edice una clase pa ecida a la eal: “happy” Tabla 25.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “neu al” pa a el p oblema de clasi icación de sie e emociones Clase eal: “neu al” Clase p edicha: “neu al” 67 Clase eal: “neu al” Clase p edicha: “neu al” Clase eal: “ ea ” Clase p edicha: “neu al” El modelo solamen e iende a alo a posi i amen e píxeles ela i os a la boca y al ededo es pa a la emoción “neu al”. Se puede obse a en la úl ima imagen que se han alo ado posi i amen e los píxeles de la a uga ce cana a la boca y los que azan el con o no de un ojo, po lo que no se p edice la emoción co ec a. Tabla 26.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase “sad” pa a el p oblema de clasi icación de sie e emociones Clase eal: “sad” Clase p edicha: “sad” Clase eal: “sad” Clase p edicha: “sad” 68 Clase eal: “ang y” Clase p edicha: “sad” Pa a “ang y” se puede obse a que el modelo ha conseguido alo a posi i amen e los pixeles aledaños a los ojos y a las cejas de las pe sonas de las imágenes. Po el con a io, alo a nega i amen e los píxeles del con o no de la ca a y a eces, aquellos ce canos a la boca. Como se puede ap ecia en la úl ima imagen, el modelo ha asignado alo es posi i os bajos a las cejas, haciendo que no engan g an ele ancia en la clasi icación, y es po eso po lo que la emoción p edicha es e ónea. Tabla 27.- Explicabilidad po el mé odo de In eg a edG adien s de imágenes co espondien es a la clase ”su p ise” pa a el p oblema de clasi icación de sie e emociones Clase eal: “su p ise” Clase p edicha: “su p ise” Clase eal: “su p ise” Clase p edicha: “su p ise” 69 Clase eal: “sad” Clase p edicha: “su p ise” El modelo asigna alo es posi i os a los píxeles ela i os a los dien es y al con o no de la boca cuando es á abie a, pe o alo a nega i amen e los píxeles del in e io de la boca, po que no o ecen in o mación de in e és. Como se puede e en la úl ima imagen, se alo an a a o los píxeles que ma can el con o no del ojo de echo, y se alo an en con a los co espondien es a la boca. 5.3 G adien Simila i y Es e mé odo mues a, dada una imagen de en ada, es imágenes con asgos pa ecidos. Es e mé odo de explicabilidad es el que más se ap oxima a la o ma de clasi ica humana, po que basa las explicaciones en la p oximidad y compa ación con e e encias. A con inuación, se an a mos a algunos ejemplos ep esen a i os del mé odo G adien Simila i y pa a el p oblema de clasi icación de es ipos de emociones aplicado a imágenes del conjun o de da os inal. Tabla 28.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “happy” pa a el p oblema de clasi icación de es emociones 70 En las imágenes que se mues an an e io men e, se puede obse a que el modelo, si ecibe una imagen de una pe sona con en a, pe o con boca ce ada, mues a po lo gene al imágenes de pe sonas con en as, pe o con bocas ce adas, po lo que se puede deduci que la boca es un ac o impo an e que iene en cuen a a la ho a de de ec a la emoción “happy”. Como da o cu ioso, ambién se ija si en la ca a hay p esen es elemen os ex años, pa a así busca imágenes que ambién ienen elemen os ex años pa ecidos. Un ejemplo de es o es la úl ima imagen, que ha de ec ado que hay una mano, y mues a ca as con manos. También, en elación con la úl ima imagen, la emoción p edicha (“happy”) no se co esponde con la o iginal (“sad”) Es o se puede debe a que hay o a imagen pa ecida que ambién ha clasi icado de o ma e ónea, pudiendo hace nos pensa que el modelo a as a e o es. 71 Tabla 29.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “ang y” pa a el p oblema de clasi icación de es emociones Al igual que en “happy”, se puede obse a que el modelo, si ecibe una imagen de una pe sona en adada, pe o con boca abie a, mues a imágenes de pe sonas en adadas, pe o con boca abie a, lo que nos lle a a pensa que pa a disc imina la emoción “ang y” se ija en la o ma de la boca. También mues a o mas de cejas pa ecidas. Tabla 30.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “sad” pa a el p oblema de clasi icación de es emociones 78 El modelo ija su a ención mayo i a iamen e en la o ma de la boca pa a la emoción “sad”. También se ija algunas eces en las cejas. Po es o mismo, mues a imágenes con simili udes en es as ca ac e ís icas. Tabla 37.- Explicabilidad po el mé odo de G adien Simila i y de imágenes co espondien es a la clase “su p ise” pa a el p oblema de clasi icación de sie e emociones 79 Cla amen e, el modelo mues a imágenes simila es basándose en la o ma de la boca pa a la emoción “su p ise”. Aunque ese sea el ac o p edominan e en la elección de las imágenes más simila es, ambién se basa en la o ma de las cejas. En elación con la p ime a imagen de la úl ima ila, de clase “ ea ” pe o clasi icada como “su p ise”, la mala p edicción se puede debe a la p esencia de elemen os ex años en la ca a, como ga as o pendien es que log an despis a al clasi icado . 80 Capí ulo 6 - Conclusiones y abajo u u o 6.1 Conclusiones En es e apa ado se comen a án las conclusiones de las di e en es ap oximaciones que se han lle ado a cabo. Conclusiones de la p ime a ap oximación a la clasi icación de emociones en imágenes: La al a esolución de las imágenes es un p oblema a la ho a de en ena los modelos, po que a dan más en en ena y no consiguen mejo es p ecisiones. Los modelos, se “pie den” al en ena y no consiguen ex ae ca ac e ís icas de muchas de las imágenes, en g an medida po que hay muy pocas imágenes disponibles, y po que las imágenes son muy dis in as: hay an o pe sonas indi iduales como g upos de pe sonas, y ambién cue pos comple os y ca as. Con espec o a los modelos MLP con los que se ha abajado (en o al 96), el 48% ob ienen una p ecisión en e [0.0-0.09], el 16% en e [0.1-0.19], el 17% en e [0.2-0.29], el 17% en e [0.3-0.39] y el 2% en e [0.4-0.49]. La g an mayo ía ob iene una p ecisión meno que 0.33 (clasi icación alea o ia) Con espec o a los modelos CNN con los que se ha abajado (en o al 32), el 59% ob ienen una p ecisión en e [0.28-0.39], el 31% en e [0.40-0.49], y el 10% en e [0.50- 0.54]. Es os modelos son mucho mejo es que los MLP an e io es, pe o siguen sin ob ene esul ados acep ables. Aunque los modelos ob ienen p ecisiones bajas pa a los da os de p ueba, la clase que mejo clasi ican es la mayo i a ia: “happy”, y la que peo : “sad”. Las clases que menos con unden son “sad” con “happy”, po lo que ha ex aído ca ac e ís icas que pe mi en disc imina en e clases, aunque no sean su icien es. Conclusión: El conjun o de da os usado no es ap o pa a el p oblema que se quie e esol e . 81 Conclusiones de la ap oximación inal a la clasi icación de emociones en imágenes: Clasi icación y explicabilidad de es ipos de emociones: Debido a que los modelos MLP no es án o ien ados al a amien o de imágenes, muchos de los modelos ob ienen p ecisiones sumamen e bajas, meno es de 0.33, y o os en cambio, sob eap enden de los da os de en enamien o. El mejo modelo no es el que más a da ni el que mayo es amaños pa a las imágenes de en ada ob iene, po lo que a eces es necesa io desp ecia cie o po cen aje de p ecisión pa a log a que el modelo sea más ápido. La clase que mejo clasi ica es: “happy” y la que peo : “ang y”. Además, ex ae alguna ca ac e ís ica impo an e que pe mi e di e encia la clase “happy” de “ang y”, como la p esencia de dien es. Los modelos con olucionales consiguen esul ados bas an e acep ables en iempos bas an e pequeños, pe o la mayo ía no ob ienen una p ecisión mayo que 0.6, pudiéndose debe a que la combinación de ca ac e ís icas usadas pa a c ea el modelo no sean las idóneas, o a que los da os no es án balanceados. El mejo modelo se compo a de o ma muy pa ecida al MLP, pe o con unde menos las clases, ob eniendo una mayo p ecisión – conc e amen e: 0.73 en e a 0.51 del MLP. En gene al, al se un p oblema de clasi icación de pocas clases, se puede obse a median e la explicabilidad que las ca ac e ís icas ob enidas es án muy ma cadas, exis iendo su icien es a iaciones en e és as pa a pode disc imina con bas an e acie o las clases. Clasi icación y explicabilidad de sie e ipos de emociones: Los modelos con olucionales consiguen esul ados bas an e acep ables en iempos ela i amen e buenos pa a la g an can idad de imágenes con las que abaja. La mayo ía de los modelos consiguen una buena p ecisión, es deci , mayo de 0.5, a pesa de que hay una clase con muy pocas ins ancias. Es o puede debe se a que las ca ac e ís icas usadas po encian la de ección de pa ones. En compa ación con el mejo modelo CNN an e io , la p ecisión no es an baja, ya que se han añadido más del doble de clases nue as. Aunque la asa de acie o sea mayo que la de allo, la clase que peo clasi ica es: “disgus ” y la que mejo : “happy”. Po o o lado, la clase que más 82 con unde es “sad” con “ ea y las que menos “disgus ” con “happy”, “neu al” y “su p ise”. Como hay pocas ins ancias de la clase “disgus ”, el modelo no puede ex ae ca ac e ís icas pa a disc imina es a clase de las demás. La p ecisión del mejo modelo CNN es 0.56. Mien as hay clases muy econocibles como: “happy” y “neu al”, hay o as muy pa ecidas en e sí: “ang y”, “ ea ” y “su p ise”, y “disgus ” y “sad”. Se puede obse a en la explicabilidad que, aunque engan ca ac e ís icas comunes, hay pequeñas a iaciones que hace que con unda “disgus ” y “sad” poco en e sí. En cambio, al no habe encon ado una ca ac e ís ica única pa a la clase “ang y”, se con unde a menudo po que se basa en ca ac e ís icas que son ambién comunes a “ ea ” y “sad”. Ocu e lo mismo con la clase “ ea ”, que la con unde mucho con “ang y” y “su p ise”. En elación con los mé odos XAI usados, son muy ú iles pa a mos a las egiones impo an es de ec adas po el modelo al que se aplican. Las explicaciones son, en cie a medida, ácilmen e in e p e ables, po lo que se pueden ex ae conclusiones aliosas y de g an calidad pa a el es udio. Conclusión: El conjun o de da os usado es ap o pa a el p oblema que se quie e esol e , po que hay modelos que consiguen ex ae muchas ca ac e ís icas de muy buena calidad. En gene al, la explicabilidad mues a egiones aco des con lo que se p e ende que se ije el modelo, como bocas, ojos, cejas, a ugas, e c. Es po es o po lo que los mejo es modelos ob enidos son muy buenos. 6.2 T abajo u u o En es e apa ado se de allan algunas p opues as de abajo u u o que ayuda ían a comple a el abajo ealizado: En p ime luga , un aspec o impo an e a ealiza si se con inúa con el abajo es expandi el conjun o de da os inal, comple ándolo has a log a un conjun o de da os equilib ado. Una ez ealizadas p uebas sob e un conjun o de da os comple o, se puede expandi ambién el conjun o de da os inicial y equilib a lo pa a hace p uebas con él. También se puede expandi el núme o de emociones, eligiendo emociones mucho más complejas. 83 Po o a pa e, debido a que no ha sido posible ejecu a los modelos MLP con imágenes de g an esolución, en conc e o con los amaños: (1152, 809) y (768, 539), se p opone usa disposi i os más po en es en la nube como Google Cloud pa a ejecu a el p oceso de en enamien o de es os modelos y e si la endencia ac ual de ob ene mejo es p ecisiones según disminuye el amaño de la imagen, se man iene. También se pueden usa o os amewo ks de In eligencia a i icial pa a cons ui los modelos, como PyTo ch. O o aspec o in e esan e que no se ha conside ado en es e abajo, en g an medida pa a e i a iempos de en enamien o excesi amen e ele ados, es ealiza el es udio sob e imágenes a colo y después ealiza una compa ación de las nue as ca ac e ís icas con las p e iamen e ob enidas pa a e i ica si coinciden y, po lo an o, la in o mación del colo es un ac o impo an e. 85 In oduc ion Mo i a ion F om a compu a ional poin o iew, an image is a ma ix o numbe s which ep esen colo s o g ay ones. Thanks o he ep esen a ion ha pixels o e , in some cases i is possible o ex ac exis ing meaning ul connec ions om a g oup o pixels ha c ea e ela ions be ween a g oup o images, as hey sha e pa e ns. These pa e ns can be de ec ed by supe ised lea ning models om he machine lea ning ield (ML) o he A i icial In elligence. The e a e se e al ypes o models ha , a e sea ching o pa e ns on he inpu images se and he inpu labels se du ing he aining p ocess, can classi y a se o images among he di e en es ablished ca ego ies. Ce ainly, in mos cases, hese de ec ed pa e ns and ea u es a e in isible o hose who use he models o make p edic ions o a se o images o e se e al classes, as almos all he mos used models only p o ide, gi en an image as an inpu , he a ibu ed class, wi hou showing he impo an zones o he image by which he model has decided o ela e i wi h one a g oup o images o ano he . Goals Along his hesis i will be ca ied ou a s udy o he di e en exis ing classi ica ion models applied o images, wi h he inal objec i e o de e mining which model and pa ame e s a e he bes ones o sol e a p oblem o in- ace emo ions classi ica ion. Wi hou lea ing behind his objec i e, i will also be ca ied ou a s udy o he di e en exis ing explainabili y algo i hms applied o images, wi h he inal objec i e o being able o show in he o iginal image he a eas selec ed by he bes black box model ob ained, o e i y he co ec de ec ion o he di e en emo ions p esen on he images and he e o e, he co ec classi ica ion o he images in he exis ing ca ego ies. Wo k plan Along his hesis i will be shown he de elopmen o he wo k. The s ages o he wo k pe o med a e de ailed bellow: 86 In es iga ion Du ing his phase i has been ca ied ou a esea ch o e a wide ange o opics ela ed wi h he de elopmen o he wo k, opics ela ed o machine lea ning o A i icial In elligence, speci ically, supe ised lea ning and con olu ional neu al ne wo ks. No only has been made a s udy abou he Explainable A i icial In elligence applied o images, bu also abou he p ac ical applica ions o he use o in- ace emo ion de ec ion models. De elopmen and expe imen a ion In his subsec ion i will be alked abou he da ase s which ha e been used and he models and ea u es ha ha e been expe imen ed wi h. Fi s , o make an ini ial app oach o he wo k, i has been used a small da ase o images which con ain aces ha ep esen h ee ypes o emo ions. A e his, o s a wi h he inal wo k i is used a da ase called FER2013, which con ains 48x48 g ayscale images o se en ypes o emo ions. This da ase is bigge han he ini ial one. The i s es s ha e been made o e a subse o he inal da ase , mo e speci ically, o e h ee ypes o emo ions. Finally, he e we e held some es s o e he en i ely inal da ase . A e es ing and se ing he bes model, some explainabili y algo i hms om ALIBI lib a y a e used o show he impo an egions o he inpu image. All he wo k done is a ailable on he nex link: h ps://gi hub.com/ja ieg25/Explicabilidad-aplicada-a-modelos-de- econocimien o- de-emociones-en-imagenes.gi Documen a ion As long as he knowledge was expanded du ing he esea ch s age, and he de elopmen and expe imen a ion wi h he models and explainabili y algo i hms was ca ied ou , his documen has been illed in, including he da a used and he conclusions eached a e s udying he esul s ob ained. 87 Ilus ación 25.- Gan diag am o he wo k plan 94 [10] M. T. C. Ribei o, S. Singh y C. Gues in, «Ancho s: High-P ecision Model-Agnos ic Explana ions,» 2018. [En línea]. A ailable: h ps://gi hub.com/ma co c /ancho . [11] A. Kapishniko , T. Bolukbasi, F. Viégas y M. Te y, «XRAI: Be e A ibu ions Th ough Regions,» 2019. [En línea]. A ailable: h ps://a xi .o g/abs/1906.02825. [12] M. Sunda a ajan, A. Taly y Q. Yan, «Axioma ic A ibu ion o Deep Ne wo ks,» 2017. [En línea]. A ailable: h ps://a xi .o g/abs/1703.01365. [13] R. R. Sel a aju, M. Cogswell, A. Das, R. Vedan am, D. Pa ikh y D. Ba a, «G ad-CAM: Visual Explana ions om Deep Ne wo ks ia G adien -based Localiza ion,» 2019. [En línea]. A ailable: h ps://a xi .o g/abs/1610.02391. [14] V. Pe siuk, A. Das y K. Saenko, «RISE: Randomized Inpu Sampling o Explana ion o Black-box Models,» 2018. [En línea]. A ailable: h p://bm c2018.o g/con en s/pape s/1064.pd . [15] S. Muzellec, T. Fel, V. Bou in, L. andéol, R. VanRullen y T. Se e, «Saliency s ikes back: How il e ing ou high equencies imp o es whi e-box explana ions,» 2024. [En línea]. A ailable: h ps://a xi .o g/abs/2307.09591. [16] J. Klaise, A. V. Loo e en, G. Vacan i y A. Coca, «Alibi Explain: Algo i hms o Explaining Machine Lea ning Models,» 2021. [En línea]. A ailable: h ps://gi hub.com/SeldonIO/alibi. [17] M. Chan, «This AI eads child en’s emo ions as hey lea n,» 2021. [En línea]. A ailable: h ps://edi ion.cnn.com/2021/02/16/ ech/emo ion- ecogni ion-ai-educa ion-spc-in l- hnk/index.h ml. [18] P. Fa ley, N. Meh o a y E. U ban, «Wha is he Azu e AI Face se ice?,» 2024. [En línea]. A ailable: h ps://lea n.mic oso .com/en-us/azu e/ai-se ices/compu e - ision/o e iew-iden i y# ace- ecogni ion. [19] A. W. Se ices, «Amazon Rekogni ion,» 2023. [En línea]. A ailable: h ps://aws.amazon.com/es/ ekogni ion/. 95 [20] G. Cloud, «de ec - aces,» 2024. [En línea]. A ailable: h ps://cloud.google.com/ ision/docs/de ec ing- aces?hl=es-419. [21] P. Gundecha, «IBM Wa son jus go mo e accu a e a de ec ing emo ions,» 2016. [En línea]. A ailable: h ps://www.ibm.com/blog/announcemen /wa son-has-mo e-accu a e-emo ion- de ec ion/. [22] EnableX, «EnableX Face AI,» 2024. [En línea]. A ailable: h ps://www.enablex.io/cpaas/ aceai/. [23] M. Go ini, «El Magic Mi o asomb a en el Mobile Wo ld Cong ess,» 2017. [En línea]. A ailable: h ps://blog.bisma .com/magic-mi o -asomb a-mwc. [24] L. B uno y A. I. Cuélla , «“EMOTONGUE”, UNA APP PARA MANEJAR TUS PROPIAS EMOCIONES,» 2022. [En línea]. A ailable: h ps://www.uah.es/expo /si es/uah/es/in es igacion/.galle ies/O e a- Cien i ico-Tecnologica/SOC_03ES.pd . 96 APÉNDICES Ab e ia u as AA. Ap endizaje Au omá ico API. Applica ion P og amming In e ace (IN e az de p og amación de aplicaciones) CNN. Con olu ional Neu al Ne wo ks (Redes Neu onales Con olucionales) FORG ad. FOu ie Repa a ion o he G adien s GPU. G aphics P ocessing Uni (Unidad de P ocesamien o G á ico) G ad-CAM. G adien -weigh ed Class Ac i a ion Mapping KNN. K-Nea es Neighbo s (K ecinos más ce canos) LIME. Local In e p e able Model-agnos ic Explana ions LSVRC. La ge Scale Visual Recogni ion Challenge ML. Machine Lea ning MLP. Mul i-laye Pe cep on (Pe cep ón mul icapa) MNIST. Modi ied Na ional Ins i u e o S anda ds and Technology ReLU. Rec i ied Lineal Uni (Unidad Lineal Rec i icada) RGB. Red,G een,Blue RISE. Randomized Inpu Sampling o Explana ion SHAP. SHapley Addi i e exPlana ions SVM. Suppo Vec o Machine (Máquina de Vec o Sopo e) UAH. Uni e sidad de Alcalá de Hena es XAI. eXplainable A i icial In eligence 97