Creación de una aplicación de reconocimiento emocional en Python para Neuromarketing y Neuromanagement

Equation Chapter 1 Section 1 Trabajo Fin de Grado Ingeniería de las Tecnologías Industriales Creación de una aplicación de reconocimiento emocional en Python para Neuromarketing y Neuromanagement Autor: D. Jaime Rodríguez Cárave árave Tutores: Dr. D. Antonio González Morales D. Alejandro Talaminos Barroso Dpto. Organización Industrial y Gestión de Empresas Escuela Técnica Superior de Ingeniería Universidad de Sevilla Sevilla, 2020 Trabajo Fin de Grado Ingeniería de las Tecnologías Industriales Creación de una aplicación de reconocimiento emocional en Python para Neuromarketing y Neuromanagement Autor: D. Jaime Rodríguez Cárave Tutores: Dr. D. Antonio González Morales D. Alejandro Talaminos Barroso Dpto. Organización Industrial y Gestión de Empresas Escuela Técnica Superior de Ingeniería Universidad de Sevilla Sevilla, 2020 Proyecto ejecutado al amparo del "ACUERDO DE COOPERACIÓN CIENTÍFICA Y TÉCNICA ENTRE LA UNIVERSIDAD DE SEVILLA Y LA ASOCIACIÓN ESPAÑOLA DE NEUROMARKETING Y NEUROCOMUNICACIÓN (AENENE)" firmado el 28 de julio de 2020 y coordinado por el Dr. D. Antonio González Morales Trabajo Fin de Grado: Creación de una aplicación de reconocimiento emocional en Python para Neuromarketing y Neuromanagement Autor: D. Jaime Rodríguez Cárave Tutor: Dr. D. Antonio González Morales D. Alejandro Talaminos Barroso El tribunal nombrado para juzgar el Proyecto arriba indicado, compuesto por los siguientes miembros: Presidente: Vocales: Secretario: Acuerdan otorgarle la calificación de: Sevilla, 2020 El Secretario del Tribunal Agradecimientos El camino hasta llegar aquí ha estado marcado por personas que me han acompañado y que, aunque merezcan mucho más, qué menos que dedicarles unas líneas en este trabajo. Gracias papá y mamá por darme la vida, educarme y hacerme crecer hasta la persona que soy hoy en día. Sin vosotros, no estaría escribiendo esto en estos momentos. Gracias abuela por ser la mejor abuela del mundo. Desde que nací me cuidaste y lo sigues haciendo, siempre te siento cerca. Gracias Juli por ser el hermano que enseña a base de peleas. Gracias familia por estar apoyándome siempre. Gracias a vosotros amigos por ser diversión y ayuda. Gracias María por aparecer, ser mi compañera de viaje y darme todo lo bueno que nunca hubiera imaginado. I Resumen El reconocimiento emocional es una disciplina que se centra en el análisis de las expresiones faciales generadas por las emociones que las personas sienten en cada momento. Las emociones son una parte vital para las personas, para su supervivencia y para sus decisiones. Por este motivo, las aplicaciones del reconocimiento emocional son numerosas en los ámbitos del neuromarketing, neuromanagement, sanitario, en la organización industrial, etc. En este trabajo se ha elaborado un modelo para detectar las emociones de las caras de los seres humanos y se ha realizado un experimento con el que poner de manifiesto su utilidad. El modelo se realizó mediante el entrenamiento de una red neuronal con el lenguaje de programación Python. El experimento se realizó usando el software Open Source Ogama. Se diseñó un experimento centrado en la asignación de tres candidatos a tres puestos de trabajos, utilizando el modelo creado para detectar las puntuaciones de las emociones. Los resultados obtenidos mostraron la predisposición de los sujetos participantes en el experimento para cada uno de los puestos de trabajo, facilitando y optimizando la asignación de los recursos humanos a los puestos existentes en la empresa. Los resultados obtenidos manifiestan que el reconocimiento emocional puede proporcionar una variable fundamental, que se debe tener en cuenta en la optimización de la asignación de los recursos dentro del ámbito de la organización industrial y de otros ámbitos de las empresas y las organizaciones. III XÍndice 7 Discusión 43 8 Limitaciones e investigaciones futuras 45 Índice de Figuras 47 Índice de Tablas 49 Referencias 51 1 Introducción El objeto del presente proyecto, es la realización de una herramienta que permita generar experimentos y determinar las emociones que presentan facialmente las personas que lo realizan, para su uso en la investigación y en la aplicación práctica dentro del ámbito de la gestión de empresas, la organización industrial y el marketing. Antes de comenzar a desarrollar este proyecto, podría preguntarse, ¿por qué nos interesa conocer las emociones de alguien? Básicamente, porque puede aportar más información de la que en principio nos podemos imaginar. Por ese motivo, cada vez son mayores las investigaciones publicadas en revistas científicas de primer nivel sobre el campo del neuromarketing o el neuromanagement, y las empresas que demandan este tipo de servicios. “These emotions are closely related to the consumer’s subconscious brain activity (Katarzyna, 2014, p.12). To understand that the emotions influence the subconscious brain activity of the consumer is another step towards the objective of this article and demonstrates the potential of the use of neurosciences in brand strategy development, through what has come to be called “Neuromarketing”. The Spanish Association of Neuromarketing and Neurocommunication AENENE defines Neuromarketing as “the application of neurosciences in order to facilitate and improve the creation, communication and exchange of actions, services and products of value among groups and individuals who need and want to satisfy their needs through these exchanges” (González-Morales, 2016)”. (Citado en González-Morales, Mitrovic, & Garcia, 2020, p.3) Los campos de aplicación de esta ciencia son múltiples y en este momento, estas disciplinas de las neurociencias han hecho tan solo comenzar sus andaduras, pero el futuro es más que prometedor. Las aplicaciones de las neurociencias a las empresas y las organizaciones son muy útiles en diferentes actividades de las mismas, por ejemplo: • Marketing. Se pueden realizar estudios de mercado, con los que poder conocer mejor las necesidades de nuestro mercado actual o potencial, evaluar los productos desarrollados, los precios ofertados, los canales de venta y distribución y la percepción de los precios, llegando incluso a que podamos ofrecer productos a los consumidores dependiendo de cómo se encuentren. Como se cita en Codina, Rodríguez y Cadena (2017, p.160): “La mercadotecnia emocional, es considerada ciencia por la Academia de Ciencias Administrativas, la ACACIA, al reconocerla como Mercadotecnia Emocional... De acuerdo a una columna de iMedia Connection (2016), escrita por Jim Meskauskas, establece que “la neurociencia consiste en aprender que hay más de una parte del cerebro que influye en los sentimientos, mientras que la otra parte influye en los pensamientos. El mercadotecnia emocional permite decodificar estos procesos y convertir la comunicación de mercadotecnia en un código que atrae a diferentes partes del cerebro y motiva la decisión de compra a favor de una marca de producto o servicio”...” • Puesto de trabajo, pudiendo detectar si el empleado que ejecuta el trabajo está estresado, alegre, enfadado, etc. Esto permitiría asignar tareas en función de la predisposición del sujeto a las mismas, evitando que las desempeñen personas que no vayan a disfrutar y dar su máximo en cada una de ellas. También ofrecería detectar estados críticos según el trabajo que se realice, como puede ser el estrés para un piloto de avión, idea propuesta en Borghini, Astolfi, Vecchiato, Mattia, y Babiloni (2014). 1 2Capítulo 1. Introducción • Mejorar la definición de los productos para satisfacer mejor las necesidades del mercado, por ejemplo, que a un televisor se le instale una cámara remota que visualice la cara de su propietario y detecte que se está quedando dormido o que ya está dormido y salte una alarma, apagándose solo el televisor. O simplemente evaluando la percepción que tiene el cliente cuando visualiza su serie favorita en ella, o su diseño, o su marca, o su logotipo, etc. • Aplicaciones sanitarias o de mejora de la salud. Como se extrae de Mano y cols. (2016), se podría hacer uso de las expresiones faciales y emociones para monitorizar pacientes o personas mayores que necesiten cuidados especiales. Se detectaría si la persona está sufriendo o simplemente si lleva mucho tiempo en la habitación y necesita de ayuda, si lloran los niños pequeños, etc. • Deporte. Haciendo un reconocimiento emocional antes de un partido, podría comprobarse los jugadores que están más motivados para jugar ese partido. “Se han estudiado las funciones ejecutivas tales como el razonamiento lógico, el control del comportamiento de anticipación a consecuencias y habilidades similares, creándose la creencia de que el comportamiento humano es perfectamente racional, en contra de lo que en realidad sucede. Se han descrito dos tipos de funciones ejecutivas: “Las metacognitivas y las emocionales, dependiendo de los distintos sistemas cerebrales que actúan. Las funciones metacognitivas parecen ser útiles en la solución de problemas externos y emocionalmente neutros, pero ante situaciones sociales e impulsos biológicos, la capacidad racional disminuye significativamente.” (Ardila, 2008, p.97). “Las pruebas actuales de las funciones ejecutivas que se consideraban metacognitivas, en su mayoría requiere de la función emocional”, por lo que se puede entender la importancia de la emoción en la función ejecutiva en general. Hoy en día se considera que la evaluación emocional es fundamental en los procesos de decisión (Ardila, 2008, p.92).” (Citado en González-Morales 2018) Estas son solo algunas de las infinitas aplicaciones que, desde el conocimiento de las emociones de las personas ante los diferentes estímulos y situaciones, se pueden realizar con la finalidad de mejorar la toma de decisiones y, por ende, de conseguir mayor eficiencia en las empresas y las organizaciones. Una vez visto la absoluta importancia del reconocimiento emocional para la mejora de la asignación de los recursos humanos, la mejora de la calidad de vida de las personas en los puestos de trabajo, la mejora de los productos, de la comunicación de las acciones de marketing en general, de la sanidad, etc., vamos a analizar cómo se puede llevar a cabo esta tan interesante pero a la vez difícil labor. 2 Estado del arte 2.1 Introducción El pilar fundamental de este trabajo son las emociones del ser humano. El ser humano se distingue del resto de animales por la completa capacidad que tiene para que sea conocido su estado anímico, ya sea mediante el lenguaje corporal, o lo que nos concierne a nosotros, mediante nuestra expresión facial. La pregunta que el lector se podría estar haciendo es la siguiente: ¿cómo establecemos unos parámetros para poder decir que alguien está triste, feliz o simplemente agobiado verbalizándolo? Es una realidad que, aún en contacto directo entre las personas, esto no es una ciencia fácil y mucho menos exacta, a veces es difícil reconocer el estado emocional que está teniendo una persona. El contacto directo nos ofrece mucha más información que la gestual, cómo puede ser el lenguaje corporal, la escritura o la voz. Este último caso, es un campo muy importante que se abre para el reconocimiento emocional. Según Lim, Jang y Lee (2016, p.1), reconocer emociones mediante la voz es un trabajo aún arduo, debido a las diferentes formas que tienen las personas de comunicarse y por la dificultad para elegir características óptimas para determinar la emoción adecuada. Este trabajo se centra en reconocer las emociones según las expresiones faciales de las personas, por lo que hay que ir creando la base teórica en la que se basa el mismo. Para eso vamos a ir desgranando de lo más global e intuitivo hasta lo más técnico. 2.2 Reconocimiento facial La herramienta que se está realizando en este trabajo, persigue determinar la emoción que las personas están sintiendo ante determinados estímulos, tareas, situaciones, etc. Para ello, se irá grabando un vídeo de la cara de las personas y lo primero que nuestro programa tendrá que detectar es la cara en cualquier fotograma. Para eso, existen ciertas técnicas, todas englobadas bajo el título inglés de Facial recognition. David Hubel y Torsten Wiesel demostraron que el ser humano tiene ciertas células nerviosas para analizar y codificar las imágenes. Según estos autores, se dedican a reconocer características puntuales de una escena, como puede ser líneas o bordes. Esta última característica es de suma importancia, puesto que muchos de los métodos de facial recognition hacen uso de esto. (Citado en Wagner, 2012, p.2) Kanade Takeo (1973) describió una de las primeras formas para poder automatizar el reconocimiento facial mediante la geometría. Para conseguir esto, se centró en marcar el lugar exacto de los puntos de más interés de la cara de un individuo, como puede ser la nariz, ojos u oídos. Con esta información, se declaraban ciertos feature vectors cuyas componentes expresaran valores como la distancia o los ángulos entre puntos. Años más tarde, se demostró que no era suficiente el análisis geométrico para la detección de rostros, por lo que se procedió al estudio de otras formas de reconocimiento. (Citado en Wagner, 2012, p.2) Uno de los trabajos más famosos en temas de reconocimiento facial fue llevado a cabo por Kohonen (1989). Aquí se introdujo la utilidad que tienen las redes neuronales para esta labor, usando computer face description para aproximar los eigenvectors (ahora conocidos como eigenfaces) de la matriz de autocorrelación de la cara. Otras investigaciones posteriores se centraron en redes neuronales y métodos de detección de bordes, pero la limitación residía a la hora de tener una extensa base de datos con localización desconocida y escala de la cara. (Citado en Asiedu, Mettle, y Nortey, 2014, p. 158) 3 4Capítulo 2. Estado del arte Kirby y Sirovich (1990) introdujeron el análisis de componentes principales (principal component analysis) para la detección facial. Este trabajo fue seguido en la obra de Turk y Pentland (1991), en la que se centraron en el uso de las eigenfaces. Con su trabajo, concluyeron que era mejor focalizar el reconocimiento facial a un conjunto de características en un pequeño conjunto de imágenes que de manera óptima se aproximaran al conjunto de imágenes conocidas. Esto lo hacía rápido y simple, ya que no tenía que centrarse en algo tan trivial cómo distancias entre puntos de interés. Además, esto permitía dar un falso positivo entre varias imágenes, cosa que nos podría interesar si necesitásemos celeridad, o si simplemente nuestro interés residiera en la precisión, nos bastaría con que nuestro sistema se pasara unos segundos analizando la imagen (como en el caso de una cámara de seguridad). Otra técnica que se presenta en Asiedu y Cols (2014, p.160), es la descomposición en valores singulares. Esta puede verse desde tres diferentes puntos de vista: 1. Método para transformar variables correlacionadas a un conjunto de no correlacionadas para observar las relaciones entre los datos a tratar. 2. Método para identificar y ordenar las dimensiones en las que los datos presentan la mayor variación. 3. Una vez hallado la mayor variación, es posible aproximar los datos originales con menos dimensiones. Existe otro método, que fue estudiado en Viola y Jones (2001): “Es un método de detección de objetos que se usa ampliamente en la detección de caras en imágenes y vídeo. El algoritmo se basa en la comparación entre las intensidades luminosas de regiones rectangulares de las imágenes denominadas Haar-like features las que calcula empleando una imagen integral. Este método, englobado dentro de los basados en características y en subgrupo de análisis de características, ha sido frecuentemente utilizado gracias a su rapidez y a los grandes resultados que proporciona en caras de frente. Debido al bajo coste computacional, este procedimiento, supuso una revolución en el campo de detección de rostros, permitiendo por primera vez la detección de caras en tiempo real en dispositivos de modestas prestaciones.” (Martínez Rodríguez y Soto Gómez, 2018, p.11) Como se explica en Kadir, Kamaruddin, Nasir, Safie, y Bakti (2014, pp.335-336), las features usadas por Viola y Jones se basan en las Haar wavelets de Haar (1910). Estas son señales cuadradas (con un intervalo alto y otro bajo), que en dos dimensiones son un par de rectángulos adyacentes, uno claro y el otro oscuro. Aún con esto, estas no son usadas para reconocimiento visual, sino que se utilizan otros rectángulos modificados llamados Haar-like features, mostrados en la Figura 1: Figura 1 Haar-like Features. Imagen obtenida de Lienhart y Maydt (2002, p.2). Aunque los Haar-like features permitan una gran rapidez computacional, traen consigo un inconveniente: falsos positivos. Como se sugiere en Sharifara, Rahim, y Anisi (2014, p.77), para mejorar esto se puede hacer uso de Neural networks. El esquema a seguir sería el de la Figura 2, dando lugar a un sistema más robusto que mejora las desventajas del Haar cascade classifier. 2.2 Reconocimiento facial 5 Figura 2 Combinación de Haar yNeural network. Imagen obtenida de Sharifara, Rahim, y Anisi (2014, p.77). En general, como se expone en Sharifara y cols. (2014, pp.74-75), existen cuatro métodos para abordar el problema de la detección facial enunciados en la Figura 3: Figura 3 Esquema métodos de reconocimiento facial. Imagen obtenida de Sharifara, Rahim, y Anisi (2014, p.74). 1. Feature-based: es el encargado de analizar las features del ser humano tales como color de piel, nariz, orejas... Se ha demostrado que esta primera es de especial utilidad a la hora de reconocimiento de caras entre objetos. En el artículo de Thakre y Agarkar (2020), se analiza el desempeño de la frente, cejas, parte baja del ojo y ambas mejillas para nuestro cometido. Al final se concluye que lo que mejor resultado da es una combinación de los clasificadores como se puede ver en la Figura 4. 2. Appearance-based: en este caso, se utilizan clasificadores como Haar-like. Además, este método está basado en el aprendizaje estadístico para los clasificadores. Un ejemplo del que se hace uso es el AdaBoost, se caracteriza por ser un clasificador en cascada donde primero hay clasificadores débiles, encargados de decidir si la imagen pasa o no el umbral establecido. En caso afirmativo, se procede a endurecer los clasificadores. Esto se puede esquematizar con el esquema planteado en la Figura 5. 6Capítulo 2. Estado del arte Figura 4 Desempeño de los diferentes clasificadores de expresión facial. Imagen obtenida de Thakre y Agarkar (2020, p.4). Figura 5 AdaBoost. Imagen obtenida de Cuimei y cols. (2017, p.484). 3. Knowledge-based: en esta ocasión, se establecen unas reglas para la detección facial como que hay dos orejas, una boca... Se extraen las features faciales y luego se reconocen basándose en las reglas preestablecidas. La problemática es crear las reglas para cualquier cara en cualquier ambiente. 4. Template-based: esta vez se busca comparar la imagen de entrada con un modelo ya hecho. La comparación se realiza en temas de intensidad de píxel. Un ejemplo de modelo es el de la Figura 6. Figura 6 Ejemplos de modelos faciales. Imagen obtenida de Sharifara, Rahim, y Anisi (2014, p.75). 2.3 Reconocimiento emocional 7 2.3 Reconocimiento emocional 2.3.1 Introducción Hasta este punto del trabajo, se ha realizado un buen recorrido por el amplio mundo de la detección de caras de seres humanos. Como se ha podido comprobar, aún con el gran poder computacional que tenemos a nuestro alcance, no es algo sencillo y cada método debe usarse según los requisitos o necesidades del trabajo que se esté realizando. Dicho esto, vamos a comenzar con el tema principal de este trabajo: el reconocimiento emocional. Ya tenemos la cara detectada, ahora sólo queda asociarle la emoción que más se ajuste a la expresión emocional que está presente. “Los sistemas automáticos de reconocimiento de emociones faciales se basan todos en un modelo que se dividen en etapas como las que aparecen representadas en la Figura 7. (Zapatero Olmedillo, 2016) Figura 7 Etapas reconocimiento emocional. Imagen obtenida de Martínez Rodríguez y Soto Gómez (2018, p.9). Primero la imagen es realzada para aumentar la efectividad en la detección del rostro, luego se detecta el rostro, seguidamente se extraen de ella las características más significativas, y, por último, el clasificador previamente entrenado, detecta la emoción en función de las particularidades de cada una. El clasificador se entrena a partir de un conjunto amplio de imágenes de las que se conoce qué emoción representa. Para ello se toma cada imagen y se realizan unos pasos similares a los descritos anteriormente: realce de la imagen, detección del rostro, extracción de rasgos y asociación de esta a la emoción representada.” ( Martínez Rodríguez y Soto Gómez, 2018, p. 9) 2.3.2 Redes neuronales El gran avance a la hora de tratar imágenes y en especial en el tema que nos concierne, FER (facial expression recognition), se produjo cuando se desarrollaron las redes neuronales. Estas son, en términos generales, una forma de cálculo que hace uso de las denominadas neuronas (como sus análogas en personas). Las neuronas se encargan de hacer una multiplicación entre el peso y la entrada de estas (aparte de un bias que se aplica, comúnmente igual a 1), aplicando una función de activación como Softmax, sigmoid o ReLU . h(x) = s(W x +b) Donde h sería la variable de salida producida por cada neurona, s la función de activación, W el peso, x la variable de entrada y bel bias. Una red, tal como se puede intuir, está compuesta por numerosas neuronas. Estas se dividen en capas, de las cuales se diferencian tres por sus diferentes funciones, aunque los cálculos que hagan sean similares. • Capa de entrada: esta será la destinada a recibir los valores de entrada, el vector x . Cada componente de este vector será una neurona única, siendo la dimensión de la primera capa de nuestra red igual a la dimensión de nuestro vector. • Capa oculta: aquí el número de capas es indeterminado, es decir, es decisión propia del creador de la red, así como el número de neuronas que constituya cada una de estas capas. No hay que olvidarse que aparte de la cuantía, hace falta determinar la función de activación de estas y su conexión entre ellas. • Capa de salida: es el último paso para la adquisición del resultado final de nuestra red. En el caso de un problema de clasificación, habría tantas neuronas como clases y estas darían su solución. 8Capítulo 2. Estado del arte Un método de aplicación, por ejemplo, sería el caso de un problema de regresión. Dado una nube de puntos, se hallaría la recta que más se ajuste a estos puntos para conseguir así un modelo que pueda predecir con nuevas entradas. Sin embargo, para el tema de tratamiento de imágenes, el uso de estas redes no es ideal cuando estas incrementan tanto el tamaño como la calidad. No fue hasta el descubrimiento de las redes neuronales convolucionales cuando se optimizo esta ardua tarea. 2.3.3 Redes neuronales convolucionales Una imagen, en términos de programación, es simplemente tres matrices de dos dimensiones apiladas si es de color, si es en escalas de grises es solo una matriz. Estas matrices tienen dos dimensiones (ancho,alto), cuyos valores van desde 0 a 255 como se puede observar en la Figura 8. Tal como se expresa en Pérez Estruch (2017, p.12), las redes convolucionales (CNN abreviado en inglés) son casi análogas a una red básica, lo único determinante es el uso de filtros, de un tamaño deseado, que se aplican a las matrices anteriormente mencionadas. Esto se haría buscando la similitud con los pesos de una típica red. Figura 8 Matrices de una imagen. Imagen obtenida de towardsdatascience.com. Como se comenta en Antona Cortés (2017, p.16), estas redes trabajan fragmentando y modelando la información. En el caso que nos ocupa, que es la clasificación de emociones, la red se divide en dos etapas: una primera en la que, suministrando imágenes a la red, se empieza la detección de bordes y características para diferenciar una clase de otra. La segunda etapa se corresponde a la propia de clasificación, y aquí se sigue el modelo común de las redes neuronales, capas enteramente conectadas que terminan en una capa de salida formada por tantas neuronas como clases tenga nuestro modelo. Un gran problema se ataja dividiéndolo en problemas más pequeños. Figura 9 Esquema redes convolucionales. Imagen obtenida de towardsdatascience.com. 2.3 Reconocimiento emocional 9 Para terminar esta revisión en términos generales de qué es una red convolucional, nos queda comentar las nuevas capas que vemos en la Figura 9 y que se engloban dentro de la primera etapa ya mencionada, la de aprender características. • Capa convolucional: lo que consigue es aplicar a nuestra imagen una serie de filtros de tamaño a elegir. El comportamiento de estos filtros, o kernels en la literatura inglesa, se muestra en la Figura 10. Estos filtros son la clave de las redes convolucionales, puesto que son estos los destinados a detectar características y patrones en nuestras imágenes. Como ya se hacía en las redes neuronales, se le aplica la función de activación deseada al resultado. Figura 10 Filtro de tamaño 2x2. Imagen obtenida de Aljaafari (2018, p.33). • Capa de pooling: siempre aparecen después de las capas convolucionales, tomando como entrada las salidas de estas, y se le aplica el método que se prefiera. Lo común es aplicar el max pooling o el average pooling con un tamaño otra vez escogido. En el caso de max pooling, se coge el valor máximo del píxel en esa región, mientras que en average pooling se hace una simple media (esto puede ser observado en la Figura 11). La finalidad de este proceso es reducir las dimensiones de nuestras matrices para aligerar la carga computacional y decrementar el número de parámetros entrenables de nuestra red. Figura 11 Tipos de pooling. Imagen obtenida de towardsdatascience.com. 2.3.4 Base de datos Una parte crucial para nuestro problema es determinar con que información vamos a alimentar a la red para crear el modelo: las bases de datos. En términos de FER (facial expression recognition), los avances en esta cuestión han sido el impulso de esta rama del conocimiento. Dentro de las numerosas bases de datos que existen, y que se resumen en la Figura 12, una muy usada y extendida en el mundo del reconocimiento emocional, ha sido FER-2013. Fue introducida en el concurso de Kaggle:Challenges in Representation Learning: Facial Expression Recognition Challenge, creada por Pierre Luc Carrier y Aaron Courville. Las fotos se dividen en dos categorías: el conjunto de entrenamiento formado por 28.709 ejemplos y el de prueba, 16 Capítulo 4. Materiales y métodos Tal y como se ha expuesto en el capítulo dos, el pilar en el que se sustenta todo el trabajo es el entrenamiento de una red neuronal y la detección de caras para el reconocimiento emocional. Con este objetivo en mente, los paquetes fundamentales van a estar orientados a esta labor. Para ello, vamos a necesitar paquetes que sean capaces de poder crear estas redes, paquetes que puedan tratar los datos que entran y salen de estas y poder visualizar estos resultados. Una vez realizado esto, sería el turno de reconocer una cara y poder asignarle una puntuación a la emoción que expresa. Todas las diferentes bibliotecas, librerías y software que se han utilizado se referencian en la Tabla 2. Tabla 2 Paquetes utilizados. Tabla de elaboración propia. Paquete Descripción Referencia TensorFlow Biblioteca desarrollada por Google que permite la construcción y el entrenamiento de redes neuronales. (Abadi y cols., 2015) Keras API de alto nivel que se construye por encima de TensorFlow, siendo su utilización más liviana que este último. (Chollet y cols., 2015) Scikit-learn Biblioteca que contiene diversos algoritmos de regresión y clasificación, además de herramientas para el tratamiento y análisis de información. (Pedregosa y cols., 2011) NumPy Paquete fundamental para la computación científica en Python gracias a su soporte para vectores y matrices. (Oliphant, 2006) Matplotlib Librería para crear gráficos estáticos, animados e interactivos. (Hunter, 2007) Seaborn Librería para la representación de datos basada en Matplotlib. (Waskom y cols., 2020) Pandas Analizador y herramienta para manipular información en Python. ( pandas development team, 2020) OpenCV Biblioteca de visión artificial. (Bradski, 2000) Para realizar las presentaciones de imágenes y otros experimentos, se usará el programa Ogama, un programa de código abierto que tiene multitud de funcionalidades para realizar cualquier tipo de experimento, además de proporcionar la opción de usar un hardware de seguimiento ocular, para conocer hacia donde se dirige la mirada de los participantes en cada momento. 5 Comprobación mediante aplicación 5.1 Introducción En este capítulo se elaborará la aplicación para el reconocimiento emocional. Una vez establecidos los materiales que vamos a necesitar y los métodos requeridos para llevar a cabo esta labor, nuestro siguiente paso es organizar cómo realizarlo. A lo largo de este capítulo, desarrollaremos las bases ya mencionadas en el capítulo tres, la red neuronal y la presentación de las valoraciones de las emociones de nuestros sujetos, profundizando en ellas hasta conseguir el objetivo final. 5.2 Entrenamiento de la Red Neuronal El entrenamiento de la red neuronal es un proceso vital para nuestro propósito. Será la encargada de conseguir la mayor exactitud posible a la hora de poder reconocer las emociones en el rostro de una persona. Hablando en términos generales, este entrenamiento se puede dividir en tres partes: la utilización de las bases de datos, la elección del tipo de red neuronal y el resultado final que serían nuestras predicciones. El patrón que seguiremos se refleja en la Figura 15. 5.2.1 Bases de datos Para poder entrenar la red, es de vital importancia comenzar estudiando las bases de datos. Cabe destacar que en el estado del arte ya se ha hecho un breve inciso en esta materia, repasando cuales son las más importantes en los últimos años y las características que las hacen tan útiles. Con esto a la vista, en este trabajo se van a hacer uso de tres bases: FER-2013, la cual ha sido la base de muchos trabajos en esta área, RAF-DB y CK+. FER-2013 Esta famosa base de datos se presentó en el concurso de Kaggle:Challenges in Representation Learning: Facial Expression Recognition Challenge. Fue creada por Pierre Luc Carrier and Aaron Courville. Las imágenes son en blanco y negro, de un tamaño 48x48 y están divididas en dos categorías: el conjunto de entrenamiento formado por 28.709 ejemplos y el de prueba, con 7.178. Estas imágenes se etiquetaron con las siguientes emociones: Angry, Disgust, Fear, Happy, Sad, Surprise y Neutral. En la Figura 16, podemos observar algunas de las imágenes contenidas en esta base de datos junto al mapa de calor de sus píxeles, ya que un píxel no es más que un valor comprendido entre 0 y 255 (si es RGB la foto, cada píxel tendría tres canales, uno por cada color) Años más tarde, se hizo un reajuste en las emociones etiquetadas a las fotos de FER-2013, ya que muchas de ellas no se correspondían con la realidad. Este trabajo se llamó FER+. Cada imagen se asignó con ocho emociones (una emoción más, contempt), aparte de NF (not a face) y unknown. Para realizar esto, diez personas fueron las que iban eligiendo una a una la nueva emoción que debía corresponderle a la foto. Esto daría lugar a una distribución de probabilidades, siendo 10 (es decir, todos los evaluadores coinciden en la misma emoción) el valor máximo que un único sentimiento puede tener. Son, por tanto, estas las etiquetas que usaremos a lo largo de nuestro proyecto y no las originarias de FER-2013. Como se ha dicho, cada etiqueta vendrá comprendida entre el cero y el diez. Esto se refleja en la Tabla 3, en el que podemos observar el método de FER+ para asignar los valores a cada fotografía. La columna 17 18 Capítulo 5. Comprobación mediante aplicación Figura 15 Esquema de nuestra red neuronal. Imagen de elaboración propia. Sentimiento comprende las siguientes emociones: neutral, felicidad, sorpresa, tristeza, enfado, asco, miedo, desprecio, desconocido y no cara. Tabla 3 Etiquetas de FER+. Tabla de elaboración propia. Uso Imagen Sentimiento Entrenamiento fer0000000 4 0 0 1 3 2 0 0 0 0 Entrenamiento fer0000001 6 0 1 1 0 0 0 0 2 0 Entrenamiento fer0000002 5 0 0 3 1 0 0 0 1 0 Entrenamiento fer0000003 4 0 0 4 1 0 0 0 1 0 Una vez visto la base con la que vamos a construir nuestro modelo, se debe ver cómo vamos a trabajar con esta. Sabiendo que la elección de una emoción es independiente para cada persona en FER+, puede darse dos casuísticas en una fotografía, que se describen gráficamente mediante la Figura 17 y de manera escrita en las siguientes líneas: 1. Que el máximo de votaciones para el sentimiento mayoritario sea inferior a un límite impuesto por nosotros. Esto se ha escogido por varias razones. • Si una foto tiene las emociones muy dispersas, no es una buena manera de alimentar a nuestra red neuronal ya que no sería información franca. • Puede que gran parte de las personas la hayan catalogado como no cara o desconocido, dando muy poca probabilidad a que sea un sentimiento real. 5.2 Entrenamiento de la Red Neuronal 19 Figura 16 Ejemplos de FER-2013: enfado, felicidad y sorpresa. Imagen de elaboración propia. 2. Que dos sentimientos sean los máximos. Ante esta casuística, se ha decidido eliminar la imagen de la base de datos para no dar pie a ambigüedades a la hora de interpretar las emociones. Una foto debe tener un sentimiento claro, si no, es inútil para nuestro estudio. Con todo este proceso descrito, lo que conseguimos es cribar imágenes que no aporten a nuestra red neuronal y etiquetar a las que sí nos sirven con su emoción predilecta. El número de fotografías totales se puede ver reflejado en la Figura 18. El resultado, en términos de programación, va a ser un vector one-hot encode, es decir, un vector con tantas componentes como emociones tenga, siendo todas 0 menos la posición que corresponda al sentimiento. En este trabajo se han valorado siete emociones: neutro, felicidad, sorpresa, tristeza, enfado, repulsión y miedo. Para ilustrar esto, si tenemos en cuenta una foto de felicidad, el vector asociado sería de la siguiente forma: [0 1 0 0 0 0 0]. RAF-DB Con esta base de datos, vamos a nutrir a nuestra red neuronal con 15.339 imágenes más. La categorización de las emociones sigue las mismas pautas que en el caso anterior, siendo siete el número total de emociones. Tal y como se define en la web, esta base de datos se caracteriza por ser imágenes descargadas de Internet y etiquetadas de manera independiente por 40 personas. Aparte, lo que le da un gran valor a nuestro propósito, es la diversidad en las imágenes tanto en etnia, como en edades, géneros, situaciones de luz..., que se pueden observar en los ejemplos de la Figura 19, cuya distribución en números se puede visualizar en la Figura 20. CK+ En esta ocasión, nos encontramos con una base de datos más escueta: un total de 927 imágenes divididas en felicidad, sorpresa, tristeza, enfado, repugnancia e ira. Lo más destacable es que las fotos son de un número 20 Capítulo 5. Comprobación mediante aplicación Figura 17 Diagrama de flujo para FER+. Imagen de elaboración propia. Figura 18 Distribución emociones en FER-2013. Imagen de elaboración propia. fijo de sujetos haciendo las diferentes poses requeridas para los sentimientos correspondientes. Se puede visualizar ejemplos de esta base de datos en la Figura 21 y su distribución en la Figura 22. 5.2 Entrenamiento de la Red Neuronal 21 Figura 19 Ejemplos de RAF-DB: miedo, felicidad y tristeza. Imagen de elaboración propia. Figura 20 Distribución emociones en RAF-DB. Imagen de elaboración propia. 22 Capítulo 5. Comprobación mediante aplicación Figura 21 Ejemplos de CK+: felicidad, sorpresa y tristeza. Imagen de elaboración propia. Figura 22 Distribución emociones en CK+. Imagen de elaboración propia. 5.3 Aplicación y visualización de los resultados de la Red Neuronal 23 5.2.2 Red Neuronal CNN Este es el centro neurálgico del entrenamiento de la red neuronal. Una vez establecido cuáles son las bases de datos que vamos a utilizar como entrada a nuestro sistema, hay que definir el núcleo encargado de hallar las predicciones para el problema que nos hemos planteado: reconocer emociones en el rostro de una persona. Las herramientas que toman vital importancia aquí son Python y la librería de Tensorflow: nos permitirán de manera intuitiva desarrollar una red completa que pueda ser entrenada a nuestro gusto. La red a desarrollar va a ser una CNN: Convolutional neural network. Se ha seleccionado esta debido a la naturaleza de nuestro problema. Vamos a trabajar constantemente con imágenes, por lo que necesitamos analizarlas lo más al detalle posible. Esto en términos de tipo de red neuronal se traduce en seleccionar una CNN porque nos permite tener capas en la red que trabajen con matrices bidimensionales. Cabe recordar que las imágenes en informática no son otra cosa que matrices bidimensionales con un cierto valor en cada una de sus componentes, siendo el máximo tres matrices por cada fotografía, representando cada una a cada uno de los tres colores primarios RGB. La forma de trabajar de este tipo de red neuronal se puede leer en el capítulo dedicado al Estado del Arte, donde se profundiza en las técnicas que se llevan a cabo para tratar con matrices. Nuestra red, por tanto, se va a constituir de una serie de partes, que se verán representadas y expuestos cada elemento de estas en las Figuras 25, 26 y 27: • Capa de entrada: esta recibirá las imágenes en forma de matriz para que vayan siendo procesadas a lo largo de toda la red. • Capa oculta: en esta parte nos encontraremos el grueso de la CNN. Aquí nos encontraremos diversas capas, como pueden ser convolucionales o pooling. • Capa de salida: es el último paso antes de obtener nuestro resultado. Con toda la información tratada y procesada, ofrece el resultado que la red neuronal ha estimado como correcta. Con toda esta estructura, y haciendo un entrenamiento con toda la información de las bases de datos, conseguimos un sistema que nos estime la emoción de una fotografía dada. 5.3 Aplicación y visualización de los resultados de la Red Neuronal Una vez obtenido el modelo en sí, ya contamos con la herramienta que nos permitirá definir la emoción primaria en una fotografía. Por tanto, el siguiente paso lógico será el de hacer uso de ella. Para esto, crearemos los experimentos oportunos que se adapten a las necesidades y los problemas que se deseen resolver, y mientras este se esté realizando a un sujeto, lo grabaremos en vídeo para, en un posterior procesado, determinar las emociones que el individuo estaba sintiendo en cada momento del experimento. Para no perder la visión general, en la Figura 23 se ilustra cada etapa del trabajo con sus finalidades más importantes. Teniendo en mente de dónde venimos y hacia dónde vamos, vamos a entrar más en detalle con los pasos que nos faltan, que sería el de la presentación, la grabación del sujeto y la obtención de resultados. La presentación, como ya se determinó en anteriores capítulos, se realizará con el programa de Ogama. Con él se pueden plantear diversos tipos de experimentos, en nuestro caso haremos una presentación basada en diferentes imágenes para ver la reacción de la persona que participa en el experimento y que será filmada por una cámara durante el proceso de experimentación. Por tanto, como se puede suponer, necesitamos grabar en vídeo al sujeto desde el comienzo de la presentación hasta el final de esta. Esto se hará gracias a un trigger de inicio y uno de final, que serán enviados por Ogama con el propósito de sincronizar el programa presentador de los experimentos y el de grabación de las expresiones faciales. Con esto, podríamos dar por realizada la etapa de grabar en tiempo real, puesto que lo único que necesitábamos mientras Ogama estuviera funcionando era obtener un vídeo de la persona. Posteriormente, habría que realizar la parte del post-procesado, en la que obtendríamos los resultados buscados. Para tener una idea clara de todo lo que se ha descrito en este párrafo, se recomienda visualizar la Figura 24. Los resultados serán de diferente índole dependiendo de las necesidades que quieran cubrir y por tanto del tipo de experimento que se realice. • Vídeo con las emociones plasmadas: Consigue, utilizando de base el vídeo de la grabación del sujeto a lo largo del experimento, añadir los porcentajes de todas las emociones y destacar la emoción principal en cada momento dado, con una cierta periodicidad. • Elaboración de gráficas: con esto se conseguirá mostrar de manera intuitiva los resultados de los sentimientos a través de una serie de gráficas. 24 Capítulo 5. Comprobación mediante aplicación Figura 23 Diagrama general del trabajo. Imagen de elaboración propia. Figura 24 Esquema para la aplicación del trabajo. Imagen de elaboración propia. • Tabla con los porcentajes de las emociones: para un posterior estudio estadístico, es necesario la elaboración de una tabla que registre con la periodicidad estipulada la evaluación de cada una de las emociones del sujeto en cada instante del experimento. Por tanto, se compondrá de tantas columnas como emociones haya, aparte de una columna final que representará cuando hay un cambio de imagen en la presentación. Todo esto, con el programa oportuno de estadística, arrojará un gran valor al estudio. 5.3 Aplicación y visualización de los resultados de la Red Neuronal 25 Con todo lo que hemos expuesto en este capítulo, ya tendríamos cerrado lo que sería el contenido del trabajo. Sólo queda dar paso al capítulo de Resultados donde se expondrá todo lo obtenido. 32 Capítulo 6. Resultados Figura 32 Gráfica de la precisión de la red neuronal. Imagen de elaboración propia. Figura 33 Gráfica de la función de pérdidas de la red neuronal. Imagen de elaboración propia. 6.2 Aplicación al Neuromarketing y Neuromanagement Es ahora cuando vamos a aplicar todo lo obtenido anteriormente. Para realizar esto, como ya se ha comentado, se va a proponer un estudio de neuromarketing aplicado a la asignación de recursos, o como se va comenzando a denominar, "neuromanagement", en el que se analizarán los resultados de un supuesto caso ficticio que podría presentarse con bastante facilidad en la realidad. 6.2.1 Experimento La idea es exponer alguna de las muchas posibilidades de uso para las empresas y las organizaciones que posee el funcionamiento de la herramienta que en este proyecto se ha desarrollado, con la que es posible la detección de las microexpresiones faciales que las personas presentan en su cara al sentir las diferentes emociones, y que incluso tiene la capacidad de dar una puntuación a cada una de las emociones que las personas están sintiendo en cada momento estimándolas mediante detección de las microexpresiones. 6.2 Aplicación al Neuromarketing y Neuromanagement 33 La herramienta se puede usar cuando las personas están siendo sometidas a diferentes situaciones, actividades laborales, ante la presencia de personas, al leer o conocer comunicados, ante estímulos de marketing, etc. Esto la hace una herramienta idónea para investigar en el campo del neuromanagement y el neuromarketing, siendo fundamental en la nueva era que vivimos, para la toma de decisiones empresariales y organizacionales. Se ha propuesto un ejemplo muy fácil y simple de entre las posibilidades de esta herramienta en el ámbito de la dirección de empresas, la organización industrial, el marketing, etc. La propuesta ficticia es la siguiente: A) Existen tres ingenieros que trabajan para la empresa Microsoft, los tres poseen unas competencias similares, cuyos nombres son Jaime, Julián y Antonio. Las competencias no deberían influir en la asignación de una u otra persona a cada uno de los puestos. B) La empresa Microsoft debe asignar estas tres personas a tres actividades diferentes, el neuromarketing, la programación y el marketing assistant. En principio las competencias evaluadas son similares y se formará internamente a cada uno de los empleados para que puedan desempeñar con total competencia cada uno de los tres puestos. El centro de trabajo para las tres actividades es el mismo, por lo que no debería influir en la asignación de una u otra persona a cada uno de los puestos. C) La empresa Microsoft desea que la persona que se haga cargo de cada uno de los puestos sea la que más alegría y sorpresa; y menos tristeza y enfado sienta cuando se le comunique que va a ocupar ese puesto en concreto. Por lo que es necesario estudiar las emociones que sienten cada uno de los empleados ante la posibilidad de ocupar cada uno de los puestos. Se trata de un problema de asignación muy fácil, existen tres recursos que se deben destinar a la realización de tres actividades, donde dos de las variables poseen las mismas puntuaciones para todos los empleadosrecursos para todas las actividades. Por lo que tan solo queda una variable en la que podrán existir valores diferentes, y con ellos se trabajará para realizar la mejor asignación posible, que es la variable emocional. Para estudiarla, se ha realizado un experimento ficticio con la herramienta que se ha generado en este proyecto, presentándole a cada uno de los supuestos empleados una imagen del CEO de la empresa en la que supuestamente trabajan, ofreciéndole a cada uno los tres posibles puestos. Cuando los tres empleados lean la oferta de cada uno de los puestos, automáticamente e inconscientemente generarán una emoción y la expresión facial de la misma. Estos serán los datos que recogerá el instrumento y estimará las emociones vividas, y con ellas evaluadas, se decidirá la persona que más se alegra de ser seleccionada para realizar cada una de las actividades, ya que una persona contenta es una persona motivada o cerca de estarlo, y una persona motivada disfrutará más con su trabajo y se esmerará más en su desempeño. Con todo esto, conseguiremos un empleado más feliz y comprometido con su actividad, que debe redundar en un mejor desempeño. Un ejemplo de las imágenes presentadas durante el experimento es la de la Figura 34. 6.2.2 Diseño del experimento Para estudiar las emociones suscitadas en cada uno de los tres candidatos al serles ofrecidos cada uno de los tres puestos de trabajo, se ha tomado una imagen del CEO de la empresa en la que se puede apreciar el logotipo de la misma detrás de él (con el deseo de que las imágenes en sí no influyeran en las posibles emociones suscitadas, se ha usado siempre la misma imagen de base). Posteriormente, a la imagen de base se le ha añadido la frase "Te ofrezco un puesto para...(cada una de las tres opciones a cubrir) ¿Aceptas? Los puestos ofertados han sido los siguientes: •Puesto 1: Investigación en neuromanagement. •Puesto 2: Programador. •Puesto 3: Marketing Assistant y realizar un MBA. Estas imágenes se les ha presentado mediante la herramienta realizada en este trabajo, de tal manera que inicialmente se le han presentado las instrucciones durante cinco segundos, posteriormente una imagen de color blanca para neutralizar los sentimientos durante 5 segundos y posteriormente, se han ido alternando cada una de las imágenes que contenían las frases que ofertaban los puestos con imágenes blancas neutras, 34 Capítulo 6. Resultados Figura 34 Ejemplo de la presentación del experimento. Imagen obtenida de Fayer wayer y modificada para el estudio. cada una de ellas durante cinco segundos. Mientras, se ha estado grabando las caras de las personas que eran sometidas a los diferentes estímulos. Estos vídeos son los que se han sometido al algoritmo de reconocimiento emocional. 6.2.3 Resultados del experimento Una vez realizado el experimento a los sujetos, ya tendríamos la grabación con sus caras para poder trabajar con ellas. Por cuestiones de privacidad, se va a mostrar la imagen del autor de este trabajo, para que se pueda ver la forma en la que se muestran los resultados en el vídeo. En un margen, se visualizarán las puntuaciones de las emociones detectadas en porcentajes. En el marco inferior, se reflejará la emoción predominante en ese momento y sobre la cara del sujeto se mostrará un rectángulo que la delimita. Para más claridad, todo esto se puede observar en la Figura 35. Figura 35 Ejemplo de las puntuaciones en el vídeo grabado. Imagen de elaboración propia. Como ya se indicó, se analizaron los resultados de tres sujetos diferentes: Jaime, Julián y Antonio. Con el fin 6.2 Aplicación al Neuromarketing y Neuromanagement 35 aclarar aún más la estructura del experimento, este contó con siete presentaciones de imágenes, de las cuales, la imagen 3, 5 y 7 corresponderán a los puestos ofertados 1, 2 y 3 respectivamente. El resto correspondían a las instrucciones y a las imágenes para neutralizar las emociones. Para estimar la predisposición de una persona para un puesto, se va a seguir esta fórmula que computará las puntuaciones de las emociones en cada intervalo de imagen: Resultante =Felicidad +Sorpresa −Tristeza −En f ado −Repulsi ´on −Miedo Resultados de Jaime Los resultados de Jaime indicaron una clara predisposición para el puesto 3 seguido del puesto 1. Para el restante, se puede destacar que no es un trabajo que le gustaría hacer. Pasemos a analizar cómo se han llegado a estas conclusiones. Para esto, vamos a observar los resultados de las medias de las puntuaciones en cada imagen con la Tabla 4. Tabla 4 Tabla de las medias de las puntuaciones de Jaime. Tabla de elaboración propia. Neutral Felicidad Sorpresa Tristeza Enfado Repulsión Miedo Imagen 93,943 0,481927 2,306735 2,083219 0,439733 0,027469 0,717919 1 94,93821 0,662773 1,95206 1,304082 0,450462 0,02279 0,669625 2 63,39558 34,71381 0,669442 0,74405 0,282717 0,035983 0,158417 3 88,52211 10,00814 0,671668 0,464102 0,239601 0,025515 0,06887 4 88,20197 0,718288 0,684568 1,11132 8,493117 0,639934 0,150805 5 97,90459 0,568387 0,355635 0,755244 0,272383 0,026524 0,117237 6 43,7213 55,19459 0,251602 0,44861 0,247086 0,05009 0,086719 7 Se puede observar que en la imagen 3 y en la imagen 7 la puntuación de felicidad sube destacablemente siendo crucial en ambas imágenes. Sin embargo, en la imagen restante la puntuación de enfado es el factor diferencial. Es esta la que marcará, con la ayuda de los demás, la clara negativa del sujeto frente al puesto 2. La resultante, por tanto, se puede calcular como se estableció en anteriores líneas y ser reflejada en la Tabla 5. Tabla 5 Resultante de las puntuaciones de las emociones por puesto de Jaime. Tabla de elaboración propia. Puesto Resultante 1 34,16208355 2 -8,992319104 3 54,61368894 Para poder observar en detalle el progreso que han tenido las puntuaciones emocionales en cada puesto ofertado, se va a hacer uso de las Figuras 36, 37 y 38. En estas Figuras, se reflejará mediante el uso de gráficas temporales, gráficas de tipo tarta y gráficas de tipo barra la puntuación o el porcentaje de aparición que ha tenido cada sentimiento en el intervalo dado. Una vez analizado todo, podemos estipular con porcentajes, el grado de predisposición que tiene Jaime para cada trabajo. Podemos sacar en conclusión que, para los puestos 1 y 3 estaría feliz trabajando, mientras que en el puesto 2, el de programador, no estaría cómodo. Esto se refleja en la Figura 39. 36 Capítulo 6. Resultados Figura 36 Gráficas para el puesto 1 de Jaime. Imagen de elaboración propia. Figura 37 Gráficas para el puesto 2 de Jaime. Imagen de elaboración propia. 6.2 Aplicación al Neuromarketing y Neuromanagement 37 Figura 38 Gráficas para el puesto 3 de Jaime. Imagen de elaboración propia. Figura 39 Predisposición de Jaime ante los puestos ofertados. Imagen de elaboración propia. Resultados de Julián Los resultados de Julián indicaron una cierta predisposición para todos los puestos ofertados, aunque uno destacó especialmente, siendo este el puesto 2. Vamos a realizar un proceso análogo al que hicimos con Jaime, observaremos los resultados numéricos y finalmente pasaremos a los gráficos. Los resultados de las medias de las puntuaciones en cada imagen se muestran en la Tabla 6. Con los datos de la Tabla 6 y los valores resultantes para cada intervalo de la Tabla 7, podemos destacar 38 Capítulo 6. Resultados Tabla 6 Tabla de las medias de las puntuaciones de Julián. Tabla de elaboración propia. Neutral Felicidad Sorpresa Tristeza Enfado Repulsión Miedo Imagen 32,94298 50,04605 7,119586 1,105558 6,06321 1,024656 1,697959 1 31,48428 50,97873 10,28684 1,052601 2,630413 0,471702 3,095422 2 45,10739 35,85161 8,538528 2,212698 4,376021 1,863388 2,050361 3 41,2739 44,54064 7,064863 1,447021 2,348909 1,323871 2,000798 4 23,98504 64,72547 5,07087 1,147892 2,770108 0,861988 1,438629 5 35,09178 49,64445 6,689487 1,350475 3,196361 1,413173 2,614281 6 31,91586 49,60821 4,368978 2,754106 6,363173 2,507851 2,481824 7 que el sujeto ha estado con un cierto nivel de felicidad todo el experimento, ya que los valores de neutral se mantienen bajos durante todo el tiempo. Aun así, se puede observar que es en el puesto 2 cuando muestra la mayor felicidad y, por tanto, la mejor actitud hacia este trabajo. Tabla 7 Resultante de las puntuaciones de las emociones por puesto de Julián. Tabla de elaboración propia. Puesto Resultante 1 33,88767064 2 63,57772705 3 39,87023357 Para entrar más en detalle, vamos a dar paso a las gráficas de cada intervalo que nos permiten tener una visión más global e intuitiva del comportamiento de nuestro sujeto durante este tiempo. Las Figuras resultantes son la 40, 41 y 42. Figura 40 Gráficas para el puesto 1 de Julián. Imagen de elaboración propia. 6.2 Aplicación al Neuromarketing y Neuromanagement 39 Figura 41 Gráficas para el puesto 2 de Julián. Imagen de elaboración propia. Figura 42 Gráficas para el puesto 3 de Julián. Imagen de elaboración propia. 40 Capítulo 6. Resultados Finalmente, vamos a observar de manera global la predisposición de la persona para cada trabajo. Como se observa en la Figura 43, Julián está interesado en los tres puestos, pero el puesto 2 destaca sobre los demás. Figura 43 Predisposición de Julián ante los puestos ofertados. Imagen de elaboración propia. Resultados de Antonio Los resultados de Antonio reflejan una absoluta disposición para un trabajo específico: para el del puesto 1, el de neuromanagement. Los demás, presentan una predisposición negativa. Observemos los datos extraídos del experimento de Antonio con la Tabla 8 y los valores resultantes para cada puesto con la Tabla 9. Tabla 8 Tabla de las medias de las puntuaciones de Antonio. Tabla de elaboración propia. Neutral Felicidad Sorpresa Tristeza Enfado Repulsión Miedo Imagen 94,74957 0,037699 0,024914 5,118929 0,040524 0,017201 0,011165 1 94,79311 0,026975 0,013041 5,118852 0,029862 0,010679 0,007484 2 38,94138 58,31858 0,009078 2,688761 0,017504 0,019154 0,005544 3 91,21157 0,505988 0,005912 8,236297 0,013923 0,020487 0,005823 4 91,75113 0,053445 0,006929 8,154845 0,014748 0,011595 0,007312 5 94,84735 0,053548 0,010249 5,060416 0,013819 0,00825 0,006373 6 96,22943 0,036312 0,005947 3,700493 0,015638 0,00788 0,004298 7 Tabla 9 Resultante de las puntuaciones de las emociones por puesto de Antonio. Tabla de elaboración propia. Puesto Resultante 1 55,59669243 2 -8,128125816 3 -3,686050201 Es el turno de las gráficas, que se verán en las Figuras 44, 45 y 46. De manera visual se puede analizar la clara preferencia por el puesto 1 ya que en los demás prevalece la neutralidad mientras que en este la felicidad ocupa la mayor parte del intervalo. Para terminar, en la Figura 47 se observa la total predisposición que tiene Antonio al puesto 1, mientras que los demás se sitúan en valores negativos, por lo que podemos sacar en conclusión que no sería de su agrado trabajar en estos puestos. 6.2 Aplicación al Neuromarketing y Neuromanagement 41 Figura 44 Gráficas para el puesto 1 de Antonio. Imagen de elaboración propia. Figura 45 Gráficas para el puesto 2 de Antonio. Imagen de elaboración propia. 48 Índice de Figuras 31 Matriz de confusión en tanto por uno para cinco emociones. Imagen de elaboración propia 31 32 Gráfica de la precisión de la red neuronal. Imagen de elaboración propia 32 33 Gráfica de la función de pérdidas de la red neuronal. Imagen de elaboración propia 32 34 Ejemplo de la presentación del experimento. Imagen obtenida de Fayer wayer y modificada para el estudio 34 35 Ejemplo de las puntuaciones en el vídeo grabado. Imagen de elaboración propia 34 36 Gráficas para el puesto 1 de Jaime. Imagen de elaboración propia 36 37 Gráficas para el puesto 2 de Jaime. Imagen de elaboración propia 36 38 Gráficas para el puesto 3 de Jaime. Imagen de elaboración propia 37 39 Predisposición de Jaime ante los puestos ofertados. Imagen de elaboración propia 37 40 Gráficas para el puesto 1 de Julián. Imagen de elaboración propia 38 41 Gráficas para el puesto 2 de Julián. Imagen de elaboración propia 39 42 Gráficas para el puesto 3 de Julián. Imagen de elaboración propia 39 43 Predisposición de Julián ante los puestos ofertados. Imagen de elaboración propia 40 44 Gráficas para el puesto 1 de Antonio. Imagen de elaboración propia 41 45 Gráficas para el puesto 2 de Antonio. Imagen de elaboración propia 41 46 Gráficas para el puesto 3 de Antonio. Imagen de elaboración propia 42 47 Predisposición de Antonio ante los puestos ofertados. Imagen de elaboración propia 42 Índice de Tablas 1 Artículos usando diferentes bases de datos. Tabla de elaboración propia 10 2 Paquetes utilizados. Tabla de elaboración propia 16 3 Etiquetas de FER+. Tabla de elaboración propia 18 4 Tabla de las medias de las puntuaciones de Jaime. Tabla de elaboración propia 35 5 Resultante de las puntuaciones de las emociones por puesto de Jaime. Tabla de elaboración propia 35 6 Tabla de las medias de las puntuaciones de Julián. Tabla de elaboración propia 38 7 Resultante de las puntuaciones de las emociones por puesto de Julián. Tabla de elaboración propia 38 8 Tabla de las medias de las puntuaciones de Antonio. Tabla de elaboración propia 40 9 Resultante de las puntuaciones de las emociones por puesto de Antonio. Tabla de elaboración propia 40 49 Referencias Abadi, M., Agarwal, A., Barham, P., Brevdo, E., Chen, Z., Citro, C., ... Zheng, X. (2015). TensorFlow: Large-scale machine learning on heterogeneous systems. Descargado de http://tensorflow.org/ (Software available from tensorflow.org) Ahmed, T. U., Hossain, S., Hossain, M. S., Ul Islam, R., y Andersson, K. (2019). Facial expression recognition using convolutional neural network with data augmentation. En 2019 joint 8th international conference on informatics, electronics & vision (iciev) and 2019 3rd international conference on imaging, vision & pattern recognition (icivpr) (pp. 336–341). Aljaafari, N. (2018). Ichthyoplankton classification tool using generative adversarial networks and transfer learning (Tesis Doctoral no publicada). Antona Cortés, C. (2017). Herramientas modernas en redes neuronales: la librería keras (B.S. thesis). Arriaga, O., Valdenegro-Toro, M., y Plöger, P. (2017). Real-time convolutional neural networks for emotion and gender classification. arXiv preprint arXiv:1710.07557. Asiedu, L., Mettle, F. O., y Nortey, E. N. (2014). Recognition of facial expressions using principal component analysis and singular value decomposition. International Journal of Statistics and Systems,9(2), 157–172. Barsoum, E., Zhang, C., Canton Ferrer, C., y Zhang, Z. (2016). Training deep networks for facial expression recognition with crowd-sourced label distribution. En Acm international conference on multimodal interaction (icmi). Borghini, G., Astolfi, L., Vecchiato, G., Mattia, D., y Babiloni, F. (2014). Measuring neurophysiological signals in aircraft pilots and car drivers for the assessment of mental workload, fatigue and drowsiness. Neuroscience & Biobehavioral Reviews,44, 58–75. Bradski, G. (2000). The OpenCV Library. Dr. Dobb’s Journal of Software Tools. Cao, T., y Li, M. (2019). Facial expression recognition algorithm based on the combination of cnn and kmeans. En Proceedings of the 2019 11th international conference on machine learning and computing (pp. 400–404). Chang, T., Wen, G., Hu, Y., y Ma, J. (2018). Facial expression recognition based on complexity perception classification algorithm. arXiv preprint arXiv:1803.00185. Chollet, F., y cols. (2015). Keras. https://keras.io . Christou, N., y Kanojiya, N. (2019). Human facial expression recognition with convolution neural networks. En Third international congress on information and communication technology (pp. 539–545). Clawson, K., Delicato, L., y Bowerman, C. (2018). Human centric facial expression recognition. Codina, J. N. B., Rodríguez, P. G., y Cadena, P. V. (2017). La economía de la experiencia y el marketing emocional: estrategias contemporáneas de comercialización. Daena: International Journal of Good Conscience,12(2), 159–170. Correa, E., Jonker, A., Ozo, M., y Stolk, R. (2016). Emotion recognition using deep convolutional neural networks. Tech. Report IN4015. Cuimei, L., Zhiliang, Q., Nan, J., y Jianhua, W. (2017). Human face detection algorithm via haar cascade classifier combined with three additional classifiers. En 2017 13th ieee international conference on electronic measurement & instruments (icemi) (pp. 483–487). González-Morales, A. (2018). Medición de la eficacia de las imágenes en la comunicación: estudio de las ondas cerebrales y medidores psicofisiológicos periféricos. 51 52 Referencias González-Morales, A., Mitrovic, J., y Garcia, R. C. (2020). Ecological consumer neuroscience for competitive advantage and business or organizational differentiation. European Research on Management and Business Economics. Haar, A. (1910). On the theory of orthogonal function systems. Mathematische Annalen,69(3), 331–371. Hunter, J. D. (2007). Matplotlib: A 2d graphics environment. Computing in Science & Engineering,9(3), 90–95. doi: 10.1109/MCSE.2007.55 Jain, V., Aggarwal, P., Kumar, T., y Taneja, V. (2017). Emotion detection from facial expression using support vector machine. International Journal of Computer Applications,167(8). Kadir, K., Kamaruddin, M. K., Nasir, H., Safie, S. I., y Bakti, Z. A. K. (2014). A comparative study between lbp and haar-like features for face detection using opencv. En 2014 4th international conference on engineering technology and technopreneuship (ice2t) (pp. 335–339). Kanade, T. (1974). Picture processing system by computer complex and recognition of human faces. Kirby, M., y Sirovich, L. (1990). Application of the karhunen-loeve procedure for the characterization of human faces. IEEE Transactions on Pattern analysis and Machine intelligence,12(1), 103–108. Kohonen, T. (1989). Self-organization and associative memory. Berlin, Heidelberg: Springer-Verlag. Li, S., y Deng, W. (2019). Reliable crowdsourcing and deep locality-preserving learning for unconstrained facial expression recognition. IEEE Transactions on Image Processing,28(1), 356–370. Li, S., y Deng, W. (2020). Deep facial expression recognition: A survey. IEEE Transactions on Affective Computing. Lienhart, R., y Maydt, J. (2002). An extended set of haar-like features for rapid object detection. En Proceedings. international conference on image processing (Vol. 1, pp. I–I). Lim, W., Jang, D., y Lee, T. (2016). Speech emotion recognition using convolutional and recurrent neural networks. En 2016 asia-pacific signal and information processing association annual summit and conference (apsipa) (pp. 1–4). Lucey, P., Cohn, J. F., Kanade, T., Saragih, J., Ambadar, Z., y Matthews, I. (2010). The extended cohn-kanade dataset (ck+): A complete dataset for action unit and emotion-specified expression. En 2010 ieee computer society conference on computer vision and pattern recognition-workshops (pp. 94–101). Mano, L. Y., Faiçal, B. S., Nakamura, L. H., Gomes, P. H., Libralon, G. L., Meneguete, R. I., ... others (2016). Exploiting iot technologies for enhancing health smart homes through patient identification and emotion recognition. Computer Communications,89, 178–190. Martínez Rodríguez, G., y Soto Gómez, G. (2018). Desarrollo de una biblioteca para el reconocimiento de emociones faciales (Tesis Doctoral no publicada). Universidad Central “Marta Abreu” de Las Villas. Mavani, V., Raman, S., y Miyapuram, K. P. (2017). Facial expression recognition using visual saliency and deep learning. En Proceedings of the ieee international conference on computer vision workshops (pp. 2783–2788). Neagoe, V.-E., Barar, A., Sebe, N., y Robitu, P. (2013). A deep learning approach for subject independent emotion recognition from facial expressions. Recent Advances in Image, Audio and Signal Processing, 93–98. Nguyen, H.-D., Yeom, S., Lee, G.-S., Yang, H.-J., Na, I.-S., y Kim, S.-H. (2019). Facial emotion recognition using an ensemble of multi-level convolutional neural networks. International Journal of Pattern Recognition and Artificial Intelligence,33(11), 1940015. Oliphant, T. E. (2006). A guide to numpy (Vol. 1). Trelgol Publishing USA. Olmedillo, D. Z. (2016). herramienta de reconocimiento facial de emociones en androi. Madrid. Ozdemir, M. A., Elagoz, B., Alaybeyoglu, A., Sadighzadeh, R., y Akan, A. (2019). Real time emotion recognition from facial expressions using cnn architecture. En 2019 medical technologies congress (tiptekno) (pp. 1–4). pandas development team, T. (2020, febrero). pandas-dev/pandas: Pandas. Zenodo. Descargado de https://doi.org/10.5281/zenodo.3509134 doi: 10.5281/zenodo.3509134 Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., ... Duchesnay, E. (2011). Scikit-learn: Machine learning in Python. Journal of Machine Learning Research,12, 2825–2830. Pérez Estruch, C. (2017). Emotions recognition using deep learning. Perry, Y. (2018, Jan). Ceo de microsoft cree que no pueden compararse contra apple o google. FayerWayer. Descargado de https://www.fayerwayer.com/2017/11/ceo-de-microsoft-cree -que-no-pueden-compararse-contra-apple-o-google/ Saha, S. (2018, Dec). Towards Data Science. Descargado de https://towardsdatascience .com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way -3bd2b1164a53 Referencias 53 Sajjanhar, A., Wu, Z., y Wen, Q. (2018). Deep learning models for facial expression recognition. En 2018 digital image computing: Techniques and applications (dicta) (pp. 1–6). Sharifara, A., Rahim, M. S. M., y Anisi, Y. (2014). A general review of human face detection including a study of neural networks and haar feature-based cascade classifier in face detection. En 2014 international symposium on biometrics and security technologies (isbast) (pp. 73–78). Tang, Y. (2013). Deep learning using linear support vector machines. arXiv preprint arXiv:1306.0239. Thakre, M. P., y Agarkar, P. (2020). Customer emotions recognition using facial and textual review (Inf. Téc.). EasyChair. Turk, M., y Pentland, A. (1991). Eigenfaces for recognition. Journal of cognitive neuroscience,3(1), 71–86. Viola, P., y Jones, M. (2001). Rapid object detection using a boosted cascade of simple features. En Proceedings of the 2001 ieee computer society conference on computer vision and pattern recognition. cvpr 2001 (Vol. 1, pp. I–I). Wagner, P. (2012). Face recognition with python. Tersedia dalam: www. bytefish. de [diakses pada 16 Februari 2015]. Waskom, M., Botvinnik, O., Ostblom, J., Lukauskas, S., Hobson, P., MaozGelbart, ... Evans, C. (2020, enero). mwaskom/seaborn: v0.10.0 (january 2020). Zenodo. Descargado de https://doi.org/ 10.5281/zenodo.3629446 doi: 10.5281/zenodo.3629446