Estimation of cognitive stress through the use of non-intrusive methods

Avances en Interacción Humano-Computadora, 2020, Año 5, Núm. 1, pp. 94-101 https://doi.org/10.47756/aihc.y5i1.73 94 GRADUATE THESIS REPORT Estimation of cognitive stress through the use of nonintrusive methods Martha X. Nava, Víctor H. Castillo, Isabel M. Gómez Published: 30 November 2020 Abstract Cerebral palsy (CP) is the most common cause of motor impairment in children and has increased globally. This health problem negatively impacts the quality of a patient's life and the people in their care. The literature reports the use of technological tools developed to support patients' rehabilitation; however, these are intrusive, so they are annoying and can generate stress. This work aims to analyze the existing developments regarding cognitive stress estimation through non-intrusive methods. This study identifies a few developments focused on rehabilitating children with CP by analyzing facial expressions with non-intrusive methods. From the above, the authors propose future lines of work that would eventually support patients with CP. Keywords Ambient Assisted Living; Affective Computing; Cerebral Palsy; Cognitive Stress; Pattern Analysis. 1 Introducción La parálisis cerebral (CP) se define como un grupo de trastornos neurológicos que aparecen en la infancia o la niñez temprana y afectan permanentemente el movimiento corporal y la coordinación muscular [29]. El término “cerebral” se refiere al cerebro; mientras que “parálisis” se refiere a la pérdida o deterioro de la función motora. Aunque la parálisis cerebral (CP) se identifica generalmente después de los 2 - 3 años, existen algunos signos que ocurren a más temprana edad [23]. El diagnóstico oportuno permite comenzar antes a realizar intervenciones con mejores resultados [30].Existen muchos tipos de tratamientos [16][8], sin embargo, es necesario también evaluar el estrés que se produce en los niños con parálisis cerebral (CP) al recibir terapia. Por otra parte, la estimación del estrés cognitivo tiene aplicaciones diversas, tales como en el aprendizaje, el monitoreo del estrés y la optimización de la carga de trabajo del usuario [28]. Por ejemplo, los juegos serios son comúnmente utilizados para el entretenimiento y la enseñanza [6]. El uso de juegos mecánicos puede ayudar en el aprendizaje, sin embargo, una escena estresante puede distraer al usuario del objetivo de aprendizaje. Por lo que, al medir el nivel de estrés, se puede adaptar el juego para lograr un mayor rendimiento y mantener al usuario concentrado en la tarea. Por otra parte, los cambios fisiológicos permiten entender si las personas se encuentran bajo estrés, aunque traten de ocultarlo en el exterior sonriendo, o aparentando tranquilidad en sus expresiones. Por lo general, las respuestas fisiológicas son medidas mediante sensores instalados sobre el cuerpo, lo cual puede ser bastante incómodo para las personas. A pesar de que se ha tratado de fabricar sensores cada vez más pequeños para hacerlos más confortables, son dispositivos externos que requieren del contacto y que limitan las actividades de las personas. Debido a esto, hay estudios que sugieren la utilización de medios no intrusivos, tales como cámaras de video [7][24][39]. A través del uso de una cámara de video se pueden monitorear parámetros físicos que no sólo ayudan a prevenir y detectar enfermedades, sino que también permiten medir el estrés cognitivo. A su vez, la computación afectiva se define como aquella “que se relaciona con, surge de, e influye deliberadamente en la emoción” [36]. Los estudios al respecto, se han enfocado en la medición e interpretación de las emociones humanas para, entre otras aplicaciones, poder controlar los niveles de estrés derivados del uso de la tecnología [28]. Debido a lo anteriormente expuesto, el objetivo del presente trabajo es analizar los desarrollos existentes en lo referente a estimación del estrés cognitivo a través de medios no intrusivos, para lo cual se plantea la realización de una revisión sistemática de literatura. Este trabajo se organiza de la siguiente manera. En la sección 2 se describe los métodos de búsqueda en revistas especializadas. Luego, la sección 3 expone las técnicas de análisis del estrés cognitivo identificadas, comienza con las que no utilizan cámaras de video y continúa con las que sí utilizan cámaras de video. Posteriormente, en la sección 4 se examina la estimación del estrés cognitivo en niños con parálisis cerebral, primero se presentan los antecedentes y posteriormente los estudios existentes en lo referente a estimación del estrés cognitivo a través de medios no intrusivos que es el objetivo de este trabajo. Por último, en la sección 5, se describe la conclusión y se propone como línea de trabajo futuro el desarrollo de una aplicación para apoyar a pacientes con CP. 2 Métodos Se realizó una revisión sistemática de la literatura basada en la metodología ingeniería de software basada en evidencia (EBSE, por el término en inglés Evidence-based Software Engineering) Nava, MX., Castillo, VH. Universidad de Colima [email protected], [email protected] Gómez, IM., Universidad de Sevilla [email protected] Avances en Interacción Humano-Computadora 95 [20]. La búsqueda se centró en artículos relevantes en inglés, que tuvieran en el título y abstract las palabras clave elegidas, y cuya fecha de publicación se encontrara entre 1995 y 2020. 2.1 Preguntas de Búsqueda Se definieron las siguientes preguntas de búsqueda: RQ1.- ¿Qué avances existen en la medición del estrés cognitivo mediante el uso de medios no intrusivos desde 1995? RQ2.- ¿Cuáles son los principales trabajos acerca de las técnicas de estimación del estrés cognitivo que no utilizan cámaras de video? RQ3.- ¿Qué avances existen en la estimación del estrés cognitivo en niños con parálisis cerebral mediante gestos faciales? RQ4.- ¿Cuáles son las limitaciones en la investigación actual? 2.2 Proceso de Búsqueda Se inició la búsqueda de artículos relevantes que incluyeran en el título y/o abstract las palabras affective computing, Ambient assisted living, Healthcare , cognitive stress, facial expression, face detection, camera, cerebral palsy, y cuyas fechas de publicación se encontraran entre 1995 y 2020. Para ello, se eligieron las bases de datos electrónicas de ciencias computacionales y biomedicina: IEEE, PubMed Central, Wiley InterScience, Springer Link y ScienceDirect. Posteriormente, se realizó otra búsqueda en las mismas revistas, pero en las que se incluyeran las palabras clave: facial expression y cerebal palsy, sin encontrarse muchos artículos que hablaran de ambos. 2.3 Criterios de Inclusión y Exclusión Los criterios de inclusión fueron los siguientes: • Artículos relevantes que incluyan experimentos, análisis y/o evaluación de su propuesta. • Artículos relevantes que ofrezcan un amplio análisis o estado del arte del tema. Los criterios de exclusión fueron: • Artículos que no incluyan experimentos, análisis y/o evaluación de su propuesta. • Artículos que no fundamenten su propuesta con una evaluación o análisis. • Artículos repetidos publicados en diferentes revistas electrónicas. 2.4 Evaluación de la Calidad Los resultados de la validación se encuentran en la tabla 1. Las preguntas utilizadas para su análisis fueron las cuatro siguientes: QA1: ¿Incluye experimentos de su propuesta? QA2: ¿Incluye artículos relevantes o suficientes del tema? QA3: ¿Incluye análisis y/o evaluación de su propuesta? QA4: ¿Incluye resultados cuantitativos o análisis exhaustivo? Las respuestas fueron catalogadas de la siguiente manera: S=Sí con valor 1, N=No con valor 0, P=Pocos con valor 0.5. Table 1. Evaluación de la calidad. Artículo QA1 QA2 QA3 QA4 Valor total [4] N Y Y Y 3 [6] Y Y Y Y 4 [7] Y Y P N 2.5 [8] Y P Y Y 3.5 [9] Y Y Y Y 4 [10] Y Y Y Y 4 [11] N N Y Y 2 [13] Y Y Y Y 4 [20] Y Y Y Y 4 [21] Y P Y Y 3.5 [22] Y P Y Y 3 [26] Y Y Y Y 4 [27] Y Y Y Y 4 [28] Y Y Y Y 4 [29] Y P Y Y 3.5 [30] N P Y P 2 [31] N Y Y Y 3 [36] Y p Y P 3 [37] Y Y Y Y 4 [38] Y P Y Y 3.5 [39] Y P P Y 3 [40] Y P Y P 3 [43] Y Y Y Y 4 2.5 Colección de Datos En la tabla 2 se resumen datos de los artículos incorporados en las referencias. Table 2. Evaluación de la calidad. Artículo Palabras clave Métricas [4] cerebral Palsy. 23 Paper Citations 18 Web of science 6,149 Full Text View. [6] cognitive stress. 38 Paper Citations 600 Downloads Honorable mention. [7] affective computing, camera, cognitive stress. 2 Paper Citations 1 Scopus 199 Full Text View. [8] stress, camera. 2 Paper Citations Scopus 4 93 Full Text Views. [9] face detection. 70 Paper Citations 82 Scopus 62 WebScience 2,421 Full Text Views. [10] camera. 25 Paper Citations 1 Patent Citation 467 Full Text Views 107 Altmetric. Avances en Interacción Humano-Computadora 96 [11] affective computing. 105 CrossRef 122 Scopus 76 WebScience 6,062 Full Text Views 227 Altmetric. [13] ambient assisted living. 4 Paper Citations 5 Scopus 4 WebScience 1,409 Full Text Views 40 Altmetric. [20] cognitive stress, recognition. 13 Paper Citations 18 Scopus 549 Full Text Views. [21] cognitive stress. 2 Paper Citations 3 Scopus 312 Full Text Views 1 Altmetric. [22] cognitive stress. 13 Paper Citations 13 Scopus 321 Full Text Views. [26] cognitive stress. 92 Paper Citations 2 Patent Citations 142 Scopus 98 Web of Science 2,287 Full Text Views 335 Altmetric. [27] healthcare, camera. 58 Paper Citations 62 Scopus 47 Web of Science 1,169 Full Text Views 133 Altmetric. [28] healthcare, affective computing. 131 Paper Citations 152 Scopus 111 Web of Science 2,054 Full Text Views 204 Altmetric. [29] healthcare, camera. 4 Paper Citations 6 Scopus 164 Full Text Views 4 Altmetric. [30] cerebral palsy. 3 Paper Citations 5 Scopus 99 Full Text Views. [31] cerebral palsy. 304 Paper Citations 15 Altmetric Attention Score. [36] cerebral palsy. 236 Full Text Views 2 Scopus 12 Altmetric. [37] face detection. 434 Paper Citations 11 Patent Citations 585 Scopus 3,882 Full Text Views. [38] facial expression recognition, face detection, cerebral palsy. 1 Paper Citations 5 Scopus 228 Full Text Views. [39] cerebral palsy, facial expressions. 1 Scopus 136 Full Text Views. [40] cerebral palsy. 219 Full Text Views. [43] facial expression recognition, face detection. 7,724 Paper Citations 93 Patent Citations 9,091 Scopus 12,559 Full Text Views 836 Altmetric. 2.6 Análisis de los Datos Respecto de la pregunta de búsqueda RQ1, se identifican diversos estudios, pero en menor cantidad que los que utilizan medios intrusivos. Fueron seleccionados los más relevantes, que implementan algún algoritmo o realizan experimentos y cuyos resultados son evaluados. En cuanto a la pregunta RQ2, se identificaron muchos estudios que utilizan sensores para medir el estrés cognitivo a través de la estimación de señales fisiológicas. Además, se encontró con que hay varios inconvenientes por resolver, como mejorar el confort, la privacidad y seguridad. Se trató de incluir los artículos de mayor relevancia que incluyen arquitecturas, experimentos y que hablan de los problemas al utilizar medios intrusivos. En la pregunta RQ3, son pocos los artículos que se interesan por estimar el estrés cognitivo en niños con parálisis cerebral mediante gestos faciales, por lo que identificamos un área de estudio futuro. Finalmente, en la pregunta RQ4, se encontraron algunas limitaciones en las investigaciones actuales. Por ejemplo, no encontramos estudios de la estimación del estrés cognitivo en niños con parálisis cerebral que no utilicen cámaras de video. Por lo que no se incluye esa sección en el artículo. Además, son pocos los trabajos que utilizan cámaras de video para la estimación del estrés cognitivo, lo que indica que hace falta más investigación al respecto. La mayoría de las investigaciones de parálisis cerebral se enfocan en su detección, clasificación y terapias existentes para su rehabilitación, pero no se ocupan de medir el estrés que les genera a los niños con parálisis cerebral. 3 Técnicas de estimación del estrés cognitivo 3.1 Técnicas de Estimación del Estrés Cognitivo que no utilizan Cámaras de Vídeo Existen diversas investigaciones y desarrollos enfocados al cuidado de la salud. Esto ha permitido el surgimiento de nuevos conceptos tales como ambientes asistidos (AAL, por el término en inglés Ambient Assisted Living), que refieren al uso de soluciones tecnológicas que mejoren la calidad de vida de las personas de edad avanzada o con enfermedades crónicas [3]. Por su parte, el término red de área corporal (BAN, por el concepto en inglés Body Area Network), se refiere a pequeños sensores que se adaptan al cuerpo humano (externa o internamente) para monitorizar temperatura, frecuencia cardiaca, presión arterial, glucosa, entre otras [10]. Una de las aplicaciones de la monitorización de las señales fisiológicas es la medición del estrés cognitivo [18]. En un principio la monitorización de señales se hacía a través de cables. Después ésta evolucionó hacia las redes inalámbricas con el surgimiento de los estándares inalámbricos que permitieron la comunicación sin depender de los cables. Posteriormente, se desarrollaron sensores más pequeños que permiten una mayor movilidad e independencia [13]. Una Red de Sensores Inalámbricos (WSN por término Wireless Sensor Network en inglés) es una red conformada por varios nodos sensores autónomos que se comunican de forma inalámbrica para medir algún parámetro físico o del entorno, y Avances en Interacción Humano-Computadora 97 cuyas áreas de aplicación son muy amplias, por ejemplo, en la salud, la domótica, la industria, y el control ambiental [43][15]. Un caso típico de mediciones fisiológicas es la medición de frecuencia cardiaca o la respiración. Una de las técnicas para esa medición es la llamada fotopletismografía, PPG por sus siglas en inglés, que es una técnica óptica no invasiva y de bajo costo para la medición del volumen de sangre cardiovascular a través de las variaciones en la transmisión o reflexión de una luz en el cuerpo humano [2]. El análisis de la señal PPG proporciona información acerca del sistema cardiovascular. La forma de onda PPG comprende una forma de onda fisiológica pulsátil ('AC') atribuida a cambios sincrónicos cardíacos en el volumen sanguíneo con cada latido cardíaco, y se superpone a una línea base de variación lenta ('DC') con varios componentes de frecuencia más baja atribuidos a la respiración, el sistema nervioso simpático y la termorregulación. Otra medición inalámbrica se muestra en [9] en la que se utiliza un electroencefalograma (EEG) en forma de banda en la cabeza que no requiere de gel conductor para medir la actividad eléctrica del cerebro. Las señales se envían inalámbricamente a un receptor para ser procesadas y analizadas por un software desarrollado en MATLAB. El experimento se realizó en un ambiente no clínico, con 18 personas durante 10 sesiones. Realizaron una prueba de Stroop, que ayuda a detectar problemas neuropsicológicos y deterioro cerebral. En otro estudio [11], fusionaron diferentes sensores para mejorar la exactitud en los resultados en la estimación del estrés. Los sensores utilizados incluyeron EEG, obteniendo resultados en el análisis individual de un 72.75% de exactitud; GSR (Galvanic Skin Response) con resultados individuales de un 69.30%; y PPG (Photoplethysmogram) también, en el análisis individual se obtuvo un 64.75% de exactitud. En el análisis realizado en conjunto se utilizaron los resultados de los sensores GSR y EEG, obteniéndose una mayor exactitud, el 77.25%. No se utilizaron los datos de PPG para el análisis en conjunto debido a que fue el que tuvo una menor precisión, lo cual se debió a que se midió una cantidad de tiempo muy pequeña, de aproximadamente 1 minuto. En dicho estudio, los autores mencionan que utilizar tareas aritméticas para inducir a las personas al estrés no es recomendable, debido a que las diferencias en las habilidades para resolver estas tareas, produce diferentes niveles de estrés. Por ello, utilizaron una versión gamificada de una prueba de Stroop. Un total de 22 sujetos (9 mujeres) participaron en el estudio con un rango de edad de entre 23 y 41 años, los cuales se sentaron en una silla frente a una computadora, en un espacio cerrado con temperatura confortable y luz artificial. GSR y PPG se recolectaron colocando los sensores en la mano no dominante, EEG se recolectó mediante una banda en la cabeza, de esta forma, dejaron libre la mano dominante para que el sujeto controlara el juego. La sesión duró en total 360 segundos, de los cuales fueron 180 segundos con la prueba fácil (en la que coincidía el color con el nombre) y 180 segundos con la prueba difícil (en la que no coincidía el color con el nombre de este). En cada una de las sesiones, dieron un tiempo de 60 segundos para que el sujeto se relajara con los ojos cerrados, 10 segundos para que mirara la pantalla y 110 para que realizara la prueba. Para el análisis se extrajeron 30 segundos del tiempo en que estuvieron sin actividad y 30 segundos del tiempo en que sí estuvieron con actividad. En la clasificación del nivel de estrés (bajo o alto) utilizaron el algoritmo RF, Random Forest por sus siglas en inglés, y el método de validación cruzada LOOCV (acrónimo del término en inglés Leave One Out Crossvalidation). Además, en el mismo estudio propusieron una métrica, a partir del análisis de pulsaciones de teclas, para proporcionar una estimación cuantitativa del estrés percibido por un individuo. En el modelo de regresión para predecir la métrica de estrés en tiempo real, sólo se utilizaron las características del EEG, dejando fuera las del GSR por ser una señal que varía lentamente. Los trabajos futuros a este estudio incluyen rediseñar el protocolo experimental para una mejor inducción de estrés, investigar el fallo de las funciones basadas en HRV en este tipo de experimento, implementar mejores técnicas de fusión que produzcan un mayor rendimiento e investigar la posibilidad de usar GSR para cuantificar el estrés. En otro estudio [41], los autores proponen un modelo para detectar los estados de estrés cognitivos y emocionales a través de la actividad electodérmica. Registraron las variaciones en las características eléctricas de la piel causadas por la sudoración de las personas al encontrarse en estado de estrés, como respuesta del sistema nervioso autónomo. Con la finalidad de probar el modelo de detección propuesto, utilizaron diferentes métodos para inducir a un estado de estrés a los participantes. Primero experimentaron dentro de un laboratorio, en el que indujeron a 20 participantes a un estado de estrés cognitivo a través de tareas aritméticas y una prueba de Stroop. También indujeron a un estrés emocional a los participantes mediante la observación de una película de horror, sin embargo, al principio sí se elevó su nivel de estrés pero conforme la película avanzó ese nivel fue disminuyendo. Por el contrario, para probar con datos reales, analizaron un registro de una base de datos de conductores en autopistas y calles dentro de la ciudad en Boston, en los que se observa un alto nivel de estrés, el cual no varía mucho dependiendo del tipo de camino y se mantiene aún en el estado posterior de reposo. Algunos de los retos por superar en el uso de sensores para medir señales fisiológicas y estimar el estrés cognitivo son incrementar el número de sensores utilizados sin que exista congestión [42], mejorar el confort, la privacidad y seguridad [22], contrarrestar la interferencia de señales, extender el tiempo de las baterías, optimizar el tamaño de la memoria, disminuir la exposición al campo magnético [21], e implementar mejores técnicas de fusión de distintos sensores [11]. 3.2 Técnicas de Estimación del Estrés Cognitivo a Través de Cámara de Vídeo Las técnicas de estimación del estrés cognitivo a través de cámaras de video resultan menos molestas para las personas, por lo que se han realizado diversos estudios para probar su efectividad. Por ejemplo, en [26] demostraron que existen variaciones en los parámetros fisiológicos durante el estrés cognitivo comparados con condiciones de descanso, y que éstos pueden ser medidos remotamente a una distancia de tres metros, mediante el uso de una cámara digital. Para lo cual, participaron 10 personas de diferente color de piel y de entre 18 a 30 años. Primero estuvieron sentados en condiciones de descanso por dos minutos y posteriormente durante dos minutos realizaron tareas aritméticas. Sin embargo, el ritmo cardiaco por sí solo no fue significativamente diferente en ambas condiciones de descanso y estrés. En cambio, la HRV(variabilidad del ritmo cardiaco) y la frecuencia respiratoria sí mostraron grandes diferencias en ambas condiciones por lo que se pueden utilizar para predecir el estrés cognitivo. Aun así, en el futuro sería recomendable utilizar otros tipos de actividades estresantes tanto cognitivas, como psicológicas o emocionales. Así mismo, en el estudio [28] se les pidió a los participantes que se mantuvieran sentados frente a una cámara para demostrar la exactitud de las mediciones de los parámetros cardiorespiratorios. El estudio se realizó con 10 personas sanas de entre 18 y 28 años. De esos 10 participantes, 6 usaban lentes y uno tenía barba. Todos se situaron a tres metros de la cámara, y desempeñaron 2 tareas Avances en Interacción Humano-Computadora 98 utilizando el lenguaje de construcción de experimentos en psicología (acrónimo PEBL por el concepto en inglés Psychology Experiment Building Language PEBL) que contiene diferentes pruebas cognitivas válidas. Una de las tareas fue la de tratar de mantener un balón en el centro de la pantalla de la laptop, cuando no lo lograban y la pelota tocaba alguna de las orillas se activaba un sonido. La otra tarea consistió en un juego con cartas para tratar de ordenarlas, pero nuevamente no todos los participantes fueron capaces de completarla. Los participantes llenaron un cuestionario para que ellos mismos pudieran medir su nivel de estrés durante las pruebas. Por su parte, en [27] presentaron el método de medición remota de fotopletismografía (PPG) por medio de una cámara digital y lo compararon con las mediciones obtenidas de un sensor de contacto. Utilizaron luz ambiental y una cámara digital a una distancia de 3 metros para grabar los picos de presión sistólicos y diastólicos de la cara de una persona. Los resultados los compararon con los obtenidos con un sensor de contacto del dedo índice izquierdo (el sensor aprobado por la FDA, Flexcomp Infiniti by Thought Technologies, Inc.). Los parámetros extraídos de la cara de los 14 participantes de entre 18 a 35 años, y los medidos con el sensor fueron muy parecidos. Las grabaciones con la cámara de video y las mediciones con el sensor de contacto se realizaron en sincronía, durante dos minutos con los individuos en descanso y dos minutos haciendo actividades cognitivas, siendo estas últimas estresantes para ellos. Sin embargo, de las mediciones con sensor de contacto, tres fueron ruidosas por lo que no fue posible utilizarlas. Aunque los participantes eran libres de moverse, no lo hicieron. Además, en [25] midieron el pulso sanguíneo a través de photoplethysmographic/fotopletismografía (PPG) a 10 participantes. Registraron los parámetros de pulso cardíaco (Heart Rate), frecuencia respiratoria (Breathing Rate), la componente de baja frecuencia de la variabilidad del pulso cardíaco (HRV LF) y la componente de alta frecuencia de la variabilidad del pulso cardíaco (HRV HF). Lo novedoso del estudio fue que en vez de utilizar una cámara con los típicos canales RGB, la cámara usada es capaz de capturar 5 canales de color, rojo, verde, azul, cian, y naranja (RGBCO – red, green, blue, cyan, orange). Experimentaron con diferentes colores y la mejor combinación fue la cian, verde y naranja (CGO - cyan, green, orange), debido a que es la que se aproxima más a los resultados obtenidos con el sensor de contacto aprobado por la FDA. Otra diferencia que tiene este estudio a los anteriores es que al mismo tiempo realizaron los experimentos en condiciones de descanso y de estrés, y a una distancia de 3m, los anteriores estudios a éste, sólo se realizaban en situaciones de reposo y a una distancia de 0.5m. En [25], tanto como [27], falta hacer pruebas con más participantes, y a los que se les pida mover la cabeza, realizar el análisis en tiempo real, probar con cambios de luz ambiental, y comparar los resultados de HR y HRV con los obtenidos por un ECG. A su vez, en [35] presentan un método para monitorear la frecuencia cardiaca utilizando una video cámara. El usuario coloca la punta del dedo sobre el lente de la cámara y el software detecta las variaciones periódicas en la intensidad de la luz causadas por las pulsaciones de sangre en los tejidos capilares. Realizaron cuatro pruebas durante 30 segundos cada una, con 15 participantes de entre ocho y 73 años, quiénes estuvieron sentados con las manos sobre la mesa dentro de una habitación bien iluminada. Los resultados fueron comparados con los de un monitor de presión de brazo. El método puede ser utilizado en el hogar, pero no se han hecho suficientes pruebas como para el uso en hospitales. En general, las investigaciones para la estimación del estrés utilizando cámaras de video, se han realizado con una cantidad pequeña de participantes, a una distancia máxima de 3 metros y en condiciones de reposo. Por lo que conviene realizar más estudios probando con una cantidad más grande de participantes, a una distancia superior a los 3 metros y en condiciones de movimiento. 4 Estimación del estrés cognitivo en niños con parálisis cerebral 4.1 Antecedentes La CP es un trastorno neuromotor que limita la actividad motriz, y aunque no es curable sí puede ser tratado [12]. Además, la CP es la causa más común de deficiencia motora en niños, en donde la proporción es de dos a tres por cada 1000 nacimientos en Europa [38]. Se han realizado estudios [4][14] en los que se utilizan ambientes educativos virtuales para ayudar en las terapias de los niños con CP, obteniéndose buenos resultados. Sin embargo, no todos los niños con discapacidad son iguales, por lo cual es difícil desarrollar una terapia que funcione de igual forma para todos. 4.2 Estimación de Estrés Cognitivo en Niños con CP mediante Gestos Faciales Existen propuestas de arquitecturas [31] o plataformas [34], para apoyar las terapias físicas de niños con CP a través de juegos. A su vez, hay investigaciones enfocadas en distinguir las expresiones faciales de personas adultas sanas [26], [28]. Sin embargo, no hay muchos estudios que se enfoquen en estimar las emociones de los niños con CP cuando reciben terapia. En [37] desarrollaron un prototipo con la finalidad de detectar las expresiones corporales de niños con necesidades especiales, para de esta forma, facilitar su atención médica y mejorar su estilo de vida. Por lo que, el prototipo apoya en la comunicación del niño con su terapeuta y con sus padres, lo cual es muy difícil sin una herramienta adecuada que les indique qué tan estresado está el niño o cuáles son sus emociones al realizar los ejercicios de rehabilitación. Utilizaron una cámara IP modelo ICAM-608 con resolución de 720P(HD) megapíxeles para tomar imágenes y evaluar las expresiones que representaban y las analizaron con la técnica llamada AdaBoost del algoritmo Viola-Jones [40]. Una de las limitaciones del estudio fue que la resolución de la imagen debe ser mínimo de 300 pixeles y debe ser tomada en un lugar iluminado. Desarrollaron una aplicación móvil que funciona en el sistema operativo Android, la cual envía mensajes de alerta a su cuidador cuando es detectada una expresión corporal. El prototipo fue capaz de detectar con un alto grado de precisión, los siguientes patrones corporales: dolor de cabeza 77%, alegría 75%, hambre 82%, miedo 88% y esparcimiento 77%. En [33] proponen una herramienta con el propósito de mejorar la comunicación de las personas con CP a través de sus expresiones faciales. El software de nombre FacEx-Comm, es instalado en una computadora portátil que incluye cámara de video, y a su vez, la computadora es montada en la silla de ruedas que utiliza el niño para estar monitoreando sus expresiones faciales. En las extracciones de las características faciales utilizaron el algoritmo Viola-Jones. Primero probaron con adultos y después con los niños con CP, mostrándoles en tres diferentes sesiones, tres minutos de video a una distancia de 30 a 60 centímetros entre el niño y la cámara web. Sin embargo, el formato en que capturan el video es Windows Media (WMV) y debían convertirlo manualmente a formato AVI (Audio Video Interleave). En cuanto a los resultados, FacEx-Comm obtuvo un promedio de reconocimiento de 79.41% y una tasa promedio del 8.71% de detección de falsos positivos. Avances en Interacción Humano-Computadora 99 Por su parte, en [32] analizaron una herramienta parecida a la de [33], pero en esta ocasión el software utilizado fue FERS (facial expression recognition system), el cual envía una alerta a través de un mensaje de texto o de audio a los padres cuando es detectada una expresión crítica en el niño con CP. Los resultados obtenidos fueron del 82.30% de precisión para participantes de alta funcionalidad y del 81.89% de precisión para participantes de baja funcionalidad. En [19] implementaron una interfaz humano computadora, HCI por sus siglas en inglés, para apoyar a personas con discapacidades como CP, lesión cerebral, y tetraplejia. Una de las características principales de la interfaz, es que utiliza un control de cursor de seguimiento de la nariz de las personas. A través del algoritmo Viola-Jones realizaron el reconocimiento facial. Las pruebas fueron realizadas con 34 personas sanas y seis personas con discapacidades, y en ambos grupos, les fue más fácil de adaptarse al sistema a las personas jóvenes de entre 21 y 35 años de edad, que a las personas mayores de 39 años. Además, en [1] miden las expresiones de alegría, disgusto y el estado neutro de los niños con CP mediante la herramienta Emotion Virtual Experience (EVExperience) [17] y utilizando el algoritmo Eigenfaces [5]. Realizaron el experimento con un participante de 10 años, del sexo femenino y esperan en el futuro poder hacer pruebas con más niños. Sus criterios de exclusión fueron personas con trastornos visuales que no puedan interactuar con el sistema o personas con afección severa en sus extremidades superiores. A la fecha, en la literatura no se reporta la estimación de estrés cognitivo en niños con CP mediante técnicas diferentes a reconocimiento facial. Éste hecho es importante porque deja abierta la posibilidad de analizar el papel que pueden jugar los medios de exploración no intrusivos en la estimación de estrés cognitivo en la citada población. 5 Conclusión y trabajo futuro En las aplicaciones de monitoreo que utilizan sensores, en vez de cámaras de video, existen muchos problemas que resolver, entre las más importantes las interferencias, seguridad y mejorar el confort de las personas. Por lo que, resulta más conveniente utilizar cámaras de video para monitorear parámetros fisiológicos y así poder medir el nivel de estrés cognitivo. Por su parte, en los desarrollos que utilizan cámaras de video, existen algunos aspectos no abordados, como utilizar otros tipos de actividades estresantes tanto cognitivas, como psicológicas o emocionales, hacer pruebas con participantes a los que se les pida mover la cabeza, además de buscar personas con un rango más amplio de edad, colocar la cámara a una mayor distancia, realizar el análisis en tiempo real, probar con cambios de luz ambiental, y comparar los resultados de HR y HRV con los obtenidos por un ECG, o en los que se involucre uno o más sensores para probar su exactitud. Por lo anterior, el autor analizó los estudios enfocados en estimar las expresiones faciales de los niños con CP, con la finalidad de mejorar la comunicación con sus cuidadores y apoyar en las terapias de rehabilitación. Son pocas las investigaciones que aplican la estimación de las expresiones faciales en niños con CP, por lo que representa un área de estudio a futuro. Algunos de los retos planteados en este tipo de investigaciones, son la mejora en la resolución de la imagen, la iluminación, el formato en que capturan el video y la elección del algoritmo utilizado para el reconocimiento facial. A partir de lo anterior, se propone el desarrollo de una aplicación de reconocimiento facial que se probará en niños con CP. En la figura 1 se observa que el paciente interactúa con la interfaz de la aplicación, posteriormente los datos son enviados al repositorio de imágenes, para que la imagen que concuerde con el gesto que el paciente realizó sea procesada. Finalmente, se muestra la interpretación al cuidador para que pueda asistir al paciente. Un esquema de apoyo como el planteado podría, eventualmente, apoyar a pacientes con CP impactando positivamente en el desarrollo de sus actividades cotidianas y en las de quienes cuidan de ellos. Figura 1. Propuesta de la aplicación. 6 Referencias [1] Sergio Albiol-Pérez, Sandra Cano, Marlene Goncalves Da Silva, Erika Giselle Gutierrez, Cesar A. Collazos, Javier López Lombano, Elena Estellés, and Mónica Alberich Ruiz. 2018. A Novel Approach in Virtual Rehabilitation for Children with Cerebral Palsy: Evaluation of an Emotion Detection System. 1240–1250. https://doi.org/10.1007/978- 3-319-77712-2_119. [2] John Allen. 2007. Photoplethysmography and its application in clinical physiological measurement. Physiological Measurement 28, 3: R1–R39. https://doi.org/10.1088/0967- 3334/28/3/R01. [3] Mashail N. Alkhomsan, M. Anwar Hossain, Sk. Md. Mizanur Rahman, and Mehedi Masud. 2017. Situation Awareness in Ambient Assisted Living for Smart Healthcare. IEEE Access 5: 20716–20725. https://doi.org/10.1109/ACCESS.2017.2731363 [4] Leonardo Ayavaca, Fernando Molina, Raul Lozada, Paulina Bolanos, and Washington Luna. 2017. Multimedia educational software in the visual stimulation of children with cerebral palsy. In 2017 Computing Conference, 557– 562. https://doi.org/10.1109/SAI.2017.8252151 [5] P.N. Belhumeur, J.P. Hespanha, and D.J. Kriegman. 1997. Eigenfaces vs. Fisherfaces: recognition using class specific linear projection. IEEE Transactions on Pattern Analysis and Machine Intelligence 19, 7: 711–720. https://doi.org/10.1109/34.598228. [6] Fernando Bevilacqua, Per Backlund, and Henrik Engstrom. 2015. Proposal for Non-Contact Analysis of Multimodal Inputs to Measure Stress Level in Serious Games. In 2015 7th International Conference on Games and Virtual Worlds Avances en Interacción Humano-Computadora 100 for Serious Applications (VS-Games), 1–4. https://doi.org/10.1109/VS-GAMES.2015.7295783 [7] N. Blanik, M. Paul, V. Blazek, and S. Leonhardt. 2015. Detection and analysis of temperature-sensitive dermal blood perfusion dynamics and distribution by a hybrid camera system. In 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 2383–2386. https://doi.org/10.1109/EMBC.2015.7318873. [8] Grigore C. Burdea, Daniel Cioi, Angad Kale, William E. Janes, Sandy A. Ross, and Jack R. Engsberg. 2013. Robotics and Gaming to Improve Ankle Strength, Motor Control, and Function in Children With Cerebral Palsy—A Case Study Series. IEEE Transactions on Neural Systems and Rehabilitation Engineering 21, 2: 165–173. https://doi.org/10.1109/TNSRE.2012.2206055. [9] Taylor K. Calibo, Justin A. Blanco, and Samara L. Firebaugh. 2013. Cognitive stress recognition. In 2013 IEEE International Instrumentation and Measurement Technology Conference (I2MTC), 1471–1475. https://doi.org/10.1109/I2MTC.2013.6555658 [10] Víctor Custodio, Francisco Herrera, Gregorio López, and José Moreno. 2012. A Review on Architectures and Communications Technologies for Wearable Health- Monitoring Systems. Sensors 12, 10: 13907–13946. https://doi.org/10.3390/s121013907 [11] Deepan Das, Tanuka Bhattacharjee, Shreyasi Datta, Anirban Dutta Choudhury, Pratyusha Das, and Arpan Pal. 2017. Classification and quantitative estimation of cognitive stress from in-game keystroke analysis using EEG and GSR. In 2017 IEEE Life Sciences Conference (LSC), 286–291. https://doi.org/10.1109/LSC.2017.8268199 [12] Apurva Deep and RamAvtar Jaswal. 2017. Role of management & virtual space for the rehabilitation of children affected with cerebral palsy: A review. In 2017 4th International Conference on Signal Processing, Computing and Control (ISPCC), 293–299. https://doi.org/10.1109/ISPCC.2017.8269692 [13] Franca Delmastro, Flavio Di Martino, and Cristina Dolciotti. 2020. Cognitive Training and Stress Detection in MCI Frail Older People Through Wearable Sensors and Machine Learning. IEEE Access 8: 65573–65590. https://doi.org/10.1109/ACCESS.2020.2985301. [14] Tatiana L. dos Santos da Cunha, Lucila Maria Costi Santarosa, and Jose Valdeni de Lima. 2017. Communication processes of students with cerebral palsy in digital learning environments. In 2017 International Symposium on Computers in Education (SIIE), 1–6. https://doi.org/10.1109/SIIE.2017.8259678 [15] Apolinar González-Potes, Walter Mata-López, Alberto Ochoa-Brust, and Carlos Escobar-del Pozo. 2016. Smart Control of Multiple Evaporator Systems with Wireless Sensor and Actuator Networks. Energies 9, 3: 142. https://doi.org/10.3390/en9030142. [16] Sheffali Gulati and Vishal Sondhi. 2018. Cerebral Palsy: An Overview. The Indian Journal of Pediatrics 85, 11: 1006– 1016. https://doi.org/10.1007/s12098-017-2475-1 [17] E. J. Gutierrez, L. Duque y S. Cano. EMOTION EXPERIENCE: Herramienta de Reconocimiento Facial para medir la experiencia de usuario (UX) en niños a través de las Emociones de 12th Colombian Conference, 2017. [18] Jiayuan He, Alexsandar Malinovic, and Ning Jiang. 2019. Fast Detection of Acute Cognitive Stress Measurement via Heart Rate Variability. In 2019 9th International IEEE/EMBS Conference on Neural Engineering (NER), 445– 448. https://doi.org/10.1109/NER.2019.8716939 [19] Shadman Sakib Khan, Md. Samiul Haque Sunny, M. Shifat Hossain, Eklas Hossain, and Mohiuddin Ahmad. 2017. Nose tracking cursor control for the people with disabilities: An improved HCI. In 2017 3rd International Conference on Electrical Information and Communication Technology (EICT), 1–5. https://doi.org/10.1109/EICT.2017.8275178 [20] Tore Dybå, Barbara A. Kitchenham, and Magne Jorgensen. 2005. Evidence-based software engineering for practitioners. IEEE Software 22, 1: 58–65. https://doi.org/10.1109/MS.2005.6 [21] Jeroen Lecoutere, Arno Thielens, Sam Agneessens, Hendrik Rogier, Wout Joseph, and Robert Puers. 2016. Wireless Fidelity Electromagnetic Field Exposure Monitoring With Wearable Body Sensor Networks. IEEE Transactions on Biomedical Circuits and Systems 10, 3: 779–786. https://doi.org/10.1109/TBCAS.2015.2487264. [22] B. P. L. Lo, H. Ip y G. Z. Yang. 2016. Transforming Health Care: Body Sensor Networks, Wearables, and the Internet of Things. IEEE Pulse 7, 1: 4–8. https://doi.org/10.1109/MPUL.2015.2498474 [23] Nathalie L. Maitre, Vera J. Burton, Andrea F. Duncan, Sai Iyer, Betsy Ostrander, Sarah Winter, Lauren Ayala, Stephanie Burkhardt, Gwendolyn Gerner, Ruth Getachew, Kelsey Jiang, Laurie Lesher, Carrie M. Perez, Melissa Moore-Clingenpeel, Rebecca Lam, Dennis J. Lewandowski, and Rachel Byrne. 2020. Network Implementation of Guideline for Early Detection Decreases Age at Cerebral Palsy Diagnosis. Pediatrics 145, 5: e20192126. https://doi.org/10.1542/peds.2019-2126 [24] Bappaditya Mandal, Liyuan Li, Gang Sam Wang, and Jie Lin. 2017. Towards Detection of Bus Driver Fatigue Based on Robust Visual Analysis of Eye State. IEEE Transactions on Intelligent Transportation Systems 18, 3: 545–557. https://doi.org/10.1109/TITS.2016.2582900. [25] Daniel McDuff, Sarah Gontarek, and Rosalind W. Picard. 2014. Improvements in Remote Cardiopulmonary Measurement Using a Five Band Digital Camera. IEEE Transactions on Biomedical Engineering 61, 10: 2593–2601. https://doi.org/10.1109/TBME.2014.2323695 [26] Daniel McDuff, Sarah Gontarek, and Rosalind Picard. 2014. Remote measurement of cognitive stress via heart rate variability. In 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2957–2960. https://doi.org/10.1109/EMBC.2014.6944243 [27] Daniel McDuff, Sarah Gontarek, and Rosalind W. Picard. 2014. Remote Detection of Photoplethysmographic Systolic and Diastolic Peaks Using a Digital Camera. IEEE Transactions on Biomedical Engineering 61, 12: 2948–2954. https://doi.org/10.1109/TBME.2014.2340991 [28] Daniel J. McDuff, Javier Hernandez, Sarah Gontarek, and Rosalind W. Picard. 2016. COGCAM. In Proceedings of the Avances en Interacción Humano-Computadora 101 2016 CHI Conference on Human Factors in Computing Systems, 4000–4004. https://doi.org/10.1145/2858036.2858247. [29] National Institute of Neurological Disorders and Stroke, Cerebral Palsy: Hope Through Research, Accessed online at: https://catalog.ninds.nih.gov/ninds/product/Cerebral-Palsy- Hope-Through-Research/13-159, 2013 [30] Iona Novak, Cathy Morgan, Lars Adde, James Blackman, Roslyn N. Boyd, Janice Brunstrom-Hernandez,… and Nadia Badawi. 2017. Early, Accurate Diagnosis and Early Intervention in Cerebral Palsy. JAMA Pediatrics 171, 9: 897. https://doi.org/10.1001/jamapediatrics.2017.1689. [31] Lubos Omelina, Bart Jansen, Bruno Bonnechère, Serge Van Sint Jan, and Jan Cornelis. 2012. Serious games for physical rehabilitation: Designing highly configurable and adaptable games. Proc. 9th Intl Conf. Disability, virtual Reality and Associated Technologies: 10–12. Retrieved from http://difusion.academiewb.be/vufind/Record/ULBDIPOT:oai:dipot.ulb.ac.be:2013/122815/Details [32] Ong Chin Ann and Lau Bee Theng. 2011. A study on the effectiveness of biometrics based alternative communication tool. In 2011 8th International Conference on Information, Communications & Signal Processing, 1–4. https://doi.org/10.1109/ICICS.2011.6173578 [33] Ong Chin Ann and Lau Bee Theng. 2011. Biometrics based assistive communication tool for children with special needs. In 2011 7th International Conference on Information Technology in Asia, 1–6. https://doi.org/10.1109/CITA.2011.5999527 [34] Alexandros Papangelis, Giannis Mouchakis, Angela Boisselle Texas, Dimitrios Kosmopoulos, Vangelis Karkaletsis, and Fillia Makedon. 2012. A game system for remote rehabilitation of cerebral palsy patients. In Proceedings of the 5th International Conference on PErvasive Technologies Related to Assistive Environments - PETRA ’12, 1. https://doi.org/10.1145/2413097.2413121 [35] Lucian Pestritu, Alexandra Todiruta, Maria Goga, and Nicolae Goga. 2013. Method for measuring the heart rate through fingertip using a low-end video camera and its application in self care. In 13th IEEE International Conference on BioInformatics and BioEngineering, 1–4. https://doi.org/10.1109/BIBE.2013.6701640 [36] R. W. Picard. 2010. Affective Computing. IEEE Transactions on Affective Computing, p. 1, 2010. [37] Cristhian Rosales, Luis Jacome, Jorge Carrion, Carlos Jaramillo, and Mario Palma. 2017. Computer vision for detection of body expressions of children with cerebral palsy. In 2017 IEEE Second Ecuador Technical Chapters Meeting (ETCM), 1–6. https://doi.org/10.1109/ETCM.2017.8247528 [38] SCPE. 2001. Surveillance of cerebral palsy in Europe: a collaboration of cerebral palsy surveys and registers. Developmental Medicine and Child Neurology 42, 12: 816. https://doi.org/10.1017/S0012162200001511 [39] Sara Davis, Peter Watkinson, Alessandro Guazzi, Kenny McCormick, Lionel Tarassenko, João Jorge, Mauricio Villarroel, Asha Shenvi, and Gabrielle Green. 2014. Continuous non-contact vital sign monitoring in neonatal intensive care unit. Healthcare Technology Letters 1, 3: 87– 91. https://doi.org/10.1049/htl.2014.0077 [40] Paul Viola and Michael J. Jones. 2004. Robust Real-Time Face Detection. International Journal of Computer Vision 57, 2: 137–154. https://doi.org/10.1023/B:VISI.0000013087.49260.fb [41] Dilranjan S. Wickramasuriya, Chaoxian Qi, and Rose T. Faghih. 2018. A State-Space Approach for Detecting Stress from Electrodermal Activity. In 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 3562–3567. https://doi.org/10.1109/EMBC.2018.8512928 [42] Naimah Yaakob and Ibrahim Khalil. 2016. A Novel Congestion Avoidance Technique for Simultaneous Real- Time Medical Data Transmission. IEEE Journal of Biomedical and Health Informatics 20, 2: 669–681. https://doi.org/10.1109/JBHI.2015.2406884 E. D. Zubiete, L. F. Luque, A. V. M. Rodriguez, and I. G. Gonzalez. 2011. Review of wireless sensors networks in health applications. In 2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 1789–1793. https://doi.org/10.1109/IEMBS.2011.6090510 © 2020 by the authors. This work is licensed under the Creative Commons Attribution- NonCommercial-NoDerivatives 4.0 International License. To view a copy of this license, visit http://creativecommons.org/licenses/by-nc-nd/4.0/ or send a letter to Creative Commons, PO Box 1866, Mountain View, CA 94042, USA.