Control de un teclado virtual por un paciente de ela mediante el uso de dos tecnologías: eyetracker y sistema BCI

CONTROL DE UN TECLADO VIRTUAL POR UN PACIENTE DE ELA MEDIANTE EL USO DE DOS TECNOLOGÍAS: EYETRACKER Y SISTEMA BCI Ricardo Ron-Angevin Dpto. Tecnología Electrónica, ETSI Telecomunicación, Universidad de Málaga, [email protected] Liliana García, Véronique Lespinet-Najib, Jean Marc André IMS UMR 5218, CIH, ENSC-BordeauxINP, Burdeos (Francia) Resumen Pacientes que sufren de Esclerosis Lateral Amiotrófica (ELA) pueden llegar a sufrir lo que se conoce como síndrome de enclaustramiento (Lockedin-syndrome, LIS), caracterizado, en su modalidad clásica, por la imposibilidad de realizar cualquier movimiento salvo parpadear y mover los ojos. Para estos pacientes, la tecnología asistida disponible es muy limitada, siendo aquellas basadas en el eyetracker (seguimiento de ojos) y en el BCI las más apropiadas.Varios estudios han tratado de comparar ambas tecnologías. En el caso de controlar un sistema de comunicación, estos concluyen que un eyetracker es más ventajoso. Precisamente, el objetivo del estudio que se propone en esta contribución es demostrar que el uso de la tecnología puede depender de las preferencias de cada usuario. Para ello se lleva a cabo un estudio comparativo entre el uso de un eyetracker (Tobii modelo C15) y una Interfaz Cerebro-Computadora basado en la detección del potencial P300 para controlar un teclado virtual. Dicho estudio se realiza sobre un paciente con ELA. El estudio de las prestaciones de ambos sistemas en términos de error y tiempo, además de la carga de trabajo y de otras medidas subjetivas, nos permitirán determinar la usabilidad de ambos sistemas y obtener resultados sobre dicha comparativa. Palabras Clave: Sistema BCI, Eyetracker, ALS, Speller. 1 INTRODUCCIÓN Existen numerosos trastornos neurológicos que tienen como consecuencia importantes deficiencias en las funciones motoras de aquellas personas que sufren estas enfermedades. Personas afectadas de Esclerosis Lateral Amiotrófica (ELA), distrofia muscular, parálisis cerebral, lesiones agudas en la médula espinal y otras numerosas enfermedades neurológicas pueden presentar grandes discapacidades. En algunos casos, las deficiencias motoras pueden llegar a ser realmente severas, hasta el extremo de producir la pérdida total del control de los músculos responsables de los movimientos voluntarios del cuerpo, incluido los movimientos de los ojos y de la propia respiración. En algunos casos, estos pacientes pueden llegar a lo que se conoce como el estado de locked-in síndrome (LIS) es decir, encerrado en ellos mismos. Si existe cierta tecnología que permite controlar un sistema de comunicación para pacientes que aún tienen cierto control muscular, para pacientes en estado de LIS, dicha tecnología es muy limitada. Probablemente, las tecnologías basadas en eyetracking, electrooculografóa (EOG) o interfaces cerebro-computadora (sistemas BCI) sean las únicas alternativas viables para estos pacientes [5]. Puesto que tanto el eyetracking como la electrooculografía se basan en el movimiento del ojo, hay que resaltar que ambas técnicas requieren cierto control ocular por parte del paciente. Conviene indicar que, de estas tecnologías, la basada en eyetracking es, en la actualidad, una de las más avanzadas y usadas de cara a proveer un sistema de comunicación para pacientes en estado de LIS y, muy especialmente, para pacientes de ELA. Un estudio reciente trata de explorar la efectividad en la comunicación así como las variables que pudiesen afectar a la utilización de un sistema de eyetracker para pacientes de ELA [11]. La conclusión más relevantes de dicho estudio es que la principal limitación del eyetracker está en que sólo es viable para personas que tienen un buen control oculomotor. Para pacientes con disfunción oculomotora, el uso de un eyetracker puede resultar muy molesto o, incluso imposible. Otro estudio trata de comparar tres tecnologías distintas para proporcionar una comunicación binaria: eyetracking, electrooculografía (EOG) y un BCI auditivo. Las pruebas se hicieron sobre un paciente de ELA con control oculomotor residual, teniendo bastante dificultad en usar las 3 tecnologías, siendo la EOG la más favorable. Además del BCI auditivo, otros sistemas BCI orientados a los sistemas de comunicación son aquellos que hacen uso del potencial visual P300, y que se basan en el P300 speller propuesto por Farwell y Donchin [2] y que ha sido estudiado y referenciado en numerosas ocasiones [1, 6, 7, 10]. Recientemente, un estudio trata de comparar dicho P300 speller y un eyetracker, para controlar una aplicación de acceso a Internet [9]. Según los resultados obtenidos sobre un total de 12 pacientes, se concluye que el eyetracker presenta más ventajas como tecnología para controlar un sistema de comunicación. Los participantes concluyeron además que el uso del eyetracker les resultó menos cansino, siendo el BCI una tecnología que requería más esfuerzo y más tiempo para llevar a cabo la misma tarea. El objetivo del trabajo que aquí se presenta es el de mostrar que la elección de una tecnología puede depender de las preferencias del sujeto. En este sentido, la usabilidad de estas dos tecnologías [4, 8], el eyetracker y un P300 speller visual, será evaluada. 2 MÉTODOLOGÍA 2.1 PARTICIPANTES Un sujeto, de nacionalidad francesa, de 57 años de edad, y diagnosticado con Esclerotis Lateral Amiotrófica en 2010, participó en el estudio. El paciente no tenía experiencia previa en el manejo de ninguno de los dos dispositivos: el eyetracker y el BCI. Podía mover sus ojos y presentaba gran dificultad para comunicarse a través de la voz. El experimento fue aprobado por el Comité Ético de Experimentación de la Universidad de Málaga y cumplió los criterios de la Declaración de Helsinki. El participante dio su consentimiento por escrito a través de un protocolo revisado por el equipo Cognitivo de la ENSC-IMS de la Universidad de Burdeos (Francia). El experimento fue llevado a cabo en el hospital CHU (Centre Hospitalier Universitaire) de Burdeos. 2.2 PROCEDIMIENTO El estudio se realizó en un solo día, en el que el participante testeó la aplicación controlada por el BCI (sesión 1) y por el eyetracker (sesión 2). Durante el experimento el paciente se encontraba sentado en su silla de ruedas a una distancia aproximada de 60 cm en frente de la pantalla. Antes del comienzo de la sesión, al paciente se le dio instrucciones relacionadas con el procedimiento y la tecnología a usar (BCI o eyetracker) de manera verbal. Puesto que el objetivo del estudio era comparar la usabilidad del eyetracker y del BCI al llevar a cabo una tarea de comunicación, el tamaño de la matriz de letras (speller) fue el mismo en ambos casos. Concretamente, se usó el speller basado en el clásico propuesto for Farwell y Donchin [2], que consistía en una matriz de 6 x 6 elementos (36 símbolos alfanuméricos entre letras y números) ordenados en forma de filas y columnas (ver figura 1). El tamaño de la matriz fue de 14.69 cm siendo el tamaño de los símbolos de 1.17 cm y la distancia entre estos de 1.53 cm. Figura 1. Esquema representando el clásico Speller de Farwell y Donchin Cada sesión consistía en una fase de calibración y una de evaluación. El propósito de la fase de calibración era el de adaptar la tecnología a usar al usuario. Una vez finalizada la fase de calibración, el sujeto participaba en la fase de evaluación que consistía en escribir la frase en francés “il fait beau” (es decir, “hace bueno”, refiriéndose al tiempo). Al participante se le permitía corregir cada error una sola vez. Después de la tarea de escritura, se le pedía completar un test visual (Visual Analogue Scale, VAS) de: cansancio, dificultad, estrés, dificultad en percibir los símbolos, y un test NASA-TLX [3] para evaluar la carga cognitiva. Al final de la segunda sesión, al sujeto se le pidió expresar sus preferencias entre las dos tecnologías usadas. Para ello, un cuestionario comparativo permitía evaluar 6 parámetros: favorito, complejo, confortable, estresante, controlable y cansino. 2.3 MATERIAL Y TAREAS Interfaz Cerebro-Computadora. Las señales EEG fueran registradas a través de 8 canales unipolares en las posiciones: P3, P4, PO8, Fz, Cz, Pz, PO7 y Oz, de acuerdo con el sistema internacional 10/20. El electrodo de referencia se situó en la posición FPz y la tierra en el lóbulo de la oreja izquierda. La señal fue amplificada por un amplificador de 16 canales (g.BSamp de Guger Technologies) y digitalizadas a 256 Hz por una tarjeta de adquisición NI USB-6210 (National Instruments). La adquisición y el procesado de las señales EEG fueron llevados a cabo a través de la plataforma BCI2000. Durante la fase de calibración, cada fila y columna “flasheaba” aleatoriamente un total de 10 veces. Es decir, cada símbolo era finalmente “flasheado” 20 veces. La duración de cada flash era de 125 ms, siendo el intervalo entre dos flashes de otros 125 ms (Inter-Stimulus Interval, ISI). Se estableció una pausa de 6 s para cada ciclo de flashes. La calibración consistió en deletrear las palabras “lune”, “feux” y “kilo” además del número “2015”. Una vez finalizada la fase de calibración, se llevaba a cabo el procesado de las señales para obtener los pesos del clasificador que permita detectar los potenciales P300 on-line. Una vez finalizado el procesado, daba comienzo la fase de evaluación (ver figura 2), habiéndose escogido el número de flashes necesario como el mínimo que necesitó el sujeto para alcanzar el 100% de éxito durante la fase de calibración. Figura 2: El participante durante la fase de evaluación del sistema BCI Eyetracker. El experimento fue llevado a cabo usando el sistema TobiiC15 (Tobii Technology) [12]. La matriz de símbolos fue configurada para ser idéntica a la usada con el sistema BCI. En este caso, la fase de calibración consistía en el seguimiento ocular de 9 objetivos localizados en distintas posiciones de la pantalla. Por lo general, el tiempo requerido para esta calibración debería ser bastante reducido. La fase de evaluación daría comienzo únicamente cuando el operador diese por aceptable los resultados en la fase de calibración. Durante la fase de evaluación (ver figura 3), el participante podía seleccionar un símbolo tras dirigir la mirada hacia éste durante un tiempo de 1.6s. Figura 3: El participante durante la fase de evaluación mediante el sistema de comunicación TobiiC15 2.3 MEDIDAS OBJETIVAS Y SUBJETIVAS Para comparar las prestaciones del sistema BCI y del eyetracker, se consideraron diferentes medidas objetivas: el tiempo requerido en la fase de calibración, el tiempo requerido en la fase de evaluación, la frase finalmente escrita y el número de errores. En cuanto a las medidas subjetivas, se analizó los resultados del test NASA-TLX para cada experimento con el fin de evaluar la carga de trabajo. También se analizaron los diferentes valores correspondientes al test visual VAS, así como los cuestionarios comparativos entre los dos sistemas. Todo ello, permitiría obtener una valoración global sobre la usabilidad de cada tecnología. 3 RESULTADOS 3.1 MEDIDAS OBJETIVAS Las distintas medidas objetivas obtenidas para cada tecnología son mostradas en la tabla 1. Tabla 1: Medidas objetivas obtenidas mediante los sistemas BCI y Tobii. BCI Tobii Tiempo para la fase de calibración 8 min 5 min Tiempo para la fase de evaluación 7 min 34 s 7 min 47 s Frase escrita IL FAIT BEA7L IL LFAI7_BEAP65 Número de errores 3 7 Hay que indicar que el paciente tuvo gran dificultad para fijar la mirada en las distintas localizaciones que exigía el proceso de calibración del Tobii, por lo que la calibración resultó fallida en numerosas ocasiones. Finalmente, ésta fue llevada a cabo considerando exclusivamente el ojo derecho del paciente. En cuanto al sistema BCI, el participante necesitó de 7 (de un total de 10) flashes (entendiendo por un flash la intensificación de una fila y una columna) para obtener un 100% de éxito en la clasificación durante el proceso de calibración. Finalmente se configuró a 8 el número de flashes necesarios para seleccionar un símbolo durante el proceso de evaluación. 3.2 MEDIDAS SUBJETIVAS Para cada tecnología, la carga de trabajo total (NASA-TLX, puntuación global entre 0 y 100) y las contribuciones de cada dimensión a dicha carga de trabajo (exigencia mental, física y temporal, prestaciones, esfuerzo y frustración; entre 0 y 33.3) son mostradas en las figura 4 y 5 respectivamente. Figura 4: Carga de trabajo total para cada tecnología Figura 5: Contribución de cada dimensión a la carga de trabajo para cada tecnología Los valores obtenidos para las diferentes escalas visuales (Visual Analogue Scale, VAS) y para cada tecnología se muestran en la figura 6. Figura 6: VAS obtenidos para cada tecnología Finalmente, los resultados obtenidos en el cuestionario comparativo son mostrados en la tabla 2. Tabla 2: Resultados comparativos entre los sistemas BCI y Tobii. BCI Tobii Valoración positiva El más controlable El más confortable El favorito Valoración negativa El más estresante El menos complejo El más cansino 4 DISCUSIONES Y CONCLUSIONES Durante la fase de calibración, el paciente, no solo tuvo mucha dificultad en seguir con los ojos los distintos objetivos durante la fase de calibración del eyetracker, sino que además tuvo muchas dificultades en mantener los ojos abiertos. Finalmente, la calibración se llevó a cabo con el ojo derecho y ni así, el sujeto logró una buena calibración. Este largo tiempo requerido en la fase de calibración del Tobii ha podido influir negativamente en la fatiga y en la usabilidad de este sistema. Se observa que el tiempo requerido en la fase de evaluación es similar para los dos sistemas sin embargo, el número de errores es bastante mayor para el Tobii. En definitiva, los resultados objetivos muestran que con el sistema BCI se obtienen mejores prestaciones. En cuanto a las medidas subjetivas, la carga de trabajo requerida para el sistema BCI es ligeramente inferior a la exigida por el eyetracker. La exigencia mental y el esfuerzo requerido fueron dimensiones más altas en el sistema BCI en comparación con el eyetracker. Una causa de esto puede ser el elevado tiempo necesario para seleccionar un símbolo con el sistema BCI (24 s). Sin embargo, el sistema BCI ha requerido menos exigencia temporal, contribuyendo al desarrollo de la tarea y a una menor frustración, teniendo además un efecto positivo en las prestaciones. En relación a las distintas cuestiones comparativas entre las dos tecnologías (VAS), el sistema BCI no supuso fatiga alguna. Aunque el grado de dificultad en la tarea fue inferior parta el sistema BCI, hay que mencionar que los valores obtenidos fueron importantes para las dos tecnologías evaluadas (6 para el BCI y 8 para el Tobii). Ninguno de los sistemas fue considerado como estresante ni supuso dificultad para reconocer los distintos símbolos. Los datos obtenidos muestran, para este paciente, una cierta ventaja en el uso del sistema BCI en comparación con el Tobii, opinión que fue trasladada por él mismo. Aunque resultados recientes concluyen que, para tareas de comunicación, un sistema basado en eyetracker presenta más ventajas que un sistema BCI basado en el P300, los resultados presentados en este trabajo nos permiten concluir que la tecnología BCI no debe ser descartada como solución alternativa para aquellos pacientes que presentan cierta dificultad, no solo para controlar el movimiento de sus ojos, pero también en el manejo de un eyetracker. Aunque los resultados han sido obtenidos sobre un único paciente, estos muestran que la tecnología siempre debe ser testeada y adaptada a cada usuario, no debiendo establecerse una tecnología específica como la más apropiada sin antes ser probada por la persona. Agradecimientos Este trabajo ha sido parcialmente financiado por el Ministerio de Economía y Competitividad y por los fondos Europeos FEDER a través del proyecto LICOM (DPI2015-67064-R(MINECO/FEDER)), y la Universidad de Málaga Campus de Excelencia Internacional Andalucía Tech. Referencias [1] Bianchi, L., Sami, S., Hillebrand, A., Fawcett, I., Quitadamo, L., Seri, S.: Which physiological components are more suitable for visual ERP based brain-computer interface? A preliminary MEG/EEG study. Brain Topography, 23(2), pp.180–185, (2010). [2] Farwell L.A. and Donchin E., “Talking off the top of your head: toward a mental prothesis utilizing event-relatedpotencials,” Electroencephalogr. Clin. Neurophysiol., vol. 70, no. 6, pp. 510–523, 1988. [3] Hart, S.G., Staveland, L.E.: Development of NASA-TLX (Task Load Index): Results of empirical and theoretical research. Advances in psychology, 52, pp; 139-183 (1988). [4] ISO 9241-11. Ergonomic requirements for office work with visual display terminals (VDTs) – Part 11: Guidance on usability (1998). [5] Käthner, I., Kübler, A., & Halder, S. Comparison of eye tracking, electrooculography and an auditory braincomputer interface for binary communication: a case study with a participant in the locked-in state. Journal of neuroengineering and rehabilitation, 12(1), 76 pp. 1-11 (2015). [6] Kleih, S., Nijboer, F., Halder, S., Kübler, A. Motivation modulates the P300 amplitude during braincomputer interface use. Clinical Neurophysiology, 121(7), pp.1023 – 1031, (2010). [7] Krusienski, D. J., Sellers, E. W., McFarland, D. J., Vaughan, T. M., & Wolpaw, J. R. Toward enhanced P300 speller performance. Journal of neuroscience methods, 167(1), pp. 15-21 (2008). [8] Nielsen, J.: What is Usability? In ‘Usability Engineering’, Cambridge, MA: Academic Press, pp. 23–48 (1993). [9] Pasqualotto, E., Matuz, T., Federici, S., Ruf, C. A., Bartl, M., Belardinelli, M. O., ... & Halder, S. Usability and workload of access technology for people with severe motor impairment a comparison of brain-computer interfacing and eye tracking. Neurorehabilitation and neural repair, 29 (10) pp. 950-957(2015). [10] Sellers, E.W., Krusienski, D. J., McFarland, D. J., Vaughan, T. M., Wolpaw, J. R.: A P300 event-related potential brain–computer interface (BCI): The effects of matrix size and inter stimulus interval on performance. Biological Psychology, 73(3), pp. 242 – 252 (2006). [11] Spataro, R., Ciriacono, M., Manno, C., & La Bella, V. The eye‐tracking computer device for communication in amyotrophic lateral sclerosis. Acta Neurologica Scandinavica, 130(1), pp. 40-45 (2014). [12] Tobii ATI – Tobii C15 Augmentative and Alternative Communication Device, http://www.tobii.com/assistivetechnology/northamerica/ products/hardware/tobii-C15/; May 2012.