Repositorio Institucional de Documentos

Proyecto Final de Carrera Ingenier´ıa de Telecomunicaci´on Curso 2010-2011 Decodificaci´on de los objetivos finales (3D) del movimiento del brazo en tareas de alcance a partir de potenciales de movimiento anticipatorio para EEG Brain Computer Interface Eduardo Mariano Horna Prat Septiembre de 2011 Director: Javier M´ınguez Zafra Co-director: Luis Montesano Departamento de Inform´atica e Ingenier´ıa de Sistemas Escuela de Ingenier´ıa y Arquitectura Universidad de Zaragoza Por ti, que viste empezar mi sue˜no y ahora vives en m´ı iv Decodificaci´on de los objetivos finales (3D) del movimiento del brazo en tareas de alcance a partir de potenciales de movimiento anticipatorio para EEG Brain Computer Interface RESUMEN La recuperaci´on y rehabilitaci´on de personas con deficiencias motoras ha sido objeto de numerosas investigaciones desde diversos campos de la ciencia. Dentro de los sistemas BCI (Brain Computer Interface) se han desarrollado estudios enfocados a la recuperaci´on de la habilidad motora del brazo a trav´es de la informaci´on extra´ıda del EEG de manera no invasiva. Gracias a este tipo de sistemas podemos establecer un canal de comunicaci´on entre el cerebro de un sujeto y una computadora para realizar tareas controladas directamente por la mente. En este trabajo se estudia la capacidad de decodificar los puntos objetivo del movimiento del brazo en un entorno 3D a trav´es de potenciales EEG anticipatorios al movimiento. Hasta el momento la mayor´ıa de investigaciones se han centrado en el ´ambito de las 2D (alcanzar en un plano) o en 3D (con profundidad) pero con movimientos no autoiniciados (respuestas a est´ımulos visuales). Los seres humanos nos desenvolvemos en un entorno en tres dimensiones, por lo que resultar´ıa interesante poder conseguir una decodificaci´on de la intenci´on de alcanzar un punto en un entorno 3D (no s´olo un plano sino tambi´en con profundidad) y adem´as que este movimiento sea autoiniciado por el usuario, lo que supondr´ıa una situaci´on m´as realista de c´omo act´ua una persona sin deficiencia motora en el brazo, ya que la intenci´on de mover el brazo no responde a un est´ımulo sino que depende ´unicamente del deseo del sujeto de mover la extremidad. Con este objetivo se propone desarrollar un sistema que permita identificar el objetivo final del movimiento del brazo de un sujeto entre un conjunto finito de 8 puntos objetivo en un espacio 3D utilizando para ello el EEG grabado simult´aneamente con las tareas de alcance del brazo a seis voluntarios. La se˜nal EEG previa al inicio del movimiento ser´a en primer lugar filtrada, para una posterior extracci´on de caracter´ısticas que nos permita una clasificaci´on final del punto objetivo al que el sujeto mov´ıa el brazo. Esta informaci´on podr´ıa ser utilizada en el campo de la rob´otica (brazo rob´otico) o de la neurorehabilitaci´on para mejorar la capacidad de movimiento de personas con alguna deficiencia motora del brazo. La eficiencia del sistema ser´a evaluada con los mismos datos off-line tomados del EEG grabado a los distintos sujetos que se sometieron al experimento llevado a cabo en la Universidad de Zaragoza, y mediante la t´ecnica de cross-validation. v ´ Indice 1. Introducci´on 1 1.1. Contexto..................................... 1 1.2. Estadodelarte ................................. 1 1.3. Motivaci´on.................................... 2 1.4. Objetivo y Alcance del proyecto . . . . . . . . . . . . . . . . . . . . . . . . 2 1.5. Organizaci´on .................................. 4 1.6. Herramientas .................................. 4 2. Experimento y toma de datos 5 2.1. Introducci´on................................... 5 2.2. Montajeexperimental ............................. 5 2.3. Adquisici´on de los datos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.4. Se˜nalEEG.................................... 8 2.4.1. Origenfisiol´ogico ............................ 8 2.4.2. Preprocesamiento de los datos . . . . . . . . . . . . . . . . . . . . . 9 3. Filtrado 11 3.1. Introducci´on................................... 11 3.2. Filtrobipolar .................................. 11 3.3. Suavizado y rectificado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.4. Patrones Espaciales Comunes (CSP) . . . . . . . . . . . . . . . . . . . . . 13 vii ´ INDICE ´ INDICE 4. Caracter´ısticas 15 4.1. Introducci´on................................... 15 4.2. C´alculo de caracter´ısticas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 4.2.1. ModeloAR ............................... 16 4.2.2. Bancodefiltros............................. 17 4.2.3. Periodograma de la se˜nal completa . . . . . . . . . . . . . . . . . . 19 4.2.4. Periodograma de la se˜nal filtrada en ritmo alpha ........... 20 4.2.5. Resampleo................................ 20 4.2.6. Transformada discreta wavelet . . . . . . . . . . . . . . . . . . . . . 21 4.2.7. Momentos de la densidad espectral de potencia . . . . . . . . . . . 22 4.3. Organizaci´on y normalizaci´on . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.4. B´usqueda de las mejores caracter´ısticas . . . . . . . . . . . . . . . . . . . . 24 5. Clasificaci´on 27 5.1. Introducci´on................................... 27 5.2. Clasificadores .................................. 27 5.2.1. An´alisis de discriminaci´on lineal (LDA) . . . . . . . . . . . . . . . . 28 5.2.2. M´aquinas de soporte vectorial (SVM) . . . . . . . . . . . . . . . . . 29 5.2.3. Clasificador agregado . . . . . . . . . . . . . . . . . . . . . . . . . . 31 5.3. Clasificaci´on utilizada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 6. Resultados 35 6.1. Cross-validation................................. 35 6.2. Trabajoprevio ................................. 36 6.3. An´alisis de los resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 7. Conclusiones y l´ıneas futuras 43 A. Evoluci´on temporal 47 A.1. Hitos durante el proyecto . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 viii ´ INDICE ´ INDICE A.2.DiagramadeGantt............................... 48 B. Sistema BCI 49 B.1. Introducci´on. Sistema 10-10 . . . . . . . . . . . . . . . . . . . . . . . . . . 49 B.2.Artefactos.................................... 51 B.3.Infraestructura ................................. 53 B.3.1.Electrodosactivos............................ 53 B.3.2.Amplificador .............................. 54 B.3.3.Gorro .................................. 55 B.3.4.Geles................................... 55 B.3.5.Otros................................... 55 B.3.6. Software: BCI2000 . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 C. M´etodos matem´aticos 57 C.1. Patrones espaciales comunes (CSP) . . . . . . . . . . . . . . . . . . . . . . 57 C.2.M´etododeBurg................................. 58 C.3. Transformada wavelet discreta (DWT) . . . . . . . . . . . . . . . . . . . . 59 C.4. An´alisis de componentes principales (PCA) . . . . . . . . . . . . . . . . . . 60 ix 1. Introducci´on 1.3 Motivaci´on nemos [2] donde el usuario alcanzaba uno de los 3 objetivos fijos en el espacio que le era indicado por la iluminaci´on de un LED en el punto a alcanzar. Los resultados en este caso fueron de un 60 % de aciertos, de nuevo usando datos de planificaci´on del movimiento. 1.3. Motivaci´on Si la intenci´on futura es crear un brazo artificial que se comporte como uno humano se tiene que tener en cuenta las condiciones en las que opera el mismo. La capacidad de alcanzar puntos en un plano es una gran avance, pero un brazo real alcanza puntos en un entorno 3D. Por lo tanto en este estudio se propone un entorno con 8 puntos objetivos distribuidos en el espacio. En segundo lugar los estudios anteriores tienen como m´aximo 4 puntos objetivo por lo que en este trabajo se busca ampliar la libertad de movimiento del sujeto, lo que implica una mayor dificultad de clasificaci´on. Figura 1.1: Experimento con 3 objetivos en un plano [1] (Izquierda). Experimento con 4 objetivos en un plano [2] (Derecha). Por otro lado la decisi´on de mover el brazo es propia del sujeto por lo que tomar los datos como respuesta a un est´ımulo no es la situaci´on com´un de un sujeto sano. Por ello en este trabajo se emplear´an los potenciales EEG anticipatorios al movimiento ya que de esta manera s´olo con pensar en querer mover el brazo hasta uno de los ocho puntos, el sistema ser´a capaz de decidir cu´al de ellos quer´ıa alcanzar el sujeto. 1.4. Objetivo y Alcance del proyecto El objetivo de este proyecto fin de carrera es el desarrollo de un sistema que nos permita decodificar la intenci´on de movimiento del brazo para alcanzar uno de los 8 2 1. Introducci´on 1.4 Objetivo y Alcance del proyecto puntos objetivo a trav´es del an´alisis de la se˜nal EEG registrada del sujeto y determinar de este modo hacia qu´e punto quiere dirigir el brazo el usuario. Para ello se llevar´a a cabo un proceso de tratamiento de la se˜nal que nos permitir´a una clasificaci´on m´as precisa del punto elegido por el sujeto. En este proceso se utilizar´an t´ecnicas de filtrado espacial [3] [4] as´ı como la extracci´on de caracter´ısticas relevantes de la se˜nal EEG [5]. A continuaci´on se dise˜nar´a un clasificador que utilice la informaci´on anterior para determinar el punto objetivo que se intenta alcanzar. Por ´ultimo se validar´a el sistema para comprobar la eficiencia del mismo. Este proceso se expone en la figura 1.2 donde se muestra que la toma de datos de la se˜nal EEG no forma parte de este proyecto sino que fue realizada como parte de otro experimento llevado a cabo en la Universidad de Zaragoza. Las distintas partes del sistema ser´an explicadas a lo largo de esta memoria del modo comentado en el apartado 1.5: EEG (No es parte de este proyecto) EXTRACCIÓN DE CARACTERÍSTICAS EVALUACIÓN FILTRADO CLASIFICACIÓN Registro FeaturesBipolar Búsqueda de mejores Suavizado y rectificado CSP SVM Crossvalidation Filtrado de artefactos Clasificador agregado LDA Figura 1.2: Partes en las que se divide el sistema de decodificaci´on del punto objetivo del movimiento de alcance dise˜nado. 3 1. Introducci´on 1.5 Organizaci´on 1.5. Organizaci´on Esta memoria esta organizada en siete cap´ıtulos, de los cuales este primero es el de introducci´on donde se presenta la motivaci´on y objetivo del proyecto. A partir del cap´ıtulo 2 y hasta el cap´ıtulo 6 se explicar´an de forma detallada cada una de las partes expuestas en la figura 1.2: Cap´ıtulo 2 Experimento y toma de datos: en esta secci´on se explicar´a el experimento llevado a cabo para la toma de datos as´ı como el preprocesado ejecutado anteriormente a la realizaci´on de este proyecto. Tambi´en se comentan los conceptos b´asicos de la se˜nal EEG registrada. Cap´ıtulo 3 Filtrado: en el mismo se presentan los diferentes filtros utilizados para adecuar la se˜nal para su posterior tratamiento. Cap´ıtulo 4 Caracter´ısticas: en este apartado se presenta la extracci´on, organizaci´on y normalizaci´on de las caracter´ısticas de la se˜nal previamente filtrada que ser´an utilizadas para la posterior clasificaci´on. Cap´ıtulo 5 Clasificaci´on: se presentan los m´etodos de clasificaci´on utilizados tanto para nuestro sistema como para un apartado previo al proyecto que sirvi´o como introducci´on a la clasificaci´on de datos. Cap´ıtulo 6 Resultados: por ´ultimo se presenta el m´etodo de evaluaci´on de los resultados del proyecto (inclu´ıdo el trabajo previo) as´ı como una discusi´on acerca de los mismos Por ´ultimo para concluir la memoria se presentan en el cap´ıtulo 7 las conclusiones del estudio as´ı como las propuestas de posibles lineas futuras para ahondar en el problema. 1.6. Herramientas Para la ejecuci´on del presente proyecto se utiliz´o la herramienta matem´atica MATLAB© desarrollada por Mathworks. Los datos con los que se trabaj´o ya estaban registrados en varios ficheros .mat a partir de las cuales se trabaj´o. El registro de los datos es explicado en el cap´ıtulo 2 de esta memoria. 4 2. Experimento y toma de datos 2.1. Introducci´on En este cap´ıtulo se explica el experimento que se llev´o a cabo para la obtenci´on de los datos con los que se trabaja en el proyecto, la adquisici´on de los mismos y se describe la se˜nal encefalogr´afica con la que se trabajar´a. En la secci´on 2.2 se presenta el montaje experimental, explicando el procedimiento que siguieron los sujetos para la toma de los datos que posteriormente se han analizado. Los medios utilizados para la adquisici´on de la se˜nal se encuentran en la secci´on 2.3. Por ´ultimo se hace un resumen de la se˜nal EEG, comentando su naturaleza y origen fisiol´ogico as´ı como sus caracter´ısticas temporales y fecuenciales en la secci´on 2.4.1 y el preprocesamiento de la se˜nal en 2.4.2. 2.2. Montaje experimental Siete hombres diestros de la Universidad participaron voluntariamente en los experimentos (con edades comprendidas entre los 25 y 32 a˜nos) despu´es de que el protocolo fuera aprobado por el Comit´e de Revisi´on Institucional de la Universidad de Zaragoza. Este experimento fue realizado antes del comienzo de este proyecto. Los sujetos se sentaron en una silla confortable delante del montaje experimental (Figura 2.1). Como se puede ver, el montaje contaba con una serie de posiciones fijas y conocidas en el espacio (3D) que estaban divididas en 8 puntos objetivo y en un punto inicial o de resposo. La m´ınima y la m´axima distancia desde el punto inicial hasta el punto objetivo m´as cercano y m´as lejano era de 10 cm. y 50 cm. respectivamente. El proceso era el siguiente: Antes de iniciar el movimiento el sujeto hac´ıa una selecci´on mental durante aproximadamente 2 segundos (preparaci´on del movimiento o movimiento anticipatorio). A continuaci´on los sujetos recibieron la instrucci´on de mover el brazo derecho desde este punto inicial fijo hasta un punto objetivo entre los ocho posibles, siendo este movimiento autoiniciado por el sujeto (sin est´ımulo externo). 5 2. Experimento y toma de datos 2.2 Montaje experimental Por ´ultimo el sujeto colocaba de nuevo el brazo en el punto inicial fijo. Figura 2.1: Sujeto sentado frente al montaje experimental Este proceso se desarrollaba cada 7.5 segundos en media (m´ınimo 2.8 y m´aximo 9.7 segundos). Como veremos en la secci´on 2.4 la amplitud de la se˜nal EEG es muy peque˜na por lo que se ve afectada considerablemente por parpadeos o movimientos musculares (ver Anexo B.2). Por ello durante la operaci´on de alcanzar el punto objetivo, se les pidi´o a los sujetos que mantuvieran una postura natural, relajada y constante; para minimizar el parpadeo, los sujetos manten´ıan la vista fija en el punto correspondiente del montaje. Durante el resto del tiempo se les permit´ıa parpadear y relajarse. El experimento se llev´o a cabo en cinco bloques de cinco minutos cada uno, donde los sujetos ejecutaron alrededor de 130 operaciones de alcanzar uno de los 8 puntos objetivo (al final del EEG registrado se qued´o con un m´ınimo de 75 realizaciones y un m´aximo de 196, despu´es de eliminar los ejemplos no v´alidos). En la figura 2.2 podemos observar la secuencia que se repiti´o durante el experimento. Figura 2.2: Secuencia temporal de la ejecuci´on del movimientol 6 2. Experimento y toma de datos 2.3 Adquisici´on de los datos 2.3. Adquisici´on de los datos La actividad EEG fue registrada con un sistema gTec (2 amplificadores sincronizados gUSBamp) con 28 electrodos distribuidos de acuerdo con el sistema internacional 10/10 (Figura 2.3), la tierra en FPz y la referencia en el l´obulo de la oreja izquierda. Tambi´en se tomaron los datos del EOG vertical y horizontal. Las se˜nales EEG y EOG fueron digitalizadas con una frecuencia de muestreo de 256 Hz. Adem´as se elimin´o el efecto de la corriente el´ectrica con un filtro elimina-banda entre 49 y 51 Hz. y los datos se filtraron paso-bajo con una frecuencia de corte de 60 Hz. Se puede encontrar m´as informaci´on acerca de los aparatos utilizados en el anexo B.3 y sobre el sistema internacional 10/10 y EOG en el anexo B.1 Figura 2.3: Mapa craneal con la posici´on de los electrodos utilizados para la adquisici´on de la se˜nal EEG Simult´aneamente, los datos cinem´aticos 3D del brazo fueron registrados con un sistema de captura de movimiento VICON basado en video que guardaba las posiciones en el espacio de los distintos marcadores pegados al cuerpo como se puede ver en la figura 2.1. Estos datos de las posiciones s´olo ser´an utilizados para el trabajo previo al propio proyecto explicado en esta memoria. Aparte de las medidas de EEG y de movimiento, el sistema tambi´en registraba marcadores temporales correspondientes al principio y al final de cada acci´on de alcanzar un punto objetivo. Esta informaci´on se obtuvo haciendo uso de botones en los puntos inicial y objetivo y fue sincronizada con las medidas del EEG. Gracias a estos marcadores podemos elegir los datos de todo el registro de EEG con los que queremos trabajar. En este trabajo se utiliz´o una ventana de 300 milisegundos justo antes del comienzo del movimiento del brazo (Figura 2.4). De esta forma tomamos datos de preparaci´on de movimiento o movimiento anticipatorio para introducirlos a nuestro sistema. Trabajar con estos datos nos permite simular lo que ser´ıa una sitauci´on real donde un sujeto pensar´ıa en mover el brazo hasta un punto y s´olo con esa informaci´on del EEG ser´ıamos capaces de decodificar el punto objetivo que se quer´ıa alcanzar. 7 2. Experimento y toma de datos 2.4 Se˜nal EEG Figura 2.4: Ventana de datos utilizados durante el desarrollo del proyecto 2.4. Se˜nal EEG 2.4.1. Origen fisiol´ogico El electroencefalograma (EEG) consiste en el registro no invasivo de la actividad el´ectrica cerebral mediante una serie de electrodos colocados en la superficie del cuero cabelludo. Al conjunto de la actividad el´ectrica se le conoce como ritmo debido a su comportamiento oscilatorio. Concretamente la actividad de una sola neurona cortical no puede ser medida debido al grosor de las capas de tejido (fluidos, huesos y piel) que componen la corteza cerebral y que provocan una atenuaci´on de la se˜nal propagada por el electrodo. Sin embargo la actividad conjunta de millones de neuronas corticales, localizadas a una profundidad de varios mil´ımetros, producen un campo el´ectrico suficientemente fuerte para ser medido en la superficie cerebral, siendo esta profundidad dependiente de la potencia de la fuente neuronal. El campo el´ectrico es principalmente generado por corrientes que fluyen durante excitaciones sin´apticas1de las dendritas2, la excitaci´on post-sin´aptica. La diversidad de ritmos EEG es inmensa y depende, entre otras cosas, del estado mental del sujeto (grado de atenci´on, de relajaci´on, etc). Los ritmos est´an convencionalmente caracterizados por: La amplitud de EEG: est´a relacionada con el sincronismo con el cual las neuronas de la corteza cerebral interaccionan. Una excitaci´on sincronizada produce una se˜nal 1Sinapsis: uni´on intercelular producida por una descarga qu´ımica que origina una corriente el´ectrica en la membrana de la c´elula sin´aptica (emisora) una vez que este impulso alcanza el extremo del ax´on la propia neurona segrega neurotransmisores. 2Dendrita: Prolongaci´on ramificada de una c´elula nerviosa, mediante la que esta recibe est´ımulos externos 8 2. Experimento y toma de datos 2.4 Se˜nal EEG de mayor amplitud medible en el cuero cabelludo ya que las se˜nales originadas por cada neurona se suman de forma coherente en fase produciendo como resultado una se˜nal de amplitud elevada. Por el contrario, una excitaci´on as´ıncrona de las neuronas provoca un EEG irregular de baja amplitud. La amplitud es variable, de 20-60 µV (50 µV por t´ermino medio). La frecuencia de EEG: viene definida por el comportamiento r´ıtmico de las interacciones coordinadas de activaci´on de las neuronas de la corteza. [6] En la actualidad, el registro de EEG se lleva a cabo mediante la colocaci´on de un gorro sobre el cuero cabelludo, en el cual se colocan un conjunto de electrodos. La disposici´on de los electrodos sobre el cuero cabelludo sigue el est´andar descrito por el Sistema Internacional 10-10 o 10-20, ver en anexo B.1. Cada par de electrodos registra las variaciones de potencial el´ectrico definiendo un canal de EEG. Cada una de estas se˜nales son amplificadas mediante el uso de una amplificador diferencial previo a la etapa de digitalizaci´on. La figura 2.5 representa una muestra de encefalograma compuesta por 16 canales. Tal y como se observa, la se˜nal es segmentada en fragmentos temporales denominados epochs (divididos por l´ıneas verticales en la figura). Figura 2.5: (Izquierda) Ejemplo de se˜nal EEG adquirida sobre 16 posiciones del cuello cabelludo. Cada fila representa un canal. (Derecha) Representaci´on visual en forma de mapa de color de la zona sombreada en la imagen izquierda 2.4.2. Preprocesamiento de los datos Todas las realizaciones fueron visualmente inspeccionadas y se descartaron aquellas que a simple vista se observaban ruidosas. La se˜nal EEG puede ser f´acilmente contaminada ya que como hemos comentado en la secci´on anterior se trata de una se˜nal muy d´ebil. Para eliminar los artefactos (posibles artefactos explicados en anexo B.2) y actividad que no pertenezca a la se˜nal EEG se utiliz´o el procedimiento de An´alisis de Componentes Independientes (ICA Independent Component Analysis) el cual busca las componentes 9 2. Experimento y toma de datos 2.4 Se˜nal EEG independientes en las que se puede separar una se˜nal [7]. Para ello se concaten´o todas las realizaciones de EEG y las componentes ICA fueron calculadas mediante el algoritmo fastICA [8]. A continuaci´on fue dibujada la distribuci´on de cada componente sobre el cr´aneo y las se˜nales el´ectricas generadas. Todas las componentes ICA que generaban actividad cerebral no el´ectrica fueron indentificadas por inspecci´on visual y no fueron consideradas para devolver los datos libres de artefactos. Matem´aticamente se puede expresar de este modo: ICAcomp =W∗EEG ICA0 comp =ICAcomp sustituyendo por ceros las filas que no representan se˜nales EEG EEGfiltrado =W−1∗ICA0 comp Este proceso fue realizado antes de la ejecuci´on de este proyecto por lo que los datos con los que se trabaj´o en el mismo fueron los que resultaron despu´es de utilizar el procesado ICA. 10 3. Filtrado 3.1. Introducci´on El esquema general de los sistemas cerebro computador como hemos comentado antes se puede resumir en preprocesado de la se˜nal, extracci´on de caracter´ısticas y clasificaci´on. En el presente cap´ıtulo se exponen los diferentes filtros por los que pasa la se˜nal, es decir, la parte de preprocesado de la se˜nal anterior a la extracci´on de caracter´ısiticas Est´a dividido en tres partes que coinciden con los tres filtros que son realizados en el procesado de los potenciales de EEG. En la secci´on 3.2 se presenta qu´e es un filtro bipolar, la elecci´on del mismo y su utilidad. A continuaci´on se comenta el filtro de suavizado y rectificado en la secci´on 3.3. En el ´ultimo subapartado de este capi´ıtulo se explicar´an los filtros espaciales CSP (Common Spatial Pattern) y su utilizaci´on en este proyecto. 3.2. Filtro bipolar En este proyecto se trabaja con datos de movimiento del brazo derecho. Se conoce de estudios previos que la actividad cerebral motora del brazo derecho del cuerpo se centra en torno al electrodo C3 [9] que se encuentra situado en el hemisferio opuesto a la extremidad si se trata de una persona contralateral (la mayor parte de las personas) o en torno al electrodo C4, en el hemisferio derecho, si se trata de un sujeto ipsilateral. Por ello a la hora de plantear el filtrado de la se˜nal antes de la extracci´on de caracter´ısitcas, se valor´o la idea de colocar un filtro bipolar con respecto a dicho electrodo. B´asicamente el filtrado bipolar consiste en referenciar el resto de canales con respecto al electrodo elegido. Esta t´ecnica es utilizada en sistemas BCI y puede constituir una mejora de la calidad de las caracter´ısitcas calculadas a posteriori. El proceso que se llev´o a cabo en los datos fue el siguiente: a cada canal de cada realizaci´on se le sustrajo el valor de la se˜nal EEG del electrodo C3. Para cada realizaci´on: Sea XEEG la se˜nal libre de artefactos que tendr´a un tama˜no de 28 ×78 (28 filas correspondientes a cada uno de los canales y 78 muestras debido a que se toma una 11 4. Caracter´ısticas 4.2 C´alculo de caracter´ısticas Ritmo Frecuencias Delta <4 Hz. Theta 4-7 Hz. Alpha 8-13 Hz. Beta 14-30 Hz. Gamma >30 Hz. Tabla 4.1: Tabla de ritmos cerebrales Para calcular el vector de caracter´ısticas resultante, la se˜nal (cada uno de los canales de todas las realizaciones) es filtrada por un banco de filtros cuyas frecuencias se corresponden con los ritmos cerebrales. Por lo tanto se obtienen cinco se˜nales a la salida del banco de filtros. Una vez que tenemos estas cinco series de datos se calcul´o su potencia de acuerdo a la ecuaci´on: Pi=1 Ni Ni X i=1 x2 ii=δ, θ, α, β, γ De este modo se obtiene un vector de cinco caracter´ısticas para cada uno de los canales lo que supone un tama˜no total para cada realizaci´on de 27 ×5. En la figura 4.2 podemos observar un ejemplo de las se˜nales filtradas y c´omo se calcula el vector correspondiente de caracter´ısticas que se utilizar´an para la clasificaci´on. Podemos observar tambi´en en la figura 4.3 la diferencia entre puntos objetivo que presenta esta caracter´ıstica. CANAL EEG FILTRO DELTA 1-3 Hz. FILTRO THETA 4-7 Hz. FILTRO ALPHA 8-13 Hz. FILTRO BETA 14-25 Hz. FILTRO GAMMA 26-40 Hz. Pδ Pθ Pα Pβ Pγ [Pδ, Pθ, Pα, Pβ, Pγ] Figura 4.2: Esquema para el c´alculo de las 5 caracter´ısticas extra´ıdas para cada canal del EEG en el banco de filtros 18 4. Caracter´ısticas 4.2 C´alculo de caracter´ısticas Figura 4.3: Representaci´on gr´afica de las potencias (27 ×5) extra´ıdas del banco de filtros de dos realizaciones del sujeto 5 dirigidas a puntos objetivo distintos 4.2.3. Periodograma de la se˜nal completa El periodograma es una estimaci´on de la densidad espectral de una se˜nal o en otras palabras representa una medida de la contribuci´on de cada frecuencia a la potencia de la se˜nal. Es una caracter´ıstica que nos proporciona informaci´on en el dominio frecuencial. Existen varios m´etodos para el c´alculo de un periodograma. En este estudio se trabaja con la siguiente expresi´on: S(f) = 1 FsN N X n=1 xne−j(2πf/Fs)n 2 Se calcul´o para cada canal su periodograma con 128 puntos los cuales representaban desde la frecuencia 0 hasta la frecuencia 128 Hz. Como la informaci´on relevante del EEG se encuentra emplazada en valores frecuenciales por debajo de los 30 Hz. se eligi´o este valor como umbral para la obtenci´on del vector de caracter´ısticas. Como podemos ver en la figura 4.4 existe una separabilidad entre los distintos puntos objetivo. Por lo tanto una vez que hemos cortado el periodograma obtenemos por cada canal un vector de 30 caracter´ısticas lo que supone un tama˜no final de 27 ×30 para cada una de las realizaciones de cada uno de los sujetos. 19 4. Caracter´ısticas 4.2 C´alculo de caracter´ısticas Figura 4.4: Representaci´on gr´afica de las muestras (27 ×30) extra´ıdas del periodograma de dos realizaciones del sujeto 5 dirigidas a puntos objetivo distintos 4.2.4. Periodograma de la se˜nal filtrada en ritmo alpha Son numerosos los estudios que se dedican a evaluar la relaci´on entre el ritmo cerebral alpha y el movimiento del brazo o la intenci´on de movimiento del mismo [12] [13]. Los resultados conducen a la conclusi´on de que se producen cambios en dicho ritmo ya sea en la preparaci´on como en el movimiento. Se puede producir una desincronizaci´on en la actividad cerebral lo que se refleja en una cambio en dicho ritmo, que como se indica en la tabla 4.1, se sit´ua entre los 8 Hz. y los 13 Hz. Por ello se consider´o la extracci´on del periodograma de la se˜nal filtrada en dicho ritmo que nos permite conseguir la informaci´on frecuencial en las mencionadas frecuencias. La expresi´on que se utiliz´o para el c´alculo del periodograma es la mencionada en el apartado 4.2.3: S(f) = 1 FsNα Nα X n=1 xαne−j(2πf/Fs)n 2 Del mismo modo que antes se compone un vector con los primeros 30 valores correspondientes a las frecuencias menores de 30 Hz. El tama˜no de los datos extra´ıdos de cada realizaci´on ser´a por lo tanto de 27 ×30. En la figura 4.5 podemos ver un ejemplo de dos periodogramas de la se˜nal filtrada en ritmo alpha correspondientes a dos objetivos diferentes. 4.2.5. Resampleo La se˜nal EEG limpia de artefactos y preprocesada constituye el punto de partida para el c´alculo de todas las caracter´ısticas y contiene toda la informaci´on disponible del estado cerebral del sujeto. Sin embargo la dimensionalidad de la se˜nal es elevada por lo que se 20 4. Caracter´ısticas 4.2 C´alculo de caracter´ısticas Figura 4.5: Representaci´on gr´afica de las muestras (27×30) extra´ıdas del periodograma de la se˜nal filtrada en ritmo alpha de dos realizaciones del sujeto 5 dirigidas a puntos objetivo distintos propone una caracter´ıstica que conserve la informaci´on en el dominio del tiempo y que consiste en el resampleo de cada uno de los canales de forma que tengan ´unicamente diez muestras. Para ello se procede a una interpolaci´on y diezmado adecuado para que la se˜nal final tenga una longitud de diez muestras. El vector formado por esta caracter´ıstica constar´a de diez muestras por canal formando una matriz por cada realizaci´on de tama˜no 27 ×10. En la figura 4.6 podemos observar la diferencia entre el vector obtenido para dos relizaciones que se dirigen a puntos objetivo distintos. Figura 4.6: Representaci´on gr´afica de las muestras de la se˜nal (27 ×10) resampleada de dos realizaciones del sujeto 5 dirigidas a puntos objetivo distintos 4.2.6. Transformada discreta wavelet Hasta el momento las caracter´ısticas extra´ıdas pertenec´ıan al dominio frecuencial o temporal por lo que se propuso obtener una caracter´ıstica que combinase ambas informaciones. Para ello se hizo uso de la transformada discreta wavelet que es un caso especial de 21 4. Caracter´ısticas 4.2 C´alculo de caracter´ısticas transformada de Fourier a partir de series ortogonales llamadas wavelets. La transformada se calcula por lo tanto a partir de versiones trasladadas y dilatadas de dicha wavelet en el dominio anal´ogico. Para su conversi´on al mundo digital se hace uso de la transformada discreta wavelet, que calcula una serie de coeficientes como se explica en el anexo C.3 a partir de una serie de filtros en cascada. En este proyecto se har´a uso de la transformada de una dimensi´on y tres niveles. Una vez que se tiene calculada la transformada discreta wavelet, se resamplea a 10 muestras con el fin de reducir el n´umero de caracter´ısticas calculadas. Por lo tanto se obtendr´a un vector de 10 caracter´ısticas por cada canal, es decir para cada realizaci´on una matriz de 27 ×10 caracter´ısticas. En la figura 4.7 podemos ver las caracter´ısticas obtenidas para dos realizaciones que se dirigen a puntos distintos. Figura 4.7: Representaci´on gr´afica de los coeficientes (27 ×10) extra´ıdos de la transformada discreta wavelet de dos realizaciones del sujeto 5 dirigidas a puntos objetivo distintos 4.2.7. Momentos de la densidad espectral de potencia Por ´ultimo se calculan unas caracter´ısticas relacionadas con la densidad espectral de potencia (PSD). Estas son los momentos de primer y segundo orden de la PSD que responden a las siguientes expresiones respectivamente: M1= N X i=1 fi∗PSD(i) N X i=1 PSD(i) M2= N X i=1 (fi−¯ f)∗PSD(i) N X i=1 PSD(i) De las expresiones anteriores obtenemos dos valores por cada canal por lo que tenemos en cada realizaci´on una matriz de caracter´ısticas de tama˜no 27 ×2. Podemos ver en la gr´afica 4.8 las caracter´ısticas encontradas para dos realizaciones que se dirigen a puntos objetivo distntos. 22 4. Caracter´ısticas 4.3 Organizaci´on y normalizaci´on Figura 4.8: Representaci´on gr´afica de los momentos de orden 1 y 2 (27×2) de dos realizaciones del sujeto 5 dirigidas a puntos objetivo distintos 4.3. Organizaci´on y normalizaci´on Despu´es de calcular los ocho bloques de caracter´ısticas mencionados anteriormente para cada uno de los 27 canales resultantes del filtro bipolar y para todas las realizaciones, se organizar´a como explicaremos a continuaci´on para tener una matriz de caracter´ısticas adecuada para su posterior normalizaci´on y la clasificaci´on final. Todos los bloques de caracter´ısticas ser´an ordenados de la misma forma de modo que el m´etodo se aplicar´a a cada una de ellos de forma similar. La explicaci´on de forma gr´afica se encuentra en la figura 4.9 Sea un sujeto con Rn´umero de realizaciones registradas, es decir un sujeto que ha realizado Rprocesos de preparaci´on y alcance de un punto objetivo como est´a explicado en la secci´on 2.2. Por otro lado sea una caracter´ıstica calculada que nos da como resultado un vector de Nvalores por cada canal de cada realizaci´on por lo que el bloque de caracter´ısticas tendr´a un tama˜no de 27 ×Nen cada realizaci´on. Lo que se quiere obtener al final es una clasificaci´on de las realizaciones ya que se busca asociar a cada realizaci´on un punto objetivo, es decir se intenta decodificar a qu´e punto final se intentaba mover el brazo a partir de unos potenciales EEG a los que se les ha extra´ıdo la informac´on pertinente. Por ello la primera reorganizaci´on que se realiza es la de colocar las caracter´ısticas que corresponden a cada realizaci´on en un s´olo vector. Se concatenan, por tanto, cada una de las 27 filas del bloque de caracter´ısticas de cada realizaci´on de forma que obtenemos un vector de tama˜no 1 ×(27 ∗N) muestras. A continuaci´on se procede a colocar cada uno de estos vectores uno debajo de otro hasta formar una matriz de caracter´ısiticas de tama˜no R×(27 ∗N) que ser´a la forma que estamos buscando para cada grupo de caracter´ısiticas. En esta nueva matriz cada fila representar´a la informaci´on de todos los canales de una realizaci´on y cada columna tendr´a informaci´on similar (mismo canal) de cada una de las realizaciones. Actuando del mismo modo para los ocho bloques de caracter´ısticas tendremos ocho matrices con 23 4. Caracter´ısticas 4.4 B´usqueda de las mejores caracter´ısticas el mismo n´umero de filas (R=realizaciones) y el n´umero de columnas dependiente del tama˜no de las muestras extra´ıdas en cada canal (27 ×N). Una vez que la informaci´on extra´ıda del EEG ha sido organizada de esta manera, ser´a normalizada por columnas debido a lo que hemos comentado anteriormente de que cada columna contiene la informaci´on semejante de cada realizaci´on. Es importante este proceso de normalizaci´on debido a la distinta naturaleza de los bloques de caracter´ısticas que hemos obtenido y es una forma de evitar que posibles valores muy grandes o muy peque˜nos distorsionen o influyan en la clasificaci´on posterior. La normalizaci´on elegida es N∼(0,1) de forma que al valor m´aximo de cada columna se le asigna el valor 1 y al valor m´ınimo se le asigna el valor 0. Los valores son calculados de acuerdo a la expresi´on: valornorm =valora calcular −valorm´ınimo valorm´aximo −valorm´ınimo (1) Bloque una realizaci´on (2) Vector por cada realizaci´on    α11 · · · α1N . . ..... . . α271 · · · α27N   ⇒[α11, α12,· · · , α1N, α21,· · · , α2N,· · · , α271,· · · , α27N] ⇓ 1 2 . . . R      0 1 · · · 0,3 0,2 0 · · · 1 . . .. . ..... . . 1 0,7· · · 0      ⇐     α11 · · · α27N β11 · · · β27N . . ..... . . γ11 · · · γ27N      Realizaci´on 1 Realizaci´on 2 . . . Realizaci´on R (4) Bloque normalizado (3) Bloque R realizaciones Figura 4.9: Proceso de organizaci´on y normalizaci´on de un bloque de caracter´ısticas 4.4. B´usqueda de las mejores caracter´ısticas Despu´es de calcular las caracter´ısticas, organizar los distintos bloques y normalizarlos se procede a una selecci´on de las caracter´ısticas que van a ser utilizadas por el clasificador. Hay que considerar que no todas las features calculadas nos proporcionan una informaci´on relevante que nos permite una buena separabilidad entre las distintas clases o puntos objetivo. Como mencionamos al principio del cap´ıtulo la b´usqueda de buenas caracter´ısticas es objeto de numerosos estudios y los grupos de investigaci´on BCI siguen trabajando en el desarrollo de alg´un sistema de selecci´on autom´atica de caracter´ısticas. El problema 24 4. Caracter´ısticas 4.4 B´usqueda de las mejores caracter´ısticas es muy complejo debido a la alta variablidad de la se˜nal EEG, que depende fuertemente del sujeto estudiado e incluso del estado del mismo en el momento del experimento. Los ocho bloques de caracter´ısticas ordenados y normalizados se concatenan para formar la matriz final de caracter´ısticas que tendr´a un tama˜no de R×2565 (El c´alculo es el resultado de concatenar R×(27∗3)+R×(27∗5)+R×(27∗5)+R×(27∗30)+R×(27∗ 30) + R×(27 ∗10) + R×(27 ∗10) + R×(27 ∗2)). La alta dimensionalidad de esta matriz y la presencia de caracter´ısticas que pueden no mejorar la clasificaci´on invitan a utilzar alg´un m´etodo para seleccionar aquellas m´as relevantes. En este proyecto se propone la ultilizaci´on de la t´ecnica de cross −validation. Esta t´ecnica se encuentra explicada en la secci´on 6.1 porque es tambi´en la t´ecnica con la que se evaluar´an los resultados. El proceso de selecci´on de mejores caracter´ısticas se comienza tomando los datos de entrenamiento de cada una de las particiones que hemos obtenido al hacer cross−validation para evaluar nuestro sistema (como se comenta en la secci´on 6.1). Utilizando estos datos de entrenamiento se procede de nuevo a hacer un particionado k-fold en 10 conjuntos de datos de entrenamiento y test. Para cada una de las primeras particiones (las de evaluaci´on del sistema) se sigue el siguiente proceso: se toma una columna de la matriz de caracter´ısticas explicada en el p´arrafo anterior y se calcula el porcentaje de aciertos en la segunda cross −validation utilizando para entrenar el clasificador ´unicamente esa caracter´ıstica (columna de la matriz de caracter´ısticas). Cuando se han calculado todas las columnas una a una y se ha obtenido el resultado de clasificar con cada una de ellas (en la segunda cross −validation), se toma el siguiente conjunto de entrenamiento (de la cross −validation de evaluaci´on) y se procede del mismo modo. Cuando se tienen los diez resultados, se calcula la media y se elige aquella caracter´ıstica que proporcione mayor porcentaje de acierto en media. Esta columna es retirada de la matriz de caracter´ısticas y comienza a formar parte de lo que denominaremos matriz de caracter´ısticas seleccionadas, que tendr´a un tama˜no de R×1. El siguiente paso es repetir este proceso pero probando a clasificar en la cross −validation segunda con cada una de las combinaciones que resultan de usar la caracter´ıstica que ya tenemos seleccionada con cada una de las restantes. La combinaci´on de dos caracter´ısticas que resulte en un mayor porcentaje de aciertos en media ser´a la nueva matriz de caracter´ısticas seleccionadas, que ya tendr´a un tama˜no de R×2. El proceso se repite a˜nadiendo de una en una las restantes para clasificar con 3 columnas y as´ı sucesivamente. La condici´on de parada del algoritmo se produce cuando al a˜nadir una nueva caracter´ısitca de las que todav´ıa quedaban no supone un incremento en el n´umero de aciertos. Las caracter´ısticas elegidas ser´an las utilizadas para introducirlas al clasificador y conformar´an nuestra matriz de caracter´ısticas seleccionadas. Este proceso se puede ver explicado en el algoritmo 1. A continuaci´on podemos ver una gr´afica de la evoluci´on del algoritmo. Cada vez que encontramos una nueva caracter´ıstica a a˜nadir a nuestra matriz de caracter´ısticas seleccionadas, es porque el resultado de concatenar ´esta con las anteriores disminuye el porcentaje de error de nuestro algoritmo de b´usqueda. Cuando al a˜nadir una nueva caracter´ıstica incrementa el porcentaje de fallos se detiene el algoritmo (figura 4.10). 25 4. Caracter´ısticas 4.4 B´usqueda de las mejores caracter´ısticas Algorithm 1 Algoritmo de selecci´on de caracter´ısticas particionado k −fold 10 (para nuestra evaluaci´on (primero)) tomamos los conjuntos de entrenamiento while mejor porcentaje de aciertos nuevo > mejor porcentaje de aciertos anterior do for i= 1 →n´umero de conjuntos de entrenamiento do particionado k −fold 10 (para nuestra selecci´on de caracter´ısticas (segundo)) for j= 1 →n´umero de particiones do for k= 1 →n´umero de columnas restante de la matriz de caracter´ısticas do aciertos(j, k) = c´alculo aciertos con caracter´ıstica k para cada particion j end for end for aciertos(i, k) = media (aciertos(j, k)) (por columnas) end for aciertos finales =media (aciertos(i, k) (porcolumnas) nueva mejor caracter´ıstica = (k== max (aciertos finales)) mejor porcentaje de aciertos anterior =mejor porcentaje de aciertos nuevo mejor porcentaje de aciertos nuevo =max (aciertos finales)) matriz mejores caracter´ısticas = [matriz mejores caracter´ısticas&nueva mejor caracter´ıstica] end while Figura 4.10: Evoluci´on del algoritmo de selecci´on de mejores caracter´ısticas 26 5. Clasificaci´on 5.1. Introducci´on En el presente cap´ıtulo se presenta el problema de la clasificaci´on. El objetivo del proyecto es decodificar el punto objetivo al que se dirige el sujeto por lo que se necesita un m´etodo para determinar, a partir de las caracter´ısticas extra´ıdas anteriormente, cu´al es dicho punto. Por lo tanto necesitamos un m´etodo para clasificar esta informaci´on. El cap´ıtulo estar´a dividido en dos secciones. En la primera de ellas (secci´on 5.2) se aborda el problema de la clasificaci´on y se exponen ejemplos simples con tres m´etodos de clasificaci´on distintos: An´alisis de discriminaci´on lineal (LDA), m´aquinas de soporte vectorial (SVM) y con un clasificadores agregado dise˜nado para este proyecto. Por ´ultimo en la secci´on 5.3 se presenta la forma en la que se utiliza la clasificaci´on en el presente proyecto. 5.2. Clasificadores El objetivo de los sistemas BCI es traducir la actividad cerebral en ´ordenes para un computador. Para conseguirlo se hace uso de algoritmos de clasificaci´on como t´ecnica ampliamente utilizada. Estos algoritmos son utilizados para identificar patrones de la actividad cerebral. La forma de trabajar de estos algoritmos se divide en dos partes. En primer lugar el modelo debe ser entrenado, lo que significa que se introduce al algoritmo los datos de entrenamiento de forma que un modelo de clasificaci´on es creado a partir de estos datos. Como veremos en los dos ejemplos siguientes la manera de hacerlo es diferente dependiendo del algoritmo empleado. Una vez que el modelo ha sido creado, en ´el est´a contenida la informaci´on de los diferentes grupos o clases as´ı como las barreras de decisi´on que el algoritmo ha calculado a partir de la informaci´on que se le ha introducido. Esta informaci´on de entrenamiento est´a marcada o etiquetada, es decir, se le introduce tanto los datos para entrenar como la clase a la que pertenecen los mismos. De esta manera se puede proceder al siguiente paso o predicci´on. En esta parte se usa el modelo creado para predecir la clase 27 6. Resultados En este cap´ıtulo se presentar´an los resultados obtenidos en el proyecto as´ı como el m´etodo utilizado para la obtenci´on de los mismos. Los resultados expresar´an el n´umero de aciertos en la predicci´on del punto objetivo a alcanzar despu´es de tratar adecuadamente la se˜nal EEG. En el primer apartado (secci´on 6.1) se explicar´a el m´etodo de la cross −validation o la forma de calcular los porcentajes de acierto. En el segundo apartado (secci´on 6.2) se presentan los resultados de un trabajo previo a lo comentado hasta ahora en la memoria pero que se utiliz´o como aproximaci´on a los clasificadores y con el que se lleg´o a unos resultados que confirmaban el trabajo de otra investigaci´on. En la tercera parte (secci´on 6.3) se expondr´an y analizar´an los resultados obtenidos para cuatro y para ocho puntos objetivos. Los resultados se calcularon tanto para el caso de tener 4 puntos objetivo (de forma que se pueda hacer una comparaci´on con la literatura) como para 8 puntos. Tambi´en se evalu´o los resultados con los datos de movimiento (no anticipatorios) para analizar los resultados. 6.1. Cross-validation El hecho de tener un n´umero de realizaciones bastante limitado para cada sujeto supone un problema en cuanto a la buena actuaci´on del entrenamiento del clasificador. El tener pocos datos para trabajar obliga a buscar otra forma de evaluar los resultados que nos permita sacar el m´aximo rendimiento de los datos de los que disponemos. La t´ecnica del cross −validation consiste en dividir de forma aleatoria el conjunto de datos etiquetados del que disponemos en dos partes: una es usada para entrenar el clasificador (datos de entrenamiento) y el otro sirve para evaluar la precisi´on del clasificador. Es completamente indispensable que ning´un dato de test est´e incluido en los datos de entrenamiento ya que esto supone un error y los valores obtenidos pueden verse afectados gravemente. Con este m´etodo buscamos una generalizaci´on de los resultados de forma que pese a disponer de los datos EEG de un n´umero limitado de realizaciones del experimento podemos sacar una conclusi´on general de c´omo se comportar´ıa nuestro sistema. Por ello en el proyecto se utiliza lo que se conoce como k-fold cross-validation que consiste en 35 6. Resultados 6.2 Trabajo previo dividir el conjunto de datos que tenemos en k conjuntos de entrenamiento y validaci´on de forma que cada una de las realizaciones iniciales s´olo est´e presente en uno de los k grupos de validaci´on. Figura 6.1: Ejemplo de particionado para realizar cross-validation 6.2. Trabajo previo Cuando se comenz´o el presente proyecto exist´ıa un trabajo en curso en el grupo de Brain Computer Interfaces mediante el cual se buscaba decodificar las posiciones (x,y,z) de la trayectoria del brazo a partir de la se˜nal EEG en las tareas de alcance. El problema es muy complejo y los resultados de decodificaci´on que se obten´ıan eran muy ruidosos. Por ello se plante´o la idea de comprobar si al menos conten´ıan la informaci´on para identificar el punto objetivo final con las trayectorias estimadas en esta investigaci´on paralela. Con este objetivo y para familiarizarse con los algoritmos de clasificaci´on y su forma de uso, se compagin´o la tarea de documentaci´on con unas pruebas de clasificaci´on que utilizaban los datos registrados de movimiento por el sistema VICON y los datos estimados en la investigaci´on del grupo. Se us´o los datos correspondientes al dedo ´ındice de la mano derecha del sujeto. Estos datos eran las posiciones (x,y,z) del dedo a lo largo del movimiento de alcance del punto objetivo. Los resultados que se obtuvieron para la clasificaci´on de los puntos objetivo a partir de las trayectorias estimadas confirmaron que los resultados no eran aprovechables. Por ello se decidi´o buscar una nueva estrategia de clasificaci´on, procesando la se˜nal previamente del modo explicado en esta memoria y cuyos resultados se presentan en la siguiente secci´on. En la figura 6.2 se presenta con l´ıneas rojas las partes desarrolladas durante el transcurso de este proyecto y en negro las partes que realizaron personas ajenas al presente trabajo. Para comenzar a abordar el problema se dise˜n´o un montaje ficticio con datos sint´eticos. Se cre´o un banco de pruebas con un n´umero de puntos objetivo variable entre uno y ocho. Las coordenadas (x,y,z) de estos puntos fueron elegidas al azar. Se simularon unas trayectorias rectil´ıneas desde el punto (0,0,0) hasta los puntos objetivo que eran muestreadas y repetidas para que sirvieran como entrenamiento para el clasificador. A estas trayectorias se les a˜nad´ıa ruido para contemplar un estado m´as realista del experimento. El resultado de estas simulaciones se presentaba en forma de matriz de confusi´on, la cual nos indicaba de una forma directa los fallos en la clasificaci´on que se hab´ıan producido. Esta es una matriz cuadrada en la que cada fila representa la clase real del dato y las columnas representan la clase predicha de los mismos. Los elementos c(i,j) representan el n´umero de datos que son de una clase (i) y son predichas en una clase (j). En el caso de 100 % de aciertos s´olo la matriz diagonal tendr´ıa valores. 36 6. Resultados 6.2 Trabajo previo Registro EEG Decodificación de trayectorias (proyecto paralelo) Procesado expuesto en esta memoria --> Filtrado --> Extracción y selección de características --> Clasificación Sin resultados en la estimación de trayectorias Resultados expuestos en sección 6.3 Sin resultados en la estimación de puntos objetivo (Resultados expuestos en esta sección 6.2) Figura 6.2: Esquema con las partes desarrolladas en este proyecto y partes ajenas al mismo Se prob´o con un clasificador LDA (Linear Discriminant Analysis). Los resultados sin ruido eran clasificaciones perfectas y se comprob´o que al aumentar la varianza del mismo los porcentajes disminu´ıan. Como se puede leer en la literatura, no existe un clasificador mejor o peor, depende del problema al que nos enfrentemos y las caracter´ısticas del mismo. Por lo que la elecci´on de un clasificador LDA para estas pruebas es debido a su simplicidad, que ayuda a entender el problema de clasificaci´on. El siguiente paso fue adaptar el problema a los datos reales obtenidos en el experimento. Se utiliz´o la informaci´on de los puntos de inicio y fin de las trayectorias, as´ı como los valores reales (puntos (x,y,z) de las trayectorias grabadas) y estimadas (puntos (x,y,z) estimados en el trabajo paralelo a este proyecto) . Una vez representados los datos en el espacio se procedi´o a implementar el clasificador para poder discernir a cu´al de las ocho puntos objetivo pertenec´ıa cada uno de los puntos de la trayectoria. Se propusieron tres conjuntos de entrenamiento para el clasificador: el primero eran rectas que un´ıan el punto de salida con los puntos objetivos del mismo modo que se hizo con los datos sint´eticos. El segundo conjunto eran los propios datos reales como entrenamiento para el clasificador. En tercer lugar se propuso unir los puntos con unas par´abolas, cuyos coeficientes eran calculados a partir de los datos reales. Las par´abolas se probaron debido a la forma de los datos registrado por el sistema VICON que como se puede apreciar en la figura 6.3 tienen forma parab´olica. Antes de introducir los datos al clasificador se normalizaban y se pasaban por un algoritmo PCA (Principal Component Analysis) para reducir la dimensionalidad y que se encuentra explicado en el anexo C.4. Se realizaron tres tipos de pruebas con un clasificador LDA. Para realizar el primer test se utiliz´o cross-validation (explicada en la secci´on 37 6. Resultados 6.2 Trabajo previo Figura 6.3: Trayectorias registradas por el sistema VICON en las operaciones de alcance de los puntos objetivo 6.1) con un k-fold de 10 para cada uno de los sujetos. A continuaci´on se utiliz´o unos datos de entrenamiento reales distintos a los de test en lo que es una aproximaci´on realista del clasificador. Por ´ultimo se prob´o con los datos estimados en el experimento. La tabla 6.1 (resultados de porcentaje de aciertos) recoge el resumen de los resultados obtenidos con un clasificador LDA y con distintos datos de entrenamiento: K-fold 10 Entrenamiento haciendo uso de la t´ecnica cross−validation que ser´a comentada en el cap´ıtulo siguiente. Entrenamiento (E) con datos distintos (!=) a los de test (T) En este apartado lo que haremos ser´a usar como datos de entrenamiento diferentes tipos de datos para intentar clasificar los datos reales (R) o los datos estimados (E) (en la tabla 6.1 indicados respectivamente como E!=T (R) y E!=T (E)): •Rectas Se usar´a como datos de entrenamiento puntos de las rectas que unen el punto inicial del movimiento con los puntos objetivo. •Par´abolas Se usar´a como datos de entrenamiento puntos de par´abolas que unen el punto inicial del movimiento con los puntos objetivo •Reales Se usar´an parte de los datos reales grabados por el sistema VICON como entrenamiento. 38 6. Resultados 6.3 An´alisis de los resultados ME1DE2Sujeto 1 Sujeto 2 Sujeto 3 Sujeto 4 Sujeto 5 Sujeto 6 Sujeto 7 K-fold 10 Reales 61.04 63.78 55.99 58.90 63.52 57.00 60.39 Estimados 13.74 14.18 15.54 16.51 13.46 16.64 15.84 E!=T (R) Rectas 41.15 43.95 38.48 38.87 40.56 44.97 44.54 Par´abolas 57.52 66.17 59.90 56.64 60.28 53.99 67.42 Reales 60.97 69.21 62.77 59.73 63.97 46.13 44.54 E!=T (E) Rectas 13.82 11.35 13.22 12.19 8.87 13.89 13.04 Par´abolas 13.15 13.20 13.32 12.59 8.97 11.26 12.91 Reales 12.24 13.32 13.21 11.54 9.23 12.02 13.21 Tabla 6.1: Resultados de clasificaci´on de los puntos en el espacio con distintos m´etodos de clasificaci´on y distintos datos de entrenamiento y test Como se puede observar en la tabla anterior los datos estimados nunca son clasificados sino que se obtiene unos valores de acierto aleatorio, es decir, los aciertos se deben a la probabilidad de acertar de forma aleatoria. Como se puede ver en la figura 6.4 los datos estimados no son viables para una correcta clasificaci´on. Estos resultados corroboraban que la t´ecnica para encontrar estos puntos estimados tampoco conten´ıa suficiente informaci´on para extraer el punto objetivo. Figura 6.4: Datos de las posiciones (x,y,z) estimadas a partir del EEG 6.3. An´alisis de los resultados Una vez que se tiene construido el sistema completo y hemos definido la forma de evaluarlo se procede a presentar los resultados de clasificaci´on obtenidos. Se ha dividido la evaluaci´on del sistema en una clasificaci´on con 4 puntos objetivo y otra clasificaci´on con los 8 puntos objetivo. Del mismo modo se han obtenido los resultados con la se˜nal EEG previa al movimiento pero tambi´en se ha calculado el resultado con los datos posteriores 1ME: M´etodo de entrenamiento 2DE: Datos de entrenamiento 39 6. Resultados 6.3 An´alisis de los resultados al inicio del movimiento. Por ´ultimo se ha evaluado la clasificaci´on con y sin filtro CSP (Common Spatial Pattern). Figura 6.5: De izquierda a derecha y de arriba abajo: a) Vista lateral de la distribuci´on de puntos. b) Vista a´erea de la distribuci´on de puntos. c) Vista tridimensional de la distribuci´on de puntos Los resultados num´ericos obtenido se refieren al porcentaje de aciertos en la predicci´on del punto objetivo que se deseaba alcanzar a partir de la informaci´on extra´ıda del EEG por el sistema desarrollado. En esta primera tabla 6.2 se presentan los resultados obtenidos en la decodificaci´on de 4 puntos objetivo para cada sujeto. En este caso se han elegido 4 puntos comunes para todos los sujetos con la intenci´on de mantener una uniformidad entre los sujetos (Puntos 1 3 5 7). Datos CSP Sujeto 1 Sujeto 2 Sujeto 3 Sujeto 5 Sujeto 6 Sujeto 7 Movimiento CON 27.32 60.75 25.30 37.45 26.34 23.64 SIN 27.21 75.65 23.47 55.26 28.72 22.35 Preparaci´on CON 31.33 45.8 29.05 42.10 28.73 33.84 SIN 28.34 67.21 24.97 50.63 23.25 27.73 Tabla 6.2: Resultados de clasificaci´on con 4 puntos objetivo fijos 40 6. Resultados 6.3 An´alisis de los resultados Se plantea a continuaci´on una tabla (tabla 6.3) donde se refleja la decodificaci´on de 4 puntos, pero ´estos son elegidos de forma individualizada para cada sujeto. La elecci´on de los puntos se realiz´o a partir de la media del periodograma de los datos referentes a cada punto objetivo. Se seleccion´o visualmente aquellos que presentaban una mayor separabilidad a simple vista. Esta medida, aunque no mantiene la uniformidad, nos puede dar una idea de la capacidad de discriminaci´on que se puede alcanzar con 4 puntos a clasificar. En la tabla 6.4 se muestran los puntos elegidos para cada sujeto. Datos CSP Sujeto 1 Sujeto 2 Sujeto 3 Sujeto 5 Sujeto 6 Sujeto 7 Movimiento CON 24.35 56.64 47.69 74.23 56.32 40.23 SIN 31.2 71.11 75.23 85.71 76.27 71.25 Preparaci´on CON 21.63 43.24 36.34 46.45 50.63 36.25 SIN 30.12 65.23 35.46 57.14 70.57 38.15 Tabla 6.3: Resultados de clasificaci´on con 4 puntos objetivo distintos entre sujetos (los mejores puntos) Sujeto Puntos elegidos 1 1 2 3 7 2 1 2 5 7 3 1 2 6 8 5 1 3 6 7 6 1 4 6 7 7 3 6 7 8 Tabla 6.4: Mejores puntos elegidos para cada sujeto Por ´ultimo en la tabla 6.5 tenemos los resultados para la clasificaci´on de 8 puntos. Datos CSP Sujeto 1 Sujeto 2 Sujeto 3 Sujeto 5 Sujeto 6 Sujeto 7 Movimiento CON 12.74 22.83 14.23 25.56 14.81 13.84 SIN 14.28 44.89 8.91 45.33 27.40 20.77 Preparaci´on CON 15.81 10.20 12.10 10.67 12.59 10.76 SIN 11.96 34.69 17.83 37.23 30.37 14.32 Tabla 6.5: Resultados de clasificaci´on con 8 puntos objetivo Como se puede observar la clasificaci´on de 8 puntos es un problema complejo. ´ Unicamente los sujetos 2, 5 y 6 presentan una clasificaci´on real ya que los otros valores son cercanos al valor de acierto aleatorio que para ocho puntos se sit´ua en un 12,5 %, es decir, que por probabilidad y aunque no se procesaran los datos, existe una probabilidad de 1 sobre 8 de acertar. No existe posible comparaci´on con la literatura ya que la clasificaci´on de 8 puntos no ha sido llevada a cabo hasta el momento. En la tabla 6.3 se muestra como, con la excepci´on de alg´un sujeto, se consiguen valores que igualan los conseguidos en trabajos anteriores con la a˜nadidura de que en este proyecto trabajamos con la intenci´on del movimiento, que es un paso m´as ya que responder´ıa a la forma de actuar de un sujeto 41 6. Resultados 6.3 An´alisis de los resultados sano: pensar d´onde se quiere mover el brazo bastar´ıa para efectuar el movimiento. Por ´ultimo comentar que la tabla 6.3 nos muestra las posibilidades del sistema si el problema o expermiento se adec´ua a cada sujeto y recordando que se trabaja en un espacio 3D y con movimientos autoiniciados sin est´ımulo externo a diferencia de los trabajos previos. Los resultados son esperanzadores con las posibilidades futuras de este tipo de ayudas a personas con deficiencias motoras. 42 7. Conclusiones y l´ıneas futuras En este proyecto fin de carrera se ha desarrollado un sistema basado en interfaces cerebro computador para la detecci´on de la intenci´on de movimiento del brazo de un sujeto hasta 8 puntos diferentes en el espacio a trav´es del procesado de la se˜nal encefalogr´afica (EEG). El problema abordado es de una complejidad alta tal y como se ve reflejado en los resultados obtenidos. Hay que decir que el trabajo realizado est´a por encima del estado del arte por lo que no se tienen referencias con la posibilidad de comparaci´on de resultados. Por un lado como se coment´o en el cap´ıtulo 1 por ahora en la literatura se ha estudiado la posibilidad de decodificar el movimiento del brazo hasta un m´aximo de 4 puntos en el espacio y haciendo uso de datos de EEG durante el movimiento de la extremidad. En este proyecto hemos querido ir un paso m´as all´a y evaluar la respuesta ante los datos EEG anteriores a la acci´on de alcance del brazo hasta uno de los puntos objetivo. Los resultados obtenidos son esperanzadores en cuanto que se consigue para alg´un sujeto valores buenos de clasificaci´on. Uno de los grandes escollos de los interfaces cerebro computador es, sin contar la propia se˜nal que de por s´ı es medida con gran atenuaci´on y ruido debido a las capas que atraviesa hasta los electrodos, es la variabilidad de un sujeto a otro. Adem´as la correcta realizaci´on de los experimentos es vital en el buen procesado posterior de la se˜nal. Teniendo en cuenta todo lo anterior, los resultados comentados en cap´ıtulo anterior son esperanzadores y demuestran las oportunidades que este tipo de sistemas ofrecen para la posible rehabilitaci´on de pacientes con deficiencias motoras. Los sistemas BCI son una tecnolog´ıa muy reciente, casi exclusivamente en fase de investigaci´on en la actualidad pero con un futuro muy prometedor debido a sus ampl´ısimas posibilidades. Por todo ello se abre un abanico de acciones futuras a realizar como las que se indican a continuaci´on: Ampliaci´on del n´umero de sujetos para la comprobaci´on de la efectividad del sistema desarrollado. Un estudio m´as detallado de las caracter´ısticas utilizadas para la mejora de la posterior clasificaci´on. La elaboraci´on de un sistema de elecci´on autom´atica de caracter´ısticas diferente al utilizado en este proyecto (a trav´es de una cross−validation) es uno de los objetivos pendientes de los sistemas BCI. La posible realizaci´on de un experimento con 4 puntos objetivo, ya que la respuesta 43