scieee AI-readable full text Open interactive document viewer

Estudio sobre el uso de sensores RGB-D para el conteo de personas y su caracterización

Quesada Díaz, Eduardo

Abstract

Las tecnologías principales que se han utilizado son la visión por computador y los sensores de rango, es decir, las características visuales y la profundidad. Sin embargo, la aparición de sensores RGBD más asequibles, como Kinect, permite su aplicación en estos escenarios. Se aborda la utilización en entornos de interior de sensores RGBD para escenarios donde las condiciones de iluminación pueden ser variables. Se adopta una configuración cenital en el acceso a un espacio, para preservar la privacidad y facilitar la detección y seguimiento de los objetos salientes que aparecen en el escenario mediante técnicas de sustracción de fondo. Los objetos detectados son modelados, pudiendo ser descritos según las características de apariencia y geométricas como el área y volumen.

Full text

Estudio sobre el uso de sensores RGB-D para el conteo de personas y su caracterizaci´on Proyecto Fin de Carrera Ingenier´ıa Inform´atica 25 de mayo de 2015 Autor: Tutores: Quesada D´ıaz, Eduardo Castrill´on Santana, Modesto Lorenzo Navarro, Javier Hern´andez Sosa, Daniel Proyecto Fin de Carrera Proyecto Fin de Carrera de la Escuela de Ingenier´ıa Inform´atica de la Universidad de Las Palmas de Gran Canaria presentado por el alumno: Apellidos y nombre del alumno: Quesada D´ıaz, Eduardo T´ıtulo: Estudio sobre el uso de sensores RGB-D para el conteo de personas y su caracterizaci´on Fecha: Mayo de 2015 Tutores: Castrill´on Santana, Modesto Lorenzo Navarro, Javier Hern´andez Sosa, Daniel Dedicatoria A mis padres, mi familia, y mi novia. Agradecimientos Tras estos a˜nos de carrera, se me hace dif´ıcil agradecer en meras palabras todo la ayuda y el apoyo que he recibido en esta etapa de mi vida. En primer lugar quiero darle las gracias a mis tutores: Modesto, Javier y Daniel. Sin su ayuda, paciencia y conocimientos no podr´ıa haber pensado siquiera en completar este proyecto. Adem´as, nuestras reuniones semanales han sido una fuente de inspiraci´on con los diversos problemas que han ido surgiendo en el desarrollo del mismo. No s´olo he de agradecer a mis tutores, ya que tambi´en el resto de profesores que he tenido en la carrera me han ayudado a llegar hasta aqu´ı; muchas gracias a todos. Estas reuniones me llevan tambi´en a los componentes de nuestro grupo de proyectos: Rub´en, Luis, Pedro, Alberto y Dani. Ellos han sido testigos de las peque˜nas victorias y las grandes frustraciones que he vivido. Muchas gracias tambi´en por las sugerencias, consejos, trucos e ideas que me hab´eis aportado, y por amenizar el viaje hasta llegar aqu´ı. Tambi´en a todos mis compa˜neros de la carrera, que me han ayudado en diferentes puntos de la misma, y con los que he pasado muchos momentos buenos y algunos algo m´as estresantes. Quiero hacer una menci´on especial a Alberto y a Dani, que tambi´en forman parte del grupo de proyectos, por echar una mano siempre que me hiciera falta y por ser excelentes amigos. A Mayca, no s´olo por ser el apoyo m´as grande que pod´ıa encontrar en esta carrera, sino por estar siempre de mi lado pasara lo que pasara. Hemos pasado por much´ısimas cosas durante estos a˜nos de carrera, pero no importaba lo que fuera, ella siempre ha estado conmigo. Much´ısimas gracias por todo, no me imagino c´omo habr´ıa llegado hasta aqu´ı si no fuera por t´ı. Por ´ultimo, agradecer a toda mi familia y sobre todo a mis padres, el constante apoyo que me han dado. Me han ayudado, comprendido y ofrecido toda la ayuda que me pod´ıan ofrecer; un gracias se me queda corto. Desde antes de comenzar me han estado animando, y por fin van a poder verme finalizar esta etapa de mi vida. ´ Indice general Lista de figuras VII Lista de tablas IX 1. Introducci´on 1 1.1. Motivaci´on............................. 1 1.2. Estadodelarte .......................... 2 1.3. Objetivos del proyecto . . . . . . . . . . . . . . . . . . . . . . 4 1.4. Organizaci´on de la memoria . . . . . . . . . . . . . . . . . . . 4 2. Herramientas utilizadas 7 2.1. SensorKinect........................... 7 2.2. Entornosoftware ......................... 9 2.3. Herramientas software . . . . . . . . . . . . . . . . . . . . . . 10 2.3.1. Biblioteca OpenCV . . . . . . . . . . . . . . . . . . . . 10 2.3.2. Biblioteca PCL . . . . . . . . . . . . . . . . . . . . . . 11 2.3.3. Biblioteca OpenNI . . . . . . . . . . . . . . . . . . . . 12 2.3.4. Controladores Primesense . . . . . . . . . . . . . . . . 12 2.3.5. Plataforma de aprendizaje autom´atico Weka . . . . . . 13 2.3.6. Otro software . . . . . . . . . . . . . . . . . . . . . . . 14 V 2CAP´ ITULO 1. INTRODUCCI ´ ON n´umero de personas que accede y sale de un espacio delimitado. En este documento presentamos un m´etodo de conteo autom´atico utilizando t´ecnicas de visi´on por computador. Desde un punto de vista personal, he buscado que este proyecto ampliara mis conocimientos en visi´on por computador, un ´area que me interesa pero que no he podido ver en profundidad a lo largo de la carrera. Tambi´en he buscado un proyecto que pueda ser ´util en el futuro, y dado que es un tema relativamente com´un en la comunidad que trabaja con visi´on por computador, tambi´en cumple este requisito. 1.2. Estado del arte Se han utilizado diferentes tecnolog´ıas en sistemas de conteo de personas; desde sistemas con rayos infrarrojos, en los que el conteo se produce al interrumpirse el haz de luz infrarroja entre el emisor y el receptor de infrarrojos, hasta sensores t´ermicos, que detectan el calor emitido por las personas, pasando por sistemas que utilizan t´ecnicas de visi´on por computador, como el implementado en este proyecto. Los sistemas de visi´on por computador est´an compuestos por una c´amara que env´ıa im´agenes a un ordenador o dispositivo integrado, que realiza el procesamiento de las mismas. Esta tecnolog´ıa destaca por su flexibilidad y capacidad de integraci´on con otros sistemas. En este caso, las im´agenes son procesadas con el fin de localizar y contabilizar personas. Dependiendo del tipo de c´amara usada se puede diferenciar entre sistemas RGB y sistemas basados en sensores de profundidad. Los sistemas de visi´on por computador con c´amaras RGB suelen ser vulnerables a los cambios de iluminaci´on, lo que puede ocasionar problemas con el conteo. Los sistemas basados en sensores de profundidad pueden dividirse a su vez en dos tipos: los que funcionan mediante transmisi´on y recepci´on de patrones de luz infrarroja, y los que lo hacen mediante visi´on est´ereo. Los sistemas con sensores de profundidad que emplean infrarrojos presentan problemas ante la incidencia de luz natural directa. Sin embargo, funcionan bien en escenas iluminadas con luz natural no directa, y/o luz artificial, siendo capaces de trabajar incluso en la oscuridad. El sensor que utiliza el sistema descrito en este documento incluye un sensor de profundidad con emisor y receptor de luz infrarroja. Este tipo de sensores son los que suelen utilizarse para proponer soluciones a problemas similares. 1.2. ESTADO DEL ARTE 3 Estas herramientas, sin embargo, presentan un problema a la hora de mantener la privacidad de los transe´untes que capturan. Una vista frontal de una persona puede atentar contra la privacidad de la misma. Adem´as, puede provocar problemas de oclusi´on entre los diferentes sujetos. Por eso, a la hora de utilizar estos dispositivos se suelen situar de forma que las im´agenes sean capturadas desde una visi´on a´erea o cenital. De esta forma solucionamos los dos problemas anteriores: protegemos la identidad del transe´unte al no capturar directamente sus rasgos faciales, y solucionamos la oclusi´on, ya que de una forma normal, dos transe´untes no caminar´an uno por encima del otro. Encontramos en la bibliograf´ıa una serie de trabajos que proponen diferentes alternativas sobre el mismo problema y utilizan herramientas similares. En primer lugar tenemos (Lorenzo-Navarro et al., 2013), donde se realiza un estudio sobre caracter´ısticas biom´etricas que utiliza un sensor RGB-D para tomar im´agenes desde una posici´on cenital. Este trabajo no se centra en la informaci´on acerca de la apariencia de los usuarios que puede aportar el sensor RGB, sino en los datos de profundidad obtenidos. Su objetivo es probar que las c´amaras de profundidad comerciales pueden mejorar la informaci´on proporcionada por los descriptores geom´etricos de identidad para tareas de re-identificaci´on, lo cual las convierte en herramientas valiosas para sistemas multisensores en red. En (Castrill´on-Santana et al., 2014a) se demuestra que la informaci´on de profundidad proporcionada por una c´amara RGB-D comercial de bajo coste es una fuente fiable de datos para realizar de forma robusta el conteo automatizado de personas. De nuevo, se escoge una posici´on de la c´amara cenital al paso de personas, y se var´ıan las condiciones de iluminaci´on durante las secuencias de im´agenes, demostrando la fiabilidad de los datos de profundidad proporcionados. Utilizando un m´etodo de captura similar, en (Zhang et al., 2012) encontramos un sistema que implementa un m´etodo denominado water filling, el cual permite a los autores encontrar a los transe´untes de manera robusta y sin tener en cuenta la varianza por la escala, y que ofrece unos resultados bastante positivos. En resumen, esta soluci´on plantea una “inundaci´on” sobre la imagen de profundidad, de manera que el agua quedar´a en los huecos situados entre las personas aisl´andolas, permitiendo su f´acil individualizaci´on y conteo. Por ´ultimo, tenemos (Fern´andez-Pereira, 2013), donde con un planteamiento similar, se implementa un contador de personas que utiliza una variaci´on del algoritmo Mean-shift para la detecci´on de los transe´untes y un filtro de Kalman para el seguimiento y conteo de los mismos. 4CAP´ ITULO 1. INTRODUCCI ´ ON 1.3. Objetivos del proyecto El principal objetivo de este proyecto consiste en desarrollar un sistema que permita el conteo de personas, y la realizaci´on de un estudio acerca de las variables que lo componen y su viabilidad. Este objetivo podemos dividirlo en diferentes subobjetivos: Estudio de las herramientas disponibles para tareas de visi´on por computador. Detecci´on de personas. Esta tarea comprende, adem´as del c´alculo del modelo de fondo, el eliminado del fondo de cada imagen y la separaci´on de cada persona para su posterior tratamiento. Conteo de personas. Debemos hacer un seguimiento de la trayectoria de cada persona para poder contabilizarla. Extracci´on de descriptores biom´etricos para su caracterizaci´on. De cada persona obtendremos medidas que ser´an utilizadas a posteriori para su an´alisis. Determinaci´on del sexo. Se utilizar´an los datos recogidos para obtener un clasificador para el sexo. 1.4. Organizaci´on de la memoria En el cap´ıtulo actual se han introducido los contadores autom´aticos de personas, as´ı como su utilidad. Adem´as, hemos estudiado otros sistemas similares al que proponemos en este documento. Por ´ultimo, vemos los objetivos que nos planteamos al realizar este proyecto. M´as adelante, en el cap´ıtulo 2 se describir´an las herramientas empleadas durante el desarrollo del proyecto. Describiremos el sensor utilizado, as´ı como las bibliotecas necesarias para poder trabajar con el mismo, y otras herramientas software utilizadas. El cap´ıtulo 3 trata de los fundamentos de ingenier´ıa del software empleados. Describiremos el enfoque que hemos tomado con el proyecto a la hora de desarrollarlo, su divisi´on interna en clases y la planificaci´on temporal que hemos seguido. 1.4. ORGANIZACI ´ ON DE LA MEMORIA 5 Posteriormente, el cap´ıtulo 4 muestra en detalle los pasos que hemos seguido para implementar este sistema. Se hablar´a de la adquisici´on de imagen, su preprocesado, c´omo detectamos personas dentro de una imagen, c´omo las contabilizamos y el proceso que hemos realizado para detectar su sexo. A continuaci´on, en el cap´ıtulo 5 mostraremos los resultados obtenidos, mostrando el funcionamiento del contador y la clasificaci´on de sexo de las personas detectadas. Por ´ultimo, el cap´ıtulo 6 da por finalizado este documento, donde comentamos las conclusiones obtenidas tras la realizaci´on de este proyecto y proponemos futuras l´ıneas de trabajo empleando este proyecto como base. 6CAP´ ITULO 1. INTRODUCCI ´ ON Cap´ıtulo 2 Herramientas utilizadas En este segundo cap´ıtulo se describen cada uno de los componentes empleados en el desarrollo de este proyecto, tanto f´ısicos como l´ogicos. En cuanto al soporte f´ısico, hemos utilizado un sensor RGB-D, Kinect y un equipo cuyas prestaciones ser´an descritas tambi´en aqu´ı. El soporte l´ogico comprende el entorno de desarrollo de software empleado, las bibliotecas software necesitadas y una suite de aprendizaje autom´atico utilizada a la hora de la caracterizaci´on de sexo. 2.1. Sensor Kinect Kinect es un controlador de juego libre y entretenimiento creado por Alex Kipman, desarrollado por Microsoft para la videoconsola Xbox 360, y desde junio del 2011 para PC a trav´es de Windows 7 y Windows 8. Kinect da la posibilidad a sus usuarios de controlar e interacturar con la consola sin necesidad de tener contacto f´ısico con un controlador de videojuegos tradicional, mediante una interfaz natural de usuario que reconoce gestos, comandos de voz, objetos e im´agenes. El sensor Kinect (Math´e et al., 2012), que podemos ver en la figura 2.1, es un dispositivo conectado a un pivote, dise˜nado para estar en una posici´on horizontal. El dispositivo incluye una c´amara RGB, un sensor de profundidad y un micr´ofono multi-array bidireccional que, en conjunto, capturan im´agenes y movimientos de los cuerpos en 3D, adem´as de ofrecer reconocimiento facial y aceptar comandos de voz. 7 8CAP´ ITULO 2. HERRAMIENTAS UTILIZADAS Figura 2.1: Imagen de un sensor Kinect (Microsoft Corporation, 2015). El sensor de Kinect adquiere im´agenes de v´ıdeo con un sensor CMOS a una frecuencia de 30 Hz, en RGB de 32-bits y resoluci´on VGA de 640x480 p´ıxeles. El canal de v´ıdeo monocromo CMOS es de 16-bit y su resoluci´on QVGA es de 320x240 p´ıxeles con hasta 65,536 niveles de sensibilidad. Para calcular distancias entre un cuerpo y el sensor, este emite un haz l´aser infrarrojo que proyecta un patr´on de puntos sobre los cuerpos cuya distancia se determina. Una c´amara infrarroja capta este patr´on y por hardware calcula la profundidad de cada punto. El rango de profundidad detectable por Kinect se encuentra entre los 0.4 y 4 metros. Existen 2 modos (Default y Near) para determinar distancias. El modo Default permite medir entre 0.8 y 4 metros de distancia con respecto al sensor, mientras que el modo Near es capad de detectar distancias entre los 0.4 y los 3 metros. El ´angulo de vista (FOV) es de 58ohorizontales y 43overticales. Por otro lado el pivote permite orientar en elevaci´on, hacia arriba o hacia abajo, incrementando el FOV hasta en 27om´as. El array del micr´ofono tiene cuatro c´apsulas, y opera con cada canal procesando en 16-bit de audio con un ratio de frecuencia de 16 kHz. La c´amara de Kinect funciona con hardware y software propios para el reconocimiento de imagen. Dicha c´amara tiene dos funciones principales: generar un mapa en tres dimensiones de la imagen que se encuentra en su campo visual y reconocer humanos en movimiento entre los objetos de la imagen a partir de diferentes segmentos de las articulaciones del cuerpo y un esquema en escala de grises. El sensor Kinect puede llegar a distinguir la profundidad de cada objeto con una resoluci´on de 1 cent´ımetro y calcular estimaciones de la altura y anchura con una exactitud de aproximadamente 3 mil´ımetros. Durante la realizaci´on de este proyecto, m´as concretamente el 15 de julio de 2014, una versi´on actualizada del sensor Kinect fue lanzada al mercado, denominada Kinect para Xbox One o Kinect 2.0, mostrada en la figura 2.2. Utilizando una tecnolog´ıa similar pero con mayores prestaciones, este nuevo sensor es capaz de capturar im´agenes en resoluci´on 1080p y procesa 2 gigabits de datos por segundo. Presenta una precisi´on y rendimiento muy superiores 2.2. ENTORNO SOFTWARE 9 a los de su predecesor, pero al lanzarse cuando este proyecto se encontraba en avanzadas fases de desarrollo, no se contempl´o su utilizaci´on. Figura 2.2: Imagen de un sensor Kinect 2.0 (Microsoft Corporation, 2015). La configuraci´on de la captura de im´agenes realizada con Kinect ser´a explicada m´as adelante, en el apartado 4.1. 2.2. Entorno software A la hora de trabajar con el sensor Kinect, existen diferentes alternativas de software que pueden ser utilizadas. Cuando Kinect fue lanzado al mercado, capt´o la atenci´on de diversos grupos de investigaci´on por sus capacidades y resoluci´on con respecto a su precio, ya que otros sensores dedicados a visi´on por computador no eran capaces de alcanzar las mismas prestaciones a pesar de tener un precio superior. Esto llev´o a los desarrolladores a programar sus propios controladores para este sensor utilizando ingenier´ıa inversa, lo cual permiti´o utilizar Kinect como un sensor barato pero bastante efectivo en problemas de visi´on por computador. Posteriormente, Microsoft public´o su propio kit de desarrollo de software, que permite dar un rendimiento a´un mayor a este sensor, abriendo las posibilidades de uso a caracter´ısticas como el micr´ofono integrado en el mismo, no disponible con otros controladores. Este SDK tiene una documentaci´on muy completa, pero al no tratarse de software libre, no permite la distribuci´on del software desarrollado con el mismo. Esto hace que muchos desarrolladores se dediquen a utilizar bibliotecas de c´odigo abierto para trabajar con Kinect, como las que se han empleado en este proyecto; en concreto hemos utilizado las bibliotecas de OpenNI con los controladores de Primesense, que ser´an introducidos en los apartados 2.3.3 y 2.3.4 respectivamente. 10 CAP´ ITULO 2. HERRAMIENTAS UTILIZADAS En cuanto al entorno software en el que se han instalado las herramientas necesarias, se ha optado por desarrollar el presente proyecto en Ubuntu 12.04, ejecutado en un equipo con las siguientes especificaciones: Procesador: Intel R CoreTM2 Duo CPU T5800 @ 2.00GHz x 2 Memoria: 4 GB Dual-channel DDR2 @ 332 Mhz Gr´aficos: 256 MB GeForce 9300M GS Sistema operativo: Ubuntu 12.04 LTS 64 bit 2.3. Herramientas software 2.3.1. Biblioteca OpenCV Figura 2.3: Logo de OpenCV (Itseez, 2015). OpenCV (Open Computer Vision, figura 2.3) es una biblioteca libre de visi´on por computador originalmente desarrollada por Intel. Desde que apareci´o su primera versi´on alfa en enero de 1999, se ha utilizado en infinidad de aplicaciones: desde sistemas de seguridad con detecci´on de movimiento, hasta aplicaciones de control de procesos donde se requiere el reconocimiento de objetos. Esto se debe a que su publicaci´on se da bajo licencia BSD, que permite que sea usada libremente para prop´ositos comerciales y de investigaci´on con las condiciones en ella expresadas. OpenCV es multiplataforma, existiendo versiones para GNU/Linux, Mac OS X y Windows. Contiene m´as de 500 funciones que abarcan una gran 2.3. HERRAMIENTAS SOFTWARE 11 gama de ´areas en el proceso de visi´on, como reconocimiento de objetos y facial, calibraci´on de c´amaras, visi´on est´ereo y visi´on rob´otica. Actualmente se encuentra en su versi´on 2.4.10, lanzada en octubre de 2014, mientras que su versi´on beta 3.0.0 est´a tambi´en disponible desde noviembre de 2014. El proyecto pretende proporcionar un conjunto de funciones f´acil de utilizar y altamente eficiente. Esto se ha conseguido realizando su programaci´on en c´odigo C y C++ optimizado, aprovechando asimismo las capacidades que poseen los procesadores multi-n´ucleo. OpenCV puede adem´as utilizar el sistema de primitivas de rendimiento integrado de Intel, un conjunto de rutinas de bajo nivel espec´ıficas para procesadores Intel. En este proyecto se han utilizado una serie de funciones de OpenCV para la carga, almacenamiento, transformaci´on y visualizaci´on de im´agenes, as´ı como segmentaci´on sobre ellas. OpenCV tiene una amplia gama de funciones que trabajan sobre im´agenes, as´ı que ha sido una herramienta imprescindible para tratarlas junto con PCL. 2.3.2. Biblioteca PCL Figura 2.4: Logo de PCL (Open Perception Foundation, 2015). PCL (Point Cloud Library, figura 2.4) es una biblioteca de c´odigo abierto descrita por primera vez por Rusu and Cousins (2011) que contiene algoritmos para el procesamiento de nubes de puntos y para procesamiento de geometr´ıa en 3D, tareas que encontramos en visi´on por computador tridimensional. Esta biblioteca contiene adem´as algoritmos para estimaci´on de caracter´ısticas, reconstrucci´on de superficies, registro de im´agenes, ajuste de 18 CAP´ ITULO 3. AN ´ ALISIS Y DISE ˜ NO cantidad de tiempo del que hab´ıamos asignado inicialmente. El tiempo real empleado aproximadamente en cada una de las partes de este proyecto se representa en la gr´afica 3.3. 10,00% 8,00% 16,00% 36,00% 20,00% 10,00% Estudio sobre herramientas disponibles Estado del arte Diseño Implementación Prueba y corrección Documentación Figura 3.3: Temporizaci´on aproximada de las diferentes fases del proyecto. Como podemos observar, el desarrollo del sistema ha sido la etapa que m´as tiempo ha empleado, seguido de las pruebas y correcciones al sistema. Este segundo apartado se ha llevado m´as tiempo del supuesto inicialmente debido a que incluimos las pruebas realizadas con los clasificadores para sexo dentro de este apartado. Adem´as, n´otese que tenemos dos franjas adicionales en la temporizaci´on original: captura de im´agenes y etiquetado. Inicialmente se pensaba capturar las im´agenes directamente con el sensor, pero como veremos en el apartado 4.1, la adquisici´on de imagen consisti´o en utilizar una serie de im´agenes tomadas anteriormente por los tutores, lo cual nos hizo obviar estos dos pasos. Cap´ıtulo 4 Implementaci´on del sistema El cap´ıtulo actual describe los diferentes pasos en los que podemos dividir la implementaci´on del proyecto. Primero, en la secci´on 4.1, hablaremos de la adquisici´on de imagen con Kinect y de los conjuntos de im´agenes utilizados con nuestro sistema. Luego pasaremos al preprocesado de imagen en la secci´on 4.2, que incluye el proceso de c´alculo del modelo de fondo. Posteriormente, en la secci´on 4.3 mostraremos la detecci´on de personas y del tratamiento que hacemos con blob detectado para comprobar si es una persona o no. En la secci´on 4.4 tratamos el conteo de personas y el m´etodo utilizado para seguir las personas que transcurren en la escena. Por ´ultimo hablamos de la detecci´on del sexo en la secci´on 5.2, de los valores que utilizamos para ello y de la construcci´on de un clasificador para detectarlo. 4.1. Adquisici´on de imagen A la hora de implementar y probar nuestro sistema tenemos a nuestra disposici´on dos posibles flujos de datos entrantes. Podemos tomar las im´agenes directamente desde Kinect, aunque tambi´en se han proporcionado una serie de im´agenes tomadas con Kinect y divididas en sesiones. Capturadas por los tutores y etiquetadas manualmente, constituyen una fuente de referencia excelente a la hora de comparar el funcionamiento de nuestro programa con el de un contador manual. Estas sesiones han sido grabadas a lo largo de tres d´ıas, y cada d´ıa dividido en dos sesiones, correspondientes a la entrada y salida a una de las aulas de la 19 20 CAP´ ITULO 4. IMPLEMENTACI ´ ON DEL SISTEMA Universidad de Las Palmas de Gran Canaria, para un total de seis sesiones. Se ha hecho uso de una de las sesiones principalmente para la implementaci´on de nuestro sistema, y posteriormente se ha comprobado el funcionamiento del sistema con el resto de sesiones. Este conjunto de im´agenes, denominado DEPTHVISDOOR, junto con sus anotaciones, puede encontrarse en (Castrill´on- Santana et al., 2014b). Podemos encontrar un ejemplo de las im´agenes en este conjunto en la figura 4.1. Figura 4.1: Ejemplo de una de las im´agenes del conjunto de datos usado. La geometr´ıa del espacio de captura de im´agenes se describe en la figura 4.2. Las especificaciones aportadas por Microsoft para el sensor Kinect determinan que su campo de visi´on vertical es de 43o; con este dato podemos calcular la longitud rmediante la expresi´on: r= 2 tan 43o 2(T−h) (4.1) en la cual Tes la distancia del sensor al suelo y hla altura de la persona. Para una persona con una altura promedio h= 1,75my un sensor situado a T= 3mdel suelo, obtenemos una longitud r= 0,98m. Si tenemos en cuenta una velocidad de 1,4m/s, el sensor capturar´a una media de 18 im´agenes de cada persona atravesando el campo de visi´on, asumiendo una frecuencia de captura entre 15 y 25 im´agenes por segundo; informaci´on suficiente para el conteo y etiquetado de cada persona. 4.2. PREPROCESADO DE IMAGEN 21 Figura 4.2: Configuraci´on de la captura de im´agenes con Kinect. 4.2. Preprocesado de imagen 4.2.1. C´alculo de la nube con el modelo de fondo Para lograr la separaci´on de blobs dentro de cada imagen, una t´ecnica frecuente en visi´on por computador es la sustracci´on de fondo (Bradski and Kaehler, 2008, p. 281). Como su nombre indica, consiste en extraer el fondo de cada imagen para su posterior procesamiento; en nuestro caso, para reconocer las personas que tenemos en cada imagen. Se usa ampliamente cuando el objetivo es diferenciar objetos m´oviles que entran dentro del campo de visi´on de una c´amara fija, lo que se corresponde con una parte de nuestro problema. Al aplicar el proceso de extracci´on del fondo, primero hemos de calcular un modelo del fondo de la escena. Una vez tengamos este modelo, compar´andolo con cada imagen perteneciente a la secuencia a analizar, podremos extraer f´acilmente aquellas partes de dicha imagen que no pertenecen al fondo. Existen diversas t´ecnicas de c´alculo del modelo de fondo, siendo las siguientes las m´as comunes: Diferencia de fotogramas. El m´as simple de los m´etodos de extracci´on de fondo consiste en calcular la diferencia entre dos im´agenes consecutivas y tomar cualquier diferencia significativa como foreground. Este m´etodo, aunque sencillo, s´olo proporciona regiones en las que se aprecia movimiento, y resulta demasiado simple para nuestras necesidades. 22 CAP´ ITULO 4. IMPLEMENTACI ´ ON DEL SISTEMA Fondo promediado. Este m´etodo calcula, para todo p´ıxel de la imagen, la media y la desviaci´on est´andar con respecto a un n´umero de fotogramas determinado, y esto constituye nuestro modelo de fondo. Resulta m´as robusto y fiable que el m´etodo anterior, y su c´alculo no resulta muy costoso. Algoritmo Watershed. Utilizado generalmente cuando no se tiene una imagen de fondo, el algoritmo Watershed convierte las l´ıneas de una imagen en “monta˜nas” y ´areas uniformes en “valles” que se utilizan para segmentar objetos. El algoritmo primero toma el gradiente de la imagen, formando valles en los puntos donde no hay textura, y monta˜nas donde hay l´ıneas en la imagen. Despu´es, inunda los valles a partir de puntos especificados o bien por el usuario o algor´ıtmicamente hasta que las regiones se encuentran. Si dos regiones se unen, se considera que forman parte del mismo objeto. De esta forma, todos los valles conectados al punto especificado forman parte del objeto a segmentar. Aunque es m´as costoso que el promediado de fondo, es m´as vers´atil. Sin embargo, requiere supervisi´on, al menos en su idea inicial, para poder determinar, una vez segmentada la imagen, qu´e parte de la misma es el fondo. Segmentaci´on Mean-shift. Este algoritmo intenta separar los diferentes elementos dentro de una imagen. Para ello es capaz de detectar picos que representan los valores de cada segmento, determinar cu´antos son y agrupar o etiquetar los p´ıxeles seg´un el centro al que se parezcan m´as, para luego realizar la segmentaci´on. Aunque la idea detr´as del algoritmo es sencilla, este algoritmo tiene un coste computacional elevado. Sin embargo, es ampliamente usado en aplicaciones de visi´on por computador. De la misma forma que el algoritmo anterior, la versi´on inicial del algoritmo requiere supervisi´on para determinar qu´e parte de la imagen segmentada corresponde al fondo. Nuestro sistema utiliza im´agenes obtenidas de un sensor en una posici´on fija y cenital, por lo que no necesitamos un modelado del fondo de la escena complejo. Con un promediado de las primeras im´agenes de la secuencia, podemos extraer dos matrices con el modelo de fondo, una de ellas con la imagen RGB del fondo y la otra con los datos de profundidad. Gracias al uso de las herramientas proporcionadas por PCL, podemos unir estas dos matrices en una nube de puntos para tener el modelo de fondo en una sola entidad, como vemos en la figura 4.3. En dicha imagen podemos ver los datos de profundidad a la izquierda, mientras que a la derecha tenemos los datos RGB. 4.3. DETECCI ´ ON DE PERSONAS 23 Figura 4.3: Nube generada usando PCL que incluye el modelo de fondo calculado para una de las sesiones. 4.3. Detecci´on de personas La detecci´on y el conteo de personas son dos procesos consecutivos donde se analiza todo lo que se encuentra en la imagen y no forma parte del fondo. Para dar a conocer en l´ıneas generales c´omo se realizan estos procesos de una forma simplificada, tenemos el pseudoc´odigo 1, el cual muestra el proceso de an´alisis de las im´agenes una vez se ha calculado el modelo de fondo. Algoritmo 1 Resumen del proceso de detecci´on y conteo de personas. 1: while hay una imagen disponible do 2: Leemos la imagen de la lista o de la Kinect 3: Calculamos diferencia entre imagen y modelo de fondo, obteniendo foreground 4: Convertimos el foreground a una nube de PCL 5: if hay un m´ınimo de p´ıxeles visibles then 6: Calculamos normales del foreground 7: Obtenemos contornos del foreground 8: for cada contorno encontrado do 9: for cada blob detectado en el contorno do 10: Obtenemos caracter´ısticas del blob 11: if caracter´ısticas indican que es persona then 12: Realizamos seguimiento de la persona 13: Contabilizamos la misma 14: else 15: Pasamos al siguiente contorno 24 CAP´ ITULO 4. IMPLEMENTACI ´ ON DEL SISTEMA 16: end if 17: end for 18: end for 19: else 20: Pasamos a la siguiente imagen 21: end if 22: Mostramos imagen con personas detectadas y trayectorias 23: end while 4.3.1. Procesado para cada blob Con el modelo de fondo ya calculado, podemos extraer f´acilmente cualquier elemento diferente al fondo capturado por la c´amara. Realizamos este proceso a la vez que convertimos la imagen a una nube de puntos; al recorrer los puntos de una imagen y calcular su proyecci´on en la nube, comprobamos si cada punto quedar´ıa en el fondo y, si no es as´ı, lo a˜nadimos a una nueva nube que contendr´a todo lo que no forme parte del fondo de la misma, tambi´en llamado foreground. El m´etodo es similar al utilizado en el promediado para el c´alculo del fondo. Una vez realizado este proceso, el siguiente paso consiste en analizar la parte de la imagen detectada como foreground. Aqu´ı hemos de tener en cuenta las diferentes situaciones que se pueden dar: Si encontramos que el foreground contiene un n´umero de p´ıxeles distintos de cero muy bajo (un 3 % del tama˜no original de la imagen), consideramos que no hay suficiente informaci´on para que una persona se encuentre presente y continuaremos con el conteo en el siguiente fotograma. En caso contrario, podemos tener una persona, varias o alg´un objeto que se haya dejado en la escena despu´es del c´alculo del modelo de fondo. En este caso, buscaremos personas dentro del foreground intentando localizar sus cabezas, como se explicar´a a continuaci´on. Una vez extra´ıdo el foreground de la imagen y comprobado que hay suficientes p´ıxeles diferentes de cero en ´el, comprobaremos si esos p´ıxeles corresponden a una persona o no. Para ello intentaremos localizar la cabeza de la 4.3. DETECCI ´ ON DE PERSONAS 25 persona, ya que es la parte del cuerpo humano que queda m´as cerca del sensor de captura en la configuraci´on descrita en el apartado 4.1 de adquisici´on de imagen. En primer lugar hemos de localizar la zona de la imagen donde se encuentra la persona a analizar. Para ello utilizamos la funci´on de OpenCV findContours, la cual nos devuelve una lista con los contornos presentes en la imagen. Inmediatamente despu´es comenzamos a recorrer esta lista de contornos, calculando el ´area interna para cada uno de ellos. Si dicha ´area comprende m´as de un 3 % del tama˜no total de la imagen, continuamos su proceso. Este margen nos permite discriminar aquellos contornos demasiado peque˜nos para tratarse de una persona, que ser´ıan considerados como ruido. El resultado de este proceso se puede apreciar en la figura 4.4. Figura 4.4: Resultado de la eliminaci´on del fondo y del ruido restante en la imagen. En la parte superior tenemos el fondo eliminado, mientras que en la inferior se ha eliminado tanto fondo como ruido. Despu´es de esto, lanzamos un bucle para recorrer todas las posibles personas dentro de dicho contorno. Durante el proceso de desarrollo del sistema, encontramos casos donde un mismo blob pod´ıa contener m´as de una persona, como vemos en la figura 4.5; despu´es de eliminar el fondo, si dos personas 26 CAP´ ITULO 4. IMPLEMENTACI ´ ON DEL SISTEMA Figura 4.5: Varias personas en el mismo blob dificultan el conteo. est´an lo suficientemente pr´oximas, la operaci´on findContours detectar´a un solo contorno que incluya ambas. Debido a esto, hemos optado por recorrer cada contorno en m´ultiples ocasiones, hasta que no podamos encontrar m´as posibles personas dentro del mismo. En el apartado 4.3.2, se explicar´a el proceso por el que identificamos cada persona dentro de este bucle. El siguiente paso consiste en extraer una m´ascara con el contenido de este contorno, sobre la que calcularemos la distancia de los puntos al suelo. Para ello, en primer lugar acumulamos la altura de cada uno de los puntos del modelo de fondo que entran dentro de la m´ascara, y luego dividimos entre el n´umero de puntos para obtener la altura media del suelo. Tras esto, recorremos los puntos del foreground correspondientes a esta m´ascara comparando su profundidad con el valor de la altura del suelo calculado anteriormente; el valor m´aximo de esta diferencia nos dar´a la altura de la persona. Este valor nos ayudar´a a llevar a cabo la separaci´on de la cabeza en el siguiente apartado. 4.3.2. Separaci´on de la cabeza El proceso descrito en este apartado se encuentra resumido en el pseudoc´odigo 2. En este punto ya hemos conseguido la altura de la posible persona dentro de la imagen. Utilizando este dato, podemos seleccionar una parte de los datos correspondiente a un cierto porcentaje de la altura como la cabeza de la misma. Teniendo en cuenta el canon antropom´etrico de Richer y Langer (Horcajada-Gonz´alez, 2011) se considera que el cuerpo humano mide unas siete veces y media el tama˜no de la cabeza, como vemos en la figura 4.6; y que dentro de esta encontramos que la parte superior de la misma, que ser´a vista desde una posici´on cenital, corresponde a un 40 % del total de la altura de la cabeza. 4.3. DETECCI ´ ON DE PERSONAS 27 Algoritmo 2 Pseudoc´odigo que resume el proceso de separaci´on de la cabeza. 1: for cada blob detectado en el contorno do 2: Obtenemos distancia al suelo 3: Obtenemos altura m´axima del blob 4: Obtenemos centroide alrededor de la altura m´axima 5: Extraemos blob a una imagen como posible cabeza 6: if el centroide est´a en el ROI then 7: Dilatamos la cabeza y la a˜nadimos a una m´ascara para el siguiente fotograma 8: Calculamos circularidad de la cabeza 9: Creamos nube s´olo con la cabeza 10: Calculamos normales para dicha nube 11: Contabilizamos a qu´e coordenada corresponden la mayor´ıa de normales 12: Determinamos si est´a entrando o saliendo del ROI 13: if con circularidad y normales detectamos que es persona then 14: Realizamos el seguimiento de la persona 15: end if 16: else 17: Pasamos al siguiente contorno 18: end if 19: end for Con estas proporciones en mente, podemos calcular qu´e porcentaje de la altura total corresponder´a a la parte superior de la cabeza: alrededor de un 95 %. Utilizando este valor, podemos separar la parte del blob que corresponde a la cabeza para determinar si se trata de una persona o no; en la figura 4.7 mostramos de forma visual la altura que representa. Este valor, sin embargo, no ha sido fijado desde el principio del proceso de desarrollo; se ha realizado un peque˜no an´alisis sobre la relaci´on entre la altura que tomamos como parte superior de la cabeza y otros par´ametros que se ver´an en los siguientes apartados. Adem´as de eso, calculamos tambi´en el centroide del blob que contiene la cabeza para su posterior uso. Despu´es del proceso anterior, tenemos una m´ascara que contiene tan s´olo la parte superior de la cabeza, suponiendo que sea una persona. Para continuar el proceso de detecci´on, primero comprobamos que la persona est´a dentro del ´area de inter´es de la escena. Este ´area de inter´es (o ROI, Region 34 CAP´ ITULO 4. IMPLEMENTACI ´ ON DEL SISTEMA Figura 4.10: Una cabeza con una forma inusual har´a m´as dif´ıcil la detecci´on. que disponemos, de forma experimental. Podemos ver la f´ormula final para la poderaci´on de los valores en la ecuaci´on 4.7. 0,65 ·normales + 0,35 ·circularidad > 0,7 (4.7) Sin embargo, esta detecci´on no es perfecta. Dos personas con alturas similares y con una proximidad suficiente pueden pasar por la misma persona debido a que formar´an parte del mismo blob, como podemos ver en la imagen 4.11. En concreto, en dicha imagen las personas pasan con las cabezas unidas y el sistema no es capaz de reconocerlas individualmente. Adem´as, existen ciertos problemas con casos donde la cabeza no presenta una forma tan circular, por ejemplo el caso de una persona que lleve el pelo recogido en una coleta. Este problema se ha aliviado otorgando a la medida de las normales un peso mayor en la ponderaci´on anterior; no obstante, hemos encontrado casos en que esta correcci´on no es suficiente. Figura 4.11: Dos personas durante una de las sesiones pasan con sus cabezas unidas. Es por esto que se toma un cierto margen de error para la detecci´on de personas. Aunque nuestro discriminador de cabezas indique que lo que 4.4. CONTEO DE PERSONAS 35 estamos analizando en la imagen actual no se trata de una cabeza, si es la primera entidad dentro del foreground que analizamos, la consideraremos una cabeza “extra˜na”, siempre y cuando su circularidad no sea extremadamente baja. De esta forma, contamos como cabezas extra˜nas aquellas personas cuya cabeza puede no presentar una forma tan compacta como lo que se espera. Estos valores (altura de la persona, tama˜no de su cabeza, circularidad de la misma y medida de las normales) ser´an volcados en un fichero aparte para su posterior an´alisis y clasificaci´on del sexo de las personas a las que se les han calculado, lo cual veremos con m´as profundidad en el apartado 5.2. 4.4. Conteo de personas A la hora de explicar el conteo de personas dividimos el proceso en dos partes, seguimiento y conteo propiamente dicho. La estructura general de esta parte del proyecto queda plasmada en el pseudoc´odigo 3. Algoritmo 3 Pseudoc´odigo que resume el proceso de seguimiento y conteo. 1: if con circularidad y normales detectamos que es persona then 2: A˜nadimos persona a las detectadas en este contorno 3: if persona se solapa con alguna de la imagen anterior then 4: Actualizamos su posici´on 5: else 6: Insertamos en lista de personas de esta imagen 7: end if 8: else 9: if es la primera entidad en el contorno then 10: A˜nadimos persona a las detectadas en este contorno 11: if persona se solapa con alguna de la imagen anterior then 12: Actualizamos su posici´on 13: else 14: Insertamos en lista personas de esta imagen 15: end if 16: end if 17: end if 18: Cuando terminamos con un frame, llamamos a update() 36 CAP´ ITULO 4. IMPLEMENTACI ´ ON DEL SISTEMA 4.4.1. Seguimiento de blobs Cuando hemos aislado satisfactoriamente una persona dentro de una imagen, pasamos a contabilizarla. Para poder contabilizarla correctamente, en primer lugar comprobamos si se encontraba en la imagen anterior. Esto lo conseguimos con una m´ascara que actualizamos en un fotograma cada vez que encontramos una cabeza nueva. Una vez terminamos con una imagen, guardamos esta m´ascara como la m´ascara del fotograma anterior en la secuencia, y ser´a con la que contrastemos las personas que encontremos en la siguiente imagen. Para comprobar si estaba o no una persona en la imagen anterior, calcularemos la intersecci´on entre la m´ascara con la cabeza actual y la m´ascara calculada en la imagen previa; si esta intersecci´on no es cero, podemos decir que en dos fotograma consecutivos hemos encontrado a la misma persona, y pasamos a actualizar la posici´on de dicha persona. Esto es posible porque, como se ha explicado anteriormente, debido a la velocidad de paso de una persona debajo de la c´amara existen solapes entre detecciones sucesivas de la misma persona, lo cual nos permite realizar el seguimiento de esta manera. Si la persona se encontraba en la imagen anterior, hemos de realizar un an´alisis de la m´ascara de dicho fotograma para averiguar a cu´al de las personas que estamos siguiendo hemos de actualizarle la posici´on. Esto lo conseguimos obteniendo los contonos pertenecientes a cabezas almacenadas del fotograma anterior, y comprobando cu´al de ellos comprende el solape que calculamos anteriormente. Una vez obtenido el contorno, calculamos su centroide, por el cual identificaremos a la persona a actualizar dentro de nuestra lista de personas. Obtenidos todos los valores significativos de la persona (altura del blob, ´area de la cabeza, circularidad, medida de normales, posici´on en el fotograma anterior) podemos actualizar la posici´on de la misma en una lista de personas que mantenemos gracias a la clase PeopleClass. Esta clase ha sido creada con el prop´osito de mantener una lista de transe´untes actualizable imagen por imagen y que almacena tanto los datos extra´ıdos de la persona como su trayectoria (sentido de entrada y salida de la escena, ´ultimas cinco posiciones). Cada persona que detectamos en una imagen va siendo almacenada en una lista temporal, que actualizar´a la lista global cuando el an´alisis de esta imagen haya concluido. Con la informaci´on de esta lista global, mostraremos por pantalla las detecciones en este fotograma y se realizar´a el conteo como ser´a explicado en el siguiente apartado. 4.4. CONTEO DE PERSONAS 37 Si tenemos una trayectoria de una persona aislada con un n´umero de posiciones registradas por segundo elevado, el contador detectar´a siempre un solape entre dos posiciones consecutivas de la trayectoria. Este es el caso m´as com´un, donde la trayectoria de una persona no se ve obstaculizada y el seguimiento puede realizarse correctamente. Sin embargo, el seguimiento de las personas no es tan inmediato como localizar la posici´on anterior de la persona y actualizarla con la nueva posici´on calculada mediante el solape de ambas. Encontramos casos donde la persona se mueve por la escena con una velocidad superior a la de otras personas o que quede dentro de un blob con otras personas y no sea posible su separaci´on, y debido a la gran diferencia de las dos posiciones de la persona en dos posiciones consecutivas, el solape puede no llegar a ocurrir, como vemos en la figura 4.12. En estos casos, el procedimiento update que une la lista temporal con la global analiza las posiciones anteriores por las que ha pasado una persona y, calculando su trayectoria y su velocidad utilizando el m´etodo de m´ınimos cuadrados para extraer la trayectoria a trav´es de las posiciones anteriores, es capaz de actualizar la posici´on de una persona que de inmediato no pod´ıamos conocer mediante los solapes entre fotogramas. 4.4.2. Conteo de blobs Para el problema del conteo de personas, se ha designado un ROI dentro de la imagen, como se ha comentado en el apartado 4.3.2, que utilizamos para determinar de manera sencilla por d´onde entran y salen las personas de la escena. Este ROI comprende el 70 % central de la escena. Adem´as, tenemos unas bandas de entrada y salida, con las que comenzamos a detectar el instante en que una persona est´a entrando o saliendo. Dichas bandas ocupan cada una un 10 % de la imagen original, y se encuentran en los bordes del ROI, en la parte interna, como se puede ver en la figura 4.13. La escena que analiza este sistema consiste en una puerta de entrada a un aula. Tal y como tenemos colocada nuestra c´amara, la puerta queda en la parte superior de cada imagen, y los fotogramas han sido tomados desde dentro de la misma. Asimismo, consideramos que cualquier persona que se desplace de la parte superior de la escena a la parte inferior est´a entrando en el aula y ser´a contado en nuestro sistema como IN, mientras que si se desplaza de la parte inferior a la superior est´a saliendo y se etiqueta como OUT. Las entradas y salidas laterales son posibles; como hemos indicado anteriormente, la puerta 38 CAP´ ITULO 4. IMPLEMENTACI ´ ON DEL SISTEMA Figura 4.12: Cabeza perdida. La persona a la izquierda se une demasiado al resto y su trayectoria no se registra durante dos im´agenes de la secuencia. 4.4. CONTEO DE PERSONAS 39 del aula esta en la parte superior, y es completamente posible que una persona se aproxime desde uno de los laterales. Cuando una persona se desplaza desde la parte superior de la escena hasta uno de los laterales, consideramos que entra en el aula (IN), mientras que si se desplaza de los laterales hacia la parte superior saldr´a de la misma (OUT). El resto de trayectorias que puedan ocurrir las consideramos trayectorias errantes o wanderers, y son omitidas de la cuenta. Pongamos un ejemplo para dar una explicaci´on a esta decisi´on. Supongamos que una persona entra a la escena por la parte inferior, se desplaza hasta el centro de la escena, da la vuelta y sale por donde entr´o. Si contamos la persona cuando entra a la escena como IN y cuando sale como OUT, estamos falsificando el conteo, ya que realmente no ha entrado ni salido ninguna persona nueva al aula; simplemente, una persona que estaba dentro se aproxim´o al ´area de salida, pero no lleg´o realmente a salir; y si hubiera sido una persona saliendo se hubiera cuantificado como OUT, no como IN y luego como OUT como hemos ilustrado en este ejemplo. Debido a esto, almacenamos junto a cada persona en qu´e direccci´on entra (por la parte superior, inferior o uno de los laterales) y en qu´e direcci´on sale de la escena, y es en el momento de la salida cuando contrastamos las direcciones de entrada y salida y cuantificamos a la persona como IN u OUT. Figura 4.13: ´ Area de inter´es escogida para la escena. 40 CAP´ ITULO 4. IMPLEMENTACI ´ ON DEL SISTEMA Cap´ıtulo 5 Pruebas y resultados obtenidos Una vez construido nuestro sistema pasamos a describir las pruebas realizadas sobre el mismo, y los resultados que dichas pruebas arrojan. En la secci´on 5.1 contrastamos los resultados obtenidos con nuestro sistema en los conjuntos de im´agenes que hemos utilizado con los valores reales de dichos conjuntos, mientras que en la secci´on 5.3 mostramos las tasas de acierto para los diferentes clasificadores entrenados con los datos extra´ıdos de las sesiones, como explicamos en el apartado 5.2. 5.1. Conteo de personas durante diferentes sesiones El primer resultado de este proyecto es la aplicaci´on para conteo de personas CounterPCL. Este programa toma pares de im´agenes (color y profundidad) ubicadas dentro de una carpeta o directamente de un sensor Kinect, y los analiza para detectar y contabilizar personas a su paso. Tambi´en es capaz de extraer descriptores para cada persona, que se pueden utilizar para detectar el sexo de los transe´untes. Este contador ha sido dise˜nado y probado con una serie de sesiones de im´agenes, cuya captura fue descrita en el apartado 4.1. En total, nos encontramos con seis sesiones diferentes de im´agenes, donde en cada una de ellas tenemos un n´umero de personas que entra a la sala, que sale, o que describe una trayectoria errante o wander, donde entra y sale por el mismo sitio; estas 41 42 CAP´ ITULO 5. PRUEBAS Y RESULTADOS OBTENIDOS Figura 5.1: Interfaz de la aplicaci´on realizada. trayectorias no ser´an contabilizas por nuestro programa, como se ha explicado anteriormente. Las estad´ısticas de cada una de las sesiones (n´umero de personas que entran o salen, n´umero de fotogramas por segundo al capturar las im´agenes) se encuentran en la tabla 5.1, mientras que los resultados del conteo de personas para las diferentes sesiones puede consultarse en la tabla 5.2. Sesi´on In Out W Frames Inicio Fin Seg. FPS D´ıa 1, inicio 28 32 2184 07:58:51 08:02:09 198 11,03 D´ıa 1, fin 30 10 3146 10:01:34 10:05:11 217 14,50 D´ıa 2, inicio 37 39 1 2456 08:00:17 08:03:18 181 13,57 D´ıa 2, fin 34 8 2 5940 10:01:15 10:05:40 265 22,42 D´ıa 3, inicio 23 31 7 8315 07:57:21 08:02:51 330 25,20 D´ıa 3, fin 18 10 812 10:01:41 10:04:21 160 5,08 Tabla 5.1: Resumen de las sesiones; datos extra´ıdos de las anotaciones tomadas por los tutores en el momento de su captura. W = Wandering. Hemos incluido dos versiones de nuestra aplicaci´on, para ilustrar el progreso que se ha ido alcanzando. La primera de ellas corresponde al desarrollo inicial, donde tomamos tan s´olo una de las sesiones para la implementaci´on 5.1. CONTEO DE PERSONAS DURANTE DIFERENTES SESIONES 43 Sesi´on Versi´on inicial Versi´on final In TF Out TF In TF Out TF D´ıa 1, inicio 32 14,29 % 33 3,13 % 27 3,57 % 33 3,13 % D´ıa 1, fin 44 46,67 % 15 50,00 % 27 10,00 % 10 0,00 % D´ıa 2, inicio 41 10,81 % 44 12,82 % 36 2,70 % 36 7,69 % D´ıa 2, fin 62 82,35 % 14 75,00 % 31 8,82 % 9 12,50 % D´ıa 3, inicio 41 78,26 % 44 41,94 % 26 13,04 % 33 6,45 % D´ıa 3, fin 23 27,78 % 12 20,00 % 8 55,56 % 9 10,00 % Media TF 43,36 % 33,81 % 15,62 % 6,63 % Tabla 5.2: Comparativa de personas contadas. TF = Tasa de Fallo. del sistema y las pruebas de conteo iniciales. La segunda versi´on tom´o todas las sesiones en consideraci´on; durante el desarrollo de la misma se corrigieron diversos errores y se ajustaron par´ametros dentro del c´odigo para que el contador tuviera un mejor funcionamiento. Las tasas de fallo de conteo para la primera versi´on de la aplicaci´on son bastante elevadas, pasando del 50 % en muchos casos, lo que hac´ıa que una optimizaci´on fuera completamente necesaria. Una vez tomadas en consideraci´on todas las sesiones y habiendo modificado la aplicaci´on, conseguimos reducir considerablemente las tasas de fallo, alcanzando una media de 15 % como tasa de fallo el conteo de entrada y un 6 % para el de salida. Sin embargo, en la tabla podemos comprobar que una de las sesiones tiene una tasa de fallo de m´as del 50 %; necesitamos conocer lo que ocurre durante las diferentes sesiones para comprender esta gran cantidad de fallos. D´ıa 1, inicio. Esta secuencia de im´agenes presenta trayectorias simples y con apenas incidencias, ya que la mayor´ıa de ellas se realizan individualmente, y una tasa de im´agenes por segundo aceptable. D´ıa 1, fin. En algunas de las trayectorias se aprecian algunos saltos y, por lo general, las trayectorias de los transe´untes se mantienen durante pocos fotogramas, indicando una velocidad alta por parte de los mismos o un ratio de im´agenes por segundo m´as bajo en comparaci´on con otras sesiones. En la informaci´on de profundidad, se dan casos de oclusiones entre dos personas. Cerca del final de esta sesi´on se cierra una puerta peque˜na que hay de entrada al aula, detectando varias partes del cuerpo de la persona que la cierra. 50 CAP´ ITULO 5. PRUEBAS Y RESULTADOS OBTENIDOS clasificador anterior, donde las variaciones entre los diferentes m´etodos son m´ınimas, indicando que probablemente lo que m´as influya en este caso sean las muestras escogidas para entrenamiento en la validaci´on cruzada. With Detection Without Detection Default 82,35 % 81,82 % AdaBoost 82,17 % 81,82 % Bagging 81,46 % 81,64 % Tabla 5.7: Tasas de acierto para NaiveBayes. En general, tenemos una tasa de acierto superior al 80 % para la mayor´ıa de las pruebas iniciales. El mejor que se comporta aqu´ı es RandomForest, que habiendo sido optimizado con los m´etodos anteriormente descritos, alcanza un 87 % de aciertos en el conjunto de datos con informaci´on de detecci´on de cabeza y un 86 % en el conjunto sin esa informaci´on. Sin embargo, hemos encontrado que las combinaciones de clasificadores usadas para la optimizaci´on no generan una mejora tan significativa, ya que como m´aximo tenemos un incremento que no alcanza el 2 % en los clasificadores con mejor comportamiento. Uno de ellos, SVM, s´ı que presenta un incremento mayor, pero a´un as´ı, queda muy por debajo de los otros clasificadores. Estas pruebas iniciales nos han servido para desarrollar un conjunto de clasificadores a entrenar con Weka, teniendo en cuenta tambi´en las optimizaciones, cuyos resultados ser´an mostrados a continuaci´on. 5.3. Determinaci´on del sexo de las personas contadas Como se coment´o en la secci´on 5.2, para la clasificaci´on del sexo se ha preparado un batch con todos los clasificadores posibles, optimizando en los casos donde nos sea posible y, para combinaciones de clasificadores o clasificadores que usen a otros, utilizaremos alguno de los analizados en detalle anteriormente. Para cada conjunto de datos mostraremos los diez mejores clasificadores en las dos variantes del conjunto (con informaci´on de detecci´on 5.3. DETERMINACI ´ ON DEL SEXO DE LAS PERSONAS CONTADAS51 de cabeza proporcionada por el programa y sin ella, llamados With Detection oWithout Detection manteniendo la nomenclatura utilizada anteriormente) y realizaremos una comparativa entre ellos. D´ıa 1, inicio Ambas variantes del conjunto de datos, que encontramos en las tablas 5.8 y 5.9, aportan unos resultados similares con las tasas de acierto m´as altas alrededor del 92 %, si bien la versi´on With Detection consigue una tasa de acierto ligeramente superior. En cuanto a los clasificadores que funcionan mejor en este conjunto de datos, la mejor tasa de acier- to es para LogitBoost en ambos casos, con Ibk yRandomCommittee ocupando los siguientes puestos. N´otese que tanto LogitBoost como RandomCommittee, que son ambos combinaciones de clasificadores, utilizan RandomForest como su clasificador base, hecho que veremos bastante con el resto de conjuntos de datos. De hecho, para la versi´on Without Detection tenemos que cuatro de los diez mejores resultados utilizan este clasificador como base, mientras que en la versi´on With Detection nos encontramos con siete resultados que lo utilizan, incluyendo RandomForest sin ninguna combinaci´on de clasificadores con la cuarta mejor tasa de acierto. Clasificador Tasa de acierto LogitBoost (con RandomForest) 92,46 % RandomCommittee (con RandomForest) 91,69 % Ibk 91,66 % RandomCommittee (con RandomTree) 91,17 % AttributeSelectedClassifier (con RandomForest) 90,94 % Bagging (con J48) 90,92 % AdaBoost (con RandomForest) 90,92 % RandomizableFilteredClassifier (con RandomProjection) 90,91 % ClassificationViaRegression (con M5P) 90,70 % AdaBoost (con J48) 90,69 % Tabla 5.8: Resultados de la detecci´on de sexo para el primer conjunto de datos (Without Detection). D´ıa 1, fin De nuevo, nos encontramos con una tasa de acierto que ronda el 92 % para la variante del conjunto de datos Without Detection (tabla 5.10), 52 CAP´ ITULO 5. PRUEBAS Y RESULTADOS OBTENIDOS Clasificador Tasa de acierto LogitBoost (con RandomForest) 92,96 % Ibk 92,17 % RandomCommittee (con RandomForest) 91,94 % RandomForest 91,69 % ClassificationViaRegression (con RandomForest) 91,17 % Kstar 91,17 % AdaBoost (con RandomForest) 90,95 % AdaBoost (con J48) 90,94 % AttributeSelectedClassifier (con RandomForest) 90,94 % Bagging (con RandomForest) 90,93 % Tabla 5.9: Resultados de la detecci´on de sexo para el primer conjunto de datos (With Detection). mientras que en la variante With Detection (tabla 5.11) tenemos una tasa de acierto que supera el 93 %. Los resultados obtenidos con la variante With Detection son ligeramente superiores en este conjunto de datos. Encabezando las listas tenemos los clasificadores LogitBoost para Without Detection yAdaBoost para With Detection, ambos utilizando RandomForest; en las posiciones sucesivas ambas variantes tienen aRandomCommittee usando RandomForest y a Ibk en ese orden. Podemos comprobar que el clasificador RandomForest contin´ua estando muy presente entre los mejores clasificadores, con cuatro apariciones en Without Detection y seis en With Detection. D´ıa 2, inicio Para este conjunto de datos tenemos unas tasas de acierto inferiores a las de los conjuntos vistos anteriormente; para la versi´on Without Detection (tabla 5.12) la mejor tasa de acierto es de alrededor del 86 %, mientras que para la versi´on With Detection (tabla 5.13) esta tasa de acierto se sit´ua sobre el 87 %. De nuevo volvemos a obtener valores ligeramente superiores en la versi´on del conjunto de datos With Detection; sin embargo, tenemos que las tasas de acierto para los ´ultimos clasificadores de la tabla son algo mejores para Without Detection. Con las mejores tasas de acierto tenemos a AdaBoost usando J48 en la versi´on Without Detection, seguido de RandomCommittee usando RandomForest y de J48, mientras que para la versi´on With Detection encontramos a MultilayerPerceptron con la mejor tasa de acierto, y 5.3. DETERMINACI ´ ON DEL SEXO DE LAS PERSONAS CONTADAS53 Clasificador Tasa de acierto LogitBoost (con RandomForest) 92,66 % RandomCommittee (con RandomForest) 92,17 % Ibk 91,90 % RandomCommittee (con RandomTree) 90,45 % AttributeSelectedClassifier (con RandomForest) 84,32 % Bagging (con J48) 91,19 % AdaBoost (con RandomForest) 90,95 % RandomizableFilteredClassifier (con RandomProjection) 87,73 % ClassificationViaRegression (con M5P) 87,77 % AdaBoost (con J48) 89,72 % Tabla 5.10: Resultados de la detecci´on de sexo para el segundo conjunto de datos (Without Detection). Clasificador Tasa de acierto AdaBoost (con RandomForest) 93,15 % RandomCommittee (con RandomForest) 92,66 % Ibk 92,39 % LogitBoost (con RandomForest) 92,18 % Bagging (con RandomForest) 92,17 % MultilayerPerceptron 91,42 % ClassificationViaRegression (con RandomForest) 91,18 % RandomForest 90,71 % AdaBoost (con J48) 90,46 % RandomCommittee (con RandomTree) 90,20 % Tabla 5.11: Resultados de la detecci´on de sexo para el segundo conjunto de datos (With Detection). 54 CAP´ ITULO 5. PRUEBAS Y RESULTADOS OBTENIDOS por detr´as tenemos a LMT yRandomCommittee usando RandomForest. Este ´ultimo clasificador lo hemos encontrado siempre entre las tres mejores tasas de acierto de los conjuntos de datos vistos hasta ahora. Vemos que RandomForest sigue participando de forma numerosa en las mejores tasas de acierto, con cinco apariciones en la tabla de Without Detection y cuatro en With Detection. Clasificador Tasa de acierto AdaBoost (con J48) 86,63 % RandomCommittee (con RandomForest) 86,63 % J48 86,28 % ClassificationViaRegression (con RandomForest) 86,27 % MultilayerPerceptron 86,09 % LogitBoost (con RandomForest) 86,09 % Bagging (con J48) 86,09 % AdaBoost (con RandomForest) 85,92 % RandomForest 85,91 % Bagging (con REPTree) 85,91 % Tabla 5.12: Resultados de la detecci´on de sexo para el tercer conjunto de datos (Without Detection). D´ıa 2, fin Aqu´ı encontramos que, aunque hayamos conseguido una tasa de acierto m´axima ´ınfimamente superior con la versi´on Without Detection (tabla 5.14), las tasas de acierto obtenidas para la versi´on With Detection (tabla 5.15) son por lo general m´as altas. Estas tasas de acierto rondan el 89 % para ambas versiones del conjunto de datos. Los clasificadores que mejor se comportan son LogitBoost usando RandomForest, RandomCommittee usando RandomForest yAdaBoost usando J48 para la versi´on del conjunto de datos Without Detection, mientras que RandomCommittee usando RandomForest,AdaBoost usando RandomForest yLogitBoost usando tambi´en RandomForest obtienen los mejores resultados para la versi´on With Detection. Volvemos a encontrarnos con la combinaci´on de RandomCommittee yRandomForest entre las mejores tasas de acierto para ambos conjuntos de datos y de nuevo RandomForest tiene numerosas apariciones en nuestras tablas, con cinco en la versi´on Without Detection y seis en la versi´on With Detection. D´ıa 3, inicio 5.3. DETERMINACI ´ ON DEL SEXO DE LAS PERSONAS CONTADAS55 Clasificador Tasa de acierto MultilayerPerceptron 87,35 % LMT 87,34 % RandomCommittee (con RandomForest) 87,16 % Bagging (con RandomForest) 87,16 % LogitBoost (con RandomForest) 86,99 % RandomCommittee (con RandomTree) 86,28 % RandomForest 86,10 % Bagging (con J48) 85,91 % AdaBoost (con J48) 85,74 % ClassificationViaRegression (con M5P) 85,74 % Tabla 5.13: Resultados de la detecci´on de sexo para el tercer conjunto de datos (With Detection). Clasificador Tasa de acierto LogitBoost (con RandomForest) 88,98 % RandomCommittee (con RandomForest) 88,75 % AdaBoost (con J48) 88,09 % Bagging (con RandomForest) 88,07 % RandomCommittee (con RandomTree) 88,06 % AdaBoost (con RandomForest) 87,86 % Bagging (con J48) 87,84 % ClassificationViaRegression (con RandomForest) 87,39 % Kstar 87,18 % Bagging (con REPTree) 85,81 % Tabla 5.14: Resultados de la detecci´on de sexo para el cuarto conjunto de datos (Without Detection). 56 CAP´ ITULO 5. PRUEBAS Y RESULTADOS OBTENIDOS Clasificador Tasa de acierto RandomCommittee (con RandomForest) 88,97 % AdaBoost (con RandomForest) 88,96 % LogitBoost (con RandomForest) 88,75 % ClassificationViaRegression (con RandomForest) 88,52 % Kstar 88,07 % Bagging (con RandomForest) 87,62 % Bagging (con J48) 87,61 % AdaBoost (con J48) 87,60 % RandomForest 87,41 % LMT 86,72 % Tabla 5.15: Resultados de la detecci´on de sexo para el cuarto conjunto de datos (With Detection). Para este conjunto de datos, obtenemos valores para las tasas de acier- to muy similares en ambas versiones, alrededor de un 95 % como el m´aximo de cada una de ellas. Estos valores se encuentran en las tablas 5.16 y 5.17. Con los mejores resultados para Without Detection encontramos a Ibk,LogitBoost usando RandomForest yAdaBoost usando tambi´en RandomForest, mientras que para With Detection tenemos tambi´en a lbk con los mejores resultados seguido de RandomCommittee usando RandomForest yAdaBoost usando RandomForest. Mientras que RandomForest sigue manteniendo unas tasas de acierto bastante elevadas, en este caso no encontramos la combinaci´on de RandomCommittee yRandomForest entre los tres mejores en la versi´on Without Detection; se encuentra como el quinto mejor. Sin embargo, eso no quiere decir que no sea un clasificador viable para la detecci´on de sexo en este caso, ya que su tasa de acierto no alcanza a bajar un 1 % con respecto a la mejor en este conjunto de datos. D´ıa 3, fin Obtenemos tasas de acierto muy similares, con las mejores situadas en casi un 88 % para ambas versiones del conjunto de datos, como podemos ver en las tablas 5.18 y 5.19. Por lo general, las tasas de acierto de la versi´on Without Detection presentan valores ligeramente m´as altos, aunque son casi coincidentes con los de la otra versi´on del conjunto de datos. Como mejores clasificadores tenemos, para la ver- si´on Without Detection aBagging con RandomForest,RandomTree y 5.3. DETERMINACI ´ ON DEL SEXO DE LAS PERSONAS CONTADAS57 Clasificador Tasa de acierto Ibk 95,24 % LogitBoost (con RandomForest) 94,97 % AdaBoost (con RandomForest) 94,91 % AdaBoost (con J48) 94,75 % RandomCommittee (con RandomForest) 94,69 % ClassificationViaRegression (con RandomForest) 94,69 % Kstar 94,69 % Bagging (con RandomForest) 94,64 % RandomForest 94,37 % RandomCommittee (con RandomTree) 94,36 % Tabla 5.16: Resultados de la detecci´on de sexo para el quinto conjunto de datos (Without Detection). Clasificador Tasa de acierto Ibk 95,40 % RandomCommittee (con RandomForest) 95,19 % AdaBoost (con RandomForest) 95,13 % Bagging (con RandomForest) 94,80 % RandomForest 94,80 % LogitBoost (con RandomForest) 94,69 % LMT 94,64 % AdaBoost (con J48) 94,64 % ClassificationViaRegression (con RandomForest) 94,42 % Kstar 94,20 % Tabla 5.17: Resultados de la detecci´on de sexo para el quinto conjunto de datos (With Detection). 58 CAP´ ITULO 5. PRUEBAS Y RESULTADOS OBTENIDOS LogitBoost usando RandomForest, mientras que para la versi´on With Detection encontramos a MultilayerPerceptron,LogitBoost usando RandomForest yRandomForest como los mejores clasificadores. De nuevo, tenemos muchas instancias de RandomForest entre las mejores tasas de acierto, localizando cinco en la versi´on Without Detection y seis en With Detection. Podemos ver la combinaci´on de RandomCommittee con RandomForest entre las mejores tasas de acierto para ambas versiones, pero no est´an presentes entre las tres mejores como ha ocurrido con otros conjuntos de datos. Clasificador Tasa de acierto Bagging (con RandomForest) 87,94 % RandomTree 87,43 % LogitBoost (con RandomForest) 87,35 % RandomCommittee (con RandomForest) 87,35 % AdaBoost (con RandomForest) 87,35 % RandomCommittee (con RandomTree) 86,76 % SMO 86,14 % ClassificationViaRegression (con RandomForest) 86,14 % MultilayerPerceptron 86,10 % AttributeSelectedClassifier (con J48) 86,10 % Tabla 5.18: Resultados de la detecci´on de sexo para el sexto conjunto de datos (Without Detection). Conjunto de datos completo Finalmente, tenemos el conjunto de datos completo, que comprende todas las instancias contenidas en las seis sesiones anteriores y las trata como un solo conjunto de datos. Obtenemos una tasa de acierto ligeramente superior en la versi´on del conjunto Without Detection (tabla 5.20), con un 89,5 % frente al 89,4 % de With Detection (tabla 5.21); adem´as, el resto de tasas de acierto se mantienen superiores en la primera versi´on del conjunto. Como mejores clasificadores encontramos, para Without Detection,AdaBoost,LogitBoost yRandomCommittee utilizando todos RandomForest; mientras que para la versi´on With Detection tenemos Adaboost,RandomCommittee yBagging utilizando tambi´en todos RandomForest. No es de extra˜nar el buen funcionamiento de este clasificador, ya que ha conseguido de las mejores tasas de acier- to con diferentes grupos de clasificadores para todos los conjuntos de datos anteriores. 5.3. DETERMINACI ´ ON DEL SEXO DE LAS PERSONAS CONTADAS59 Clasificador Tasa de acierto MultilayerPerceptron 87,94 % LogitBoost (con RandomForest) 87,94 % RandomForest 86,80 % RandomSubSpace (con RandomForest) 86,73 % AdaBoost (con RandomForest) 86,73 % ClassificationViaRegression (con RandomForest) 86,69 % RandomCommittee (con RandomForest) 86,14 % CVParameterSelection (con JRip) 86,10 % MultiScheme (con ZeroR, JRip) 86,10 % AttributeSelectedClassifier (con J48) 86,10 % Tabla 5.19: Resultados de la detecci´on de sexo para el sexto conjunto de datos (With Detection). Clasificador Tasa de acierto AdaBoost (con RandomForest) 89,54 % LogitBoost (con RandomForest) 89,41 % RandomCommittee (con RandomForest) 89,17 % ClassificationViaRegression (con RandomForest) 89,04 % Bagging (con RandomForest) 88,91 % AdaBoost (con J48) 88,46 % RandomCommittee (con RandomTree) 88,46 % Bagging (con REPTree) 88,36 % Kstar 88,33 % Ibk 88,09 % Tabla 5.20: Resultados de la detecci´on de sexo para el conjunto de datos completo (Without Detection). 66 CAP´ ITULO 6. CONCLUSIONES Y FUTURAS L´ INEAS de ellas, e incluso intenta localizar de nuevo una persona si su detecci´on se ve dificultada en medio de su trayectoria. Sin embargo, encontramos tambi´en problemas que afectan al reconocimiento y conteo de personas: El m´etodo para el modelado del fondo de la escena es est´atico. Un m´etodo adaptativo har´ıa que el sistema fuera m´as robusto, aunque un algoritmo de este tipo ser´a m´as costoso que el que hemos utilizado. En ocasiones no es posible separar completamente dos o m´as personas que vayan agrupadas. Si por alg´un motivo varias personas van demasiado unidas, es posible que se las detecte como una sola, falsificando el conteo. La detecci´on de personas no es perfecta. Hemos utilizado una serie de medidas que permiten una buena detecci´on, pero tambi´en hemos encontrado casos que inicialmente no esper´abamos. Aunque ciertos problemas de este tipo se han logrado solventar, el sistema de detecci´on es mejorable. Si el n´umero de im´agenes por segundo de la secuencia es bajo, tendremos fallos en el conteo por no poder realizar el seguimiento de cada persona de manera correcta; no encontraremos solapes entre las diferentes posiciones de la trayectoria a seguir. Tambi´en hemos realizado un estudio sobre la detecci´on de sexo utilizando caracter´ısticas de las personas detectadas extra´ıdas con este sistema. Estos datos consisten en la altura de la persona, el tama˜no de la cabeza de la misma, su circularidad y nuestra medida de las normales. Para ello hemos extra´ıdo estos datos de las secuencias de im´agenes utilizadas, los hemos etiquetado con el sexo de la persona y hemos utilizado Weka para entrenar diferentes clasificadores. Haciendo uso de los diferentes conjuntos de datos obtenidos de cada una de las secuencias y emple´andolos para entrenar y validar un clasificador de sexo, obtenemos una media de 83 % en la tasa de acierto, lo cual nos indica que, aunque el clasificador no es perfecto, permite la detecci´on del sexo con un margen de error relativamente peque˜no. Podemos decir que los objetivos principales del proyecto se han cumplido. Desde un punto de vista acad´emico, este proyecto me ha hecho adquirir diferentes tipos de experiencia. Anteriormente no hab´ıa tratado con bibliotecas como OpenCV o PCL, conocimiento del que ahora dispongo. Tampoco ten´ıa experiencia con el tratamiento de im´agenes o la visi´on por computador; 6.2. FUTURAS L´ INEAS 67 este ´ultimo campo exist´ıa como una asignatura, pero debido a la extinci´on del plan de estudios no pude cursarla. Gracias a este proyecto ahora cuento con el bagaje necesario para enfrentarme a desaf´ıos en el futuro que tengan que ver con este campo. Me ha dado tambi´en mucha experiencia en el campo de la programaci´on, y me ha ayudado a crecer como persona; ha sido una experiencia intensa y gratificante. Adem´as, aunque muchos proyectos queden archivados una vez son expuestos, este estar´a disponible a trav´es de BitBucket en el siguiente repositorio https://bitbucket.org/Edv/pfc para todo aquel que lo necesite, con lo cual ser´a ´util no s´olo dentro de la Universidad. 6.2. Futuras l´ıneas Este proyecto puede ampliarse y modificarse para dar lugar a un producto m´as completo y con un mejor funcionamiento. A continuaci´on se exponen algunas de dichas mejoras. Adaptar el sistema para su funcionamiento con Kinect 2.0. Como se coment´o en la secci´on 2.1, durante el desarollo del proyecto se lanz´o una nueva versi´on del sensor Kinect, que ofrece unas prestaciones superiores que pueden ayudar a mejorar este sistema. C´alculo din´amico del modelo de fondo. Hemos utilizado un modelado de fondo est´atico, pero podr´ıa mejorarse para incluir objetos en ´el que se hayan introducido a posteriori. Podr´ıamos considerar recalcular el modelo de fondo despu´es de un determinado n´umero de im´agenes tratadas, o adoptar alg´un otro algoritmo de sustracci´on de fondo din´amico conocido. Implementaci´on de un algoritmo alternativo para la segmentaci´on de personas en la imagen. Una variante de un algoritmo como Watershed oMean-shift podr´ıa utilizarse a la hora de detectar personas dentro de cada imagen, para intentar mejorar este proceso. Ampliaci´on de las funcionalidades del sistema. Se podr´ıa a˜nadir un m´etodo de re-identificaci´on de personas utilizando los datos biom´etricos extra´ıdos anteriormente, o buscando otras caracter´ısticas. Cabe destacar el proyecto fin de carrera (Mireles-Su´arez, 2015) Re-identificaci´on 68 CAP´ ITULO 6. CONCLUSIONES Y FUTURAS L´ INEAS de personas en redes de sensores RGB-D, de Alberto Mireles Su´arez, el cual utiliza redes de sensores Kinect para la reidentificaci´on de personas. Dicho proyecto y el presente fueron desarrollados de manera paralela, de ah´ı que surja esta l´ınea futura de trabajo. Bibliograf´ıa Alem´an-Flores, M. (2011). Modelos de ciclo de vida del software. Bouckaert, R. R. (2008). Bayesian network classifiers in weka for version 3- 5-7. Available at http://www.cs.waikato.ac.nz/~remco/weka.bn.pdf. Bradski, G. and Kaehler, A. (2008). Learning OpenCV. O’Reilly Media, Inc. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2):123–140. Breiman, L. (2001). Random forests. Machine Learning, 45(1):5–32. Castrill´on-Santana, M., Lorenzo-Navarro, J., and Hern´andez-Sosa, D. (2014a). Conteo de personas con un sensor RGB-D comercial. Revista Iberoamericana de Autm´atica e Inform´atica industrial, (11):348–357. Castrill´on-Santana, M., Lorenzo-Navarro, J., and Hern´andez-Sosa, D. (2014b). Depthvisdoor database. Chang, C.-C. and Lin, C.-J. (2011). LIBSVM: A library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2:27:1–27:27. Software available at http://www.csie.ntu.edu.tw/ ~cjlin/libsvm. Cortes, C. and Vapnik, V. (1995). Support-vector networks. In Machine Learning, pages 273–297. EL-Manzalawy, Y. (2005). WLSVM. Software available at http://www.cs. iastate.edu/~yasser/wlsvm/. Fern´andez-Pereira, I. (2013). Sistema autom´atico de conteo de personas basado en sensor de profundidad. Master’s thesis, Escola de Enxe˜nar´ıa de Telecomunicaci´on de la Universidade de Vigo. 69 70 BIBLIOGRAF´ IA Freund, Y. and E. Schapire, R. (1996). Experiments with a new boosting algorithm. In Thirteenth International Conference on Machine Learning, San Francisco, pages 148–156. Hall, M., Frank, E., Holmes, G., Pfahringer, B., Reutemann, P., and Witten, I. H. (2009). The WEKA Data Mining Software: An Update. SIGKDD Explorations, (11:1). Horcajada-Gonz´alez, R. (2011). Apuntes generales de anatom´ıa morfol´ogica aplicada: c´anones y proporciones. Departamento de Dibujo I, Facultad de Bellas Artes de San Fernando, Universidad Complutense de Madrid. Hu, M.-K. (1962). Visual pattern recognition by moment invariants. IRE Transactions on Information Theory, (8:2):179–187. Itseez (2015). P´agina web oficial de OpenCV. John, G. H. and Langley, P. (1995). Estimating continuous distributions in bayesian classifier. In Eleventh Conference on Uncertainty in Artificial Intelligence, San Mateo, pages 338–345. Kohavi, R. (1995). Wrappers for Performance Enhancement and Oblivious Decision Graphs. Department of Computer Science, Stanford University. Lorenzo-Navarro, J., Castrill´on-Santana, M., and Hern´andez-Sosa, D. (2013). On the use of simple geometric descriptors provided by RGB-D sensors for re-identification. Sensors, (13):8222–8238. Machine Learning Group at the University of Waikato (2015). P´agina web oficial de Weka. Math´e, L., Samb´an, D., and G´omez, G. (2012). Estudio del funcionamiento del sensor kinect y aplicaciones para bioingenier´ıa. In Argencon 2012. Microsoft Corporation (2015). P´agina web oficial de Xbox. Mireles-Su´arez, A. (2015). Re-identificaci´on de personas utilizando redes de sensores RGB-D. Master’s thesis, Escuela de Ingenier´ıa Inform´atica de la Universidad de Las Palmas de Gran Canaria. Open Perception Foundation (2015). P´agina web oficial de PCL. Quinlan, R. (1993). C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers, San Mateo, CA. BIBLIOGRAF´ IA 71 Rusu, R. B. and Cousins, S. (2011). 3D is here: Point Cloud Library (PCL). In IEEE International Conference on Robotics and Automation (ICRA), Shanghai, China. Sonka, M., Hlavac, V., and Boyle, R. (2008). Image Processing, Analysis, and Machine Vision. Thomson Learning. Structure Sensor Team (2015). P´agina web oficial de OpenNI. Zhang, X., Yan, J., Feng, S., Lei, Z., Yi, D., and Li, S. Z. (2012). Water filling: Unsupervised people counting via vertical kinect sensor. In 2012 IEEE Ninth International Conference on Advanced Video and Signal-Based Surveillance. 72 BIBLIOGRAF´ IA Glosario ARFF Attribute-Relation File Format. batch Conjunto de pruebas ejecutadas a la vez. blob Regi´on de una imagen. BSD Berkeley Software Distribution. frame Cada una de las im´agenes de una secuencia. GNU-GPL GNU General Public License. PCL Point Cloud Library. RGB Red, Green, Blue. RGB-D Red, Green, Blue and Depth. ROI Region Of Interest. SDK Software Development Kit. Weka Waikato Environment for Knowledge Analysis. 73