Análise de movimento humano por visão computacional: uma síntese

Análise de Mo imen o Humano po Visão Compu acional: Uma Sín ese Raquel R. Pinho, João Manuel R. S. Ta a es INEGI – Ins i u o de Engenha ia Mecânica e Ges ão Indus ial LOME – Labo a ó io de Óp ica e Mecânica Expe imen al FEUP – Faculdade de Engenha ia da Uni e sidade do Po o Rua D . Robe o F ias, s/n, 4200-465 Po o { pinho, a a es}@ e.up.p Miguel F. P. V. Co eia INEB – Ins i u o de Engenha ia Biomédica LSI – Labo a ó io de Sinal e Imagem FEUP – Faculdade de Engenha ia da Uni e sidade do Po o mco eia@ e.up.p RESUMO O mo imen o humano é complexo, não linea e a ia com o empo. Nos úl imos empos, inúme os in es igado es êm-se dedicado ao desen ol imen o de sis emas au omá icos capazes de ealiza o seguimen o, a análise e o econhecimen o des e ipo de mo imen o, u ilizando écnicas de Visão Compu acional. Nes e a igo, se ão esumidamen e enume adas e desc i as algumas das écnicas ac ualmen e emp egues nes e domínio. INTRODUÇÃO A análise de mo imen o po Visão Compu acional em indo a desen ol e -se ao longo dos úl imos anos, nomeadamen e no domínio da análise de mo imen o do co po humano. Es e abalho em indo a se mo i ado pela an agem de melho a a in e acção homem/máquina em di e sas aplicações, ais como: na análise do desempenho a lé ico, em ci cui os de igilância, em animações de ealidade i ual, nos es udos e diagnós icos clínicos [1, 2]. O âmbi o da maio ia dos abalhos ealizados na análise de mo imen o humano é, no malmen e, na á ea de seguimen o de sujei os e no econhecimen o, que em e mos de es imação de pose que em econhecimen o do ipo de anda . CAPTURA DE MOVIMENTO A análise de mo imen o p incipia com a cap u a dos dados associados ao mesmo. Os sis emas u ilizados pa a cap u a o mo imen o humano, são ge almen e compos os po e apas de de ecção e p ocessamen o [2]. A de ecção pode se ealizada de o ma passi a (baseada em on es “na u ais” de sinal) ou ac i a (são colocados disposi i os nos sujei os e nos espaços en ol en es que emi em e ecebem sinais). A de ecção passi a pode se ob ida a a és da análise de luz isí el ou de ou os comp imen os de onda elec omagné icos, não sendo necessá ia a in eg ação de disposi i os especiais (com a excepção da u ilização de ma cado es, que são colocados no sujei o de o ma a acili a a cap u a de mo imen o). A de ecção ac i a, pe mi e um p ocessamen o mais simples e é ge almen e u ilizada em ambien es “con olados”, no en an o, nos úl imos empos em indo a se desa iada po sis emas au omá icos de cap u a passi a que eco em a Visão Compu acional. PROCESSAMENTO DE DADOS CAPTURADOS No que conce ne ao p ocessamen o dos dados associados ao mo imen o humano, pa a que um sis ema compu acional os possa conside a de o ma adequada é, ge almen e, necessá io inicializá-lo, ealizando-se pos e io men e o seguimen o do mo imen o assim como o e en ual econhecimen o. Inicialização A inicialização do p ocedimen o de análise inclui as ope ações que assegu am que o sis ema p incipia as suas a e as com a in e p e ação co ec a da cena inicial [1, 2]. Exemplos de p ocedimen os de inicialização são o es abelecimen o de es ições, a escolha e ajus e de modelos pa a o indi íduo, a calib ação da(s) câma a(s) en ol ida(s), a adap ação das me odologias às ca ac e ís icas da cena, e c. A inclusão de es ições em po objec i o a simpli icação do p oblema associado à análise do mo imen o, podendo se conside ada a dis inção en e duas g andes classes de es ições: as baseadas no mo imen o e as baseadas na apa ência [1, 2]. As es ições de mo imen o es ão elacionadas com os mo imen os dos indi íduos e/ou da(s) câma a(s) en ol ida(s); po exemplo, se a pessoa pe manece den o do espaço que es á a se conside ado na cap u a, se exis e oclusão, se a câma a pe manece es á ica ou com mo imen o cons an e, e c. Po ou o lado, as es ições de apa ência es ão elacionadas com o ambien e e com os sujei os; po exemplo, exis ência de iluminação cons an e, de undos es á icos, o conhecimen o p é io da posição/ o ma inicial dos indi íduos, e c. Seguimen o Na e apa seguin e, é no malmen e ealizado o seguimen o do mo imen o, o que implica que o indi íduo seja segmen ado em cada imagem e que sejam es abelecidas co espondências en e ca ac e ís icas ao longo da sequência, endo em conside ação, po exemplo, a posição, a elocidade, a ex u a ou a co . Pa a p ocede o seguimen o pode se conside ada a modelação do co po humano. A u ilização de modelos do sujei o, pode e a des an agem da pe ca de gene alidade do algo i mo implemen ado; con udo, pode á e a an agem de acili a a co espondência de ca ac e ís icas en e quad os (imagens) consecu i os [3, 4]. Alguns sis emas u ilizam um modelo gené ico cons uído a pa i da média de á ios indi íduos [4]; ou os sis emas, conside am o sujei o ac ual e ge am um modelo a pa i dos dados obse ados, podendo e iná-lo à medida que se ai ob endo mais in o mação ace ca do sujei o em causa [5], ou en ão pode se cons uído um modelo pe sonalizado que adequa um modelo gené ico p eexis en e aos dados ac uais [6]. Os modelos u ilizados no seguimen o de mo imen o humano, podem conside a ou não a in o mação p é ia sob e a o ma do indi íduo em causa. Se apenas o conside ada in o mação ace ca da ex u a ou da co do indi íduo, en ão são u ilizados modelos de apa ência. No en an o, caso sejam incluídas in o mações p é ias ace ca das o mas, os modelos pode ão se cinemá icos, dinâmicos, esquele izados, de o má eis ou olumé icos [1, 2] ( igu a 1). Figu a 1 – Dois exemplos de modelos u ilizados pa a a análise de mo imen o humano: modelo esquele izado (esque da) e modelo de con o nos (di ei a). (Exemplo de [1].) As abo dagens baseadas em modelos de apa ência, es abelecem a co espondência en e imagens po p edição ou es ima i a das ca ac e ís icas elacionadas com a posição, a elocidade, a ex u a ou a co ; eco endo, po exemplo, a modelos Gaussianos, il os de Kalman e de pa ículas, di e enciação empo al, ag upamen os de egiões ou con o nos ac i os [1, 2]. Os modelos Gaussianos são u ilizados na de ecção e seguimen o de mo imen o conside ando um p oblema de p opagação pa a a en e, em que a di e ença en e imagens pode se modelada po uma mis u a de duas dis ibuições no mais. Ainda que mui o ápido, usualmen e es e modelo não é capaz de ge i os casos em que o undo da cena em ex u a signi ica i a jun o aos con o nos dos objec os. Po sua ez, os il os de Kalman e suas a ian es, assim como os il os de pa ículas, êm sido u ilizados no seguimen o e icaz do co po humano em condições con oladas, podendo esol e p oblemas elacionados com o desapa ecimen o de alguns dos dados de ido a si uações de oclusão. Em [7] é exempli icado o seguimen o pelo mé odo de condensação (um il o de pa ículas) que se e elou um es imado in e essan e e que supo a po exemplo dis ibuições mul imodais. Po ou o lado, os modelos de di e enciação empo al êm indo a se desen ol idos pa a supe a a necessidade da u ilização de um il o de p edição, como os il os sup aci ados, pa a ob e o seguimen o de o ma obus a. Po exemplo, as de i adas empo ais e a co espondência en e con o nos podem se combinadas pa a a segmen ação de egiões de objec os em mo imen o [1]. Quan o ao ag upamen o de egiões pode se conside ado na segmen ação da imagem e na ano ação de egiões p o á eis do indi íduo. Pos e io men e, essas egiões podem se seguidas ao longo do empo a a és do seu cen óide. Po exemplo, em [3, 8] a u ilização de oxels e elou-se como sendo uma o ma obus a de seguimen o, uma ez que pe mi e g andes deslocamen os en e imagens. Nos casos em que a in o mação sob e a co é conside ada no seguimen o, é ge almen e assumido que a iluminação é homogénea e que exis e con as e signi ica i o en e o indi íduo e o undo da cena. Es a úl ima es ição ambém pode se conside ada quando se u ilizam con o nos pa a aze o seguimen o. O ecu so a con o nos ac i os é bas an e comum em Visão Compu acional, e es a écnica em sido e idenciada em á ios abalhos como sendo um bom mé odo de seguimen o em empo eal [1-3]. Po ou o lado, quando se conside am in o mações p é ias ace ca do indi íduo e/ou do seu mo imen o, a co espondência en e ca ac e ís icas é au oma icamen e es abelecida a a és do empa elhamen o en e as imagens e os dados do modelo [3]. Nes es casos, compa ando os modelos cinemá icos com os modelos dinâmicos, es es úl imos êm me ecido pouca a enção [1]. De ac o, a maio ia das me odologias de seguimen o que u ilizam modelos dinâmicos, são simples e gené icas ou al amen e especí icas mas con oladas e a inadas de o ma manual. Po sua ez, as abo dagens biomecânicas êm sido c i icadas pelas di iculdades ine en es à medição das dinâmicas de objec os complexos que en ol em um núme o ele ado de massas, biná ios e o ças; sendo assim di ícil a edução da complexidade ine en e ao modelo. Pelo con á io, os modelos cinemá icos e ela am se adequados na de ecção de mo imen o humano [3]. Na modelação do mo imen o humano ambém podem se u ilizados modelos esquele izados ( igu a 1), que consis em num conjun o de segmen os de ec a unidos po jun as, pe mi indo assim es ima o mo imen o e econhece o compo amen o de igu a in ei a (co po in ei o). A u ilização des es modelos, é es á el em di e sas ci cuns âncias e o cus o compu acional en ol ido pe mi e o seguimen o em empo eal. A u ilização de modelos de o má eis a iculados é ambém uma écnica s anda d de análise de mo imen o humano que conside a equen emen e o luxo óp ico [4]. Po exemplo, um modelo de o má el baseado em egiões pode se cons uído a pa i de um modelo de o má el baseado em con o nos, e a sua u ilização conjun a com o luxo óp ico pode á ealiza sa is a o iamen e o seguimen o do mo imen o humano. A delimi ação da egião de in e esse é no malmen e inicializada po um algo i mo de segmen ação baseada na de ecção de mo imen o, e é seguida po um modelo de o má el que explo a os dados ob idos da ex u a da egião. Es e p ocedimen o pe mi e o seguimen o, mesmo quando exis em g andes deslocamen os ou undos complexos, e é obus o à oclusão pa cial [1, 2]. O uso de con o nos pa a ep esen a o co po humano, es á di ec amen e elacionado com a sua p ojecção nas imagens. Po ezes, o con o no de uma pessoa pode se su icien e pa a aze o seu seguimen o; mas só unciona á co ec amen e, caso as poses e as pe spec i as en ol idas es ejam su icien emen e bem ep esen adas na sequência conside ada. Os con o nos, sendo ca ac e ís icas de ní el mais ele ado do que os pon os, eduzem a possibilidade de alsos empa elhamen os exis en e nos modelos esquele izados. A maio ia das abo dagens exis en es eque em um modelo esquele izado do co po humano, mas ambém pode á se conside ada a combinação des es modelos com modelos olumé icos ou com p imi i as 3D [1, 2]. Po sua ez, os modelos olumé icos eque em um ele ado núme o de pa âme os de modelação, sendo uma das écnicas mais comuns, a u ilização de cilind os elíp icos pa a a modelação 3D do co po humano [1, 2]. Ou as abo dagens u ilizam modelos hie á quicos, ma cado es, e a combinação en e in o mações da co e do mo imen o. Conside e-se po exemplo, o modelo hie á quico einado a pa i de exemplos eais usando uma mis u a de Gaussianas pa a aduzi a geome ia e a cinemá ica, e modelos de Ma ko não obse á eis pa a analisa a dinâmica en ol ida [1]. Ou a abo dagem comum, consis e na u ilização de il os de Kalman ou de pa ículas com modelos de Ma ko não obse á eis. Os modelos de Ma ko não obse á eis são u ilizados pa a de e mina a o ma da pessoa numa imagem, e os il os de Kalman ou de pa ículas u ilizam os dados ob idos pelos modelos de Ma ko não obse á eis pa a segui o mo imen o, ao es ima uma caixa que limi a a sua ajec ó ia e p e endo a localização da mesma ao longo da sequência. Usualmen e, a conjugação de écnicas pa ece se e icien e [2]. De um modo ge al, quando o modelo em menos pa âme os é mais ácil a co espondência en e as ca ac e ís icas e o modelo, mas é mais di ícil a ex acção dessas ca ac e ís icas [3]. Reconhecimen o A ase seguin e de um sis ema de seguimen o e análise de mo imen o humano, pode á consis i na classi icação/ econhecimen o da acção associada ao mo imen o cap u ado [9]. O abalho de econhecimen o de ges os, de ac i idades e de indi íduos é mui o as o (con o me exempli icado em [1], [2]): Pode se u ilizado na es ima i a da pos u a idimensional, po exemplo no sen ido de comp eende o compo amen o do sujei o obse ado ( e po exemplo [10], igu a 2), na análise do anda , po exemplo enquan o assina u a biomé ica pa a iden i icação de pessoas ou pa a dis inção de sexos, ou em medicina pa a a de ecção e diagnós ico de anomalias da ma cha. Figu a 2 - Es imação de pose pelo mé odo p opos o em [10] u ilizando pon os que compõe o modelo (esque da), as poses não iden i icadas (ao cen o) e as mesmas após iden i icação (di ei a). (Exemplo de [10].) Exis e, assim, uma di e sidade de abo dagens u ilizadas como po exemplo as baseadas em écnicas es a ís icas ou as baseadas em modelos [1, 2]. As es a ís icas incluem a u ilização de espaços p óp ios, de in o mação espacio- empo al, de sé ies de empo e de silhue as. Po ou o lado, as abo dagens baseadas em modelos, incluem o uso de modelos de Ma ko não obse á eis, con o nos ac i os, modelos esquele izados, modelos de mo imen o eco endo po exemplo ao empa elhamen o de empla es ou a ma cado es. Os di e en es mo imen os humanos podem se ep esen ados usando empla es empo ais, is o é, ec o es de imagens es á icas, onde o alo do ec o em cada pon o é unção das p op iedades do mo imen o nas localizações espaciais co esponden es ao longo de uma sequência de imagens. Con udo, es a abo dagem em a des an agem de se demasiado sensí el à a iação do comp imen o da sequência. Esse p oblema é e i ado se se de ini cada pos u a es á ica como um es ado de um espaço de es ados, em que a sequência de mo imen o é aduzida po uma sequência de es ados e a ansição en e es es é de inida po p obabilidades [1]. O econhecimen o pode ambém se ob ido a a és de ma cado es colocados nas a iculações, como po exemplo nos co o elos ou nos omb os, o que pode á o nece in o mação i al ace ca do mo imen o em causa [9]. Os modelos a iculados conseguem modela de uma o ma ealis a o mo imen o humano, e êm sido explo ados pa a es ima a pos u a. O co po pode se modelado u ilizando um enquad amen o de alhado, e a in o mação ex aída de cada imagem é in e p e ada po uma ede baseada na es u u a do modelo humano. Os modelos de o má eis baseiam-se no es udo espacio- empo al da silhue a do sujei o, a pa i de sequências de imagens ge almen e adqui idas po á ias câma as em simul âneo. Es es mé odos eco em usualmen e a con o nos ocul os e dispensam a u ilização de ma cado es ou ou os disposi i os, simpli icando as di iculdades ine en es à exis ência de oclusões [2]. Consoan e a aplicação, ambém podem se u ilizadas algumas e amen as es a ís icas que pe mi em a ca ac e ização o mo imen o. As abo dagens es a ís icas incluem a u ilização de espaços p óp ios, de in o mação espacio- empo al, de sé ies de empo e de silhue as. As abo dagens baseadas em modelos, incluem o uso de modelos de Ma ko não obse á eis, con o nos ac i os, modelos esquele izados, modelos de mo imen o. O econhecimen o em e oluído conside a elmen e, podendo não se necessá ia a ecupe ação de p op iedades idimensionais das pessoas em causa, ou o seguimen o bidimensional dos seus memb os pa a que o econhecimen o seja conseguido com êxi o [2]. REFERÊNCIAS [1] Wang, J., Singh, S., 2003. Video Analysis o Human Dynamics - A Su ey. Real- ime Imaging Jou nal, ol. 9, pp. 320/345. [2] Pinho, R., Co eia, M., Ta a es, J., 2004. In odução à Análise de Mo imen o usando Visão Compu acional. FEUP/LOME. [3] Agga wal, J., Cai, Q., 1999. Human Mo ion Analysis: A Re iew. Compu e Vision and Image Unde s anding, ol. 73, pp. 428/440. [4] Baumbe g, A., 1995. Tese de Dou o amen o: Lea ning De o mable Models o T acking Human Mo ion. School o Compu e S udies. UK, The Uni e si y o Leeds. [5] W en, C., Aza bayejani, A., Da ell, T., Pen land, A., 1997. P inde : Real-Time T acking o he Human Body. IEEE T ansac ions on Pa e n Analysis and Machine In elligence, ol. 19. [6] Zheng, J., Suezaki, S., 1998. A Model Based App oach in Ex ac ing and Gene a ing Human Mo ion. In e na ional Con e ence in Pa e n Recogni ion. [7] Isa d, M., Blake, A., 1998. Condensa ion - Condi ional Densi y P opaga ion o Visual T acking. In e na ional Jou nal on Compu e Vision, pp. 5/28. [8] Mikic, I., T i edi, M., Hun e , E., Cosman, P., 2003. Human Body Model Acquisi ion and T acking using Voxel Da a. In e na ional Jou nal o Compu e Vision, ol. 53, pp. 199/223. [9] Moeslund, T., G anum, E., 2001. A Su ey o Compu e Vision-Based Human Mo ion Cap u e. Compu e Vision and Image Unde s anding, ol. 81, pp. 231/268. [10] Li, B., Meng, Q., Hols ein, H., 2004. A icula ed Pose Iden i ica ion wi h Spa se Poin Fea u es. IEEE T ansac ions on Sys ems, Man, and Cybe ne ics - Pa B: Cybe ne ics, ol. 34.