Análise de Mo imen o Humano po Visão
Compu acional: Uma Sín ese
Raquel R. Pinho, João Manuel R. S. Ta a es
INEGI – Ins i u o de Engenha ia Mecânica e Ges ão Indus ial
LOME – Labo a ó io de Óp ica e Mecânica Expe imen al
FEUP – Faculdade de Engenha ia da Uni e sidade do Po o
Rua D . Robe o F ias, s/n, 4200-465 Po o
{ pinho, a a es}@ e.up.p
Miguel F. P. V. Co eia
INEB – Ins i u o de Engenha ia Biomédica
LSI – Labo a ó io de Sinal e Imagem
FEUP – Faculdade de Engenha ia da Uni e sidade do Po o
mco eia@ e.up.p
RESUMO
O mo imen o humano é complexo, não linea e a ia com o empo. Nos úl imos empos,
inúme os in es igado es êm-se dedicado ao desen ol imen o de sis emas au omá icos
capazes de ealiza o seguimen o, a análise e o econhecimen o des e ipo de mo imen o,
u ilizando écnicas de Visão Compu acional. Nes e a igo, se ão esumidamen e enume adas e
desc i as algumas das écnicas ac ualmen e emp egues nes e domínio.
INTRODUÇÃO
A análise de mo imen o po Visão Compu acional em indo a desen ol e -se ao longo dos
úl imos anos, nomeadamen e no domínio da análise de mo imen o do co po humano. Es e
abalho em indo a se mo i ado pela an agem de melho a a in e acção homem/máquina
em di e sas aplicações, ais como: na análise do desempenho a lé ico, em ci cui os de
igilância, em animações de ealidade i ual, nos es udos e diagnós icos clínicos [1, 2]. O
âmbi o da maio ia dos abalhos ealizados na análise de mo imen o humano é, no malmen e,
na á ea de seguimen o de sujei os e no econhecimen o, que em e mos de es imação de
pose que em econhecimen o do ipo de anda .
CAPTURA DE MOVIMENTO
A análise de mo imen o p incipia com a cap u a dos dados associados ao mesmo. Os sis emas
u ilizados pa a cap u a o mo imen o humano, são ge almen e compos os po e apas de
de ecção e p ocessamen o [2]. A de ecção pode se ealizada de o ma passi a (baseada em
on es “na u ais” de sinal) ou ac i a (são colocados disposi i os nos sujei os e nos espaços
en ol en es que emi em e ecebem sinais). A de ecção passi a pode se ob ida a a és da
análise de luz isí el ou de ou os comp imen os de onda elec omagné icos, não sendo
necessá ia a in eg ação de disposi i os especiais (com a excepção da u ilização de
ma cado es, que são colocados no sujei o de o ma a acili a a cap u a de mo imen o). A
de ecção ac i a, pe mi e um p ocessamen o mais simples e é ge almen e u ilizada em
ambien es “con olados”, no en an o, nos úl imos empos em indo a se desa iada po
sis emas au omá icos de cap u a passi a que eco em a Visão Compu acional.
PROCESSAMENTO DE DADOS CAPTURADOS
No que conce ne ao p ocessamen o dos dados associados ao mo imen o humano, pa a que
um sis ema compu acional os possa conside a de o ma adequada é, ge almen e, necessá io
inicializá-lo, ealizando-se pos e io men e o seguimen o do mo imen o assim como o e en ual
econhecimen o.
Inicialização
A inicialização do p ocedimen o de análise inclui as ope ações que assegu am que o sis ema
p incipia as suas a e as com a in e p e ação co ec a da cena inicial [1, 2]. Exemplos de
p ocedimen os de inicialização são o es abelecimen o de es ições, a escolha e ajus e de
modelos pa a o indi íduo, a calib ação da(s) câma a(s) en ol ida(s), a adap ação das
me odologias às ca ac e ís icas da cena, e c.
A inclusão de es ições em po objec i o a simpli icação do p oblema associado à análise do
mo imen o, podendo se conside ada a dis inção en e duas g andes classes de es ições: as
baseadas no mo imen o e as baseadas na apa ência [1, 2]. As es ições de mo imen o es ão
elacionadas com os mo imen os dos indi íduos e/ou da(s) câma a(s) en ol ida(s); po
exemplo, se a pessoa pe manece den o do espaço que es á a se conside ado na cap u a, se
exis e oclusão, se a câma a pe manece es á ica ou com mo imen o cons an e, e c. Po ou o
lado, as es ições de apa ência es ão elacionadas com o ambien e e com os sujei os; po
exemplo, exis ência de iluminação cons an e, de undos es á icos, o conhecimen o p é io da
posição/ o ma inicial dos indi íduos, e c.
Seguimen o
Na e apa seguin e, é no malmen e ealizado o seguimen o do mo imen o, o que implica que o
indi íduo seja segmen ado em cada imagem e que sejam es abelecidas co espondências
en e ca ac e ís icas ao longo da sequência, endo em conside ação, po exemplo, a posição, a
elocidade, a ex u a ou a co .
Pa a p ocede o seguimen o pode se conside ada a modelação do co po humano. A u ilização
de modelos do sujei o, pode e a des an agem da pe ca de gene alidade do algo i mo
implemen ado; con udo, pode á e a an agem de acili a a co espondência de ca ac e ís icas
en e quad os (imagens) consecu i os [3, 4].
Alguns sis emas u ilizam um modelo gené ico cons uído a pa i da média de á ios indi íduos
[4]; ou os sis emas, conside am o sujei o ac ual e ge am um modelo a pa i dos dados
obse ados, podendo e iná-lo à medida que se ai ob endo mais in o mação ace ca do sujei o
em causa [5], ou en ão pode se cons uído um modelo pe sonalizado que adequa um modelo
gené ico p eexis en e aos dados ac uais [6].
Os modelos u ilizados no seguimen o de mo imen o humano, podem conside a ou não a
in o mação p é ia sob e a o ma do indi íduo em causa. Se apenas o conside ada in o mação
ace ca da ex u a ou da co do indi íduo, en ão são u ilizados modelos de apa ência. No
en an o, caso sejam incluídas in o mações p é ias ace ca das o mas, os modelos pode ão se
cinemá icos, dinâmicos, esquele izados, de o má eis ou olumé icos [1, 2] ( igu a 1).
Figu a 1 – Dois exemplos de modelos u ilizados pa a a análise de mo imen o humano: modelo
esquele izado (esque da) e modelo de con o nos (di ei a). (Exemplo de [1].)
As abo dagens baseadas em modelos de apa ência, es abelecem a co espondência en e
imagens po p edição ou es ima i a das ca ac e ís icas elacionadas com a posição, a
elocidade, a ex u a ou a co ; eco endo, po exemplo, a modelos Gaussianos, il os de
Kalman e de pa ículas, di e enciação empo al, ag upamen os de egiões ou con o nos ac i os
[1, 2]. Os modelos Gaussianos são u ilizados na de ecção e seguimen o de mo imen o
conside ando um p oblema de p opagação pa a a en e, em que a di e ença en e imagens
pode se modelada po uma mis u a de duas dis ibuições no mais. Ainda que mui o ápido,
usualmen e es e modelo não é capaz de ge i os casos em que o undo da cena em ex u a
signi ica i a jun o aos con o nos dos objec os. Po sua ez, os il os de Kalman e suas
a ian es, assim como os il os de pa ículas, êm sido u ilizados no seguimen o e icaz do
co po humano em condições con oladas, podendo esol e p oblemas elacionados com o
desapa ecimen o de alguns dos dados de ido a si uações de oclusão. Em [7] é exempli icado o
seguimen o pelo mé odo de condensação (um il o de pa ículas) que se e elou um es imado
in e essan e e que supo a po exemplo dis ibuições mul imodais.
Po ou o lado, os modelos de di e enciação empo al êm indo a se desen ol idos pa a
supe a a necessidade da u ilização de um il o de p edição, como os il os sup aci ados, pa a
ob e o seguimen o de o ma obus a. Po exemplo, as de i adas empo ais e a
co espondência en e con o nos podem se combinadas pa a a segmen ação de egiões de
objec os em mo imen o [1].
Quan o ao ag upamen o de egiões pode se conside ado na segmen ação da imagem e na
ano ação de egiões p o á eis do indi íduo. Pos e io men e, essas egiões podem se
seguidas ao longo do empo a a és do seu cen óide. Po exemplo, em [3, 8] a u ilização de
oxels e elou-se como sendo uma o ma obus a de seguimen o, uma ez que pe mi e
g andes deslocamen os en e imagens.
Nos casos em que a in o mação sob e a co é conside ada no seguimen o, é ge almen e
assumido que a iluminação é homogénea e que exis e con as e signi ica i o en e o indi íduo
e o undo da cena. Es a úl ima es ição ambém pode se conside ada quando se u ilizam
con o nos pa a aze o seguimen o. O ecu so a con o nos ac i os é bas an e comum em Visão
Compu acional, e es a écnica em sido e idenciada em á ios abalhos como sendo um bom
mé odo de seguimen o em empo eal [1-3].
Po ou o lado, quando se conside am in o mações p é ias ace ca do indi íduo e/ou do seu
mo imen o, a co espondência en e ca ac e ís icas é au oma icamen e es abelecida a a és
do empa elhamen o en e as imagens e os dados do modelo [3]. Nes es casos, compa ando os
modelos cinemá icos com os modelos dinâmicos, es es úl imos êm me ecido pouca a enção
[1]. De ac o, a maio ia das me odologias de seguimen o que u ilizam modelos dinâmicos, são
simples e gené icas ou al amen e especí icas mas con oladas e a inadas de o ma manual.
Po sua ez, as abo dagens biomecânicas êm sido c i icadas pelas di iculdades ine en es à
medição das dinâmicas de objec os complexos que en ol em um núme o ele ado de massas,
biná ios e o ças; sendo assim di ícil a edução da complexidade ine en e ao modelo. Pelo
con á io, os modelos cinemá icos e ela am se adequados na de ecção de mo imen o
humano [3].
Na modelação do mo imen o humano ambém podem se u ilizados modelos esquele izados
( igu a 1), que consis em num conjun o de segmen os de ec a unidos po jun as, pe mi indo
assim es ima o mo imen o e econhece o compo amen o de igu a in ei a (co po in ei o). A
u ilização des es modelos, é es á el em di e sas ci cuns âncias e o cus o compu acional
en ol ido pe mi e o seguimen o em empo eal.
A u ilização de modelos de o má eis a iculados é ambém uma écnica s anda d de análise de
mo imen o humano que conside a equen emen e o luxo óp ico [4]. Po exemplo, um modelo
de o má el baseado em egiões pode se cons uído a pa i de um modelo de o má el
baseado em con o nos, e a sua u ilização conjun a com o luxo óp ico pode á ealiza
sa is a o iamen e o seguimen o do mo imen o humano. A delimi ação da egião de in e esse é
no malmen e inicializada po um algo i mo de segmen ação baseada na de ecção de
mo imen o, e é seguida po um modelo de o má el que explo a os dados ob idos da ex u a da
egião. Es e p ocedimen o pe mi e o seguimen o, mesmo quando exis em g andes
deslocamen os ou undos complexos, e é obus o à oclusão pa cial [1, 2].
O uso de con o nos pa a ep esen a o co po humano, es á di ec amen e elacionado com a
sua p ojecção nas imagens. Po ezes, o con o no de uma pessoa pode se su icien e pa a
aze o seu seguimen o; mas só unciona á co ec amen e, caso as poses e as pe spec i as
en ol idas es ejam su icien emen e bem ep esen adas na sequência conside ada. Os
con o nos, sendo ca ac e ís icas de ní el mais ele ado do que os pon os, eduzem a
possibilidade de alsos empa elhamen os exis en e nos modelos esquele izados. A maio ia das
abo dagens exis en es eque em um modelo esquele izado do co po humano, mas ambém
pode á se conside ada a combinação des es modelos com modelos olumé icos ou com
p imi i as 3D [1, 2].
Po sua ez, os modelos olumé icos eque em um ele ado núme o de pa âme os de
modelação, sendo uma das écnicas mais comuns, a u ilização de cilind os elíp icos pa a a
modelação 3D do co po humano [1, 2].
Ou as abo dagens u ilizam modelos hie á quicos, ma cado es, e a combinação en e
in o mações da co e do mo imen o. Conside e-se po exemplo, o modelo hie á quico einado
a pa i de exemplos eais usando uma mis u a de Gaussianas pa a aduzi a geome ia e a
cinemá ica, e modelos de Ma ko não obse á eis pa a analisa a dinâmica en ol ida [1].
Ou a abo dagem comum, consis e na u ilização de il os de Kalman ou de pa ículas com
modelos de Ma ko não obse á eis. Os modelos de Ma ko não obse á eis são u ilizados
pa a de e mina a o ma da pessoa numa imagem, e os il os de Kalman ou de pa ículas
u ilizam os dados ob idos pelos modelos de Ma ko não obse á eis pa a segui o mo imen o,
ao es ima uma caixa que limi a a sua ajec ó ia e p e endo a localização da mesma ao longo
da sequência. Usualmen e, a conjugação de écnicas pa ece se e icien e [2].
De um modo ge al, quando o modelo em menos pa âme os é mais ácil a co espondência
en e as ca ac e ís icas e o modelo, mas é mais di ícil a ex acção dessas ca ac e ís icas [3].
Reconhecimen o
A ase seguin e de um sis ema de seguimen o e análise de mo imen o humano, pode á
consis i na classi icação/ econhecimen o da acção associada ao mo imen o cap u ado [9].
O abalho de econhecimen o de ges os, de ac i idades e de indi íduos é mui o as o
(con o me exempli icado em [1], [2]): Pode se u ilizado na es ima i a da pos u a idimensional,
po exemplo no sen ido de comp eende o compo amen o do sujei o obse ado ( e po
exemplo [10], igu a 2), na análise do anda , po exemplo enquan o assina u a biomé ica pa a
iden i icação de pessoas ou pa a dis inção de sexos, ou em medicina pa a a de ecção e
diagnós ico de anomalias da ma cha.
Figu a 2 - Es imação de pose pelo mé odo p opos o em [10] u ilizando pon os que compõe o modelo
(esque da), as poses não iden i icadas (ao cen o) e as mesmas após iden i icação (di ei a).
(Exemplo de [10].)
Exis e, assim, uma di e sidade de abo dagens u ilizadas como po exemplo as baseadas em
écnicas es a ís icas ou as baseadas em modelos [1, 2]. As es a ís icas incluem a u ilização de
espaços p óp ios, de in o mação espacio- empo al, de sé ies de empo e de silhue as. Po
ou o lado, as abo dagens baseadas em modelos, incluem o uso de modelos de Ma ko não
obse á eis, con o nos ac i os, modelos esquele izados, modelos de mo imen o eco endo
po exemplo ao empa elhamen o de empla es ou a ma cado es.
Os di e en es mo imen os humanos podem se ep esen ados usando empla es empo ais,
is o é, ec o es de imagens es á icas, onde o alo do ec o em cada pon o é unção das
p op iedades do mo imen o nas localizações espaciais co esponden es ao longo de uma
sequência de imagens. Con udo, es a abo dagem em a des an agem de se demasiado
sensí el à a iação do comp imen o da sequência. Esse p oblema é e i ado se se de ini cada
pos u a es á ica como um es ado de um espaço de es ados, em que a sequência de
mo imen o é aduzida po uma sequência de es ados e a ansição en e es es é de inida po
p obabilidades [1].
O econhecimen o pode ambém se ob ido a a és de ma cado es colocados nas a iculações,
como po exemplo nos co o elos ou nos omb os, o que pode á o nece in o mação i al ace ca
do mo imen o em causa [9].
Os modelos a iculados conseguem modela de uma o ma ealis a o mo imen o humano, e
êm sido explo ados pa a es ima a pos u a. O co po pode se modelado u ilizando um
enquad amen o de alhado, e a in o mação ex aída de cada imagem é in e p e ada po uma
ede baseada na es u u a do modelo humano.
Os modelos de o má eis baseiam-se no es udo espacio- empo al da silhue a do sujei o, a pa i
de sequências de imagens ge almen e adqui idas po á ias câma as em simul âneo. Es es
mé odos eco em usualmen e a con o nos ocul os e dispensam a u ilização de ma cado es ou
ou os disposi i os, simpli icando as di iculdades ine en es à exis ência de oclusões [2].
Consoan e a aplicação, ambém podem se u ilizadas algumas e amen as es a ís icas que
pe mi em a ca ac e ização o mo imen o. As abo dagens es a ís icas incluem a u ilização de
espaços p óp ios, de in o mação espacio- empo al, de sé ies de empo e de silhue as. As
abo dagens baseadas em modelos, incluem o uso de modelos de Ma ko não obse á eis,
con o nos ac i os, modelos esquele izados, modelos de mo imen o.
O econhecimen o em e oluído conside a elmen e, podendo não se necessá ia a
ecupe ação de p op iedades idimensionais das pessoas em causa, ou o seguimen o
bidimensional dos seus memb os pa a que o econhecimen o seja conseguido com êxi o [2].
REFERÊNCIAS
[1] Wang, J., Singh, S., 2003. Video Analysis o Human Dynamics - A Su ey. Real- ime Imaging Jou nal,
ol. 9, pp. 320/345.
[2] Pinho, R., Co eia, M., Ta a es, J., 2004. In odução à Análise de Mo imen o usando Visão
Compu acional. FEUP/LOME.
[3] Agga wal, J., Cai, Q., 1999. Human Mo ion Analysis: A Re iew. Compu e Vision and Image
Unde s anding, ol. 73, pp. 428/440.
[4] Baumbe g, A., 1995. Tese de Dou o amen o: Lea ning De o mable Models o T acking Human Mo ion.
School o Compu e S udies. UK, The Uni e si y o Leeds.
[5] W en, C., Aza bayejani, A., Da ell, T., Pen land, A., 1997. P inde : Real-Time T acking o he Human
Body. IEEE T ansac ions on Pa e n Analysis and Machine In elligence, ol. 19.
[6] Zheng, J., Suezaki, S., 1998. A Model Based App oach in Ex ac ing and Gene a ing Human Mo ion.
In e na ional Con e ence in Pa e n Recogni ion.
[7] Isa d, M., Blake, A., 1998. Condensa ion - Condi ional Densi y P opaga ion o Visual T acking.
In e na ional Jou nal on Compu e Vision, pp. 5/28.
[8] Mikic, I., T i edi, M., Hun e , E., Cosman, P., 2003. Human Body Model Acquisi ion and T acking using
Voxel Da a. In e na ional Jou nal o Compu e Vision, ol. 53, pp. 199/223.
[9] Moeslund, T., G anum, E., 2001. A Su ey o Compu e Vision-Based Human Mo ion Cap u e.
Compu e Vision and Image Unde s anding, ol. 81, pp. 231/268.
[10] Li, B., Meng, Q., Hols ein, H., 2004. A icula ed Pose Iden i ica ion wi h Spa se Poin Fea u es. IEEE
T ansac ions on Sys ems, Man, and Cybe ne ics - Pa B: Cybe ne ics, ol. 34.