Uni e sidade do Minho
Escola de Engenha ia
And é Filipe Oli ei a A aújo
Desen ol imen o de um modelo de es ima i a
de pose usando Deep Lea ning
ou ub o 2023
Uni e sidade do Minho
Escola de Engenha ia
And é Filipe Oli ei a A aújo
Desen ol imen o de um modelo de es ima i a
de pose usando Deep Lea ning
Disse ação de Mes ado
Mes ado em Engenha ia In o má ica
T abalho e e uado sob a o ien ação de
P o esso a C is ina Manuela Peixo o dos San os
ou ub o 2023
Di ei os de Au o e Condições de U ilização do T aba-
lho po Te cei os
Es e é um abalho académico que pode se u ilizado po e cei os desde que espei adas as eg as e
boas p á icas in e nacionalmen e acei es, no que conce ne aos di ei os de au o e di ei os conexos.
Assim, o p esen e abalho pode se u ilizado nos e mos p e is os na licença abaixo indicada.
Caso o u ilizado necessi e de pe missão pa a pode aze um uso do abalho em condições não p e is as
no licenciamen o indicado, de e á con ac a o au o , a a és do Reposi ó iUM da Uni e sidade do Minho.
Licença concedida aos u ilizado es des e abalho:
CC BY-NC-ND
h ps://c ea i ecommons.o g/licenses/by-nc-nd/4.0/
i
Ag adecimen os
Todo o abalho ealizado du an e o semes e passado não se ia possí el sem a ajuda, comp eensão e
apoio de mui as pessoas.
Em p imei o luga , gos a ia de ag adece à P o esso a C is ina San os pela opo unidade de ealiza
es e abalho e de in eg a o g upo de in es igação do BIRDLAB.
Ag adeço ambém à Sa a, que semp e es e e disponí el pa a ajuda e discu i a pesquisa e ap esen ou
suges ões que me ajuda am a desen ol e o abalho aqui ap esen ado.
Po úl imo, e mais impo an e, gos a ia de ag adece à minha amília, pelo apoio e os conselhos dado
ao longo dos anos.
ii

Decla ação de In eg idade
Decla o e a uado com in eg idade na elabo ação do p esen e abalho académico e con i mo que não
eco i à p á ica de plágio nem a qualque o ma de u ilização inde ida ou alsi icação de in o mações ou
esul ados em nenhuma das e apas conducen e à sua elabo ação.
Mais decla o que conheço e que espei ei o Código de Condu a É ica da Uni e sidade do Minho.
Uni e sidade do Minho, B aga, ou ub o 2023
And é Filipe Oli ei a A aújo
iii
Resumo
A es imação de pose p ocu a de pe mi i aos compu ado es calcula a pose do co po humano a a és
da u ilização de senso es Unidades de medição ine cial (IMU). Po es a azão, ap esen a di e sas
u ilizações na indús ia, onde pode se usado na melho ia da colabo ação en e humanos e obôs, na qual
pe mi e aos obôs moni o iza os mo imen os humanos. A es imação de pose ambém em aplicações
no se o médico, mais p ecisamen e na a aliação de iscos e gonómicos, eabili ação e despo os.
Es a disse ação isa o desen ol imen o de um modelo de es imação de pose u ilizando
Deep Le-
a ning
, a a és da usão de dados p o enien es de senso es acele óme o, gi oscópio e magne óme o,
exis en es nos IMU.
Pa a alcança es e obje i o oi implemen ada uma
amewo k
em Py o ch, onde es ão elabo ados
os modelos pa a a es ima i a de pose, na qual es ão incluídos modelos que usam edes neu onais e
modelos que usam edes híb idas, que jun am edes neu onais e il os. Nes a
amewo k
, ambém
oi implemen ado um modelo de calib ação de dados (CalibNe ), que usa edes neu onais e p ocu a
a diminuição do e o de calib ação dos dados p o enien es dos senso es, pa a pos e io men e se em
usados na es ima i a de pose.
Na a aliação dos mé odos implemen ados o am usados dois
da ase s
o E gowea e o MTw Awinda,
onde se ob i e am como melho es esul ados de 18,78º e de 7,556º, espe i amen e, na es ima i a de
pose.
Pala as-cha e Es imação de pose, Unidades de medição ine cial (IMU), edes neu onais
i
Abs ac
Pose es ima ion seeks o allow compu e s o calcula e he pose o he human body h ough he use o
Unidades de medição ine cial (IMU) senso s. Fo his eason, i has se e al uses in indus y, whe e
i can be used o imp o e collabo a ion be ween humans and obo s, allowing obo s o moni o human
mo emen s. Pose es ima ion also has applica ions in he medical sec o , mo e p ecisely in he assessmen
o e gonomic isks, ehabili a ion and spo s.
This disse a ion aims o de elop a pose es ima ion model using
Deep Lea ning
, h ough he usion
o da a om accele ome e , gy oscope and magne ome e senso s, exis ing in IMU.
To achie e his objec i e, a
amewo k
was implemen ed in Py o ch, whe e models o pose es ima ion
a e c ea ed, which includes models ha use neu al ne wo ks and models ha use hyb id ne wo ks, which
combine neu al ne wo ks and il e s. In his
amewo k
, a da a calib a ion model (CalibNe ) was also
implemen ed, which uses neu al ne wo ks and seeks o educe he calib a ion e o o da a om senso s,
o la e be used in pose es ima ion .
In e alua ing he implemen ed me hods, wo
da ase s
we e used: E gowea and MTw Awinda, whe e
he bes esul s o 18.78º and 7.556º, espec i ely, we e ob ained in pose es ima ion.
Keywo ds Pose es ima ion, Unidades de medição ine cial (IMU), neu al ne wo ks
Con eúdo
1 In odução 1
1.1 Mo i ação ...................................... 1
1.2 Con ex ualização do p oblema ............................. 2
1.3 Obje i os e ques ões de in es igação ......................... 3
1.4 Es u u a da disse ação ............................... 4
2 Es ado da a e 5
2.1 Mé odos de calib ação ................................ 5
2.2 Mé odos baseados em edes neu onais pa a es imação de ângulos baseada em ecno-
logia Ine cial ..................................... 10
2.3 Discussão ...................................... 25
3 Ma e iais e Mé odos 28
3.1 Da ase ........................................ 28
3.2 Mé odos clássicos pa a
benchma k
.......................... 29
3.3
F amewo k
de Deep lea ning ............................. 31
3.3.1 P epa ação dos dados ............................ 31
3.3.2 P e-p ocessamen o .............................. 33
3.3.3 A qui e u as das edes neu onais ....................... 34
3.3.4 CalibNe ................................... 40
3.3.5
Losses
.................................... 42
3.3.6 Mé icas de a aliação ............................ 43
4 Resul ados e discussão 44
4.1 Resul ados dos eg esso es/ edes com e sem mãos e pés ............... 44
4.2 Calibne combinada com modelos de es imação de pose ............... 49
i
MoCap
mo ion cap u e echnology
.
MSE
Mean Squa e E o
.
QAD
Qua e nion Angle Di e ence
.
RCoe icien e de co elação.
RMSE
Roo Mean Squa e E o
.
RNN
Recu en Neu al Ne wo k
.
SINN
S acked Inpu Neu al Ne wo k
.
SMPL
Skinned Mul i-Pe son Linea Model
.
TCN
Tempo al Con olu ional Ne wo k
.
TGCN
Tempo al G aph Con olu ional Ne wo k
.
xiii

Capí ulo 1
In odução
Es e documen o ap esen a o abalho ealizado du an e es a disse ação, in i ulada “Desen ol imen o de
um modelo de es ima i a de pose usando
Deep Lea ning
”, no âmbi o do segundo ano do Mes ado em
Engenha ia In o má ica, da Uni e sidade do Minho.
1.1 Mo i ação
As Lesões Musculoesquelé icas elacionadas com o abalho (LMRT) são um g upo de condições
médicas que a e am os músculos, endões, ligamen os, a iculações e ossos. Es as lesões podem se
causadas ou ag a adas pela da al a exigência ísica das a i idades labo ais das indús ias ans o mado as,
coma al ep esen am 53% das doenças p o issionais, com um al o impac o na economia [Be an,2015].
Po es as azões a p e enção de Lesões Musculoesquelé icas elacionadas com o abalho é
undamen al e passa po um conjun o de medidas, en e elas emos a e gonomia adequada no local de
abalho.
Uma das soluções pa a melho a e gonomia dos p ocessos ab is é a Colabo ação Humano Robo
(CHR), es e concei o que se e e e à in e ação di e a en e humanos e obôs [Ma heson e al.,2019], é
um dos pon os cen ais do concei o da Indús ia 5.0. Pa a diminui a p obabilidade de oco ência de
Lesões Musculoesquelé icas elacionadas com o abalho, a Colabo ação Humano Robo
o e ece a possibilidade de pe sonaliza o espaço de abalho de cada abalhado , pe mi indo assim uma
melho ia na e gonomia da a e a, no con o o e na qualidade de ida do mesmo, mo i ando-o assim e,
po encialmen e, mudando o pa adigma nos p ocessos de ab ico.
Mas apesa de já exis i em es ações de abalho equipadas com obôs colabo a i os (cobo s), es es
apenas pa ilham o espaço de abalho com pouca colabo ação, endendo unicamen e a coexis i com
humanos [I aldi e al.,2017]. Pa a ealiza a elação colabo a i a en e humanos e obôs, necessá ia pa a
melho a a e gonomia das a e as, de e se supe ado o desa io de azê-los comp eende mu uamen e as
1
in enções de cada, undamen al pa a uma in e ação con ínua e dinâmica. Pa a alcança essa in e ação
con ínua e dinâmica su ge o concei o de
Human-awa eness
, es e e e e-se à capacidade do obô de
moni o iza os mo imen os humanos [El Zaa a i e al.,2019].
1.2 Con ex ualização do p oblema
Pa a p e eni as Lesões Musculoesquelé icas elacionadas com o abalho, a e gonomia das
a e as ealizadas, pelos abalhado es, de e se melho ada a a és da Colabo ação Humano Robo .
Con udo, pa a que is o seja possí el é necessá io que an o os abalhado es e os obôs enha consciência
das in enções uns dos ou os. To nando, assim, capacidade moni o iza os mo imen os humanos a
Human-awa eness
[El Zaa a i e al.,2019], é essencial pa a alcança o Colabo ação Humano Robo .
A ecnologia de cap u a de mo imen o ou
mo ion cap u e echnology
(MoCap) é en ão u ilizada pa a
aumen a a consciência do obô sob e a in enção e os es ados humanos. Pa a além da sua u ilidade
na indús ia, a
mo ion cap u e echnology
(MoCap) é ambém em u ilidade no se o médico, mais p e-
cisamen e na a aliação de iscos e gonómicos, eabili ação e despo os. Onde es as ecnologias ainda
são u ilizadas na ob enção de análises cinemá icas mais p ecisas do mo imen o, ú eis pa a iden i ica
dis ú bios biomecânicos ou pad ões a ípicos de con olo neu omuscula [González-Alonso e al.,2021].
A
mo ion cap u e echnology
pode se classi icada em dois ipos. O MoCap ó ico, onde os sis emas
ipicamen e usados são Op iT ack (Op iT ack, Co allis, OR, USA) [Pe e nel e al.,2019] e câma as de
p o undidade (Kinec (Mic oso Co p., Edmond, WA, USA)) [Noguei a e al.,2019]. No en an o, apesa de
se a ecnologia de MoCap mais comuns e amplamen e usadas, o ac o do MoCap ó ico usa câma as e
ma cado es ó icos pa a egis a a posição idimensional de obje os ou pessoas em mo imen o, ap esen a
des an agens. En e as des an agens emos os p oblemas de p i acidade (que podem ge a esis ência
na sua adoção), o campo de isão limi ado da câma a, a necessidade de um ambien e com con olo de
luz, a possibilidade de oclusão e a sua al a de po abilidade.
O ou o ipo de MoCap é o MoCap ine cial, az uso de senso es IMU, com acele óme os, gi oscó-
pios e em alguns casos magne óme os, pa a cole a dados. Apesa des es senso es não ap esen a em
as des an agens do MoCap ó ico, o MoCap ine cial ainda ap esen a algumas ba ei as que p ecisam
se supe adas pa a se amplamen e emp egada. Is o, pois as soluções come ciais com mais ecu so
Xsens MTw Awinda (Xsens), Pe cep ion Neu on, Opal (APDM) ou Physiolog (Gai Up) são ca as, mo i ado
pelo al o p eço do
ha dwa e
e pela necessidade de paga licenças de u ilizado .
Em al e na i a a es es sis emas de MoCap ine cial mais ca os e com mais ecu sos, exis em e sões
2
come ciais de ní el básico, com menos ecu sos, como o Xsens DOT (Xsens ) e No ch, mas ap esen am
algumas limi ações [González-Alonso e al.,2021]. En e as limi ações emos que o
so wa e
des es
p odu os o nece apenas dados b u os, sem in e p e ação, não sendo soluções p on as pa a uso po
pa e de um u ilizado ecém-chegado. Reque endo po pa es dos u ilizado es um conhecimen o écnico
e ma emá ico pa a calib ação de senso es, p ocessamen o e análise de dados b u os. A u ilização de
edes neu onais abs ai a necessidade des es conhecimen os, pois só é necessá io en ia os dados pa a
a ede, sem a u ilização de modelos biomecânicos como, po exemplo, o Xsens.
Ainda, os MoCap baseados em ecnologia ine cial são uma ecnologia senso ial p omisso a, capazes
de cap u a mo imen os 3D, com baixo cus o, amanho pequeno e são le es, pe mi ido se in eg ados a
uma peça de es uá io e não limi a a mobilidade do u ilizado .
Assim, es a disse ação em en ão como obje i o o desen ol imen o de um modelo de edes neu onais
pa a usão de senso es, com a in enção de es ima os ângulos das a iculações do co po humano, com
baixos e os, sem a necessidade de modelos biomecânicos complexos.
1.3 Obje i os e ques ões de in es igação
O p incipal obje i o des a disse ação é desen ol e um modelo de es imação de poses pa a uso
online
.
Visa melho a a me odologia a ual da equipa e explo a no os algo i mos de
Deep Lea ning
pa a ealiza
a usão de dados ine ciais (acele óme o, gi oscópio e magne óme o). Como esul ado, espe a-se uma
melho ia nos algo i mos de es ima i a de ângulo de a iculação.
Pa a alcança es e obje i o p incipal, o am es abelecidos os seguin es subobje i os:
•Obje i o 1: Iden i icação e análise do es ado da a e a ual dos abalhos elacionados modelo de
es ima i a de pose isando especi ica c i icamen e as suas an agens e limi ações.
•Obje i o 2: Familia ização com a
amewo k
de es ima i a de pose, pa a pe cebe o seu uncio-
namen o.
•Obje i o 3: Implemen ação de algo i mos baseados em edes neu onais pa a es imação de ân-
gulos baseada em ecnologia ine cial.
•Obje i o 3: Implemen ação de um algo i mo baseado em edes neu onais pa a calib ação do
senso ine cial, pa a melho a os dados de en ada pa a o modelo de es imação de ângulos
Es es obje i os e o es udo do es ado da a e le an a am algumas ques ões de in es igação (QI)
en e as quais:
3
•Ques ão 1: A u ilização de uma ede neu onal pa a calib a os senso es melho a os esul ados
ob idos? Es a ques ão é ela i a ao obje i o 3 e é abo dado na secção 4.2.
•Ques ão 2: As edes híb idas que combinam il os com ede neu onais ob ém melho es esul a-
dos do que apenas edes neu onais? Es a ques ão é ela i a ao obje i o 4 e é abo dado na secção
4.1.
•Ques ão 3: A u ilização dos dados das ex emidades do co po, como as mãos, os pés e a cabeça,
in luencia o esul ado? Es a ques ão é ela i a ao obje i o 5 e é abo dado na secção 4.1.
1.4 Es u u a da disse ação
Es a disse ação es á o ganizada em 5 capí ulos:
O Capí ulo 2con ém uma b e e e isão da li e a u a sob e algo i mos baseados em edes neu onais
exis en es pa a es imação de ângulos baseada em ecnologia ine cial, seguida de uma discussão dos
mesmos.
O Capí ulo 3especi ica os de alhes dos ma e iais usados no desen ol imen o des a disse ação,
en e as quais o
da ase
usado, bem como a
amewo k
onde es ão implemen ados os modelos de edes
neu onais e os mé odos clássicos usados pa a
benchma k
.
O Capí ulo 4discu e os esul ados ob idos aos es es ealizados aos modelos ap esen ados no capí ulo
3e as suas limi ações.
O Capí ulo 5conclui a disse ação, o e ecendo uma b e e análise do abalho desen ol ido.
4
Capí ulo 2
Es ado da a e
Nes e capí ulo é ap esen ada uma b e e e isão da li e a u a sob e algo i mos baseados em edes neu o-
nais exis en es pa a es imação de ângulos baseada em ecnologia ine cial. Pa a al, começa po analisa
alguma li e a u a e e en e aos mé odos de calib ação, seguido-se da li e a u a e e en e mé odos basea-
dos em edes neu onais pa a es imação de ângulos baseada em ecnologia Ine cial.
2.1 Mé odos de calib ação
Nes a secção ai se abo dado o es ado da a e e e en e aos mé odos de calib ação de dados p o enien es
de IMU. Es a calib ação dos senso es IMU é impo an e pa a ga an i que os dados cole ados pelos
senso es são p ecisos e con iá eis, pa a pos e io men e se em usados nos modelos de edes neu onais.
Is o, pois es es senso es podem e
bias
, ou seja, podem indica alo es di e en es de ze o quando não
há mo imen o, o que pode aumen a o e o na u ilização dos dados es es senso es.
Na u ilização des es senso es pa a es imação de ângulos de a iculações do co po humano, é ainda
necessá ia a calib ação
senso - o-segmen
. Es a, em com obje i o es abelece uma elação p ecisa en e
os dados cap u ados pelo senso e as pa es do co po que es ão a se moni o adas, onde o ”senso ” e e e-
se a disposi i os de cap u a de mo imen o e ”
segmen
” e e e-se a pa es especí icas do co po humano.
Pa a al o am analisados os a igos [Pache e al.,2020], [Li e al.,2022], bem como o a igo da
equipa [Pale mo e al.,2022] onde é desc i o o mé odo de calib ação usado na
amewo k
.
No a igo Pache e al. [2020] é ap esen ado uma e isão de mé odos de calib ação de
senso - o-
segmen
pa a análise cinemá ica da pa e in e io do co po com senso es ine ciais. Es e a igo ap esen a
es udos onde são expos os qua o abo dagens pa a a calib ação dos senso es e e en es aos memb os in-
e io es do co po humano (segmen os pél is, ému , íbia- íbula e pé, ela i amen e aos eixos, longi udinal,
médio-la e al e an e io -pos e io ).
A p imei a abo dagem de calib ação
senso - o-segmen
ap esen ada é a calib ação manual. Es a é
5

conside ada uma abo dagem simples, onde um examinado de e alinha os eixo do sis ema de coo -
denadas do senso ine cial com eixos do sis ema de coo denadas do segmen o, po meio de o ações
e e uadas aos dados cole ados pelos senso es. Es a abo dagem de calib ação é a o ecida em con ex o
clínico de ido à sua simplicidade e apidez de implemen ação, uma ez que o sujei o não é ob igado
a ado a nenhum mo imen o ou pos u a especí ico, ou disposi i os complemen a es. No en an o, esse
alinhamen o é o almen e dependen e do examinado , pelo que pa a ga an i con iabilidade é necessá io
eino po pa e do mesmo.
Já na calib ação es á ica o sujei o ado a uma pos u a em pa icula onde se assume que du an e essa
pos u a um dos eixos es á alinhado com a g a idade medida pelo acele óme o.
Ou a abo dagem é a calib ação uncional, que pode se is a como ap op iada pa a de ini os eixos
de o ação das a iculações, pois es e eixo é ob ido com base em mo imen os de o ação ealizados em
o no do mesmo. No en an o, es a abo dagem conside a que o sujei o, du an e a calib ação, é capaz
de ealiza o ações pu as em o no do eixo do segmen o que es á a se iden i icado. In elizmen e, es a
hipó ese é al amen e ques ioná el, especialmen e em pessoas com ampli ude de mo imen o limi ada.
Po úl imo emos a calib ação ana ómica, es a abo dagem usa ma cos ana ómicos pa a de ini os eixos
do segmen o, po meio de um disposi i o u ilizado pa a localiza esses pon os de e e ência ana ómicos.
Possibili ando a sua aplicação a odos os ipos de pessoas, mesmo aqueles com con a u a muscula ou
ampli ude de mo imen o limi ada.
F equen emen e es es di e en es mé odos são combinados pa a de ini o conjun o de eixos necessá-
ios pa a desc e e os di e en es sis emas de coo denadas do segmen o in e io do co po.
Pa a a e isão de mé odos de calib ação de
senso - o-segmen
,Pache e al. [2020] analisa am á ios
a igos e e en es ao ema. Des es a igos o am examinados á ios ópicos, en e os quais emos o mé odo
de calib ação
senso - o-segmen
, mo imen os ou pos u as usadas, a compu ação ma emá ica usada pa a
ob e a ans o mação de senso pa a segmen o pa a cada eixo e a me odologia de alidação.
Po sua ez, Li e al. [2022] p opõem a u ilização de uma ede neu onal designada Calibne ( i-
gu a 1), pa a a calib ação do gi oscópio. Es e algo i mo p ocu a melho a a calib ação de IMU de baixo
cus o po meio de uma Con olu ional Neu al Ne wo k (CNN) simples. Es a ede ecebe como
en ada as medições sequenciais do gi oscópio e acele óme o e es ima a compensação de elocidade
angula , median e con olução de dila ação ( igu as 2e3), pa a ex ação de ecu sos espaço- empo ais.
A es ima i a da compensação da elocidade angula é pos e io men e usada no modelo ma emá ico.
Es e modelo ma emá ico usa os dados do gi oscópio e mul iplica os po uma ma iz Cw, que con em
o a o escala e o desalinhamen o pa a às medições do mesmo. A segui , a compensação angula é adici-
6
onada ao esul ado an e io , ob endo-se a elocidade angula co igida. Es a é en ão in eg ada esul ando
es ima i a da o ação 3D.
Figu a 1: A isão ge al da es u u a p opos a, da ede neu onal con olucional simples ap esen ada po Li
e al. [2022], pa a calib ação do gi oscópio.
Figu a 2: Os de alhes da es u u a Calibne . A Calibne p opos a usa medições empo ais de gi oscópio
e medições de acele óme o como en adas e ge a a pa e de compensação pa a medições de elocidade
angula .
Figu a 3: A ilus ação da Con olução de Dila ação 1D. O amanho da dila ação indica o espaçamen o
en e os pon os do
ke nel
da con olução.
No a igo p opuse am a u ilização do
log hype bolic cosine
(log-cosh)
loss
como unção de e o pa a
eg essão de co eção de medição do gi oscópio. Compa ado com a
Hube loss
, que é ap oximadamen e
7
igual a (y−y′)2/2 pa a a e os pequenos e a |y−y�|−log(2) pa a a e os g andes, en ão em odas
as an agens da
Hube loss
e é duas ezes di e enciá eis an o pa a e os pequenos quan o pa a e os
g andes.
A unção de e o é de inida abaixo:
L(y, y′) =
n
∑
i=1
log(cosh(y−y′)) (2.1)
Já Pale mo e al. [2022] ap esen a o mé odo de calib ação es á ica simples, usado na calib ação
senso - o-segmen
dos
da ase s
E goAwa e e o MTw Awinda. Es e p e ende ob e uma ans o mação a-
zoá el, usando os dados es á icos N-Pose cole ados no início de cada en a i a, na ealização da calib ação
senso - o-segmen
dos
da ase s
.
8
Re e encia Obje i o Mé odo de ca-
lib ação
Mé icas Resul ados Conclusão Obse ações
[Pale mo
e al.,2022]
Ap esen a o p ocesso
usado na c iação e p o-
cessamen o de 2
da a-
se s
Calib ação
es á ica simples
usando os
dados es á icos
N-Pose
Dis ancia do ân-
gulo do qua e -
nião (QAD)
E goAwa e:
27.46° /
MTwAwinda:
7.83°
Pelos esul ados ob idos
podemos pe cebe que
o
da ase
E goAwa e
p ecisa de melho a a
calib ação
senso - o-
segmen
[Pache
e al.,2020]
Des aca as di e en es
p opos as ei as pa a
calib ação
senso - o-
segmen
pa a análise
cinemá ica da pa e
in e io es do co po
manuais/
es á icos/
uncionais/
ana ómicos
RMSE Cada mé odo ap esen-
ado em ca a e ís icas
que o o nam aplicá el
em di e en es si uações
A calib ação manual é a o e-
cida em con ex o clínico, na es-
á ica o u ilizado pode ado a
uma pos u a na u al, a unci-
onal é ap op iada pa a de ini
os eixos do segmen o a icula
e a ana ómica pode se apli-
cada em pessoas com con a-
u a muscula ou alcance limi-
ado de mo imen o
[Li e al.,
2022]
Ob e uma calib ação
p ecisa de IMU de baixo
cus o po meio de uma
CNN p o unda simples
Calibne
Absolu e
O ien a ion
e o
(AOE)
1.77° O desempenho de es-
ima i a de o ien ação
pode compe i com o es-
ado da a e
A capacidade da ede p opos a
pa a di e en es ipos de IMU
ainda é um desa io
Tabela 1: Mé odos de calib ação de dados p o enien es de senso es IMU.
9
Figu a 11: Modelo TCN pa a es ima i a de ângulo.
ag upa am o acele óme o e o gi oscópio sepa adamen e, sendo que o acele óme o o nece in o mações
de ângulo em g andes escalas de empo e o gi oscópio o nece in o mações p ecisas sob e a mudança
de o ien ação, con o me pode se isualizado na igu a 12.
Figu a 12: Ve são de en ada ag upada do modelo RNN na igu a 10. A p imei a camada RNN é di idida
en e os sinais do acele óme o e do gi oscópio.
Na igu a 13 podemos isualiza que sem as o imizações, os modelos RNN eTCN uncionam num
ní el semelhan e. Po ém, após adiciona as o imizações, o RNN ob i e am um e o meno ao do TCN.
Também podemos isualiza que an o a o imização da
loss
quan o o aumen o de dados o am necessá ios
pa a supe a o il o de linha de base. Se odas as o imizações mencionadas o em aplicadas, a ede
neu onal e á um desempenho signi ica i amen e melho do que o il o de linha de base.
Rapp e al. [2021] in oduzem uma no a es u u a que combina
deep lea ning
e o imização
op-
down
pa a p e e com p ecisão os ângulos das a iculações das ex emidades in e io es di e amen e dos
dados ine ciais, sem depende das lei u as do magne óme o. T eina am Deep Neu al Ne wo k num
g ande conjun o de dados ine ciais sin é icos de i ados de um banco de dados de mo imen o baseado
em ma cado es clínicos de cen enas de indi íduos. Técnicas de aumen o de dados e uma abo dagem de
calib ação au oma izada o am usadas pa a eduzi o e o de ido à a iabilidade na colocação do senso
16

Figu a 13: Es udo de ablação. BM: Basemodel, LO: O imização da
loss
, DA: Aumen o de Dados e GI:
En ada Ag upada.
e alinhamen o do memb o. Em e mos de esul ados, oi es imada a cinemá ica da ex emidade in e io
com um e o quad á ico médio (± STD) in e io a 1,27 ° (± 0,38 °) em lexão/ex ensão; in e io a 2,52 °
(± 0,98 °) em addução /abdução; e menos de 3,34°(±1,02°) em o ação in e na/ex e na, em es es de
caminhada e co ida.
Pa a al p opuse am Deep Neu al Ne wo k (DNN), igu a 14, que usa os dados ine ciais sin é icos
(acele ação linea iaxial e elocidade angula ) dos dois segmen os adjacen es pa a p e e a e dadei a
o ien ação do segmen o [Rs1, Rs2]e ângulos a icula es [α1, α2, α3]A ualiza am as p e isões de o ien-
ação do segmen o i e a i amen e (e apa de o imização) a é que a elocidade angula associada a eles
co espondesse melho aos dados do senso i ual, e os ângulos de a iculação a ualizados o am calcu-
lados a pa i dessas o ien ações o imizadas [β1, β2, β3]. Os ângulos de a iculação 3-D inais (θ) o am
en ão calculados usando uma média ponde ada da p e isão do modelo de
deep lea ning
αos esul ados
da o ina de o imização β.
Figu a 14: Abo dagem Híb ida de
Deep Lea ning
e O imização p opos a po Rapp e al. [2021].
Como modelo de
deep lea ning
o am es adas duas a qui e u as ab angen es com pon os o es
complemen a es. A p imei a oi uma Con olu ional Neu al Ne wo k Unidimensional (Con 1D),
17
que az p e isões e icien es numa janela de empo que desliza po oda a sé ie empo al e, po an o, é
mais e icien e pa a p ocessamen o
o line
. A segunda oi uma Long Sho -Te m Memo y (LSTM),
que é uma RNN especí ica que az p e isões de um
imes amp
po ez, a ualizando um es ado in e no
pa a p opaga in o mações an e io es.
He nandez e al. [2021] po sua ez, p opõem uma abo dagem baseada em
Deep Lea ning
pa a p e i-
são de sé ies empo ais da cinemá ica das a iculações dos memb os in e io es com um modelo p o undo
baseado em camadas con olucionais e em camadas eco en es LSTM (DeepCon LSTM). Eles usa am
camadas con olucionais pa a ex ai ecu sos (domínio espacial) do sinal, e as camadas eco en es pa a
o nece p e isão de sé ies empo ais (domínio do empo).
Eles começa am po ans o ma a en ada Xpo meio de duas camadas con olucionais com uma
dimensão de il o de 10 × 6 × 16 ( amanho do
ke nel
de 10 x 6 e 16 canais) e 10 × 6 × 32, com
unção de a i ação ReLU. À saída da úl ima camada con olucional azem
eshape
pa a 100 × 960, onde
960 ep esen a o ecu so ex aído em cada in e alo de empo. Seguidamen e, conec am es a no a
ep esen ação da sé ie empo al a duas camadas eco en es com dependências LSTM. Finalmen e, as
p e isões de saída Ysão ecupe adas a cada passo de empo . A a qui e u a do modelo po eles usada
es á ep esen ada na igu a 15.
Figu a 15: A qui e u a da ede neu onal eco en e con olucional p o unda com memó ia de longo-cu o
p azo (DeepCon LSTM) conside ada po He nandez e al. [2021].
Já Coskun e al. [2017] ap esen am um modelo híb ido, o LSTM Kalman Fil e (LSTM-KF), que
jun a um il o de Kalman com uma LSTM isando ob e um modelo pa a a egula ização empo al
de es imado es de pose. A sua ideia p incipal é ap o ei a os il os de Kalman sem a necessidade de
especi ica uma unção de ansição linea Aou p ocesso ixo e ma izes de co a iância de medição
QeR. Em ez disso, modela am uma unção de ansição não linea com QeRusando ês
edes di e en es de Long Sho -Te m Memo y (LSTM), o necendo assim ao modelo a capacidade de
ap ende os pa âme os de Kalman a pa i dos dados. A a qui e u a LSTM é ilus ada na igu a 16.
Eles deno a am os ês módulos LSTM pa a ,ˆ
Q eˆ
R po LSTM ,LSTMQeLSTMR; cada um é
18
Figu a 16: Visão ge al do LSTM-KF. (a) Uma ep esen ação de al o ní el da a qui e u a que usa ês
módulos LSTM pa a p e e os componen es in e nos do il o kalman. (b) O LSTM-KF desen olado ao
longo do empo, que pode se einado pon a a pon a com
backp opaga ion
.
ep esen ado na igu a 17.
Onde a cada in e alo de empo ,LSTM ecebe a p e isão an e io ˆy −1como en ada e p oduz o
es ado in e mediá io ˆy′
.LSTMQen ão oma ˆy′
como en ada e p oduz uma es ima i a da co a iância
do p ocesso, ˆ
Q , como saída. Enquan o isso, a obse ação z se e como en ada pa a LSTMR, que
p oduz apenas uma es ima i a da co a iância de medição, ˆ
R , como saída. Finalmen e, ˆy′
ez , com
as es ima i as de co a iância, são alimen ados pa a um il o de Kalman pad ão p oduzindo inalmen e a
no a p e isão ˆy .
Figu a 17: A qui e u as LSTM-KF. As edes maio es são usadas pa a o
da ase
human 3.6M e as edes
meno es pa a odos os ou os (meno es)
da ase s
.
Li e al. [2016] p opõem um mé odo usando G ound Reac ion Fo ces (GRF) e
momen s
medidos
po um pa de calçado com senso es es í eis pa a es ima os ângulos a icula es dos memb os in e i-
o es pa a análise da ma cha. Esses sapa os com senso es es í eis são combinados com senso es de
mo imen o pa a cons ui um sis ema de análise de ma cha es í el da pesquisa an e io . Com base nas
medições do sis ema es í el, as edes neu onais são einadas com apenas GRFs ou com a combinação
de GRFs e
momen s
como en ada e os ângulos das a iculações como saída.
Aplica am o modelo de duas o mas, uma pa a discu i a p ecisão da es ima i a pa a uma pessoa
19
especí ica e ou a pa a discu i a aplicabilidade ge al do mé odo do modelo.
No p imei o modelo, usa am os GRFs de odas as placas de o ça mó eis pa a eina as edes
neu onais. P imei amen e, usa am me ade dos dados dos sujei os A a D pa a eina edes neu onais
que inham 15 nós ocul os (como mos ado na igu a 18) espe i amen e, e usa am ou a me ade dos
dados pa a alida as edes neu onais, espe i amen e.
E po im, usa am me ade dos dados de cada sujei o, dos sujei os A a F pa a eina uma ede
neu onal e ou a me ade pa a alida a ede neu onal sepa adamen e. Além disso, usamos os esul ados
das medições do sujei o G e H pa a alida a ede neu al e es a a aplicabilidade ge al.
No segundo modelo, odo o p ocesso de modelagem e p ocesso de alidação igualou o p imei o, mas
as edes neu onais o am einadas an o po GRFs quan o po
momen s
.
Figu a 18: A ede neu onal a i icial oi einada pelos GRFs 3D das placas de o ça mo eis e ângulo
a icula .
Li e al. [2016] ainda p opuse am um EKF modi icado a ualizado com o ças de eação do solo (GRFs)
e
momen s
dos senso es es í eis dos sapa os pa a eduzi o
bias
da es ima i a do ângulo da a iculação.
As edes neu onais usadas pa a es ima ângulos de a iculação com GRFs e
momen s
a uam como uma
ligação en e GRFs,
momen s
e qua e niões ( igu a 19). No en an o, a a és da análise dos esul ados
ob idos nos es es e e uados, o desempenho des e mé odo não é con iá el e p eciso como a ede neu onal.
Com o obje i o es ima a posição, elocidade e o ien ação de um p ojé il usando apenas acele óme-
os, gi oscópios e magne óme os, Roux e al. [2021] ap esen am um no o mé odo. Es e algo i mo é
compos o po um Impe ec Righ -In a ian Ex ended Kalman Fil e (Impe ec R-IEKF) e uma
Con olu ional Neu al Ne wo k (CNN) pa a o imiza dinamicamen e a ma iz de co a iância de
noise
.
Es a ma iz de co a iância a iá el no empo é semp e ajus ada pa a cada ase do oo do p ojé il.
Pa a a alia o desempenho do algo i mo, ealiza am simulações de i o de mo ei o. As es ima i as
ob idas com um Impe ec R-IEKF supe am as es ima i as do
Dead Reckoning
. Além disso, o uso
20
Figu a 19: Diag ama do EKF usado no sis ema de análise de ma cha es í el e o algo i mo EKF modi i-
cado. A linha sólida ep esen a o luxo de dados do e o de es ado no EKF modi icado; a linha acejada
ep esen a o luxo de dados dos senso es ou modelo; a linha pon ilhada ep esen a o luxo de dados do
e o de es ado a ualizado no EKF usado no sis ema es í el.
conjun o de um Impe ec R-IEKF e um CNN pe mi iu eduzi signi ica i amen e os e os de es ima i a
da aje ó ia do p ojé il.
Impe ec R-IEKF é u ilizado pa a es ima a aje ó ia do p ojé il e os
bias
do senso usando exclusi-
amen e acele óme o iaxial, gi oscópio e magne óme o no quad o do p ojé il. Um Impe ec R-IEKF
conside a um e o de es imação compos o po um e o in a ian e à di ei a como um IEKF e um e o de
bias
linea .
Além disso, apenas uma pa e dos es ados es imados oi inco po ada num g upo de Lie da ma iz
le ando em conside ação os
bias
do IMU e p ese ando a p op iedade do ”g upo a im”. Como odos
os il os de Kalman, um Impe ec R-IEKF combina uma p e isão e uma e apa de a ualização. A
a ualização exponencial oi aplicada aos es ados embu idos num g upo de Lie da ma iz, consoan e a
eo ia IEKF.
Con o me mos ado na igu a 20, o il o isa a es ima , apenas a pa i do acele óme o, gi oscópio
e magne óme o uidosos e endenciosos, lei u as no quad o do p ojé il:
• A o ien ação R∈SO(3), elocidade ∈R3e posição p∈R3do p ojé il no quad o de
na egação, sendo Ra ma iz de o ação do quad o do p ojé il pa a o quad o de na egação.
21

Figu a 20: Impe ec Righ -In a ian Ex ended Kalman Fil e
• O
bias
dos gi oscópios b∈R3, o
bias
dos acele óme os ba∈R3e o
bias
dos magne óme os
bh∈R3no quad o do p ojé il.
No malmen e, con olução(wh)é ajus ado manualmen e consoan e as indicações de e o do senso ,
e é cons an e du an e o oo do p ojé il. Pa a melho a as es ima i as, Roux e al. [2021] p opuse am
o uso de uma Con olu ional Neu al Ne wo k (CNN), usando apenas lei u as do magne óme o Hb
pa a es ima con olução(wh), a iá el no empo e adap ado às di e en es ases do oo do p ojé il.
A es u u a da CNN es á demons ada na igu a 21. Onde como pode se is o, as camadas de
con olução unidimensionais são usadas pa a ex ai
ea u es
dos dados de en ada. En e as camadas
con olução aplica am unções de a i ação não linea es: unidade Linea Re i icada (ReLU), Tangen e Hi-
pe bólica (Tanh) e LeakyReLU. E combina am com camadas de
d opou
pa a e i a o
o e i ing
da ede.
Os esul ados das camadas de con olução e a i ação o am ansmi idos pa a a camada linea o almen e
conec ada pa a es ima ês pa âme os α,βeγ.
O eino isa ajus a os pa âme os da CNN pa a minimiza a
loss
en e as es ima i as ob idas com
oImpe ec R-IEKF onde a ma iz de co a iância de
noise
da medição é a aliada pela CNN e os dados
de e e ência.
Figu a 21: Camadas CNN usados po Roux e al. [2021]
22
Re e encia Obje i o da ase Tipo de RN/ Es u-
u a
Mé icas de a alia-
ção
E o
[Tong e al.,2020] Es ima i a da a iculação dos
memb os in e io es no plano sa-
gi al usando IMU espalhados
Dados de senso es IMU
cole ados nos memb os
in e io es a 50hz
LSTM /
Bagging en-
semble
18 LSTM - 2
laye s
Plano sagi al a icula-
ções da pe na RMSE
6.49º
[Rapp e al.,2021] Es ima i a da a iculação dos
memb os in e io es usando da-
dos i uais IMU (accel+gy o)
Dados IMU sin e izados
do
da ase
MoCap pe -
sonalizado
Con 1D - 3
laye s
Pe nas RMSE 5º (CNN) /
2,5º (com o imi-
zação)
[Huang e al.,2018] Es ima i a de SMPL de pose de
usando 6 IMUs
Dados IMU/SMPL sin-
e izados AMASS + (To-
alCap u e + DIP-IMU)
bi-LSTM 2
laye s
A iculações de co po in-
ei o RMSE
18.5º
[Wouda e al.,2019] Es ima i a de pose de co po in-
ei o de 5 IMUs em dados b u-
os
Pe sonalizado com ca-
minhadas e ações quo-
idianas
SINN /LSTM RMSE da posição dos
pon os-cha e
6cm e 7cm
[Yi e al.,2021] Es ima i a de pose co po in ei o
usando 6 IMUs + Es ima i a de
anslação global baseada em u-
são
DIP-IMU + To alCap u e
+ AMASS
bi-LSTM E o Angula 14.95º (±6.90º)
[Webe e al.,2020] Es ima i a de a i ude em empo
eal a a és do uso de IMU
Pe sonalizado: 50.000
amos as a 286 Hz
RNN /TCN RMSE 1.73º/ 4.83º
Con inua...
23
Re e encia Obje i o da ase Tipo de RN/ Es u-
u a
Mé icas de a alia-
ção
Resul ados
[He nandez e al.,2021] P e e os ângulos a icula es dos
memb os in e io es a pa i dos
dados da IMU du an e a ma cha
Pe sonalizado: equên-
cia de 100 Hz
DeepCon LSTM MAE 3.6(2.1)◦
[Coskun e al.,2017] Regula ização empo al pa a es-
ima i a de pose
Human 3.6M LSTM-KF Dis ância euclidiana en-
e es ima i a e as po-
sições das a iculações
3D.
70.98mm
[Li e al.,2016] Es ima os ângulos a icula es
dos memb os in e io es pa a
análise da ma cha medidos po
um pa de sapa os com senso-
es es í eis
Pe sonalizado EKF modi icado a uali-
zado com GRF e
mo-
men s
R/RMSE 9°
[Roux e al.,2021] Es ima a posição, elocidade e
o ien ação de um p ojé il usando
apenas acele óme os, gi oscó-
pios e magne óme os
BALCO Impe ec R-IEKF e
CNN
MSE da o ien ação do
p ojé il em cada eixo de
Eule
ϕ= 15.88 ad /θ
= 0.56 ad /ψ=
1.77 ad
Tabela 3: Redes e esul ados p esen es nos a igos.
24
2.3 Discussão
Como pode se obse ado na secção 2.1 o p ocesso calib ação
senso - o-segmen
pode se ealizada se-
guindo di e sas abo dagens (manuais, es á icos, uncionais, ana ómicos), que podem ambém se com-
binadas. Cada uma das abo dagens em as suas an agens e des an agens, em e mos de simplicidade,
elocidade de implemen ação, p ecisão, p essupos a ou aplicação. Não podendo se di o que exis e uma
abo dagem melho que as ou a.
Ou a o ma de ealiza o p ocesso calib ação dos dados do gi oscópio, pode se a u ilização de
uma ede neu onal como a p opos a po Li e al. [2022]. Onde eles consegui am um desempenho de
calib ação ó imo, que pode compe i com os mé odos usados no es ado da a e.
Já na secção 2.2 são ap esen ados di e sos mé odos de es ima i a usando dados p o enien es de
IMU.
Começando pô o a igo de Tong e al. [2020] são explo adas a u ilização de um LSTM e de
Bagging
ensemble
com 18 edes LSTM, pa a aze uma es ima i a da a iculação dos memb os in e io es no
plano sagi al usando poucos IMUs e espalhados. A pa i de es es po eles ealizados podemos e que
na condição de ga an i uma e iciência ope acional acei á el, o
ensemble
LSTM baseado no algo i mo
’bagging’
é mais obus o e ap esen a melho desempenho na econs ução do mo imen o do que um
único LSTM.
Huang e al. [2018] e Yi e al. [2021] azem uso de uma a ian e do algo i mo LSTM chamada
LSTM bidi ecional (bi-LSTM). Huang e al. [2018] no seu a igo usam es e algo i mo pa a ealiza
uma es ima i a de SMPL de pose de co po in ei o usando 6 IMU, no qual demons a que um pequeno
subconjun o de senso es pode se usado pa a ecupe a a pose de co po in ei o com boa p ecisão.
Po sua ez, Yi e al. [2021] u ilizam o bi-LSTM pa a es ima i a de pose do co po in ei o usando
6IMUs e na es ima i a de anslação global. Compa ações quan i a i as e quali a i as mos am que o
mé odo po eles usado supe a os mé odos baseados em ap endizagem e o imização com uma g ande
ma gem de p ecisão e e iciência.
Já Webe e al. [2020] e idenciam no seu a igo que a a és do uso de Recu en Neu al Ne wo k
(RNN), como o LSTM, conseguiu ob e melho es esul ados na es ima i a de a i ude em empo eal
com dados p o enien es de IMU, do que a a és da u ilização de Tempo al Con olu ional Ne wo k
(TCN). Wouda e al. [2019] po sua ez, conseguiu mos a que é possí el ob e bons esul ados de edes
neu onais mais simples com S acked Inpu Neu al Ne wo k (SINN), onde ob e e esul ados mui o
semelhan es ao do uso de uma LSTM, na es ima i a de pose de co po in ei o a pa i de 5 IMU.
25
• ”es á ico”que calcula a calib ação es á ica usando e e ência de g a idade e, se o em o necidos
alinhamen os manuais, combina-os com as o ações calculadas;
• ”es á ico com magne óme o”que calcula a calib ação usando e e ências de g a idade e de
campo magné ico.
Po im, os pa âme os de calib ação dos senso es e deslocamen os de calib ação
senso - o-segmen
calculados, são usados pa a calib a os dados pa a os
da ase s
.
Ao se em usados nos modelos implemen ados, os dados p o enien es dos
da ase s
são di ididos
em ês conjun os de dados, os dados de eino (75%), os dados de alidação (10%) e os dados de es e
(15%). A di isão oi ealizada po sujei o. Cada conjun o de dados é ca egado em Da aLoade s, onde os
dados de cada conjun os são gua dados em di e en es enso es, es es enso es êm qua o dimensões,
a p imei a p ocu a sepa a as di e en es expe iências e pa icipan es, a segunda p e ende ap esen a as
sequências de empo, a e cei a dimensão gua da os dados de senso es di e en es onde o am colocados
os senso es e po úl imo na qua a dimensão ap esen a os dados pa a cada senso .
Na en a i a de alcança o melho esul ado possí el na es ima i a de pose, ambém oi es ado
exclusão das ex emidades, como as mãos, pés e cabeça, na es ima i a de pose.
Es a exclusão das ex emidades é mo i ada pelo ac o dos alo es adqui idos pelos senso es nes es
segmen os ap esen am um gama de alo es mui o supe io aos es an es segmen os, como pode se
obse ado pelos diag amas de bigodes ap esen ados nas igu as 24,25 e26.
Figu a 24: Diag ama de bigodes com a a iação dos alo es cole ados pelos senso es de acele óme o,
em cada pon o, pa a os
da ase s
E gowea (esque da) e M w Awinda (di ei a).
32

Figu a 25: Diag ama de bigodes com a a iação dos alo es cole ados pelos senso es de gi oscópio, em
cada pon o, pa a os
da ase s
E gowea (esque da) e M w Awinda (di ei a).
Figu a 26: Diag ama de bigodes com a a iação dos alo es cole ados pelos senso es de Magne óme o,
em cada pon o, pa a os
da ase s
E gowea (esque da) e M w Awinda (di ei a).
3.3.2 P e-p ocessamen o
Pa a possibili a o aumen a o conjun o de dados exis en es, no eino dos modelos de es ima i a e no
modelo de calib ação, o am u ilizadas écnicas de
Da a Augmen a ion
. Es as écnicas de
Da a Augmen-
a ion
, pa a além de aumen a em os dados exis en es, ambém p ocu a aumen a a gene alização dos
dados, ajudado a e i a
o e i ing
, a a és da in odução da a iabilidade. Ou a das an agens des as
écnicas é que a sua u ilização no eino dos modelos o nam es es mais obus os a a iações e uídos
nos dados de en ada.
A u ilização des as écnicas de
Da a Augmen a ion
é apenas ealizada quando a u ilização das mesmas
é especi icada nos hipe pa âme os dos modelos e pa a os dados ele an es pa a o modelos em ques ão.
Na u ilização
Da a Augmen a ion
o am u ilizadas á ias écnicas, en e elas emos o Senso Noise, es a
écnica adiciona uído gaussiano aos dados dos senso es. Ou as écnicas usadas são Senso D opou ,
33
que aplica
D opou
pa a um alo de exclusão especí ico, o SequenceMasking, que ocul a sequências
nos dados e po im emos RandomO ien a ion, que aplica o ien ação alea ó ia aos dados, po meio
de o ações.
3.3.3 A qui e u as das edes neu onais
No desen ol imen o do modelo de es ima i a de pose o am es adas á ios algo i mos de
deep lea ning
.
Alguns des es algo i mos são baseadas somen e em edes neu onais, más ambém o am implemen ados
edes híb idas, que combinam edes neu onais com il os.
Pa a es ima i a de pose o am implemen adas qua o de a qui e u as de edes neu onais, onde en e
elas emos o RNN,LSTM,GRU,TGCN.
Na implemen ação da Recu en Neu al Ne wo k (RNN) oi u ilizado a a qui e u a ap esen ada
na igu a 27. Es a ede RNN p ocu a p ocessa dados de sequências empo ais, a a és da u ilização de
loops eedback
, onde a saída de um neu ónio em um
imes amp
é u ilizada como en ada pa a o mesmo
neu ónio no p óximo
imes amp
. Pe mi indo da uso da sequência empo al na es ima i a de pose.
Figu a 27: As a qui e u as de ede RNN implemen ada na
F amewo k
.
Como pode se is o na igu a 27, a ede ecebe os dados numa camada Linea que ecebe os dados
dos
da ase s
E gowea e M w Awinda e das suas e sões sem ex emidades. es a camada êm como
en ada os dados ecolhidos po cada senso , no malmen e 13 en adas, mas podem a ia pa a 10, no
caso não sejam u ilizados os alo es do magne óme o, mul iplicado pelo núme o de senso es usados, no
da ase
E gowea são usados 9 senso es na e são o iginal e 6 na a iação do sem ex emidades, já no
da ase
M w Awinda são usados 17 senso es na e são o iginal e 12 na a iação do sem ex emidades.
34
A segui os dados passam po uma sequência de camadas RNNcell, uma unção de a i ação Relu e
e mina com uma camada D opou de 20%. Es a sequência no malmen e oco e 2 ezes como podemos
e na igu a 27, mas pode se ajus ada po meio de hipe pa âme os.
Pa a e mina os dados passam po uma camada de no malização Laye No m e inalmen e uma
camada Linea que de ol e os alo es da es ima i a de pose, o núme o de saídas da ede po sua ez
ai a ia con o me o o ma o de saída pa a cada pon o e o núme o de senso es usados na ede, es e
ul imo ai co esponde ao núme o de senso es de en ada. Já o o ma o é no malmen e qua e nião,
onde são de ol idos um e o de 4 elemen os pa a cada pon o, mas ambém pode se de ol ido como
uma ep esen ação a 6 dimensões, onde é de ol ido e o de 6 elemen os pa a cada pon o.
Apesa das edes RNN pad ão e em em conside ação os dados de sequências empo ais, es as êm
limi ações que podem di icul a a cap u a de dependências de longo alcance em sequências. Po essa
azão, e na en a i a de ob e melho es esul ados, o am implemen ados a ian es das edes RNN.
A ede Long Sho -Te m Memo y (LSTM) é uma das a ian es da ede RNN implemen adas na
amewo k
. Es a ede e usada pa a a e as que exigem modelagem de dependências de longo p azo, is o
u iliza células de memó ia especiais e mecanismos de con ole pa a lida melho com dependências de
longo alcance, mi igando assim os p oblemas encon ados na ede RNN pad ão.
Figu a 28: As a qui e u as de ede LSTM implemen ada na
F amewo k
.
A implemen ação da ede LSTM u iliza a a qui e u a ap esen ada na igu a 28. Es a implemen ação
é semelhan e à implemen ação usada na a qui e u a RNN ap esen ada na igu a 27, onde apenas no
luga das camadas RNNcell, são u ilizadas LSTMCell.
Ou a das a ian es das edes RNN implemen ada oi a ede Ga ed Recu en Uni (GRU), es e
35
ipo de ede é semelhan e às edes Long Sho -Te m Memo y (LSTM), mas possui uma a qui e u a
simpli icada com menos po as, usando assim menos ecu sos compu acionais. Pa a a implemen ação
da ede GRU oi u ilizada a a qui e u a ap esen ada na igu a 29. Semelhan e à a qui e u a LSTM, es a
a qui e u a ambém em po base a a qui e u a ap esen ada na igu a 27, e e en e a a qui e u a RNN,
onde as camadas GRUCell subs i uem as camadas RNNcell.
Figu a 29: As a qui e u as de ede GRU implemen ada na
F amewo k
.
A ou a a qui e u a implemen ada é a Tempo al G aph Con olu ional Ne wo k (TGCN), es a
ede oi p oje ada pa a abalha com dados que podem se ep esen ados como g a os empo ais. Es es
g á icos empo ais são g á icos onde as a es as e os nós podem muda ao longo do empo, na implemen-
ação des a ede na
amewo k
os nós dos g a os ep esen am os dados ecolhidos pelo senso , enquan o
as a es as, ep esen adas po um dicioná io de pon os adjacen es, ep esen am as conexões ísicas do
co po en e os pon os onde es ão colocados os senso es.
Na implemen ação da ede Tempo al G aph Con olu ional Ne wo k (TGCN) oi u ilizada a a -
qui e u a ap esen ada na igu a 30. Es a a qui e u a ambém em po base implemen ação usada na
a qui e u a RNN ap esen ada na igu a 27, mas ao con á io das a qui e u as an e io es pa a além de
subs i ui as camadas RNNcell pelas camadas TGCNCell e de ecebe um dicioná io com os segmen os
adjacen es en e si, ambém o núme o de dados de en ada e de saída na ede são di e en es. A ede
no malmen e ecebe 13 alo es en adas, mas pode a ia pa a 10 no caso não sejam u ilizados os dados
p o enien es do magne óme o, e de ol e um qua e nião, onde são de ol idos um e o de 4 elemen os,
mas ambém pode se de ol ido como uma ep esen ação a 6 dimensões, onde é de ol ido e o de 6
elemen os.
36
Figu a 30: As a qui e u as de ede TGCN implemen ada na
F amewo k
.
Na u ilização das a qui e u as ap esen adas an e io men e oi u ilizado o algo i mo desc i o na i-
gu a 31. Es e algo i mo ecebe os dados p o enien es dos senso es (imus_mag, imus_acc, imus_gy ),
a posição inicial (q0) e o núme o de sequências de empo (T). O algo i mo inicia na sequência de empo
( ) 0 e pe co e as sequências de empo, começando po p epa a os dados pa a pe co e a ede. Nes e
passo são e i ados, caso seja o caso, os dados das ex emidades como as mãos, pés e cabeça. Ainda
nes e passo os dados dos senso es pe inen es são o ganizados pa a pe co e em a ede neu onal.
A segui os dados p epa ados no passo an e io pe co em a ede, esul ando num qua e nião com a
es ima i a de pose. Seguidamen e, a pose es imada pode passa po uma es a égia de usão de dados
p e iamen e escolhida. En e as es a égias de usão emos á ias opções, en e as quais a usão Global
onde o esul ado é a saída de ede, a es a égia de usão Complemen a e po úl imo emos a es a égia
de usão
madgwick
.
Na es a égia de usão complemen a , começamos po calcula as mudanças na pose ao longo do
empo, endo em con a as medições do gi oscópio, equação 3.1. A segui , os dados do gi oscópio são
inco po ados na es ima i a de pose, a a és da in eg ação das mudanças es imadas na pose (qdo ) ao
longo do empo d , equação 3.2. E po im, um no o qua e nião com a es ima i a de pose, é calculado
como uma combinação ponde ada do qua e nião qgy e o esul ado da ede neu onal, equação 3.3.
qdo = 0.5·q0∗p(3.1)
qgy =q0+ (qdo ·∆ )(3.2)
37

q= (1.0−sel .compl_gain)·qgy +sel .compl_gain ·y(3.3)
Já na es a égia de usão
madgwick
, começamos ambém po calcula as mudanças na o ien ação ao
longo do empo, endo em con a às medições do gi oscópio, equação 3.1. Mas, a segui , é se sub aída
a es ima i a de pose, equação 3.4. E po im, o esul ado des a sub ação é in eg ada ao longo do empo
d , equação 3.5. Ob endo-se um esul ado semelhan e à abo dagem do il o
madgwick
pa a es ima i a
de pose.
qdo =qdo −(sel .compl_gain ·y)(3.4)
q=q0+ (qdo ·d )(3.5)
Finalmen e, a es ima i a de pose é gua dado no enso de saída na sequência de empo co espon-
den e e dada como posição inicial pa a a es imação de pose na sequência de empo seguin e.
Após pe co e odas as sequências é de ol ido o enso de saída já com a es ima i a de pose pa a
odas as sequências de empo.
Pa a além do algo i mo ap esen ado an e io men e ambém o am implemen ados ou os algo i mos
de edes híb idas, que combinam edes neu onais com il os. Um des es algo i mos é o PoseFusionFil-
e RNNCo ec ion com o il o
madgwick
, onde são u ilizadas edes neu onais com a qui e u a LSTM
e a qui e u a TGCN.
O algo i mo PoseFusionFil e RNNCo ec ion, ap esen ado na igu a 32, ecebe de en ada os
dados p o enien es dos senso es (imus_mag, imus_acc, imus_gy ), a posição inicial (q0) e o núme o
de sequências de empo (T). O algo i mo inicia na sequência de empo ( ) 0 e começa po calcula o
esul ado de passa os dados dos senso es pelo il o
madgwick
. Seguidamen e p epa am-se os dados
pa a se em o necidos a ede neu onal escolhida. O esul ado ob ido po es a ede, é en ão combinado
com o esul ado do il o, donde se ob ém a es ima i a de pose.
Após o seu cálculo, a es ima i a de pose é gua dado no enso de saída na sequência de empo
co esponden e e dada como posição inicial pa a a es imação de pose na sequência de empo seguin e.
Após pe co e odas as sequências e de ol ido o enso de saída já com a es ima i a de pose pa a
odas as sequências de empo.
A ou a ede híb ida implemen ada na
amewo k
, usa o algo i mo PoseFusionMadgwickTuneRNN
com uma a qui e u a LSTM e o il o
madgwick
, mas ao con á io do algo i mo an e io a ede é usada
pa a calcula os alo es dos ajus es ao il o.
38
Figu a 31: O algo i mo de ede neu onal implemen ado na
F amewo k
.
Es e algo i mo é ap esen ado na igu a 33, a semelhança dos algo i mos an e io es em como os
dados p o enien es dos senso es (imus_mag, imus_acc, imus_gy ), a posição inicial (q0) e o núme o
de sequências de empo (T) e inicia na sequência de empo ( ) 0 e pa a cada sequência de empo o
algo i mo es ima a pose pa a a mesma.
Na es ima i a da pose, p imei amen e os dados são p epa ados pa a se em usados na ede LSTM
pa a calcula os alo es de ajus e ao il o. Após o cálculo dos alo es de ajus e do il o, os dados dos
senso es e es es alo es de ajus e do il o p e iamen e calculado passam pelo il o
madgwick
, como
esul ado ob emos a es ima i a de pose. A segui , a es ima i a de pose calculada é gua dada no enso
de saída na sequência de empo co esponden e e dada como posição inicial pa a a es imação de pose
na sequência de empo seguin e.
No im de pe co e odas as sequências, o enso de saída já com a es ima i a de pose pa a odas
as sequências de empo é de ol ido.
39
Figu a 32: O algo i mo PoseFusionFil e RNNCo ec ion implemen ada na
F amewo k
.
Figu a 33: O algo i mo PoseFusionMadgwickTuneRNN implemen ado na
F amewo k
.
3.3.4 CalibNe
A implemen ação da ede CalibNe e e po base o a igo de Li e al. [2022], e e ido na secção 2.1.
Es a ede em po obje i o calib a os dados adqui idos pelos senso es, pa a diminui o e o dos mesmos,
pa a pos e io men e pode em se u ilizados como alo es de en ada nas edes e e idas na secção 3.3.3
Como ap esen ado na igu a 34, es a ede ecebe com en ada os dados p o enien es do gi oscópio e
do acele óme o, pa a calcula o alo de ajus e do gi oscópio. A segui , es e alo é adicionado a a iação
de elocidade angula . O esul ado des as ope ações é en ão in eg ado pela a iação de empo e é ob ido
40
Figu a 34: Diag ama da es u u a da ede CalibNe , pa a calib ação dos senso es IMU (∆W ep esen a
o alo de ajus e do gi oscópio, ∆Gy a a iação da elocidade angula , ˆ
W ep esen a a soma da
a iação angula com o alo de ajus e do gi oscópio e ˆ
W _∆ ep esen a o alo da o ien ação calib ado)
o alo de o ien ação já calib ado.
Na implemen a da ede CalibNe oi usado o algo i mo ap esen ado na igu a 35. Es e algo i mo
ecebe os dados p o enien es dos senso es IMU(imus_acc, imus_gy ), as sequências de empo (T) e
é iniciado na sequência de empo, = 0 .
O algo i mo começa po calcula o alo de ajus e(newGy ) pa a cada sequência de empo, es e passo
começa po p epa a os dados dos senso es, es a p epa ação consis e na junção dos dados gi oscópio e
do acele óme o num único enso , que, a segui , é conside ado alo de en ada à ede neu onal CalibNe
que ob ém o alo de ajus e pa a aquela sequência de empo.
Após o cálculo do alo de ajus e (newGy ) pa a odas as sequências de empo, es e é adicionado
ao alo ∆W, ob ido sub ação dos alo es do gi oscópio em cada sequência de empo pelos alo es
do gi oscópio da sequência de empo an e io (imus_gy −imus_gy −1). A segui , o esul ado da
adição do alo de ajus e (newGy ) com o ∆Wé in eg ado pelo empo, ob endo-se o alo da o ien ação
calib ado.
A ede neu onal CalibNe usada pa a encon a os alo es de ajus e em cada sequência de empo
em a a qui e u a ap esen ada na igu a 36. Como pode se is o na a qui e u a ecebe como en ada
os dados do gi oscópio e do acele óme o de cada senso , onde o núme o de senso es a ia con o me o
da ase
, dado que o
da ase
E gowea u iliza 9 senso es e o
da ase
M w Awinda u iliza 17 senso es.
Es es alo es de en ada passam po 4 camada Con olu ional Neu al Ne wo k Unidimensional
(Con 1D), a segui passa po uma camada Linea e uma camada D opou , e e minam nou a camada
Linea , que de ol e os alo es de ajus e es imados.
41
Após a análise dos esul ados dos es es podemos e i ica que apesa dos modelos de edes hí-
b idas, que usam os algo i mos PoseFusionFil e RNNCo ec ion ap esen a em melho es esul ados
que os es an es modelos de edes neu onais, os esul ados des es modelos são bas an e semelhan es
aos esul ados de alguns il os. Po exemplo, no
da ase
E gowea os esul ados do algo i mo PoseFusi-
onFil e RNNCo ec ion com a qui e u a LSTM (20.682 ± 16.2º com ex emidades e 18.78 ± 11.42º
sem ex emidades) são bas an es p óximos aos do il o Madgwick sem Magne óme o (20.717 ± 20.338
com ex emidades e 17.906 ± 19.385 sem ex emidades)
Já pa a o
da ase
MTw Awinda os esul ados do algo i mo PoseFusionFil e RNNCo ec ion com
a qui e u a LSTM (7.851 ± 6.642º com ex emidades e 7.556 ± 6.952º sem ex emidades) são bas-
an es p óximos aos do il o Madgwick com Magne óme o sem ejeição de banda (7.767 ± 6.745º com
ex emidades e 7.696 ± 7.134º sem ex emidades).
Além dis o, o empo de eino des es modelos é supe io pa a os modelos mais complexos, o nando
as edes neu onais híb idas com o algo i mo PoseFusionFil e RNNCo ec ion, com empo de eino
de 14 ho as e 16 minu os, é quase duas ezes mais demo ada no eino do que as ou as edes neu onais.
A segui emos a edes neu onais com usão complemen a , com empo de eino de 8 ho as e 44 minu os,
e e minamos nas edes neu onais simples, onde o eino du a menos empo, 6 ho as. Mesmo den o
des as podemos pe cebe que as a qui e u as Tempo al G aph Con olu ional Ne wo k (TGCN), com
empo de eino de 8 ho as e 26 minu os, são mais demo adas no eino que as a qui e u as Long Sho -
Te m Memo y (LSTM), com empo de eino de 6 ho as, e es a mais demo adas que as a qui e u as
Ga ed Recu en Uni (GRU), com empo de eino de 5 ho as e 45 minu os, is o, pois as a qui e u as
TGCN em mais pa âme os pa a eina que as a qui e u as LSTM, que po sua ez em mais pa âme os
que as a qui e u as GRU .
48

4.2 Calibne combinada com modelos de es imação de pose
Pa a a es ima i a de pose a a és das edes neu onais com os dados calib ados pela ede Calibne , oi
p imei amen e einada uma ede de calib ação com os dados ela i os às sequências de calib ação e de
alidação dos
da ase s
E gowea e MTw Awinda, não usados pa a es ima i a de pose. De seguidas, es as
edes de calib ação calibne p e- einadas o am usadas pa a calib a os dados dos
da ase s
E gowea
e MTw Awinda a se em usados pelos pelas edes de es ima i a de pose.
Pa a a aliação dos esul ados ob idos com os dados calib ados com a ede calibne e compa ação
com os esul ados ob idos com a calib ação do
da ase
, oi u ilizada a ede neu onal simples com a qui-
e u a LSTM. Tendo em con a os esul ados, ap esen ados na secção 4.1, ambém oi op ado o uso dos
da ase s
sem ex emidades (hide_ends).
Pelos esul ados ob idos nes as expe iências, ap esen ados na abela 8, podemos e que os esul a-
dos na es ima i a de pose com os dados calib ados com a ede calibne são um pouco melho es do que
os esul ados ob idos na es ima i a de pose com a calib ação do
da ase
, onde os esul ados melho a am
0.1◦no
da ase
E gowea e 2◦no
da ase
MTw Awinda. Já o ac o do
da ase
E gowea ob e melho es
esul ados que o
da ase
MTw Awinda, apesa des e e dados com melho qualidade, pode de e -se a
di iculdade da ede neu onal em ex ai ca a e ís icas dos dados, como explicado na secção 4.1. Tendo
em con a es es esul ados, o uso da ede Calibne pa a calib ação dos dados é ú il nos modelos de
es ima i a de pose, o nando a implemen ação da mesma bené ica pa a a
amewo k
.
da ase Calibne
Expe iencia Va ian e E gowea hide_e nds QADº MTw Awinda hide_ends QADº E gowea hide_ends QADº MTw Awinda hide_ends QADº
RN LSTM 22.457 ± 14.614 24.502 ± 20.967 22.373 ± 14.952 22.9 ± 19.803
Tabela 8: Compa ação dos esul ados ob idos pelos Mé odos de edes neu onais(RN) de es ima i a de
pose implemen ados, pa a os
da ase s
E gowea e MTw Awinda sem ex emidades (hide_ends), com a
calib ação dos
da ase s
e com a calib ação da ede calibne , a a és da unção de e o Qua e nion
Angle Di e ence (QAD) em g aus.
49
Capí ulo 5
Conclusões e abalho u u o
Pa a alcança o obje i o de desen ol e um modelo de es ima i a de pose usando
Deep Lea ning
, baseado
em dados ine ciais, o am implemen ados e es ados á ios algo i mos de edes neu onais. Pa a o es udo
des es algo i mos o am u ilizados dois
da ase s
o E gowea e o MTw Awinda.
A e isão da li e a u a dos mé odos de es ima i a de pose com o uso de edes neu onais, pe mi iu
in e i quais algo i mos que pode iam ob e melho es esul ados na es ima i a de pose, bem como ap e-
sen ou alguns mé odos de calib ação, cujo obje i o é diminui o e o de calib ação exis en e nos
da ase s
usados.
Tendo em conside ação, os mé odos ap esen ados na li e a u a o am implemen ados á ios algo i -
mos de edes neu onais, en e os quais emos os algo i mos de edes neu onais sem il os, os algo i mos
de edes neu onais com il os complemen a es, e os algo i mos de edes neu onais híb idas. Pa a cada al-
go i mo o am explo ados á ias a qui e u as, dos quais emos as Recu en Neu al Ne wo k (RNN),
as Ga ed Recu en Uni (GRU), as Long Sho -Te m Memo y (LSTM) e as Tempo al G aph
Con olu ional Ne wo k (TGCN). Pa a en ende qual o impac o na es ima i a de pose, oi ambém
explo ada a exclusão das ex emidades, como as mãos, pés e cabeça e a u ilização de edes neu onais
na calib ação dos dados dos senso es.
A a és dos es es conduzidos a es es algo i mos oi possí el pe cebe que os mé odos de edes
neu onais híb idas, com a a qui e u a LSTM, ob i e am melho es esul ados que os ou os algo i mos
implemen ados. Nes es es es ambém é isí el que a u ilização dos dados
da ase s
sem ex emidades
pa a a es imação de pose ap esen a melho es esul ados do que com o uso de ex emidades, es es
esul ados podem se explicados pelo ac o dos dados des as ex emidades ap esen a em maio a iação
de alo es que os es an es dos pon os cole ados pelos senso es. Po im, ainda é possí el cons a a que
a u ilização dos dados calib ados pela Calibne na es ima i a de pose ap esen a esul ados le emen e
supe io es aos esul ados ob idos com a calib ação dos
da ase s
.
Apesa dos modelos de es ima i a de pose usando
Deep Lea ning
, ap esen a em esul ados p omisso-
50
es, os melho es esul ados ob idos po es es modelos são bas an e semelhan es aos melho es esul ados
ob idos pelos il os, o il o Madgwick sem Magne óme o pa a o
da ase
o E gowea e o Madgwick com
Magne óme o pa a o
da ase
o MTw Awinda.
O abalho desen ol ido ao longo des a disse ação pe mi e esponde às ques ões de in es iga-
ção (QI):
•Ques ão 1: A u ilização de uma ede neu onal pa a calib a os senso es melho a os
esul ados ob idos? Com base nos esul ados expos os na secção 4.2, é possí el obse a
que a u ilização da ede Calibne p opo ciona esul ados ligei amen e supe io es aos ob idos na
calib ação do
da ase
, pa a a es ima i a de pose.
•Ques ão 2: As edes híb idas que combinam il os com ede neu onais ob ém melho-
es esul ados do que apenas edes neu onais? Os esul ados mos am que a desempenho
das edes híb idas é supe io . Os es es ambém mos am que a melho ia dos esul ados ob idos
é maio no
da ase
MTw Awinda, onde es e alcança e os p óximos de 8◦, já o
da ase
E gowea
alcança e os pe o dos 21◦.
•Ques ão 3: A u ilização dos dados das ex emidades do co po, como as mãos, os pés
e a cabeça, in luencia o esul ado? Pelos es es ap esen ados na secção 4.1, é possí el
e i ica -se que a não u ilização das ex emidades pe mi e uma melho ia de a é 4◦nos esul ados
das edes neu onais.
5.1 Pe spe i a de abalho u u o
Ao longo do desen ol imen o des a disse ação o am de e adas á ias melho ias a se em explo adas.
En e as melho ias possí eis es á a implemen ação de mais mé odos de es ima i a de pose, en e as
quais as LSTM bidi ecional (bi-LSTM) e LSTM Kalman Fil e (LSTM-KF) ap esen adas du an e a
e isão do es ado da a e na secção 2.
Ou a das melho ias possí el é a melho ia dos mé odos de calib ação, onde pode se es ada o uso
de di e en es unções de e o no eino da ede e o uso de ou as edes de calib ação de senso es.
51
Bibliog a ia
S ephen Be an. Economic impac o musculoskele al diso de s (msds) on wo k in eu ope.
Bes
P ac ice Resea ch Clinical Rheuma ology
, 29(3):356–373, 2015. ISSN 1521-6942. doi: h ps:
//doi.o g/10.1016/j.be h.2015.08.002. URL h ps://www.sciencedi ec .com/science/
a icle/pii/S1521694215000947. Occupa ion and Musculoskele al Diso de s.
Huseyin Coskun, Felix Achilles, Robe DiPie o, Nassi Na ab, and Fede ico Tomba i. Long sho - e m
memo y kalman il e s: Recu en neu al es ima o s o pose egula iza ion. In
2017 IEEE In e na ional
Con e ence on Compu e Vision (ICCV)
, pages 5525–5533, Oc 2017. doi: 10.1109/ICCV.2017.589.
Shi ine El Zaa a i, Mohamed Ma ei, Weidong Li, and Zahid Usman. Cobo p og amming o collabo a i e
indus ial asks: An o e iew.
Robo ics and Au onomous Sys ems
, 116:162–180, 2019. ISSN 0921-
8890. doi: h ps://doi.o g/10.1016/j. obo .2019.03.003. URL h ps://www.sciencedi ec .
com/science/a icle/pii/S092188901830602X.
Ja ie González-Alonso, Da id O iedo-Pas o , Héc o J. Aguado, F ancisco J. Díaz-Pe nas, Da id González-
O ega, and Ma io Ma ínez-Za zuela. Cus om imu-based wea able sys em o obus 2.4 ghz wi eless
human body pa s o ien a ion acking and 3d mo emen isualiza ion on an a a a .
Senso s
, 21(19),
2021. ISSN 1424-8220. doi: 10.3390/s21196642. URL h ps://www.mdpi.com/1424-8220/
21/19/6642.
Vincen He nandez, Da ood Dadkhah, Vahid Babakeshizadeh, and Dana Kulić. Lowe body kinema ics
es ima ion om wea able senso s o walking and unning: A deep lea ning app oach.
Gai Pos u e
,
83:185–193, 2021. ISSN 0966-6362. doi: h ps://doi.o g/10.1016/j.gai pos .2020.10.026. URL
h ps://www.sciencedi ec .com/science/a icle/pii/S0966636220306068.
Yinghao Huang, Manuel Kau mann, Em e Aksan, Michael J. Black, O ma Hilliges, and Ge a d Pons-Moll.
Deep ine ial pose : Lea ning o econs uc human pose om spa se ine ial measu emen s in eal
ime.
ACM T ans. G aph.
, 37(6), dec 2018. ISSN 0730-0301. doi: 10.1145/3272127.3275108. URL
h ps://doi.o g/10.1145/3272127.3275108.
52
Se ena I aldi, La s F i zsche, Jan Babič, F eek S ulp, Michael Damsgaa d, Be nha d G aimann, Gio anni
Bellusci, and F ancesco No i. An icipa o y models o human mo emen s and dynamics: he oadmap
o he AnDy p ojec . In
Digi al Human Models (DHM)
, Bonn, Ge many, June 2017. URL h ps:
//hal.science/hal-01539731.
Guangyi Li, Tao Liu, Jingang Yi, Hesheng Wang, Juan Li, and Yoshio Inoue. The lowe limbs kinema ics
analysis by wea able senso shoes.
IEEE Senso s Jou nal
, 16(8):2627–2638, Ap il 2016. ISSN 1558-
1748. doi: 10.1109/JSEN.2016.2515101.
Ruihao Li , Chunlian Fu, Wei Yi , and Xiaodong Yi . Calib-ne : Calib a ing he low-cos imu ia deep
con olu ional neu al ne wo k.
F on ie s in Robo ics and AI
, 8, 2022. ISSN 2296-9144. doi:
10.3389/ ob .2021.772583. URL h ps://www. on ie sin.o g/a icles/10.3389/
ob .2021.772583.
Eloise Ma heson, Ricca do Min o, Emanuele G. G. Zampie i, Mau izio Faccio, and Giulio Rosa i. Human–
obo collabo a ion in manu ac u ing applica ions: A e iew.
Robo ics
, 8(4), 2019. ISSN 2218-6581.
doi: 10.3390/ obo ics8040100. URL h ps://www.mdpi.com/2218-6581/8/4/100.
Robe o Noguei a, João Reis, Rui Pin o, and Gil Gonçal es. Sel -adap i e cobo s in cybe -physical p o-
duc ion sys ems. In
2019 24 h IEEE In e na ional Con e ence on Eme ging Technologies and Fac o y
Au oma ion (ETFA)
, pages 521–528, Sep. 2019. doi: 10.1109/ETFA.2019.8869165.
Léonie Pache , Ch is ian Cha ellie , Rodolphe Vauzelle, and Lae i ia F ade . Senso - o-segmen calib a ion
me hodologies o lowe -body kinema ic analysis wi h ine ial senso s: A sys ema ic e iew.
Senso s
,
20(11), 2020. ISSN 1424-8220. doi: 10.3390/s20113322. URL h ps://www.mdpi.com/
1424-8220/20/11/3322.
Manuel Pale mo, Sa a M. Ce quei a, João And é, An ónio Pe ei a, and C is ina P. San os. F om aw
measu emen s o human pose - a da ase wi h low-cos and high-end ine ial-magne ic senso da a.
Scien i ic Da a
, 9(1):591, Sep 2022. ISSN 2052-4463. doi: 10.1038/s41597-022-01690-y. URL
h ps://doi.o g/10.1038/s41597-022-01690-y.
Luka Pe e nel, Cheng Fang, Nikos Tsaga akis, and A ash Ajoudani. A selec i e muscle a igue managemen
app oach o e gonomic human- obo co-manipula ion.
Robo ics and Compu e -In eg a ed Manu ac u-
ing
, 58:69–79, 2019. ISSN 0736-5845. doi: h ps://doi.o g/10.1016/j. cim.2019.01.013. URL
h ps://www.sciencedi ec .com/science/a icle/pii/S0736584518303132.
53

E ic Rapp, Soyong Shin, Wol Thomsen, Reed Fe be , and Eni Halilaj. Es ima ion o kinema ics om ine ial
measu emen uni s using a combined deep lea ning and op imiza ion amewo k.
Jou nal o Biomecha-
nics
, 116:110229, 2021. ISSN 0021-9290. doi: h ps://doi.o g/10.1016/j.jbiomech.2021.110229.
URL h ps://www.sciencedi ec .com/science/a icle/pii/S0021929021000099.
Alicia Roux, Sébas ien Changey, Jona han Webe , and Jean-Philippe Lau enbu ge . Cnn-based in-
a ian ex ended kalman il e o p ojec ile ajec o y es ima ion using imu only. In
2021 In e -
na ional Con e ence on Con ol, Au oma ion and Diagnosis (ICCAD)
, pages 1–6, No 2021. doi:
10.1109/ICCAD52417.2021.9638770.
Lina Tong, Rongkai Liu, and Liang Peng. Ls m-based lowe limbs mo ion econs uc ion using low-
dimensional inpu o ine ial mo ion cap u e sys em.
IEEE Senso s Jou nal
, 20(7):3667–3677, Ap il
2020. ISSN 1558-1748. doi: 10.1109/JSEN.2019.2959639.
Daniel Webe , Clemens Gühmann, and Thomas Seel. Neu al ne wo ks e sus con en ional il e s o
ine ial-senso -based a i ude es ima ion. In
2020 IEEE 23 d In e na ional Con e ence on In o ma ion
Fusion (FUSION)
, pages 1–8, July 2020. doi: 10.23919/FUSION45008.2020.9190634.
F ank J. Wouda, Ma eo Giube i, Nina Rudigkei , Be -Jan F. an Beijnum, Mannes Poel, and Pe e H.
Vel ink. Time cohe en ull-body poses es ima ed using only i e ine ial senso s: Deep e sus shallow
lea ning.
Senso s
, 19(17), 2019. ISSN 1424-8220. doi: 10.3390/s19173716. URL h ps://www.
mdpi.com/1424-8220/19/17/3716.
Xinyu Yi, Yuxiao Zhou, and Feng Xu. T anspose: Real- ime 3d human ansla ion and pose es ima ion wi h
six ine ial senso s.
ACM T ans. G aph.
, 40(4), jul 2021. ISSN 0730-0301. doi: 10.1145/3450626.
3459786. URL h ps://doi.o g/10.1145/3450626.3459786.
54