Facul a d’In o m`
a ica de Ba celona,
Uni e si a Poli `
ecnica de Ca alunya
P ojec e inal de g au
Recons ucci´o 3D a pa i de
m´ul iples is es
Au o : Ca les En ique Ma in
Da a de de ensa: 26/06/2014
Di ec o : Joan A anda L´opez
Depa amen : ESAII. Enginye ia de Sis emes, Au om`a ica i
In o m`a ica Indus ial
Ti ulaci´o: G au en Enginye ia In o m`a ica
Especiali a : Compu aci´o
´
Index
1 Resum ....................................... 4
1.1 Resumenca al`a ............................... 4
1.2 Resumenencas ellano ............................ 5
1.3 Summa yinenglish.............................. 6
2 In oducci´o .................................... 7
2.1 Con ex .................................... 7
2.2 In oducci´o a l’es a de l’a . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.3 In oducci´o al p ojec e . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3 Ac o s del p ojec e ............................... 9
3.1 Desen olupado del p ojec e . . . . . . . . . . . . . . . . . . . . . . . . . 9
3.2 Di ec o delp ojec e ............................. 9
3.3 Usua isdelp ojec e.............................. 9
3.4 Visi´o pe compu ado i al es `a ees d’es udi . . . . . . . . . . . . . . . . 10
4 Es a de l’a ................................... 11
4.1 Visi´ope compu ado ............................. 11
4.2 Recons ucci´o3D............................... 11
4.3 Ima gesdep o undi a ............................ 12
4.4 T`ecniques de econs ucci´o a pa i de di e ses ima ges de p o undi a . . 12
4.5 T`ecniques de econs ucci´o u ili zan el coneixemen de l’escena . . . . . 13
4.6 Recons ucci´o a la ob`o ica . . . . . . . . . . . . . . . . . . . . . . . . . . 14
5 Objec ius ...................................... 15
5.1 Objec iusdelp ojec e ............................ 15
5.2 Mo i aci´o i jus i icaci´o . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
6 Plani icaci´o empo al .............................. 18
6.1 Du aci´odelp ojec e ............................. 18
6.2 Plani icaci´o i iabili a . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
6.3 An`alisis i disseny del p ojec e . . . . . . . . . . . . . . . . . . . . . . . . 18
6.4 Me odologiade eball ............................ 19
6.5 Fase inal ................................... 20
1
6.6 M`oduls inicials del p ojec e . . . . . . . . . . . . . . . . . . . . . . . . . 20
6.7 Temps espe a de eball . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
6.8 Diag ama de Gan inical . . . . . . . . . . . . . . . . . . . . . . . . . . 22
6.9 Obs acles ................................... 23
6.10Plad’acci´o................................... 23
6.11Recu sos.................................... 24
7 Disseny ....................................... 25
7.1 Plan ejamen del p oblema . . . . . . . . . . . . . . . . . . . . . . . . . . 25
7.2 La c`ame a de p o undi a . . . . . . . . . . . . . . . . . . . . . . . . . . 26
7.3 Decisions sob e el p oblema . . . . . . . . . . . . . . . . . . . . . . . . . 26
7.4 Pipelinedel’execuci´o............................. 28
7.4.1 Ex acci´o d’in o maci´o i sua i za de la aula . . . . . . . . . . . . 29
7.4.2 T ans o maci´o a n´u ol i manipulaci´o del ma eix . . . . . . . . . . 31
8 Implemen aci´o .................................. 33
8.1 Pla a o ma de desen olupamen . . . . . . . . . . . . . . . . . . . . . . . 33
8.2 Ex acci´o dels pun s de les aules . . . . . . . . . . . . . . . . . . . . . . 33
8.2.1 Fil a ge dels pun s de la aula . . . . . . . . . . . . . . . . . . . 34
8.2.2 C`alcul de la dis `ancia ins a la aula . . . . . . . . . . . . . . . . . 35
8.3 C`alcul de la dis `ancia ins al e a . . . . . . . . . . . . . . . . . . . . . . 35
8.4 C`alcul de la coo denada xdelmu d e ................... 36
8.5 Sua i za de la aula i co ecci´o de les posicions dels objec es . . . . . . . 36
8.6 T ans o maci´o de les ima ges a n´u ols de pun s . . . . . . . . . . . . . . 37
8.6.1 Tex u i zaci´o ............................. 39
8.6.2 Segmen aci´o de l’escena . . . . . . . . . . . . . . . . . . . . . . . 39
8.7 Clus e ing d’objec es . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
8.7.1 Kd- ees................................ 42
8.7.2 Clus e ing amb dis `ancia euclidi`a . . . . . . . . . . . . . . . . . . 42
8.7.3 Eliminaci´o de plans . . . . . . . . . . . . . . . . . . . . . . . . . . 43
8.7.4 Random Sample Consensus (RANSAC) .............. 44
8.8 Ac uali zaci´o de l’escena . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
8.9 Pas de l’escena a Oc omap .......................... 45
9 Resul a s ...................................... 46
2
9.1 Resul a s de la econs ucci´o . . . . . . . . . . . . . . . . . . . . . . . . . 46
9.2 Resul a s del clus e ing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
9.3 Tempsd’execuci´o............................... 48
10 An`alisi de cos os ................................. 49
10.1Conside acions ................................ 49
10.2 P essupos en ecu sos humans . . . . . . . . . . . . . . . . . . . . . . . 49
10.3 P essupos en llic`encies de so wa e . . . . . . . . . . . . . . . . . . . . . 49
10.4 P essupos en ecu sos ha dwa e . . . . . . . . . . . . . . . . . . . . . . . 50
10.5P essupos o al................................ 51
10.6 Viabili a del p ojec e . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
10.7Impac esocial................................. 51
10.8 Impac e mediambien al . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
11 Conclusions .................................... 53
12 Fu u es l´ınies de eball ............................ 55
12.1 Classi icaci´o d’objec es . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
12.2 Ac uali zaci´o amb Nex Bes View ...................... 55
12.3 In eg aci´o de m´ul iples c`ame es . . . . . . . . . . . . . . . . . . . . . . . 56
12.4 Pa aleli zaci´o del pipeline i op imi zacions . . . . . . . . . . . . . . . . . 56
13 Bibliog a ia .................................... 58
3
1 Resum
1.1 Resum en ca al`a
Aques documen ´es la mem`o ia del p ojec e desen olupa com a T eball de i de G au
a la Uni e si a Poli `ecnica de Ca alunya. Du an el documen s’exposa `a el p oblema,
com es a plan eja i com s’ha dissenya i implemen a la soluci´o a aques p oblema. El
p ojec e es i ula Recons ucci´o 3D ac i a a pa i de m´ul iples is es i el seu objec iu
p incipal ´es, com indica el ´ı ol, la implemen aci´o d’un sis ema capa¸c de econs ui
model idimensional d’una escena a pa i de m´ul iples cap u es e es amb c`ame es de
p o undi a .
La in o maci´o b`asica de l’escena a econs ui ´es que aques a es `a cen ada en una
aula amb di e en s objec es al damun i que a l’escena hi ac ua `a un obo que po
mou e els objec es. Aques obo u ili za `a la in o maci´o que li apo i la implemen aci´o
d’aques p ojec e com a guia pe a plani ica els seus mo imen s o accions sob e l’escena i
pe aix`o ma eix el p ojec e amb´e s’enca ega de sepa a cada un dels objec es de l’escena
de o ma que el obo pugui eballa amb ells de o ma consis en . A m´es, pe assegu a
el co ec e compo amen del obo a l’escena amb´e s’ha eballa en l’ac uali zaci´o del
model idimensional en cas de eni no es cap u es de l’escena. Tamb´e s’implemen en
al es uncionali a s amb l’objec iu de millo a la quali a de la econs ucci´o, com el
ac amen dels e o s de la econs ucci´o, o amb l’objec iu d’a egi in o maci´o addicional
al model com pe exemple la ex u i zaci´o de l’escena.
4

1.2 Resumen en cas ellano
Es e documen o es la memo ia del p oyec o desa ollado como T abajo de inal de G ado
en la Uni e si a Poli `ecnica de Ca alunya. A lo la go del documen e se explica ´a cu´al es
el p oblema a a a , como se plan ea y como se ha dise˜nado e implemen ado la soluci´on
a al p oblema. El ´ı ulo del p oyec o es Recons ucci´on 3D a pa i de m´ul iples is es y
su obje i o p incipal es, como indica el su ´ı ulo, la implemen aci´on de un sis ema capaz
de econs ui un modelo idimensional de una escena a pa i de m´ul iples cap u as
hechas con c´ama as de p o undidad.
La in o maci´on b´asica de la escena que se debe econs ui es que es ´a cen ada en
una mesa con obje os encima y que en es a escena ac ua ´a un obo capaz de mo e
es os obje os. Es e obo u iliza ´a la in o maci´on que le apo e la implemen aci´on de
es e p oyec o como gu´ıa pa a plani ica sus mo imien os y acciones en la escena y po
es o mismo es e abajo ambi´en debe sepa a cada uno de los obje os de la escena de
o ma que el obo pueda abaja con ellos de o ma consis en e. Adem´as pa a asegu a el
co ec o compo amien o del obo en la escena ambi´en se ha abajo en la ac ualizaci´on
de es e modelo en caso de ob ene nue as cap u as. Tambi´en se han implemen ado
o as uncionalidades con el obje i o de mejo a la calidad de la econs ucci´on, como el
a amien o de e o es en la econs ucci´on, o con el obje i o de a˜nadi in o maci´on al
modelo como po ejemplo la ex u iza ´ıan la escena.
5
1.3 Summa y in english
This documen is he memo y o he p ojec de eloped as a Final G ade P ojec in he
Uni e si a Poli `ecnica de Ca alunya. Ac oss his documen we will explain he main
p oblem o sol e, how i was se ou and how i ’s designed and implemen ed. The
p ojec ’s i le is 3D Recons uc ion o a scene using mul iple images and i s main goal
is, as he i le says, he implemen a ion o a sys em able o econs uc a idimensional
model o a scene using mul iple image aken wi h a dep h came a.
The basic in o ma ion o he scene o econs uc is ha his scene is cen e ed on a
able wi h di e en objec s on i and ha he e will be a obo on his scene ha is
able o mo e he objec s. This obo will use he in o ma ion p o ided by his p ojec
o plan i s mo emen s and ac ions in he scene, and ha ’s why he p ojec also has o
be able o clus e all he objec s in he able. Mo eo e , o assu e a co ec beha io
o he obo in he scene we’ e also cen e ed ou ocus o wo k in he upda ing o he
idimensional model in case o ob aining new dep h da a. We also implemen o he
ea u es e ol ing a ound he main objec i e o imp o ing he econs uc ions’ quali y,
like he econs uc ion e o co ec ion, o ea u es ha aim o gi e he model addi ional
in o ma ion like he scene ex u izing me hod.
6
2 In oducci´o
2.1 Con ex
Aques p ojec e ´es un T eball de inal de G au a la Facul a d’In o m`a ica de Ba celona,
l’objec iu ´es desen olupa un eball sob e l’`a ea de compu aci´o du an un quad imes e
pe a demos a els coneixemen s adqui i s du an el g au.
2.2 In oducci´o a l’es a de l’a
Una de les `a ees claus que es eballa en aques p ojec e ´es la isi´o pe compu a , `a ea que
ecull un segui de `ecniques i m`e odes pe ex eu e in o maci´o d’ima ges. Tamb´e ´es clau
en aques p ojec e l’es udi i ac amen de n´u ols de pun s en un espai idimensional.
U ili zan els coneixemen s sob e aques es `a ees en cons ui `a un econs uc o 3D,
un so wa e capa¸c de gene a un model i ual de la eali a a pa i d’in o maci´o ex e a
u ili zan di e en s disposi ius. Aques s p og ames han sigu mol u ili za s en medicina
i al es camps, pe `o pe aques p ojec e ens cen a em en les `ecniques que gene en els
models a pa i d’ima ges de p o undi a .
2.3 In oducci´o al p ojec e
Inicialmen aques p ojec e ´e com a objec iu assis i a un p ojec e ja comen¸ca que
in en a desen olupa un sis ema amb un obo g ua capa¸c de mou e objec es en una
escena i assis i un usua i, en conc e , l’escena del obo semp e se `a una aula (de
cuina, de eball, e c) amb di e en s objec es al ol an . Pe aix`o el p ojec e es basa
en el desen olupamen d’un so wa e capa¸c de econs ui de o ma ac i a un model
idimensional d’una escena eal a pa i de m´ul iples ima ges de p o undi a que ens
p opo ciona el ma eix obo du an el seu mo imen .
7
1
El model esul an del nos e p ojec e ha de e possible que el obo coneixi l’escena
i econegui els can is en l’escena en emps eal. Pe `o pe a que el obo pugui eballa
sense p oblemes amb el model que o e eix el nos e p og ama s’han de co egi el e o s
que p odueix la econs ucci´o i a la egada man eni el empos d’execuci´o su icien men
baix pe a que el obo ac u¨ı de o ma consis en amb l’escena.
1Exemples de l’escena del obo
8
5 Objec ius
5.1 Objec ius del p ojec e
L’objec iu d’aques p ojec e ´es el disseny i implemen aci´o d’un so wa e que sigui capa¸c
d’assis i a un obo col.loca al sos e i a sob e d’una aula. Aques obo ac ua `a de
g ua i ind `a la unci´o de mou e els objec es d’una posici´o a un al e de la aula. El
obo o el sis ema de plani icaci´o pe guia -lo no o men pa d’aques p ojec e pe `o si
s´on mo i aci´o pe aques , doncs el obo u ili za `a el model idimensional c ea pe el
p og ama pe econ`eixe les posicions i dimensions dels objec es i se capa¸c de mou e’ls
pe la aula, ecolli -los o deixa -los sense cap p oblema.
Pe an un dels objec ius p incipals ´es la implemen aci´o de la econs ucci´o idimen-
sional de l’escena a pa i de les di e en s ima ges de p o undi a que ens p opo cioni la
c`ame a que a jun amb al obo du an els seus mo imen s. Pe an la econs ucci´o
es `a cen ada en la aula i en els objec es del ol an d’aques a.
A pa de econs ui l’escena, un dels objec ius claus del p oc´es de econs ucci´o ´es
ac a l’escena de o ma que quedi lo m´es polida possible. Doncs si l’escena no passa
pe un ce il a ge el model esul an ´e mol so oll i aix`o po p o oca que les accions
del obo no siguin consis en s amb l’escena eal, doncs po in e p e a que algunes
zones es an ocupades quan no ho s´on o que els objec es s´on a posicions inco ec es. Pe
aix`o g an pa del p ojec e es `a cen a en aconsegui edui el so oll i els e o s que es
p odueixen du an la econs ucci´o.
A m´es a m´es, el p og ama amb´e ´es esponsable de segmen a l’escena en di e en s
pa s doncs si el obo no pogu´es dis ingi en e els objec es de l’escena se ia mol m´es
di ´ıcil plan eja les in e accions d’aques amb l’escena. Pe a que el obo eballi co -
ec amen ha de se capa¸c de dis ingi cada un dels objec es de l’escena i con`eixe el seu
amany i posici´o, amb´e po se ´u il econ`eixe on ´es i com es la aula.
Com el so wa e ´e com a objec iu p incipal assis i a aques ipus de obo s ha de
se capa¸c de eballa en emps eals, pode econ`eixe can is sob e la disposici´o de la
aula a l’ins an i eacciona a emps, de o ma que amb´e ha de se capa¸c d’ac uali za
la econs ucci´o quan ebi no es ima ges. Pe an el p og ama ha de busca l’equilib i
en e la quali a de la econs ucci´o i el emps d’execuci´o. Si el obo no s’ac uali z´es o
15

no ho es en un emps accep able el uncionamen del sis ema es eu ia comp om`es.
En conclusi´o, podem de ini els seg¨uen s objec ius p incipals d’aques p ojec e:
•Recons ucci´o de l’escena a pa i de les ima ges.
•Fil a ge de l’escena pe elimina el so oll i els e o s.
•Segmen aci´o dels objec es de l’escena.
•Co ec e ac uali zaci´o quan es eben no es ima ges.
A m´es amb´e enim un al e segui d’objec ius menys p io i a is que aques s pe `o que
poden se d’´us pe al p ojec e com la ex u i zaci´o de l’escena o la con e si´o del n´u ol
esul an a Oc oMap.
5.2 Mo i aci´o i jus i icaci´o
Com s’ha explica als objec ius la mo i aci´o d’aques p ojec e e donada pe la necessi a
del obo menciona de econ`eixe el mon eal i pode in e ac ua sa is ac `o iamen amb
aques . Pe an es l`ogic in en a jus i ica amb´e el pe qu`e d’aques obo .
Ja s’ha explica que la uncionali a p im`a ia del obo es mou e un objec e d’una pa
a un al e d’una aula, pe `o quines aplicacions po eni aques a ecnologia? B´e, un cop
el sis ema del qual aques p ojec e o ma pa sigui uncional, el obo pod ia mou e un
objec e so a demanda d’un usua i a a ´es d’una in e ´ıcie o decidi -ho pe si ma eix.
En el cas que el obo es comuniqu´es amb l’usua i a pa i d’una in e ´ıcie una pan-
alla `ac il posada es a `egicamen a la aula pod ia se i , pe `o amb´e pod ´ıem pa la
de p ojeccions sob e la aula pe c ea un e ec e de eali a augmen ada i in e accio-
na u ili zan les p ojeccions. Pe `o una pa mol in e essan po se l’aplicaci´o d’un
so wa e d’in el.lig`encia a i icial a aques obo , unes de les aplicacions d’exemple se ien:
econ`eixe l’ac i i a de l’usua i a la aula i assis i -lo (po a -li les eines sense que les
demani) o econ`eixe cada objec e a la aula i posa -lo au om`a icamen al seu lloc.
Aques sis ema es eu enca a m´es mo i a si mi em les aplicacions que po eni
ajudan a una pe sona amb mobili a edu¨ıda du an el dia a dia de o ma que el obo
minimi zi el es o ¸c que ha de e aques a pe sona pe eali za una asca com cuina .
16
Pe an , pe el co ec e uncionamen de les aplicacions del sis ema ´es necessa i desen-
olupa un so wa e com el que ´e com a objec iu aques p ojec e, ja que si no po eu e
la aula mol es de les aplicacions es euen us ades.
17
6 Plani icaci´o empo al
6.1 Du aci´o del p ojec e
La du aci´o del p ojec e ha de se d’un quad imes e lec iu. Es a inicia el p ojec e al 17
de Feb e de 2014 i s’ha d’acaba pe al lliu amen de la mem`o ia i la de ensa o al a l’1
de juliol de 2014.
6.2 Plani icaci´o i iabili a
La ase que es po a a e me du an el GEP i que implica un es udi a ons dels p ojec e a
a ´es dels di e en s documen s a desen olupa du an aques cu s. L’objec iu d’aques a
e apa ´es encamina el p ojec e co ec amen i e i a -ne el ac`as. Podem de ini les
sube apes d’aques a ase amb la eali zaci´o dels documen s necessa is:
•Abas del p ojec e: objec ius, ins a on a iba `a el p ojec e...
•Plani icaci´o empo al: me odologia, emps espe a , pla d’acci´o..
•P essupos : an`alisi dels cos os econ`omics
•P esen aci´o p elimina
•Con ex uali zaci´o i bibliog a ia: con ex de les `a ees d’es udi
•Plec de condicions
•Documen inal i p esen aci´o
6.3 An`alisis i disseny del p ojec e
´
Es l’e apa on es plan eja i anali za com abo da el p oblema, un com decidi s els objec ius
i es udia el con ex en el que es eballa s’han d’es udia les o mes d’a aca el p oblema,
´es una e apa clau en el p ojec e, doncs un mal an`alisi inicial de les possibles solucions
po s p o oca g eus enda e imen s en el p ojec e.
18
En quan a l’a qui ec u a del so wa e a desen olupa , dona que el p ojec e no es a
en oca a desen olupa una g an sis ema so wa e i busca desen olupa una uncionali a
p incipal (la econs ucci´o de la escena) l’e apa de disseny del so wa e no se `a an in-
ensi a com en un p ojec e d’Enginye ia del So wa e. To i aix`o, sense un disseny inicial
dels di e en s m`oduls del p og ama a desen olupa es poden c ea incong u`encies o e o s
que en ede eixin els emps planeja s. Pe e i a aix`o s’ha d’es uc u a el p ojec e de
o ma que segueixi una es uc u a m´ınima.
6.4 Me odologia de eball
El p ojec e ha segui un m`e ode de desen olupamen inc emen al. En aques ipus de
desen olupamen es comen¸ca pe desen olupa les uncionali a s mes i als del p og ama
seguin el ´ıpic cicle de ida del so wa e i un cop alidada aques a es o na a epe i
aques cicle a egin la seg¨uen uncionali a al p og ama. D’aques a o ma les e apes
de plan ejamen , an`alisis i disseny s´on e isades cons an men du an la eali zaci´o del
p ojec e pe assegu a -ne la obus esa. Aix´ı cada “i e aci´o” d’aques cicle ´e ind `a les
seg¨uen s e apes:
1. Plan ejamen de la uncionali a a desen olupa : es plan eja quin ´es l’objec iu d’a-
ques a i e aci´o i es p epa `a l’en o n de eball i el so wa e pe a a egi aques m`odul.
2. An`alisis i disseny: es e isa l’an`alisi i el disseny inicial pe eu e si hi ha alguna alla
o algun aspec e a millo a que no es eia cla inicialmen .
3. Implemen aci´o: es codi ica la uncionali a di ec amen sob e el codi de l’an e io
m`odul.
4. Validaci´o: es depu a el uncionamen d’aques a uncionali a i s’assegu a el seu co -
ec e uncionamen .
Tamb´e s’han man ingu di e en s eunions amb el di ec o del p ojec e, sob e o pe a
discu i el plan ejamen del p og ama i les solucions als p oblemes que han so gi .
19
6.5 Fase inal
En aques a ase s’ha de desen olupa la guia d’´us del p ojec e aix´ı com la mem`o ia
d’aques i la p epa aci´o pe la de ensa o al d’aques .
6.6 M`oduls inicials del p ojec e
Inicialmen els m`oduls del p ojec e es an decidi du an l’e apa de GEP i pe aix`o s’han
ana modi ican du an el anscu s del p ojec e, els m`oduls inicials e en els seg¨uen s:
•Recons ucci´o d’un model en 3D a pa i de les ima ges.
•U ili zaci´o de la c`ame a ac i a pe millo a el model.
•C eaci´o d’un m`odul capa¸c de poli e o s en la usi´o de les ima ges.
•Di e enciaci´o en e els objec es i la aula.
•M`odul de classi icaci´o dels di e en s objec es sob e la aula.
Els can is m´es impo an s s´on po se l’eliminaci´o del m`odul de classi icaci´o d’objec es
i de con ol de la c`ame a ac i a en con a de l’en ada de dous nous m`oduls, un pe
ac uali za l’escena segons en en ima ges i un al e pe ex u i za l’escena. A m´es a
m´es, amb´e ha a ia la impo anci`a i o d e de cada un d’aques s m`oduls. El m`odul de
di e enciaci´o de la aula ha sigu el p ime en se desen olupa doncs la es a de m`oduls
depenien de sabe on e a la aula pe al seu uncionamen . La co eci´o d’e o s en la
econs ucci´o amb´e ha guanya impo `ancia, doncs l’e o de la econs ucci´o inicial e a
m´es g an del que s’espe aba i la co ecci´o d’aques s a ana guanyan impo `ancia.
6.7 Temps espe a de eball
Inicialmen el emps espe a de eball es a calcula du an l’e apa de GEP i pe a
eali za els m`oduls incials de la seg¨uen mane a:
20

E apa Temps Es ima (ho es)
Plani icaci´o o iabili a 50
An`alisi i disseny 30
M`odul de econs ucci´o 107
U ili zaci´o c`ame a ac i a 47
M`odul pe e inamen del m`odel 39
Di e enciaci´o de la aula 95
Classi iaci´o d’objec es 75
Fase inal 45
To al 488
E iden men , la aula no ha sigu seguida al cen pe cen , o es les pa s que no s´on de
desen olupamen de m`oduls enen emps ap oximadamen co ec es pe `o ´es e iden que
amb els can is eali za s sob e els m`oduls aques s emps no es man enen aix´ı. Els can is
s´on semblan s al que s’ha explica en la secci´o an e io , el emps de econs ucci´o a baixa
i el de e inamen ha puja no ablemen i les ho es que s’ha ien d’aplica a classi icaci´o i
la c`ame a ac i a s’han u ili za pe la ex u i zaci´o o i l’ac uali zaci´o de l’escena.
21
6.8 Diag ama de Gan inical
Aques ´es el diag ama que es a e du an l’e apa de GEP seguin els m`oduls inicials 3
3Diag ama de Gan
22
6.9 Obs acles
Com a la majo ia de p ojec es, hi han hagu m´ul iples p oblemes du an la eali zaci´o
del p ojec e. Un dels p incipals ha sigu el e de in en a e la econs ucci´o u ili zan
algo i mes d’al cos compu acional cosa que ha enda e i no ablemen el p ojec e. El
p ime in en pe a la econs ucci´o a se u ili zan uncions de S i ching adicionals,
s’aga a en dos de les ima ges de p o undi a i s’in en a en oba els pun s claus iguals a
ambdues ima ges. Un cop calcula s aques s pun s s’ha ia de calcula la ans o maci´o pe
a uni aques es dos ima ges a pa i dels pun s, pe `o aques p oc´es ja e a su icien men
al com pe epe i -lo m´ul iples egades aix´ı que aques a opci´o e a in iable.
Un dels al es p oblemes ha sigu el o ma de les o og a ies de p o undi a , doncs
inicialmen les ima ges es a en co up es (nom´es es llegien alo s 0 i 1) i a po a ce
emps de ec a el p oblema i eni no es ima ges amb les que eballa .
Aques s han sigu els p oblemes m´es impo an s, pe `o e iden men amb´e hi han so gi
p oblemes amb bugs o amb e apes que s’alla ga en m´es del que oca a.
6.10 Pla d’acci´o
El pla d’acci´o inicial e a el que dic a a com ac ua en cas de so gi p oblemes, l’idea
inicial e a que en cas de que alguna e apa es ei´es g eumen alla gada la millo opci´o e a
escu ¸ca la quali a d’alguns dels m`oduls (com pe exemple, el de exu i zaci´o) i pe an ,
el emps dedica a aques s o augmen a les ho es de eball. En el cas dels algo ismes
d’al cos compu acional l’´unica o ma de soluciona el p oblema a se eplan ejan la
econs ucci´o en -la conscien de l’escena. En quan al o ma de les ima ges la soluci´o
a se e e (la pe sona enca egada del obo ) o es les ima ges pe a que poguessin se
llegides.
Fa al a no a que els enda e imen s que an p o oca aques s p oblemes an p o oca
una acumulaci´o del eball cap al inal de cu s. Tamb´e a al a di que un pun clau pe
a soluciona els p oblemes que han ana so gin (sob e o aques s dos) han sigu les
eunions amb el di ec o que han o ien a i po a al eball pe el bon cam´ı.
23
6.11 Recu sos
Pe al desen olupamen dels p ojec es ´es necessa i una pla a o ma on desen olupa el
p og ama, pe aix`o un PC con encional i ac uali za (ja ob ingu ) ´es un equisi essencial.
Apa amb´e necessi a em les c`ame es X- ion p o de ASUS de les quals disposa el ESAII.
En l’aspec e so wa e el sis ema ha sigu desen olupa u ili zan C++ jun amb
OpenCV iPCL sob e Ubun u.
24
espe a de la aula de o ma global i el esul a d’aques p oc´es ´es u ili za en el sua i za
de la aula, el ´ul im p oc´es d’aques a e apa que soluciona el so oll de les lec u es a la
aula pe a millo a el esul a de la econs ucci´o.
7.4.2 T ans o maci´o a n´u ol i manipulaci´o del ma eix
8
En aques momen del p og ama, disposem d’ima ges amb la aula sua i zada, m`asca es
que ens indiquen quins alo s s´on `alids o aula en cada ima ge, la dis `ancia d’aques a
a la aula i del e a i la coo denada xdel mu d e . G `acies a o es aques es dades
podem passa a ans o ma els p´ıxels a un n´u ol de pun s, com s’ha explica en apa -
a s an e io s, el coneixemen dels angles, el ang i la posici´o de la c`ame a ens pe me en
ans o ma els p´ıxels en coo denades, pe `o ind em coo denades que enen la z= 0 a
la posici´o de la c`ame a. Pe e i a aix`o i posa la z= 0 al e a hem d’u ili za el alo
del e a que hem calcula amb an e io i a . Aix´ı podem aplica la ans o maci´o a cada
p´ıxel de cada ima ge o man un n´u ol de pun s, pe `o hem de igila amb les posici-
ons solapades, la soluci´o al solapamen de pun s ´es que quan acabi una ima ge aques a
comuniqui a la seg¨uen una coo denada ycalculada pe a que la seg¨uen econs ucci´o
comen¸ci pe aques pun . Du an aques a e apa amb´e es a la ex u i zaci´o, pe a cada
p´ıxel econs u¨ı s’u ili za el p´ıxel que co espon a aques ma eix en les dades RGB i
s’aplica aques colo al pun en q¨ues i´o.
8Flowcha que mos a el p oc´es de econs ucci´o, segmen aci´o i di isi´o
31

A mesu a que es a en la econs ucci´o, amb´e es di ideixen els pun s en di e en s
pa s, pun s de la aula, d’escena i ( e a i coses pe so a la aula), mu d e i objec es
( o all`o pe sob e de la aula i que no sigui mu d e . Pe a aconsegui aix`o s’u ili za
la m`asca a calculada du an la p ime a e apa i la coo denada xdel mu d e . Acaba s
aques s dos p ocessos enim un n´u ol de pun s que co espon a l’escena que ol´ıem
econs ui , en aques pun enim comple l’objec iu de econs ui l’escena i una pa
de la ne eja d’aques a.
A a es comen¸ca a plan eja la clus e i zaci´o dels objec es de l’escena i com hem acon-
segui sepa a aques s pun s de la es a podem aplica l’algo isme de clus e i zaci´o sense
p o oca un inc emen massa g an del emps d’execuci´o. Pe `o la clus e i zaci´o u ili za
la dis `ancia en e els pun s pe c ea els cl´us e s, pe aix`o objec es a sob e d’una sa a a
podem apa `eixe com un ma eix objec e si no es ac a inicialmen . Pe a e aix`o apli-
ca em la de ecci´o de plans que p opo ciona PCL nom´es sob e els pun s d’objec es pe
a minimi za -ne el cos i ex eu e aques s plans de la l’escena millo an aix´ı el esul a
del clus e ing. A m´es, la clus e i zaci´o amb´e compleix la unci´o de ne eja el so oll de
l’escena, doncs eliminan els cl´us e s que enen mol s pocs pun s el so oll s’acaba pe
elimina .
Desp ´es de la clus e i zaci´o podem di que la econs ucci´o es `a comple a i al p og ama
nom´es li queda ans o ma aques a escena a Oc oMap i espe a no es cap u es pe a
ac uali za l’escena.
32
8 Implemen aci´o
8.1 Pla a o ma de desen olupamen
El sis ema de econs ucci´o se `a desen olupa a Ubun u u ili zan C++ i les llib e ies
PCL pe al ac amen de n´u ol de pun s i OpenCV pe al ac amen de les ima ges.
La compilaci´o del p og ama es po a a e me de o ma au oma i zada u ili zan CMake.
8.2 Ex acci´o dels pun s de les aules
L’ex acci´o dels pun s de la aula ´es un dels p ime s p ocessos que s’execu en i com
s’explica al disseny de l’aplicaci´o es basa en l’es udi dels his og ames de les ima ges de
p o undi a pe a calcula els pun s candida s a se de la aula.
9
En el his og ama podem eu e es pics que sob esu en cla amen de la es a de
alo s i que es epe eixen a o es les ima ges cap u ades, el p ime pic es `a semp e a la
posici´o 0, aques p ime pic con ´e alo s e onis que se an il a s desp ´es. Els al es dos
pics ep esen en els pun s de la aula i del e a i com que el e a es `a a una dis `ancia
supe io a la c`ame a podem suposa que el pic del mig ep esen a la aula. Pe an
el p oc´es a segui pe cada ima ge ´es de ec a el pic de la aula i aga a els alo s al
ol an d’aques , aix´ı enim a¨ılla s aques s pun s, a m´es, du an l’ex acci´o d’aques s
9His og ama d’una de les ima ges de p o undi a
33
pun s amb´e es a c ean una m`asca a que elimina els alo s que no apo en in o maci´o
i ma ca els co esponen s a la aula.
10
Com es po eu e en aques a ima ge, amb´e s’han cap u a pun s que no pe `anyen
a la aula, aix`o es pe que els aques s pun s enen una al u a mol semblan a la de la
aula. Pe aix`o ´es necessa i un il a ge dels pun s ex e s.
8.2.1 Fil a ge dels pun s de la aula
Pe e i a aga a el mu o al es objec es a la ma eixa al u a de la aula com si ossin pa
d’aques a ´es necessa i aques il a ge, pe a aconsegui elimina aques s pun s s’u ili za
la m`asca a c eada en el p oc´es an e io ac an -la com si os una ima ge bin`a ia. A a
en p o iling de la ima ge bin`a ia (de x iles i y columnes) en x i en y podem de ec a els
sal s que delimi en la aula en cada eix. En el cas de les x el p o iling ´es la c eaci´o d’un
his og ama de x bins on cada bin con ´e el nomb e de pun s d’aquella ila que se suposen
de la aula, en el cas de les y el his og ama es calcula pe columnes. A a comen¸can pe
la moda d’aques s p o ilings, que es conside a aula, s’ha de busca a banda i banda de
la moda els p ime s alo s segui s a 0, les x i les y d’aques es posicions delimi en la aula
i ens diuen quins pun s e en ealmen pa de la aula.
10Ima ge de p o undi a amb els pun s ex e s posa s a 0
34
11
8.2.2 C`alcul de la dis `ancia ins a la aula
Aques c`alcul es a desp ´es del il a ge. Pe cada ima ge es calcula la mi ja a i m`e ica
de o es les p o undi a s dels pun s ma ca s com a aula i es gua d`a aques alo en una
llis a. Un cop acaba el bucle pe a ac a cada ima ge pe sepa a s’ha de e la mi jana
de o s els alo s que s’han ana a egin a la llis a pe ob eni el que suposa em com la
dis `ancia ins a la aula.
8.3 C`alcul de la dis `ancia ins al e a
Pe a calcula la dis `ancia ins al e a no u ili za em la mi ja com pe a calcula la posici´o
de la aula, doncs el e a ´e mol s m´es alo s ex ems que la aula i no es p oduc iu que
aix`o es egi en la mi ja. Pe aix`o suposa em una p o undi a llinda p ope a als 2 me es
pe a ex eu e els alo s m´es baixos de l’escena. Amb aques s alo s calculem quin ´es el
m´es com´u de o s, o sigui, la moda d’aques s a˜np s i suposem que es el que co espon
al e a. Aques a soluci´o ens p opo ciona no malmen una alo p ope a 2.3m que ´es on
es `a el e a segons les mesu es e es a l’escena eal.
11Ima ge de p o undi a amb els pun s ex e s i il a s posa s a 0
35
8.4 C`alcul de la coo denada xdel mu d e
Pe a la co ec e ex acci´o dels objec es de l’escena ´es obliga `o ia la sepa aci´o del mu
d e . D’aques mu nom´es sabem que es `a a la d e a de la ima ge i que ´es un mu , pe
an , o ell es a en una solo coo denada xen l’espai, pe o en a ies jen les o os pe
q¨ues ions de pe spec i a. Saben aix`o nom´es necessi em calcula una egada en quina
coo denada es `a el mu i podem u ili za els pun s de m´es a la d e a de la ima ge de
p o undi a pe a eni una idea de la coo denada x. Pe `o a la d e a del o de la ima ge
de p o undi a enim una banda neg e, pe an em d’igno a aques s pun s i els del
obo i ex eu e els p ime s pun s `alids que enim a la d e a de cada ima ge. Un cop
hem ex e uns quan s pun s que pe anyin al mu calculem un alo mi j`a i apliquem la
ans o maci´o de p´ıxel a coo denada pe aconsegui la x.
8.5 Sua i za de la aula i co ecci´o de les posicions dels objec-
es
En aques a secci´o i pe ilus a millo les aons i esul a s del sua i za s’u ili za ´an
di e en s ima ges de les econs uccions e es. Pe comen¸ca aques a ´es una ima ge de
l’escena que en oca la aula sense aplica cap il e:
12
12Recons ucci´o de l’escena sense cap sua i za
36

Com es po eu e a la ima ge, la aula es `a o mada pe un n´u ol de pun s que no
man ´e una ma eixa zal lla g de la aula. La soluci´o a aques p oblema ´es u ili za la
zde la aula calculada du an els p ime s passos del p oc´es i posa o s els pun s de la
aula a aques a z. El esul a ´es el seg¨uen :
13
Es po eu e que el sua i za de la aula p opo ciona un esul a bas an ne a la
econs ucci´o, pe `o a al a mou e els objec es d’aco d amb les ans o macions, pe an
pe cada ima ge u ili zada pe al sua i za , se’n calcula la ans o maci´o que ha so e i
s’aplica als objec es d’aques a pe a que no quedin lo an o in e seca s pe la aula.
8.6 T ans o maci´o de les ima ges a n´u ols de pun s
Aques ´es el p oc´es on es econs ueix o a l’escena i es usionen o es les ima ges de
p o undi a . Pe comen¸ca cal de ini la o ma de ans o ma un p´ıxel a un pun a
l’espai, el p ime pas es ans o ma la p o undi a que ens p opo ciona les ima ges a un
alo en mil.l´ıme es:
p= (pixel(i, j)∗2500)/(65536 ∗1000)
En la ´o mula p oposada p´es la dis `ancia del p´ıxel ins al pla de la c`ame a, 65536 ´es el
alo m`axim que poden eni aques s p´ıxels i 2500 ´es el alo en mil.l´ıme es que co -
espon a 65536. A a podem u ili za ppe a calcula les coo denades xiyu ili zan
13Recons ucci´o amb els pun s de la aula sua i za s
37
els `angles ho i zon al i e ical de les c`ame es (HANGLE iVANGLE) i la posici´o de la
c`ame a, aques ´es el plan ejamen de les ´o mules:
p
αβ
pixel(i,j)
y’
x’
cam
14
α=−((j−(cols/2)) ∗HANGLE/2)/(cols/2)
β= ((i−( ows/2)) ∗V ANGLE/2)/( ows/2)
x0= an(α)∗p;y0= an(β)∗p
x=x0+cam.x
y=y0+cam.y
z=−(p−g ound)
Aplican aques a ans o maci´o p´ıxel a p´ıxel podem ob eni un n´u ol de pun s que
ep esen a l’escena, cal no a que el c`alcul d’al a ´e un nega iu el p incipi, aix`o es pe
assegu a que el alo esul an segueix els eixos de coo denades demana s, el ma eix
passa amb el c`alcul de z, l’´ul ima ´o mula mos a com es passen el o igen de coo denades
des de la c`ame a ins al e a (g ound ep esen a el alo del e a que s’ha calcula ).
14Rep esen aci´o g `a ica de les a iables
38
8.6.1 Tex u i zaci´o
El p oc´es de exu i zaci´o s’aplica de o ma mol simple du an la con e si´o de les ima ges
a pun s, nom´es necessi em la ima ge RGB co esponen a la de p o undi a i assigna a
cada pun a l’espai el colo que ingui el p´ıxel RGB co esponen al de p o undi a . To
i aix`o poden ha e -hi p oblemes pe culpa del solapamen d’ima ges:
15
Aques p oblema el p o oca la is a de les al es c`ame es, doncs com la ima ge RGB
ha sigu ex e a des d’una al e posici´o i la il.luminaci´o ´es di e en a la de la ima ge
an e io . Pe aix`o els pun s solapa s en e dos ima ges c een aques e ec e que podem
eu e a la cap u a de la ex u i zaci´o.Pe `o la soluci´o al p oblema ´es po a a e me du an
el p oc´es de segmen aci´o de l’escena en di e en s n´u ols.
8.6.2 Segmen aci´o de l’escena
En les seccions an e io s i en el disseny de l’aplicaci´o hem is que ´es necessa i sepa a
les pa s de l’escena (sob e o els objec es) pe a po a a e me els objec ius d’aques
p ojec e. Aques a segmen aci´o es po a a e me du an la ans o maci´o dels p´ıxels en
pun s, cada cop que es ans o ma un p´ıxel s’ha de decidi de quina pa de l’escena
o ma pa . La decisi´o sob e el n´u ol on a el p´ıxel es po a a e me a pa i de m´ul iples
15Escena exu i aza amd p oblemes pe el solapamen en e ima ges
39
dades, la m`asca a c eada du an l’ex acci´o de la aula, la dis `ancia ins a la aula i la
coo denada xdel mu s´on les guies pe a di idi co ec amen l’escena.
16
Pe comen¸ca si la m`asca a diu que un p´ıxel no apo a in o maci´o aques s’elimina
de l’escena, si la m`asca a diu que o ma pa de la aula s’a egeix aques p´ıxel al n´u ol
de la aula. En el cas que el p´ıxel sigui del es a de l’escena ens queden es opcions,
objec es, mu d e o escena i. Pe a sabe si o ma pa del mu d e podem u ili za la
posici´o d’aques p `e iamen calculada i eu e si la coo denada xdel p´ıxel a ac a es `a
su icien men a p op de la del mu pe a conside a -se com a al. Si el p´ıxel no es del
mu , lla o s ´es objec e o escena i i la o ma de sabe a quin g up pe any es obse an la
zdel p´ıxel, si es majo que la de la aula ´es pa dels objec es, en cas con a i, ´es escena i.
pa
Tamb´e es possible soluciona el p oblema del solapamen du an aques a segmen aci´o.
La soluci´o p oposada ´es e que cada ima ge de p o undi a ansme i a la seg¨uen la y
m´es baixa pe anyen a la aula que oben, una opci´o ´es que la ima ge que ebi aques a
dada nom´es ac i els pun s de la aula i objec es que inguin yin e io a la ansmesa
pe la ima ge an e io . Pe `o aques plan ejamen ´e un p oblema, si pe exemple hi
han objec es m´es ele a s que la aula i a la ma eixa ique el pun de la aula ansm´es
16Escena exu i aza amd p oblemes pe el solapamen en e ima ges
40
9.2 Resul a s del clus e ing
Els esul a s del clus e ing amb´e s´on bas an sa is ac o is, doncs g `acies a l’ex acci´o
inicial dels plans i a l’ajus amen de la dis `ancia de ole `ancia a 1cm l’escena es clus e i za
sense p oblema i es euen o s els objec es cla amen sepa a s.
21
En la ima ge de l’escena podem eu e com els 11 objec es d’aques a s’han sepa a
co ec amen i s’ha assignan a cada un un colo di e en pe a isuali za -ho millo ,
amb´e es po eu e m´es cla amen com ha desapa egu el so oll p esen al ol an dels
objec es g `acies al clus e ing i com la sa a a no ´es e en comp e com a objec e pe `o si pe
a l’escena.
Respec e a la sensibili a de la sepa aci´o cal di que no es de ec en objec es massa
pe i s com una culle a que es a a a la sa a a ja que pe la se a baixa zs’acaba conside an
pa del pla. En quan a la dis `ancia de ole `ancia, aques a ´es d’un cen ´ıme e i pe an
s’ha de igila de que els objec es no es iguin a men s d’aques a dis `ancia en e ells pe
a eni una bona clus e i zaci´o.
21Escena clus e i zada
47

9.3 Temps d’execuci´o
Com s’explica als objec ius i du an o a la mem`o ia del p ojec e, el emps d’execuci´o ´es
un pun clau pe al co ec e uncionamen del p ojec e i pe aix`o s’han e mesu es dels
di e en s emps d’execuci´o del p ojec e. Cal eni en comp e que com el p og ama enca a
no es `a implan a al sis ema obo , les ima ges les llegeix di ec amen del disc du i la
m`aquina on s’han execu a aques es p o es ´es un In el Co e i7-3820.
Pe una banda enim el ems necessa i pe e l’escena inicial, aques emps po se
mol se bas an ele a , doncs ep esen a que nom´es s’execu a `a du an la c eaci´o del
obo . To i aix`o enca a man enim uns emps bas an s baixos:
N◦ima ges Temps
4 0.81s
8 1.15s
16 1.48s
23 2.47s
Pe l’al e banda enim el emps de ac amen d’una ima ge, un emps m´es c ´ı ic ja
que condiciona la capaci a de eacci´o del obo . Les execucions ens donen un emps de
0.33s, pe an , no ´es in iable u ili za aques p ocedimen a 3 ames/segon pe `o amb´e
s’ha de eni en comp e que el ac amen de cada ima ge ´es o almen independen i es
pod ien e m´ul iples ac amen s a la egada.
48
10 An`alisi de cos os
10.1 Conside acions
Pe a po a a e me el p ojec e s´on necessa is una s`e ie de ecu sos an de ecu sos
de so wa e o ha dwa e com humans. Pe aix`o, en aques documen s’es ima `a el cos
econ`omic del p ojec e. A m´es amb´e s’es udia `a el possible impac e social i mediambien al
que po eni aques p ojec e. Els cos os es ima s en aques a secci´o es an calcula a
l’e apa de GEP pe aix`o alguns cos os poden ha e a ia no ablemen , amb´e cal eni
en comp e que aques s cos os s´on es imacions i no hi hau `a un cos econ`omic eal d’aques
p ojec e.
10.2 P essupos en ecu sos humans
A pa i de les ho es es imades en la plani icaci´o empo al i la epa ici´o d’aques es en les
di e en s asques es po calcula el cos econ`omic que po eni aques p ojec e a pa i
de les ho es u ili zades a cada ol. Els ols necessa is pe a desen olupa aques p ojec e
s´on un P ojec manage que s’enca ega de la p ime a e apa (plani icaci´o i iabili a ) i
de la ase inal, un enginye de so wa e pe al disseny i an`alisis i un desen olupado de
so wa e pe a la implemen aci´o i alidaci´o.
Rol Ho es es imades P eu pe ho a To al
P ojec Manage 95 50 4750.00e
Enginye del So wa e 83 40 3320.00e
Desen olupado 310 40 12400.00e
To al es ima 488 20470.00e
10.3 P essupos en llic`encies de so wa e
Du an el desen olupamen del p ojec e amb´e se `a necessa i u ili za di e en so wa e
que po no se g a u¨ı . Cal eni en comp e que en aques cas la majo ia del so wa e e
p opo ciona pe la uni e si a , pe `o o i aix`o ind em en comp e el cos de les llicencies
49
de so wa e. A m´es, com du an el p ojec e s’ha a ia a ies egades de pla a o ma i de
p og ames o llib e ies a u ili za ind em en comp e o el so wa es que s’ha e se i ,
ja sigui al p incipi o al inal de o .
P oduc e P eu Uni a s To al
Windows 7 P o essional 125.00e1 125.00e
MATLAB 500.00e1 500.00e
MATLAB Image p occessing oolbox 200.00e1 200.00e
Ubun u 64 bi s 0.00e1 0.00e
Poin Cloud Lib a y 0.00e1 0.00e
OpenCV 0.00e1 0.00e
ROS 0.00e1 0.00e
To al es ima 825.00e
10.4 P essupos en ecu sos ha dwa e
Jun amb el so wa e amb´e es necessa i el ha dwa e on execu a -ho, en aques cas se `a
un PC ja comp a pe `o que ind em en comp e al p essupos . Tamb´e cal eni en comp e
el p eu de les c`ame es de p o undi a que s’u ili za an, en can i, no es ind `a en comp e el
cos del b a¸c ob`o ic o de o el conjun del obo que posseeix l’ESAII ja que el p ojec e
es a pe ajuda a aques s obo s y no o men pa di ec amen d’aques .
P oduc e P eu Uni a s To al
PC(ap oxima ) 1000.00e1 1000.00e
ASUS X ion P o 195.00e1 195.00e
To al es ima 1195.00e
50
10.5 P essupos o al
Concep e To al
Recu sos humans 20470.00e
So wa e 825.00e
Ha dwa e 1195.00e
To al es ima 22490.00e
10.6 Viabili a del p ojec e
En aques a apa a es udia em la iabili a d’aques p ojec e enin en comp e els cos os
es ima s en les an e io s seccions. Cal eni en comp e que aques ´es un p ojec e de
ca `ac e acad`emic pe un TFG, pe an , no espe em uns bene icis econ`omics di ec es
dels seus esul a s. Pe aques mo iu si enim en comp e que g an pa dels cos os ja
es an assumi s, sigui pe l’ESAII o pe la UPC, i que els cos os en ecu sos humans no
se an paga s podem conclou e en que el p ojec e ´es pe ec amen iable.
10.7 Impac e social
Com o p ojec e a desen olupa aques amb´e po eni un ce impac e sob e la socie a
y el seu es il de ida. Conc e amen aques p ojec e busca eni un g an impac e sob e
el dia a dia de la gen y sob e o en el de pe sones amb mobili a edu¨ıda.
No malmen una pe sona que pe exemple es igui en cadi a de odes po eni p oble-
mes pe eballa o e algunes ac i i a s sob e una aula, pe aix`o aques sis ema busca
assis i a aques a pe sona de la o ma m´es au om`a ica possible i sense dona cap p oble-
ma al usua i. El e de que aques obo pugui mou e els objec es de o ma in el.ligen
o so a demanda po agili za mol la eina d’aques es pe sones a la ida quo idiana. A
m´es, el p ojec e po se i de base pe a aques ma eix obo en al es ambien s, com un
alle o al es aules de eball.
Tamb´e cal eni comp e el p eu que po eni aques p oduc e i si la ins al.laci´o del
sis ema ´es iable en o s els casos. Si el p eu d’ins al.laci´o os massa al el p oduc e
51
segu amen no pod ia eni el impac e desi ja sob e la poblaci´o amb mobili a edu¨ıda,
pe an cal mode a lo m`axim possible el cos d’aques o eni -lo en comp e com un pas
enda an pe al desen olupamen d’un sis ema com aques .
10.8 Impac e mediambien al
El impac e mediambien al d’aques p ojec e e dona pe el cos de ab icaci´o del ha dwa-
e necessi a (PC y c`ame es) i pe l’ene gia que s’u ili za `a du an el p ojec e. Cal eni
en comp e que no es ac a d’un p ojec e amb un g an impac e mediambien al du an la
se a eali zaci´o.
To i aix`o pod ´ıem pa la del cos de la c eaci´o dels sis emes comple s si aconseguissin
eni `exi . En aques cas amb´e hau ´ıem de eni en comp e el impac e que ´e cons ui
els obo s, les pla a o mes pe que es moguin i el cos ene g`e ic que po eni e se i
les c`ame es i el obo du an el dia a dia.
52

11 Conclusions
Aques eball es a plan eja inicialmen com la econs ucci´o d’una escena i el eco-
neixemen dels objec es d’aques a, pe an , els objec ius b`asics s’han man ingu pe `o o
i aix`o el plan ejamen del p oblema ha ana can ian cons an men du an el desen olupa-
men del p ojec e i s’han ana eliminan o a egin objec ius al p ojec e. Aix´ı ma eix g an
pa del emps del p ojec e es a aplica en desen olupa les idees pe a la econs ucci´o
a mesu a que es can ia a el plan ejamen del eball.
Una de les p ime es conclusions que es an ex eu e a se que els m`e odes adicionals
pe a usiona les ima ges e es o almen in iables pe a econs ui en emps eals, pe
aix`o ha sigu necessa i desen olupa una econs ucci´o m´es conscien de l’escena que
e i ´es algo i mes com ICP.
Al inal aques a econs ucci´o conscien de l’escena ha apo a esul a s bas an sa is-
ac o is, doncs les ima ges de la econs ucci´o (secci´o 9) queden bas an ne es g `acies a
la implemen aci´o dels m`e odes de sua i za de la aula i ne eja del so oll. A m´es a m´es
pe a ne eja l’escena d’in o maci´o in´u il amb´e ha ajuda mol el m`e ode implemen a
pe a ac a el solapamen de les di e en s cap u es. Pe an podem conclou e que el
esul a de la econs ucci´o ´es bas an sa is ac o i.
L’al e objec iu p incipal del p ojec e, la clus e i zaci´o dels objec es en l’escena, co-
men¸ca pe la segmen aci´o d’aques a escena en pa s, en conc e s’ha di idi l’escena en
qua e n´u ols: el mu , la aula, els objec es ( o all`o pe sob e de la aula que no sigui
mu ) i la es a de l’escena i. Ap o i an aques a segmen aci´o s’ha implemen a el clus e-
ing dels objec es u ili zan m`e odes adicionals amb un cos compu acional ele a pe `o
amo i za pe el baix nomb e de pun s a ac a . Pe an , amb´e s’ha oba un m`e ode
sa is ac o i pe a clus e i za els objec es, doncs donada l’escena d’exemple, el m`e ode
implemen a sepa a co ec amen o s els objec es.
Tamb´e cal eni en comp e que la mo i aci´o inal del p ojec e ´es assis i el obo
que es mou pe l’escena i pe aix`o l’escena amb´e s’ha d’ana ac uali zan , l’escena po
ac uali za -se a egin m´es objec es o eliminan -los al igual que po de ec a els con lic es
amb el solapamen d’objec es. Pe `o el e de soluciona aques s con lic es mo en la
c`ame a de o ma ac i a queda com a u u a l´ınia de eball.
Pe acaba podem di que els objec ius p incipals del p ojec e han es a assoli s ja
53
que els esul a s s´on bas an s bons i els emps d’execuci´o amb´e compleixen amb el que
s’espe a a pe `o la soluci´o implemen ada dep`en mol del coneixemen de l’escena i pe
an es possible que os necessa i un calib a ge en cas de can ia d `as icamen d’escena.
Pe `o enca a queda mol pe a eni el sis ema obo al comple , a la seg¨uen secci´o
s’expliquen algunes de les possibles b anques de eball que es poden segui a pa i d’on
s’ha queda aques p ojec e.
54
12 Fu u es l´ınies de eball
12.1 Classi icaci´o d’objec es
Un dels pun s plan eja s al p incipi del eball i que po apo a mol a aques p ojec-
e, doncs el e d’implemen a un classi icado d’objec es o e eix la possibili a de e
que el obo pugui econ`eixe els objec es que hi han pe l’escena, nom´es a egin aix`o el
sis ema po guanya un quan i´os nomb e de uncionali a s. Doncs se ia mol m´es `acil
implemen a sis emes de AI que essin que el obo ac ´ues pe ell ma eix o que la comu-
nicaci´o obo -hum`a os mol m´es `acil, doncs amb comunica al obo que l’usua i ” ol
la paella”se ia su icien pe a que el obo an´es a busca la paella i la po ´es.
A m´es el p ojec e ja es a a en oca a desen olupa aques a uncionali a i pe aix`o ma-
eix amb´e enim mol a in o maci´o de cada objec e, enim el colo , les posicions, mesu es,
o ien aci´o i al es. Amb o aix`o es mol iable la implemen aci´o d’un classi icado que
eballi compa an aques es ca ac e ´ıs iques pe exemple u ili zan les dis `ancies en e
his og ames de colo i les di e `encies en la g and`a ia dels objec es com amb´e es pod ia
e se i la o ma dels objec es u ili zan desc ip o s d’aques es.
En conclusi´o, la classi icaci´o dels objec es clus e i za s ´es un pun obliga o i pe a la
millo a d’aques sis ema.
12.2 Ac uali zaci´o amb Nex Bes View
Un pun del p og ama a millo a ´es el p oc´es d’ac uali zaci´o de l’escena, en la soluci´o
p oposada quan una ac uali zaci´o alla un objec e pe la mei a la es a queda ma ca
com con lic iu i ampoc es de ec a quan un objec e nou es `a alla , pe aix`o ma eix a
al a alg´un m`e ode que s’enca egui d’aques s con lic es i una de les soluciones ´es u ili za
la plani icaci´o pe Nex Bes View.
El Nex Bes View ´es un sis ema de plani icaci´o u ili zan en la econs ucci´o dels
objec es, l’objec iu del sis ema ´es calcula quina ´es la seg¨uen posici´o de la c`ame a pe a
e una econs ucci´o lo m´es exac a possible, aix´ı es po ana mo en la c`ame a d’aco d
amb les ins uccions d’aques algo isme pe a aconsegui una econs ucci´o o al d’un
objec e. Pe al nos e cas aix`o po se ´u il en les si uacions exposades abans, si algun
55
objec e quedes alla o en mala posici´o ´es millo calcula des d’on e una al a cap u a
pe a aga a o a la zona d’in e `es sense cap all i esold e aix´ı els p oblemes de zones
con lic i es o objec es c ea s a mi ges. G `acies a aix`o ´es possible assegu a mol m´es
b´e la obus esa del sis ema en quan a la ac uali zaci´o, doncs elimina ´ıem o almen els
p oblemes plan eja s pe aques a.
12.3 In eg aci´o de m´ul iples c`ame es
La in eg aci´o de m´ul iples c`ame es en l’escena pod ia ajuda mol al p og ama sob e o
en la pa de la econs ucci´o, doncs si ens ixem b´e en les escenes econs u¨ıdes els la e als
dels objec es no es an gai e ben de ini s i aix`o ma eix p o oca po p o oca p oblemes
sob e o en un m`odul de classi icaci´o, doncs ens po al a mol a in o maci´o sob e els
objec es. Aques p oblema ´es causa de nom´es eni is es de plan a dels objec es i pe
aix`o ´es bona idea posa m´es c`ame es sob e o amb al es angles.
A m´es si la c`ame a os ixa i ingu´essim la posici´o i angles ampoc dona ia gai es
p oblemes a egi aques a cap u a a l’escena, doncs la ma eixa ans o maci´o aplicada a
aques s nous pun s segu amen unciona ia pe aques a no a c`ame a. Els m`e odes pe a
di idi l’escena amb´e unciona ien amb pe i es modi icacions, doncs un cop con e i s els
p´ıxels a coo denades les comp o acions de zi del mu d e se ien pe ec amen aplicables
a aques s nous pun s.
To i les a an a ges que ens dona aques a no a c`ame a amb´e ´es possible que gene ´es
nou so oll a l’escena o des iacions en alguns dels objec es. A m´es a pa de els pun s ´u ils
que aconseguim amb una al e is a amb´e ´es segu que es gene a an mol s pun s solapa s
amb els an ics que p o oca ien so oll i acumulaci´o de pun s i e o s en la ex u i zaci´o
com ela que p o oca el solapamen de les di e en s ima ges.
12.4 Pa aleli zaci´o del pipeline i op imi zacions
Du an l’explicaci´o del pipeline del p og ama ´es a explica que hi ha ien mol es pa s
sense depend`encies i que e a possible una pa aleli zaci´o del p og ama, o i que els emps
d’execuci´o no s´on gai e ele a s els p ocessos pe a ac a les ima ges una a una no
enen gai ab´e depend`encies. Pe aix`o ma eix, ´es mol iable una pa aleli zaci´o d’aques a
56