Reconstrucció 3D activa d'una escena a partir de múltiples vistes

Facul a d’In o m` a ica de Ba celona, Uni e si a Poli ` ecnica de Ca alunya P ojec e inal de g au Recons ucci´o 3D a pa i de m´ul iples is es Au o : Ca les En ique Ma in Da a de de ensa: 26/06/2014 Di ec o : Joan A anda L´opez Depa amen : ESAII. Enginye ia de Sis emes, Au om`a ica i In o m`a ica Indus ial Ti ulaci´o: G au en Enginye ia In o m`a ica Especiali a : Compu aci´o ´ Index 1 Resum ....................................... 4 1.1 Resumenca al`a ............................... 4 1.2 Resumenencas ellano ............................ 5 1.3 Summa yinenglish.............................. 6 2 In oducci´o .................................... 7 2.1 Con ex .................................... 7 2.2 In oducci´o a l’es a de l’a . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3 In oducci´o al p ojec e . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 Ac o s del p ojec e ............................... 9 3.1 Desen olupado del p ojec e . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.2 Di ec o delp ojec e ............................. 9 3.3 Usua isdelp ojec e.............................. 9 3.4 Visi´o pe compu ado i al es `a ees d’es udi . . . . . . . . . . . . . . . . 10 4 Es a de l’a ................................... 11 4.1 Visi´ope compu ado ............................. 11 4.2 Recons ucci´o3D............................... 11 4.3 Ima gesdep o undi a ............................ 12 4.4 T`ecniques de econs ucci´o a pa i de di e ses ima ges de p o undi a . . 12 4.5 T`ecniques de econs ucci´o u ili zan el coneixemen de l’escena . . . . . 13 4.6 Recons ucci´o a la ob`o ica . . . . . . . . . . . . . . . . . . . . . . . . . . 14 5 Objec ius ...................................... 15 5.1 Objec iusdelp ojec e ............................ 15 5.2 Mo i aci´o i jus i icaci´o . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 6 Plani icaci´o empo al .............................. 18 6.1 Du aci´odelp ojec e ............................. 18 6.2 Plani icaci´o i iabili a . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 6.3 An`alisis i disseny del p ojec e . . . . . . . . . . . . . . . . . . . . . . . . 18 6.4 Me odologiade eball ............................ 19 6.5 Fase inal ................................... 20 1 6.6 M`oduls inicials del p ojec e . . . . . . . . . . . . . . . . . . . . . . . . . 20 6.7 Temps espe a de eball . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 6.8 Diag ama de Gan inical . . . . . . . . . . . . . . . . . . . . . . . . . . 22 6.9 Obs acles ................................... 23 6.10Plad’acci´o................................... 23 6.11Recu sos.................................... 24 7 Disseny ....................................... 25 7.1 Plan ejamen del p oblema . . . . . . . . . . . . . . . . . . . . . . . . . . 25 7.2 La c`ame a de p o undi a . . . . . . . . . . . . . . . . . . . . . . . . . . 26 7.3 Decisions sob e el p oblema . . . . . . . . . . . . . . . . . . . . . . . . . 26 7.4 Pipelinedel’execuci´o............................. 28 7.4.1 Ex acci´o d’in o maci´o i sua i za de la aula . . . . . . . . . . . . 29 7.4.2 T ans o maci´o a n´u ol i manipulaci´o del ma eix . . . . . . . . . . 31 8 Implemen aci´o .................................. 33 8.1 Pla a o ma de desen olupamen . . . . . . . . . . . . . . . . . . . . . . . 33 8.2 Ex acci´o dels pun s de les aules . . . . . . . . . . . . . . . . . . . . . . 33 8.2.1 Fil a ge dels pun s de la aula . . . . . . . . . . . . . . . . . . . 34 8.2.2 C`alcul de la dis `ancia ins a la aula . . . . . . . . . . . . . . . . . 35 8.3 C`alcul de la dis `ancia ins al e a . . . . . . . . . . . . . . . . . . . . . . 35 8.4 C`alcul de la coo denada xdelmu d e ................... 36 8.5 Sua i za de la aula i co ecci´o de les posicions dels objec es . . . . . . . 36 8.6 T ans o maci´o de les ima ges a n´u ols de pun s . . . . . . . . . . . . . . 37 8.6.1 Tex u i zaci´o ............................. 39 8.6.2 Segmen aci´o de l’escena . . . . . . . . . . . . . . . . . . . . . . . 39 8.7 Clus e ing d’objec es . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 8.7.1 Kd- ees................................ 42 8.7.2 Clus e ing amb dis `ancia euclidi`a . . . . . . . . . . . . . . . . . . 42 8.7.3 Eliminaci´o de plans . . . . . . . . . . . . . . . . . . . . . . . . . . 43 8.7.4 Random Sample Consensus (RANSAC) .............. 44 8.8 Ac uali zaci´o de l’escena . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 8.9 Pas de l’escena a Oc omap .......................... 45 9 Resul a s ...................................... 46 2 9.1 Resul a s de la econs ucci´o . . . . . . . . . . . . . . . . . . . . . . . . . 46 9.2 Resul a s del clus e ing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 9.3 Tempsd’execuci´o............................... 48 10 An`alisi de cos os ................................. 49 10.1Conside acions ................................ 49 10.2 P essupos en ecu sos humans . . . . . . . . . . . . . . . . . . . . . . . 49 10.3 P essupos en llic`encies de so wa e . . . . . . . . . . . . . . . . . . . . . 49 10.4 P essupos en ecu sos ha dwa e . . . . . . . . . . . . . . . . . . . . . . . 50 10.5P essupos o al................................ 51 10.6 Viabili a del p ojec e . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 10.7Impac esocial................................. 51 10.8 Impac e mediambien al . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 11 Conclusions .................................... 53 12 Fu u es l´ınies de eball ............................ 55 12.1 Classi icaci´o d’objec es . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 12.2 Ac uali zaci´o amb Nex Bes View ...................... 55 12.3 In eg aci´o de m´ul iples c`ame es . . . . . . . . . . . . . . . . . . . . . . . 56 12.4 Pa aleli zaci´o del pipeline i op imi zacions . . . . . . . . . . . . . . . . . 56 13 Bibliog a ia .................................... 58 3 1 Resum 1.1 Resum en ca al`a Aques documen ´es la mem`o ia del p ojec e desen olupa com a T eball de i de G au a la Uni e si a Poli `ecnica de Ca alunya. Du an el documen s’exposa `a el p oblema, com es a plan eja i com s’ha dissenya i implemen a la soluci´o a aques p oblema. El p ojec e es i ula Recons ucci´o 3D ac i a a pa i de m´ul iples is es i el seu objec iu p incipal ´es, com indica el ´ı ol, la implemen aci´o d’un sis ema capa¸c de econs ui model idimensional d’una escena a pa i de m´ul iples cap u es e es amb c`ame es de p o undi a . La in o maci´o b`asica de l’escena a econs ui ´es que aques a es `a cen ada en una aula amb di e en s objec es al damun i que a l’escena hi ac ua `a un obo que po mou e els objec es. Aques obo u ili za `a la in o maci´o que li apo i la implemen aci´o d’aques p ojec e com a guia pe a plani ica els seus mo imen s o accions sob e l’escena i pe aix`o ma eix el p ojec e amb´e s’enca ega de sepa a cada un dels objec es de l’escena de o ma que el obo pugui eballa amb ells de o ma consis en . A m´es, pe assegu a el co ec e compo amen del obo a l’escena amb´e s’ha eballa en l’ac uali zaci´o del model idimensional en cas de eni no es cap u es de l’escena. Tamb´e s’implemen en al es uncionali a s amb l’objec iu de millo a la quali a de la econs ucci´o, com el ac amen dels e o s de la econs ucci´o, o amb l’objec iu d’a egi in o maci´o addicional al model com pe exemple la ex u i zaci´o de l’escena. 4 1.2 Resumen en cas ellano Es e documen o es la memo ia del p oyec o desa ollado como T abajo de inal de G ado en la Uni e si a Poli `ecnica de Ca alunya. A lo la go del documen e se explica ´a cu´al es el p oblema a a a , como se plan ea y como se ha dise˜nado e implemen ado la soluci´on a al p oblema. El ´ı ulo del p oyec o es Recons ucci´on 3D a pa i de m´ul iples is es y su obje i o p incipal es, como indica el su ´ı ulo, la implemen aci´on de un sis ema capaz de econs ui un modelo idimensional de una escena a pa i de m´ul iples cap u as hechas con c´ama as de p o undidad. La in o maci´on b´asica de la escena que se debe econs ui es que es ´a cen ada en una mesa con obje os encima y que en es a escena ac ua ´a un obo capaz de mo e es os obje os. Es e obo u iliza ´a la in o maci´on que le apo e la implemen aci´on de es e p oyec o como gu´ıa pa a plani ica sus mo imien os y acciones en la escena y po es o mismo es e abajo ambi´en debe sepa a cada uno de los obje os de la escena de o ma que el obo pueda abaja con ellos de o ma consis en e. Adem´as pa a asegu a el co ec o compo amien o del obo en la escena ambi´en se ha abajo en la ac ualizaci´on de es e modelo en caso de ob ene nue as cap u as. Tambi´en se han implemen ado o as uncionalidades con el obje i o de mejo a la calidad de la econs ucci´on, como el a amien o de e o es en la econs ucci´on, o con el obje i o de a˜nadi in o maci´on al modelo como po ejemplo la ex u iza ´ıan la escena. 5 1.3 Summa y in english This documen is he memo y o he p ojec de eloped as a Final G ade P ojec in he Uni e si a Poli `ecnica de Ca alunya. Ac oss his documen we will explain he main p oblem o sol e, how i was se ou and how i ’s designed and implemen ed. The p ojec ’s i le is 3D Recons uc ion o a scene using mul iple images and i s main goal is, as he i le says, he implemen a ion o a sys em able o econs uc a idimensional model o a scene using mul iple image aken wi h a dep h came a. The basic in o ma ion o he scene o econs uc is ha his scene is cen e ed on a able wi h di e en objec s on i and ha he e will be a obo on his scene ha is able o mo e he objec s. This obo will use he in o ma ion p o ided by his p ojec o plan i s mo emen s and ac ions in he scene, and ha ’s why he p ojec also has o be able o clus e all he objec s in he able. Mo eo e , o assu e a co ec beha io o he obo in he scene we’ e also cen e ed ou ocus o wo k in he upda ing o he idimensional model in case o ob aining new dep h da a. We also implemen o he ea u es e ol ing a ound he main objec i e o imp o ing he econs uc ions’ quali y, like he econs uc ion e o co ec ion, o ea u es ha aim o gi e he model addi ional in o ma ion like he scene ex u izing me hod. 6 2 In oducci´o 2.1 Con ex Aques p ojec e ´es un T eball de inal de G au a la Facul a d’In o m`a ica de Ba celona, l’objec iu ´es desen olupa un eball sob e l’`a ea de compu aci´o du an un quad imes e pe a demos a els coneixemen s adqui i s du an el g au. 2.2 In oducci´o a l’es a de l’a Una de les `a ees claus que es eballa en aques p ojec e ´es la isi´o pe compu a , `a ea que ecull un segui de `ecniques i m`e odes pe ex eu e in o maci´o d’ima ges. Tamb´e ´es clau en aques p ojec e l’es udi i ac amen de n´u ols de pun s en un espai idimensional. U ili zan els coneixemen s sob e aques es `a ees en cons ui `a un econs uc o 3D, un so wa e capa¸c de gene a un model i ual de la eali a a pa i d’in o maci´o ex e a u ili zan di e en s disposi ius. Aques s p og ames han sigu mol u ili za s en medicina i al es camps, pe `o pe aques p ojec e ens cen a em en les `ecniques que gene en els models a pa i d’ima ges de p o undi a . 2.3 In oducci´o al p ojec e Inicialmen aques p ojec e ´e com a objec iu assis i a un p ojec e ja comen¸ca que in en a desen olupa un sis ema amb un obo g ua capa¸c de mou e objec es en una escena i assis i un usua i, en conc e , l’escena del obo semp e se `a una aula (de cuina, de eball, e c) amb di e en s objec es al ol an . Pe aix`o el p ojec e es basa en el desen olupamen d’un so wa e capa¸c de econs ui de o ma ac i a un model idimensional d’una escena eal a pa i de m´ul iples ima ges de p o undi a que ens p opo ciona el ma eix obo du an el seu mo imen . 7 1 El model esul an del nos e p ojec e ha de e possible que el obo coneixi l’escena i econegui els can is en l’escena en emps eal. Pe `o pe a que el obo pugui eballa sense p oblemes amb el model que o e eix el nos e p og ama s’han de co egi el e o s que p odueix la econs ucci´o i a la egada man eni el empos d’execuci´o su icien men baix pe a que el obo ac u¨ı de o ma consis en amb l’escena. 1Exemples de l’escena del obo 8 5 Objec ius 5.1 Objec ius del p ojec e L’objec iu d’aques p ojec e ´es el disseny i implemen aci´o d’un so wa e que sigui capa¸c d’assis i a un obo col.loca al sos e i a sob e d’una aula. Aques obo ac ua `a de g ua i ind `a la unci´o de mou e els objec es d’una posici´o a un al e de la aula. El obo o el sis ema de plani icaci´o pe guia -lo no o men pa d’aques p ojec e pe `o si s´on mo i aci´o pe aques , doncs el obo u ili za `a el model idimensional c ea pe el p og ama pe econ`eixe les posicions i dimensions dels objec es i se capa¸c de mou e’ls pe la aula, ecolli -los o deixa -los sense cap p oblema. Pe an un dels objec ius p incipals ´es la implemen aci´o de la econs ucci´o idimen- sional de l’escena a pa i de les di e en s ima ges de p o undi a que ens p opo cioni la c`ame a que a jun amb al obo du an els seus mo imen s. Pe an la econs ucci´o es `a cen ada en la aula i en els objec es del ol an d’aques a. A pa de econs ui l’escena, un dels objec ius claus del p oc´es de econs ucci´o ´es ac a l’escena de o ma que quedi lo m´es polida possible. Doncs si l’escena no passa pe un ce il a ge el model esul an ´e mol so oll i aix`o po p o oca que les accions del obo no siguin consis en s amb l’escena eal, doncs po in e p e a que algunes zones es an ocupades quan no ho s´on o que els objec es s´on a posicions inco ec es. Pe aix`o g an pa del p ojec e es `a cen a en aconsegui edui el so oll i els e o s que es p odueixen du an la econs ucci´o. A m´es a m´es, el p og ama amb´e ´es esponsable de segmen a l’escena en di e en s pa s doncs si el obo no pogu´es dis ingi en e els objec es de l’escena se ia mol m´es di ´ıcil plan eja les in e accions d’aques amb l’escena. Pe a que el obo eballi co - ec amen ha de se capa¸c de dis ingi cada un dels objec es de l’escena i con`eixe el seu amany i posici´o, amb´e po se ´u il econ`eixe on ´es i com es la aula. Com el so wa e ´e com a objec iu p incipal assis i a aques ipus de obo s ha de se capa¸c de eballa en emps eals, pode econ`eixe can is sob e la disposici´o de la aula a l’ins an i eacciona a emps, de o ma que amb´e ha de se capa¸c d’ac uali za la econs ucci´o quan ebi no es ima ges. Pe an el p og ama ha de busca l’equilib i en e la quali a de la econs ucci´o i el emps d’execuci´o. Si el obo no s’ac uali z´es o 15 no ho es en un emps accep able el uncionamen del sis ema es eu ia comp om`es. En conclusi´o, podem de ini els seg¨uen s objec ius p incipals d’aques p ojec e: •Recons ucci´o de l’escena a pa i de les ima ges. •Fil a ge de l’escena pe elimina el so oll i els e o s. •Segmen aci´o dels objec es de l’escena. •Co ec e ac uali zaci´o quan es eben no es ima ges. A m´es amb´e enim un al e segui d’objec ius menys p io i a is que aques s pe `o que poden se d’´us pe al p ojec e com la ex u i zaci´o de l’escena o la con e si´o del n´u ol esul an a Oc oMap. 5.2 Mo i aci´o i jus i icaci´o Com s’ha explica als objec ius la mo i aci´o d’aques p ojec e e donada pe la necessi a del obo menciona de econ`eixe el mon eal i pode in e ac ua sa is ac `o iamen amb aques . Pe an es l`ogic in en a jus i ica amb´e el pe qu`e d’aques obo . Ja s’ha explica que la uncionali a p im`a ia del obo es mou e un objec e d’una pa a un al e d’una aula, pe `o quines aplicacions po eni aques a ecnologia? B´e, un cop el sis ema del qual aques p ojec e o ma pa sigui uncional, el obo pod ia mou e un objec e so a demanda d’un usua i a a ´es d’una in e ´ıcie o decidi -ho pe si ma eix. En el cas que el obo es comuniqu´es amb l’usua i a pa i d’una in e ´ıcie una pan- alla `ac il posada es a `egicamen a la aula pod ia se i , pe `o amb´e pod ´ıem pa la de p ojeccions sob e la aula pe c ea un e ec e de eali a augmen ada i in e accio- na u ili zan les p ojeccions. Pe `o una pa mol in e essan po se l’aplicaci´o d’un so wa e d’in el.lig`encia a i icial a aques obo , unes de les aplicacions d’exemple se ien: econ`eixe l’ac i i a de l’usua i a la aula i assis i -lo (po a -li les eines sense que les demani) o econ`eixe cada objec e a la aula i posa -lo au om`a icamen al seu lloc. Aques sis ema es eu enca a m´es mo i a si mi em les aplicacions que po eni ajudan a una pe sona amb mobili a edu¨ıda du an el dia a dia de o ma que el obo minimi zi el es o ¸c que ha de e aques a pe sona pe eali za una asca com cuina . 16 Pe an , pe el co ec e uncionamen de les aplicacions del sis ema ´es necessa i desen- olupa un so wa e com el que ´e com a objec iu aques p ojec e, ja que si no po eu e la aula mol es de les aplicacions es euen us ades. 17 6 Plani icaci´o empo al 6.1 Du aci´o del p ojec e La du aci´o del p ojec e ha de se d’un quad imes e lec iu. Es a inicia el p ojec e al 17 de Feb e de 2014 i s’ha d’acaba pe al lliu amen de la mem`o ia i la de ensa o al a l’1 de juliol de 2014. 6.2 Plani icaci´o i iabili a La ase que es po a a e me du an el GEP i que implica un es udi a ons dels p ojec e a a ´es dels di e en s documen s a desen olupa du an aques cu s. L’objec iu d’aques a e apa ´es encamina el p ojec e co ec amen i e i a -ne el ac`as. Podem de ini les sube apes d’aques a ase amb la eali zaci´o dels documen s necessa is: •Abas del p ojec e: objec ius, ins a on a iba `a el p ojec e... •Plani icaci´o empo al: me odologia, emps espe a , pla d’acci´o.. •P essupos : an`alisi dels cos os econ`omics •P esen aci´o p elimina •Con ex uali zaci´o i bibliog a ia: con ex de les `a ees d’es udi •Plec de condicions •Documen inal i p esen aci´o 6.3 An`alisis i disseny del p ojec e ´ Es l’e apa on es plan eja i anali za com abo da el p oblema, un com decidi s els objec ius i es udia el con ex en el que es eballa s’han d’es udia les o mes d’a aca el p oblema, ´es una e apa clau en el p ojec e, doncs un mal an`alisi inicial de les possibles solucions po s p o oca g eus enda e imen s en el p ojec e. 18 En quan a l’a qui ec u a del so wa e a desen olupa , dona que el p ojec e no es a en oca a desen olupa una g an sis ema so wa e i busca desen olupa una uncionali a p incipal (la econs ucci´o de la escena) l’e apa de disseny del so wa e no se `a an in- ensi a com en un p ojec e d’Enginye ia del So wa e. To i aix`o, sense un disseny inicial dels di e en s m`oduls del p og ama a desen olupa es poden c ea incong u`encies o e o s que en ede eixin els emps planeja s. Pe e i a aix`o s’ha d’es uc u a el p ojec e de o ma que segueixi una es uc u a m´ınima. 6.4 Me odologia de eball El p ojec e ha segui un m`e ode de desen olupamen inc emen al. En aques ipus de desen olupamen es comen¸ca pe desen olupa les uncionali a s mes i als del p og ama seguin el ´ıpic cicle de ida del so wa e i un cop alidada aques a es o na a epe i aques cicle a egin la seg¨uen uncionali a al p og ama. D’aques a o ma les e apes de plan ejamen , an`alisis i disseny s´on e isades cons an men du an la eali zaci´o del p ojec e pe assegu a -ne la obus esa. Aix´ı cada “i e aci´o” d’aques cicle ´e ind `a les seg¨uen s e apes: 1. Plan ejamen de la uncionali a a desen olupa : es plan eja quin ´es l’objec iu d’a- ques a i e aci´o i es p epa `a l’en o n de eball i el so wa e pe a a egi aques m`odul. 2. An`alisis i disseny: es e isa l’an`alisi i el disseny inicial pe eu e si hi ha alguna alla o algun aspec e a millo a que no es eia cla inicialmen . 3. Implemen aci´o: es codi ica la uncionali a di ec amen sob e el codi de l’an e io m`odul. 4. Validaci´o: es depu a el uncionamen d’aques a uncionali a i s’assegu a el seu co - ec e uncionamen . Tamb´e s’han man ingu di e en s eunions amb el di ec o del p ojec e, sob e o pe a discu i el plan ejamen del p og ama i les solucions als p oblemes que han so gi . 19 6.5 Fase inal En aques a ase s’ha de desen olupa la guia d’´us del p ojec e aix´ı com la mem`o ia d’aques i la p epa aci´o pe la de ensa o al d’aques . 6.6 M`oduls inicials del p ojec e Inicialmen els m`oduls del p ojec e es an decidi du an l’e apa de GEP i pe aix`o s’han ana modi ican du an el anscu s del p ojec e, els m`oduls inicials e en els seg¨uen s: •Recons ucci´o d’un model en 3D a pa i de les ima ges. •U ili zaci´o de la c`ame a ac i a pe millo a el model. •C eaci´o d’un m`odul capa¸c de poli e o s en la usi´o de les ima ges. •Di e enciaci´o en e els objec es i la aula. •M`odul de classi icaci´o dels di e en s objec es sob e la aula. Els can is m´es impo an s s´on po se l’eliminaci´o del m`odul de classi icaci´o d’objec es i de con ol de la c`ame a ac i a en con a de l’en ada de dous nous m`oduls, un pe ac uali za l’escena segons en en ima ges i un al e pe ex u i za l’escena. A m´es a m´es, amb´e ha a ia la impo anci`a i o d e de cada un d’aques s m`oduls. El m`odul de di e enciaci´o de la aula ha sigu el p ime en se desen olupa doncs la es a de m`oduls depenien de sabe on e a la aula pe al seu uncionamen . La co eci´o d’e o s en la econs ucci´o amb´e ha guanya impo `ancia, doncs l’e o de la econs ucci´o inicial e a m´es g an del que s’espe aba i la co ecci´o d’aques s a ana guanyan impo `ancia. 6.7 Temps espe a de eball Inicialmen el emps espe a de eball es a calcula du an l’e apa de GEP i pe a eali za els m`oduls incials de la seg¨uen mane a: 20 E apa Temps Es ima (ho es) Plani icaci´o o iabili a 50 An`alisi i disseny 30 M`odul de econs ucci´o 107 U ili zaci´o c`ame a ac i a 47 M`odul pe e inamen del m`odel 39 Di e enciaci´o de la aula 95 Classi iaci´o d’objec es 75 Fase inal 45 To al 488 E iden men , la aula no ha sigu seguida al cen pe cen , o es les pa s que no s´on de desen olupamen de m`oduls enen emps ap oximadamen co ec es pe `o ´es e iden que amb els can is eali za s sob e els m`oduls aques s emps no es man enen aix´ı. Els can is s´on semblan s al que s’ha explica en la secci´o an e io , el emps de econs ucci´o a baixa i el de e inamen ha puja no ablemen i les ho es que s’ha ien d’aplica a classi icaci´o i la c`ame a ac i a s’han u ili za pe la ex u i zaci´o o i l’ac uali zaci´o de l’escena. 21 6.8 Diag ama de Gan inical Aques ´es el diag ama que es a e du an l’e apa de GEP seguin els m`oduls inicials 3 3Diag ama de Gan 22 6.9 Obs acles Com a la majo ia de p ojec es, hi han hagu m´ul iples p oblemes du an la eali zaci´o del p ojec e. Un dels p incipals ha sigu el e de in en a e la econs ucci´o u ili zan algo i mes d’al cos compu acional cosa que ha enda e i no ablemen el p ojec e. El p ime in en pe a la econs ucci´o a se u ili zan uncions de S i ching adicionals, s’aga a en dos de les ima ges de p o undi a i s’in en a en oba els pun s claus iguals a ambdues ima ges. Un cop calcula s aques s pun s s’ha ia de calcula la ans o maci´o pe a uni aques es dos ima ges a pa i dels pun s, pe `o aques p oc´es ja e a su icien men al com pe epe i -lo m´ul iples egades aix´ı que aques a opci´o e a in iable. Un dels al es p oblemes ha sigu el o ma de les o og a ies de p o undi a , doncs inicialmen les ima ges es a en co up es (nom´es es llegien alo s 0 i 1) i a po a ce emps de ec a el p oblema i eni no es ima ges amb les que eballa . Aques s han sigu els p oblemes m´es impo an s, pe `o e iden men amb´e hi han so gi p oblemes amb bugs o amb e apes que s’alla ga en m´es del que oca a. 6.10 Pla d’acci´o El pla d’acci´o inicial e a el que dic a a com ac ua en cas de so gi p oblemes, l’idea inicial e a que en cas de que alguna e apa es ei´es g eumen alla gada la millo opci´o e a escu ¸ca la quali a d’alguns dels m`oduls (com pe exemple, el de exu i zaci´o) i pe an , el emps dedica a aques s o augmen a les ho es de eball. En el cas dels algo ismes d’al cos compu acional l’´unica o ma de soluciona el p oblema a se eplan ejan la econs ucci´o en -la conscien de l’escena. En quan al o ma de les ima ges la soluci´o a se e e (la pe sona enca egada del obo ) o es les ima ges pe a que poguessin se llegides. Fa al a no a que els enda e imen s que an p o oca aques s p oblemes an p o oca una acumulaci´o del eball cap al inal de cu s. Tamb´e a al a di que un pun clau pe a soluciona els p oblemes que han ana so gin (sob e o aques s dos) han sigu les eunions amb el di ec o que han o ien a i po a al eball pe el bon cam´ı. 23 6.11 Recu sos Pe al desen olupamen dels p ojec es ´es necessa i una pla a o ma on desen olupa el p og ama, pe aix`o un PC con encional i ac uali za (ja ob ingu ) ´es un equisi essencial. Apa amb´e necessi a em les c`ame es X- ion p o de ASUS de les quals disposa el ESAII. En l’aspec e so wa e el sis ema ha sigu desen olupa u ili zan C++ jun amb OpenCV iPCL sob e Ubun u. 24 espe a de la aula de o ma global i el esul a d’aques p oc´es ´es u ili za en el sua i za de la aula, el ´ul im p oc´es d’aques a e apa que soluciona el so oll de les lec u es a la aula pe a millo a el esul a de la econs ucci´o. 7.4.2 T ans o maci´o a n´u ol i manipulaci´o del ma eix 8 En aques momen del p og ama, disposem d’ima ges amb la aula sua i zada, m`asca es que ens indiquen quins alo s s´on `alids o aula en cada ima ge, la dis `ancia d’aques a a la aula i del e a i la coo denada xdel mu d e . G `acies a o es aques es dades podem passa a ans o ma els p´ıxels a un n´u ol de pun s, com s’ha explica en apa - a s an e io s, el coneixemen dels angles, el ang i la posici´o de la c`ame a ens pe me en ans o ma els p´ıxels en coo denades, pe `o ind em coo denades que enen la z= 0 a la posici´o de la c`ame a. Pe e i a aix`o i posa la z= 0 al e a hem d’u ili za el alo del e a que hem calcula amb an e io i a . Aix´ı podem aplica la ans o maci´o a cada p´ıxel de cada ima ge o man un n´u ol de pun s, pe `o hem de igila amb les posici- ons solapades, la soluci´o al solapamen de pun s ´es que quan acabi una ima ge aques a comuniqui a la seg¨uen una coo denada ycalculada pe a que la seg¨uen econs ucci´o comen¸ci pe aques pun . Du an aques a e apa amb´e es a la ex u i zaci´o, pe a cada p´ıxel econs u¨ı s’u ili za el p´ıxel que co espon a aques ma eix en les dades RGB i s’aplica aques colo al pun en q¨ues i´o. 8Flowcha que mos a el p oc´es de econs ucci´o, segmen aci´o i di isi´o 31 A mesu a que es a en la econs ucci´o, amb´e es di ideixen els pun s en di e en s pa s, pun s de la aula, d’escena i ( e a i coses pe so a la aula), mu d e i objec es ( o all`o pe sob e de la aula i que no sigui mu d e . Pe a aconsegui aix`o s’u ili za la m`asca a calculada du an la p ime a e apa i la coo denada xdel mu d e . Acaba s aques s dos p ocessos enim un n´u ol de pun s que co espon a l’escena que ol´ıem econs ui , en aques pun enim comple l’objec iu de econs ui l’escena i una pa de la ne eja d’aques a. A a es comen¸ca a plan eja la clus e i zaci´o dels objec es de l’escena i com hem acon- segui sepa a aques s pun s de la es a podem aplica l’algo isme de clus e i zaci´o sense p o oca un inc emen massa g an del emps d’execuci´o. Pe `o la clus e i zaci´o u ili za la dis `ancia en e els pun s pe c ea els cl´us e s, pe aix`o objec es a sob e d’una sa a a podem apa `eixe com un ma eix objec e si no es ac a inicialmen . Pe a e aix`o apli- ca em la de ecci´o de plans que p opo ciona PCL nom´es sob e els pun s d’objec es pe a minimi za -ne el cos i ex eu e aques s plans de la l’escena millo an aix´ı el esul a del clus e ing. A m´es, la clus e i zaci´o amb´e compleix la unci´o de ne eja el so oll de l’escena, doncs eliminan els cl´us e s que enen mol s pocs pun s el so oll s’acaba pe elimina . Desp ´es de la clus e i zaci´o podem di que la econs ucci´o es `a comple a i al p og ama nom´es li queda ans o ma aques a escena a Oc oMap i espe a no es cap u es pe a ac uali za l’escena. 32 8 Implemen aci´o 8.1 Pla a o ma de desen olupamen El sis ema de econs ucci´o se `a desen olupa a Ubun u u ili zan C++ i les llib e ies PCL pe al ac amen de n´u ol de pun s i OpenCV pe al ac amen de les ima ges. La compilaci´o del p og ama es po a a e me de o ma au oma i zada u ili zan CMake. 8.2 Ex acci´o dels pun s de les aules L’ex acci´o dels pun s de la aula ´es un dels p ime s p ocessos que s’execu en i com s’explica al disseny de l’aplicaci´o es basa en l’es udi dels his og ames de les ima ges de p o undi a pe a calcula els pun s candida s a se de la aula. 9 En el his og ama podem eu e es pics que sob esu en cla amen de la es a de alo s i que es epe eixen a o es les ima ges cap u ades, el p ime pic es `a semp e a la posici´o 0, aques p ime pic con ´e alo s e onis que se an il a s desp ´es. Els al es dos pics ep esen en els pun s de la aula i del e a i com que el e a es `a a una dis `ancia supe io a la c`ame a podem suposa que el pic del mig ep esen a la aula. Pe an el p oc´es a segui pe cada ima ge ´es de ec a el pic de la aula i aga a els alo s al ol an d’aques , aix´ı enim a¨ılla s aques s pun s, a m´es, du an l’ex acci´o d’aques s 9His og ama d’una de les ima ges de p o undi a 33 pun s amb´e es a c ean una m`asca a que elimina els alo s que no apo en in o maci´o i ma ca els co esponen s a la aula. 10 Com es po eu e en aques a ima ge, amb´e s’han cap u a pun s que no pe `anyen a la aula, aix`o es pe que els aques s pun s enen una al u a mol semblan a la de la aula. Pe aix`o ´es necessa i un il a ge dels pun s ex e s. 8.2.1 Fil a ge dels pun s de la aula Pe e i a aga a el mu o al es objec es a la ma eixa al u a de la aula com si ossin pa d’aques a ´es necessa i aques il a ge, pe a aconsegui elimina aques s pun s s’u ili za la m`asca a c eada en el p oc´es an e io ac an -la com si os una ima ge bin`a ia. A a en p o iling de la ima ge bin`a ia (de x iles i y columnes) en x i en y podem de ec a els sal s que delimi en la aula en cada eix. En el cas de les x el p o iling ´es la c eaci´o d’un his og ama de x bins on cada bin con ´e el nomb e de pun s d’aquella ila que se suposen de la aula, en el cas de les y el his og ama es calcula pe columnes. A a comen¸can pe la moda d’aques s p o ilings, que es conside a aula, s’ha de busca a banda i banda de la moda els p ime s alo s segui s a 0, les x i les y d’aques es posicions delimi en la aula i ens diuen quins pun s e en ealmen pa de la aula. 10Ima ge de p o undi a amb els pun s ex e s posa s a 0 34 11 8.2.2 C`alcul de la dis `ancia ins a la aula Aques c`alcul es a desp ´es del il a ge. Pe cada ima ge es calcula la mi ja a i m`e ica de o es les p o undi a s dels pun s ma ca s com a aula i es gua d`a aques alo en una llis a. Un cop acaba el bucle pe a ac a cada ima ge pe sepa a s’ha de e la mi jana de o s els alo s que s’han ana a egin a la llis a pe ob eni el que suposa em com la dis `ancia ins a la aula. 8.3 C`alcul de la dis `ancia ins al e a Pe a calcula la dis `ancia ins al e a no u ili za em la mi ja com pe a calcula la posici´o de la aula, doncs el e a ´e mol s m´es alo s ex ems que la aula i no es p oduc iu que aix`o es egi en la mi ja. Pe aix`o suposa em una p o undi a llinda p ope a als 2 me es pe a ex eu e els alo s m´es baixos de l’escena. Amb aques s alo s calculem quin ´es el m´es com´u de o s, o sigui, la moda d’aques s a˜np s i suposem que es el que co espon al e a. Aques a soluci´o ens p opo ciona no malmen una alo p ope a 2.3m que ´es on es `a el e a segons les mesu es e es a l’escena eal. 11Ima ge de p o undi a amb els pun s ex e s i il a s posa s a 0 35 8.4 C`alcul de la coo denada xdel mu d e Pe a la co ec e ex acci´o dels objec es de l’escena ´es obliga `o ia la sepa aci´o del mu d e . D’aques mu nom´es sabem que es `a a la d e a de la ima ge i que ´es un mu , pe an , o ell es a en una solo coo denada xen l’espai, pe o en a ies jen les o os pe q¨ues ions de pe spec i a. Saben aix`o nom´es necessi em calcula una egada en quina coo denada es `a el mu i podem u ili za els pun s de m´es a la d e a de la ima ge de p o undi a pe a eni una idea de la coo denada x. Pe `o a la d e a del o de la ima ge de p o undi a enim una banda neg e, pe an em d’igno a aques s pun s i els del obo i ex eu e els p ime s pun s `alids que enim a la d e a de cada ima ge. Un cop hem ex e uns quan s pun s que pe anyin al mu calculem un alo mi j`a i apliquem la ans o maci´o de p´ıxel a coo denada pe aconsegui la x. 8.5 Sua i za de la aula i co ecci´o de les posicions dels objec- es En aques a secci´o i pe ilus a millo les aons i esul a s del sua i za s’u ili za ´an di e en s ima ges de les econs uccions e es. Pe comen¸ca aques a ´es una ima ge de l’escena que en oca la aula sense aplica cap il e: 12 12Recons ucci´o de l’escena sense cap sua i za 36 Com es po eu e a la ima ge, la aula es `a o mada pe un n´u ol de pun s que no man ´e una ma eixa zal lla g de la aula. La soluci´o a aques p oblema ´es u ili za la zde la aula calculada du an els p ime s passos del p oc´es i posa o s els pun s de la aula a aques a z. El esul a ´es el seg¨uen : 13 Es po eu e que el sua i za de la aula p opo ciona un esul a bas an ne a la econs ucci´o, pe `o a al a mou e els objec es d’aco d amb les ans o macions, pe an pe cada ima ge u ili zada pe al sua i za , se’n calcula la ans o maci´o que ha so e i s’aplica als objec es d’aques a pe a que no quedin lo an o in e seca s pe la aula. 8.6 T ans o maci´o de les ima ges a n´u ols de pun s Aques ´es el p oc´es on es econs ueix o a l’escena i es usionen o es les ima ges de p o undi a . Pe comen¸ca cal de ini la o ma de ans o ma un p´ıxel a un pun a l’espai, el p ime pas es ans o ma la p o undi a que ens p opo ciona les ima ges a un alo en mil.l´ıme es: p= (pixel(i, j)∗2500)/(65536 ∗1000) En la ´o mula p oposada p´es la dis `ancia del p´ıxel ins al pla de la c`ame a, 65536 ´es el alo m`axim que poden eni aques s p´ıxels i 2500 ´es el alo en mil.l´ıme es que co - espon a 65536. A a podem u ili za ppe a calcula les coo denades xiyu ili zan 13Recons ucci´o amb els pun s de la aula sua i za s 37 els `angles ho i zon al i e ical de les c`ame es (HANGLE iVANGLE) i la posici´o de la c`ame a, aques ´es el plan ejamen de les ´o mules: p αβ pixel(i,j) y’ x’ cam 14 α=−((j−(cols/2)) ∗HANGLE/2)/(cols/2) β= ((i−( ows/2)) ∗V ANGLE/2)/( ows/2) x0= an(α)∗p;y0= an(β)∗p x=x0+cam.x y=y0+cam.y z=−(p−g ound) Aplican aques a ans o maci´o p´ıxel a p´ıxel podem ob eni un n´u ol de pun s que ep esen a l’escena, cal no a que el c`alcul d’al a ´e un nega iu el p incipi, aix`o es pe assegu a que el alo esul an segueix els eixos de coo denades demana s, el ma eix passa amb el c`alcul de z, l’´ul ima ´o mula mos a com es passen el o igen de coo denades des de la c`ame a ins al e a (g ound ep esen a el alo del e a que s’ha calcula ). 14Rep esen aci´o g `a ica de les a iables 38 8.6.1 Tex u i zaci´o El p oc´es de exu i zaci´o s’aplica de o ma mol simple du an la con e si´o de les ima ges a pun s, nom´es necessi em la ima ge RGB co esponen a la de p o undi a i assigna a cada pun a l’espai el colo que ingui el p´ıxel RGB co esponen al de p o undi a . To i aix`o poden ha e -hi p oblemes pe culpa del solapamen d’ima ges: 15 Aques p oblema el p o oca la is a de les al es c`ame es, doncs com la ima ge RGB ha sigu ex e a des d’una al e posici´o i la il.luminaci´o ´es di e en a la de la ima ge an e io . Pe aix`o els pun s solapa s en e dos ima ges c een aques e ec e que podem eu e a la cap u a de la ex u i zaci´o.Pe `o la soluci´o al p oblema ´es po a a e me du an el p oc´es de segmen aci´o de l’escena en di e en s n´u ols. 8.6.2 Segmen aci´o de l’escena En les seccions an e io s i en el disseny de l’aplicaci´o hem is que ´es necessa i sepa a les pa s de l’escena (sob e o els objec es) pe a po a a e me els objec ius d’aques p ojec e. Aques a segmen aci´o es po a a e me du an la ans o maci´o dels p´ıxels en pun s, cada cop que es ans o ma un p´ıxel s’ha de decidi de quina pa de l’escena o ma pa . La decisi´o sob e el n´u ol on a el p´ıxel es po a a e me a pa i de m´ul iples 15Escena exu i aza amd p oblemes pe el solapamen en e ima ges 39 dades, la m`asca a c eada du an l’ex acci´o de la aula, la dis `ancia ins a la aula i la coo denada xdel mu s´on les guies pe a di idi co ec amen l’escena. 16 Pe comen¸ca si la m`asca a diu que un p´ıxel no apo a in o maci´o aques s’elimina de l’escena, si la m`asca a diu que o ma pa de la aula s’a egeix aques p´ıxel al n´u ol de la aula. En el cas que el p´ıxel sigui del es a de l’escena ens queden es opcions, objec es, mu d e o escena i. Pe a sabe si o ma pa del mu d e podem u ili za la posici´o d’aques p `e iamen calculada i eu e si la coo denada xdel p´ıxel a ac a es `a su icien men a p op de la del mu pe a conside a -se com a al. Si el p´ıxel no es del mu , lla o s ´es objec e o escena i i la o ma de sabe a quin g up pe any es obse an la zdel p´ıxel, si es majo que la de la aula ´es pa dels objec es, en cas con a i, ´es escena i. pa Tamb´e es possible soluciona el p oblema del solapamen du an aques a segmen aci´o. La soluci´o p oposada ´es e que cada ima ge de p o undi a ansme i a la seg¨uen la y m´es baixa pe anyen a la aula que oben, una opci´o ´es que la ima ge que ebi aques a dada nom´es ac i els pun s de la aula i objec es que inguin yin e io a la ansmesa pe la ima ge an e io . Pe `o aques plan ejamen ´e un p oblema, si pe exemple hi han objec es m´es ele a s que la aula i a la ma eixa ique el pun de la aula ansm´es 16Escena exu i aza amd p oblemes pe el solapamen en e ima ges 40 9.2 Resul a s del clus e ing Els esul a s del clus e ing amb´e s´on bas an sa is ac o is, doncs g `acies a l’ex acci´o inicial dels plans i a l’ajus amen de la dis `ancia de ole `ancia a 1cm l’escena es clus e i za sense p oblema i es euen o s els objec es cla amen sepa a s. 21 En la ima ge de l’escena podem eu e com els 11 objec es d’aques a s’han sepa a co ec amen i s’ha assignan a cada un un colo di e en pe a isuali za -ho millo , amb´e es po eu e m´es cla amen com ha desapa egu el so oll p esen al ol an dels objec es g `acies al clus e ing i com la sa a a no ´es e en comp e com a objec e pe `o si pe a l’escena. Respec e a la sensibili a de la sepa aci´o cal di que no es de ec en objec es massa pe i s com una culle a que es a a a la sa a a ja que pe la se a baixa zs’acaba conside an pa del pla. En quan a la dis `ancia de ole `ancia, aques a ´es d’un cen ´ıme e i pe an s’ha de igila de que els objec es no es iguin a men s d’aques a dis `ancia en e ells pe a eni una bona clus e i zaci´o. 21Escena clus e i zada 47 9.3 Temps d’execuci´o Com s’explica als objec ius i du an o a la mem`o ia del p ojec e, el emps d’execuci´o ´es un pun clau pe al co ec e uncionamen del p ojec e i pe aix`o s’han e mesu es dels di e en s emps d’execuci´o del p ojec e. Cal eni en comp e que com el p og ama enca a no es `a implan a al sis ema obo , les ima ges les llegeix di ec amen del disc du i la m`aquina on s’han execu a aques es p o es ´es un In el Co e i7-3820. Pe una banda enim el ems necessa i pe e l’escena inicial, aques emps po se mol se bas an ele a , doncs ep esen a que nom´es s’execu a `a du an la c eaci´o del obo . To i aix`o enca a man enim uns emps bas an s baixos: N◦ima ges Temps 4 0.81s 8 1.15s 16 1.48s 23 2.47s Pe l’al e banda enim el emps de ac amen d’una ima ge, un emps m´es c ´ı ic ja que condiciona la capaci a de eacci´o del obo . Les execucions ens donen un emps de 0.33s, pe an , no ´es in iable u ili za aques p ocedimen a 3 ames/segon pe `o amb´e s’ha de eni en comp e que el ac amen de cada ima ge ´es o almen independen i es pod ien e m´ul iples ac amen s a la egada. 48 10 An`alisi de cos os 10.1 Conside acions Pe a po a a e me el p ojec e s´on necessa is una s`e ie de ecu sos an de ecu sos de so wa e o ha dwa e com humans. Pe aix`o, en aques documen s’es ima `a el cos econ`omic del p ojec e. A m´es amb´e s’es udia `a el possible impac e social i mediambien al que po eni aques p ojec e. Els cos os es ima s en aques a secci´o es an calcula a l’e apa de GEP pe aix`o alguns cos os poden ha e a ia no ablemen , amb´e cal eni en comp e que aques s cos os s´on es imacions i no hi hau `a un cos econ`omic eal d’aques p ojec e. 10.2 P essupos en ecu sos humans A pa i de les ho es es imades en la plani icaci´o empo al i la epa ici´o d’aques es en les di e en s asques es po calcula el cos econ`omic que po eni aques p ojec e a pa i de les ho es u ili zades a cada ol. Els ols necessa is pe a desen olupa aques p ojec e s´on un P ojec manage que s’enca ega de la p ime a e apa (plani icaci´o i iabili a ) i de la ase inal, un enginye de so wa e pe al disseny i an`alisis i un desen olupado de so wa e pe a la implemen aci´o i alidaci´o. Rol Ho es es imades P eu pe ho a To al P ojec Manage 95 50 4750.00e Enginye del So wa e 83 40 3320.00e Desen olupado 310 40 12400.00e To al es ima 488 20470.00e 10.3 P essupos en llic`encies de so wa e Du an el desen olupamen del p ojec e amb´e se `a necessa i u ili za di e en so wa e que po no se g a u¨ı . Cal eni en comp e que en aques cas la majo ia del so wa e e p opo ciona pe la uni e si a , pe `o o i aix`o ind em en comp e el cos de les llicencies 49 de so wa e. A m´es, com du an el p ojec e s’ha a ia a ies egades de pla a o ma i de p og ames o llib e ies a u ili za ind em en comp e o el so wa es que s’ha e se i , ja sigui al p incipi o al inal de o . P oduc e P eu Uni a s To al Windows 7 P o essional 125.00e1 125.00e MATLAB 500.00e1 500.00e MATLAB Image p occessing oolbox 200.00e1 200.00e Ubun u 64 bi s 0.00e1 0.00e Poin Cloud Lib a y 0.00e1 0.00e OpenCV 0.00e1 0.00e ROS 0.00e1 0.00e To al es ima 825.00e 10.4 P essupos en ecu sos ha dwa e Jun amb el so wa e amb´e es necessa i el ha dwa e on execu a -ho, en aques cas se `a un PC ja comp a pe `o que ind em en comp e al p essupos . Tamb´e cal eni en comp e el p eu de les c`ame es de p o undi a que s’u ili za an, en can i, no es ind `a en comp e el cos del b a¸c ob`o ic o de o el conjun del obo que posseeix l’ESAII ja que el p ojec e es a pe ajuda a aques s obo s y no o men pa di ec amen d’aques . P oduc e P eu Uni a s To al PC(ap oxima ) 1000.00e1 1000.00e ASUS X ion P o 195.00e1 195.00e To al es ima 1195.00e 50 10.5 P essupos o al Concep e To al Recu sos humans 20470.00e So wa e 825.00e Ha dwa e 1195.00e To al es ima 22490.00e 10.6 Viabili a del p ojec e En aques a apa a es udia em la iabili a d’aques p ojec e enin en comp e els cos os es ima s en les an e io s seccions. Cal eni en comp e que aques ´es un p ojec e de ca `ac e acad`emic pe un TFG, pe an , no espe em uns bene icis econ`omics di ec es dels seus esul a s. Pe aques mo iu si enim en comp e que g an pa dels cos os ja es an assumi s, sigui pe l’ESAII o pe la UPC, i que els cos os en ecu sos humans no se an paga s podem conclou e en que el p ojec e ´es pe ec amen iable. 10.7 Impac e social Com o p ojec e a desen olupa aques amb´e po eni un ce impac e sob e la socie a y el seu es il de ida. Conc e amen aques p ojec e busca eni un g an impac e sob e el dia a dia de la gen y sob e o en el de pe sones amb mobili a edu¨ıda. No malmen una pe sona que pe exemple es igui en cadi a de odes po eni p oble- mes pe eballa o e algunes ac i i a s sob e una aula, pe aix`o aques sis ema busca assis i a aques a pe sona de la o ma m´es au om`a ica possible i sense dona cap p oble- ma al usua i. El e de que aques obo pugui mou e els objec es de o ma in el.ligen o so a demanda po agili za mol la eina d’aques es pe sones a la ida quo idiana. A m´es, el p ojec e po se i de base pe a aques ma eix obo en al es ambien s, com un alle o al es aules de eball. Tamb´e cal eni comp e el p eu que po eni aques p oduc e i si la ins al.laci´o del sis ema ´es iable en o s els casos. Si el p eu d’ins al.laci´o os massa al el p oduc e 51 segu amen no pod ia eni el impac e desi ja sob e la poblaci´o amb mobili a edu¨ıda, pe an cal mode a lo m`axim possible el cos d’aques o eni -lo en comp e com un pas enda an pe al desen olupamen d’un sis ema com aques . 10.8 Impac e mediambien al El impac e mediambien al d’aques p ojec e e dona pe el cos de ab icaci´o del ha dwa- e necessi a (PC y c`ame es) i pe l’ene gia que s’u ili za `a du an el p ojec e. Cal eni en comp e que no es ac a d’un p ojec e amb un g an impac e mediambien al du an la se a eali zaci´o. To i aix`o pod ´ıem pa la del cos de la c eaci´o dels sis emes comple s si aconseguissin eni `exi . En aques cas amb´e hau ´ıem de eni en comp e el impac e que ´e cons ui els obo s, les pla a o mes pe que es moguin i el cos ene g`e ic que po eni e se i les c`ame es i el obo du an el dia a dia. 52 11 Conclusions Aques eball es a plan eja inicialmen com la econs ucci´o d’una escena i el eco- neixemen dels objec es d’aques a, pe an , els objec ius b`asics s’han man ingu pe `o o i aix`o el plan ejamen del p oblema ha ana can ian cons an men du an el desen olupa- men del p ojec e i s’han ana eliminan o a egin objec ius al p ojec e. Aix´ı ma eix g an pa del emps del p ojec e es a aplica en desen olupa les idees pe a la econs ucci´o a mesu a que es can ia a el plan ejamen del eball. Una de les p ime es conclusions que es an ex eu e a se que els m`e odes adicionals pe a usiona les ima ges e es o almen in iables pe a econs ui en emps eals, pe aix`o ha sigu necessa i desen olupa una econs ucci´o m´es conscien de l’escena que e i ´es algo i mes com ICP. Al inal aques a econs ucci´o conscien de l’escena ha apo a esul a s bas an sa is- ac o is, doncs les ima ges de la econs ucci´o (secci´o 9) queden bas an ne es g `acies a la implemen aci´o dels m`e odes de sua i za de la aula i ne eja del so oll. A m´es a m´es pe a ne eja l’escena d’in o maci´o in´u il amb´e ha ajuda mol el m`e ode implemen a pe a ac a el solapamen de les di e en s cap u es. Pe an podem conclou e que el esul a de la econs ucci´o ´es bas an sa is ac o i. L’al e objec iu p incipal del p ojec e, la clus e i zaci´o dels objec es en l’escena, co- men¸ca pe la segmen aci´o d’aques a escena en pa s, en conc e s’ha di idi l’escena en qua e n´u ols: el mu , la aula, els objec es ( o all`o pe sob e de la aula que no sigui mu ) i la es a de l’escena i. Ap o i an aques a segmen aci´o s’ha implemen a el clus e- ing dels objec es u ili zan m`e odes adicionals amb un cos compu acional ele a pe `o amo i za pe el baix nomb e de pun s a ac a . Pe an , amb´e s’ha oba un m`e ode sa is ac o i pe a clus e i za els objec es, doncs donada l’escena d’exemple, el m`e ode implemen a sepa a co ec amen o s els objec es. Tamb´e cal eni en comp e que la mo i aci´o inal del p ojec e ´es assis i el obo que es mou pe l’escena i pe aix`o l’escena amb´e s’ha d’ana ac uali zan , l’escena po ac uali za -se a egin m´es objec es o eliminan -los al igual que po de ec a els con lic es amb el solapamen d’objec es. Pe `o el e de soluciona aques s con lic es mo en la c`ame a de o ma ac i a queda com a u u a l´ınia de eball. Pe acaba podem di que els objec ius p incipals del p ojec e han es a assoli s ja 53 que els esul a s s´on bas an s bons i els emps d’execuci´o amb´e compleixen amb el que s’espe a a pe `o la soluci´o implemen ada dep`en mol del coneixemen de l’escena i pe an es possible que os necessa i un calib a ge en cas de can ia d `as icamen d’escena. Pe `o enca a queda mol pe a eni el sis ema obo al comple , a la seg¨uen secci´o s’expliquen algunes de les possibles b anques de eball que es poden segui a pa i d’on s’ha queda aques p ojec e. 54 12 Fu u es l´ınies de eball 12.1 Classi icaci´o d’objec es Un dels pun s plan eja s al p incipi del eball i que po apo a mol a aques p ojec- e, doncs el e d’implemen a un classi icado d’objec es o e eix la possibili a de e que el obo pugui econ`eixe els objec es que hi han pe l’escena, nom´es a egin aix`o el sis ema po guanya un quan i´os nomb e de uncionali a s. Doncs se ia mol m´es `acil implemen a sis emes de AI que essin que el obo ac ´ues pe ell ma eix o que la comu- nicaci´o obo -hum`a os mol m´es `acil, doncs amb comunica al obo que l’usua i ” ol la paella”se ia su icien pe a que el obo an´es a busca la paella i la po ´es. A m´es el p ojec e ja es a a en oca a desen olupa aques a uncionali a i pe aix`o ma- eix amb´e enim mol a in o maci´o de cada objec e, enim el colo , les posicions, mesu es, o ien aci´o i al es. Amb o aix`o es mol iable la implemen aci´o d’un classi icado que eballi compa an aques es ca ac e ´ıs iques pe exemple u ili zan les dis `ancies en e his og ames de colo i les di e `encies en la g and`a ia dels objec es com amb´e es pod ia e se i la o ma dels objec es u ili zan desc ip o s d’aques es. En conclusi´o, la classi icaci´o dels objec es clus e i za s ´es un pun obliga o i pe a la millo a d’aques sis ema. 12.2 Ac uali zaci´o amb Nex Bes View Un pun del p og ama a millo a ´es el p oc´es d’ac uali zaci´o de l’escena, en la soluci´o p oposada quan una ac uali zaci´o alla un objec e pe la mei a la es a queda ma ca com con lic iu i ampoc es de ec a quan un objec e nou es `a alla , pe aix`o ma eix a al a alg´un m`e ode que s’enca egui d’aques s con lic es i una de les soluciones ´es u ili za la plani icaci´o pe Nex Bes View. El Nex Bes View ´es un sis ema de plani icaci´o u ili zan en la econs ucci´o dels objec es, l’objec iu del sis ema ´es calcula quina ´es la seg¨uen posici´o de la c`ame a pe a e una econs ucci´o lo m´es exac a possible, aix´ı es po ana mo en la c`ame a d’aco d amb les ins uccions d’aques algo isme pe a aconsegui una econs ucci´o o al d’un objec e. Pe al nos e cas aix`o po se ´u il en les si uacions exposades abans, si algun 55 objec e quedes alla o en mala posici´o ´es millo calcula des d’on e una al a cap u a pe a aga a o a la zona d’in e `es sense cap all i esold e aix´ı els p oblemes de zones con lic i es o objec es c ea s a mi ges. G `acies a aix`o ´es possible assegu a mol m´es b´e la obus esa del sis ema en quan a la ac uali zaci´o, doncs elimina ´ıem o almen els p oblemes plan eja s pe aques a. 12.3 In eg aci´o de m´ul iples c`ame es La in eg aci´o de m´ul iples c`ame es en l’escena pod ia ajuda mol al p og ama sob e o en la pa de la econs ucci´o, doncs si ens ixem b´e en les escenes econs u¨ıdes els la e als dels objec es no es an gai e ben de ini s i aix`o ma eix p o oca po p o oca p oblemes sob e o en un m`odul de classi icaci´o, doncs ens po al a mol a in o maci´o sob e els objec es. Aques p oblema ´es causa de nom´es eni is es de plan a dels objec es i pe aix`o ´es bona idea posa m´es c`ame es sob e o amb al es angles. A m´es si la c`ame a os ixa i ingu´essim la posici´o i angles ampoc dona ia gai es p oblemes a egi aques a cap u a a l’escena, doncs la ma eixa ans o maci´o aplicada a aques s nous pun s segu amen unciona ia pe aques a no a c`ame a. Els m`e odes pe a di idi l’escena amb´e unciona ien amb pe i es modi icacions, doncs un cop con e i s els p´ıxels a coo denades les comp o acions de zi del mu d e se ien pe ec amen aplicables a aques s nous pun s. To i les a an a ges que ens dona aques a no a c`ame a amb´e ´es possible que gene ´es nou so oll a l’escena o des iacions en alguns dels objec es. A m´es a pa de els pun s ´u ils que aconseguim amb una al e is a amb´e ´es segu que es gene a an mol s pun s solapa s amb els an ics que p o oca ien so oll i acumulaci´o de pun s i e o s en la ex u i zaci´o com ela que p o oca el solapamen de les di e en s ima ges. 12.4 Pa aleli zaci´o del pipeline i op imi zacions Du an l’explicaci´o del pipeline del p og ama ´es a explica que hi ha ien mol es pa s sense depend`encies i que e a possible una pa aleli zaci´o del p og ama, o i que els emps d’execuci´o no s´on gai e ele a s els p ocessos pe a ac a les ima ges una a una no enen gai ab´e depend`encies. Pe aix`o ma eix, ´es mol iable una pa aleli zaci´o d’aques a 56