Modelado del contexto geométrico para el reconocimiento de objetos

Modelado del Con ex o Geom´e ico pa a el Reconocimien o de Obje os Jose-Raul Ruiz-Sa mien o, Cip iano Galindo, Ja ie Gonzalez-Jimenez Depa amen o de Ingenie ´ıa de Sis emas y Au om´a ica, Ins i u o de In es igaci´on Biom´edica de M´alaga, Uni e sidad de M´alaga, Campus de Tea inos, 29071, M´alaga {jo a aul,cgalindo,ja ie gonzalez}@uma.es Resumen El econocimien o de obje os es una a ea cla e pa a do a de cie a au onom´ıa a un obo m´o il. Los m´e odos de econocimien o adicionales han alcanzado un ´exi o acep able empleando in o - maci´on sob e la apa iencia y/o la geome ´ıa de los obje os, aunque pueden p esen a esul ados ambiguos. Pe siguiendo mi iga es a des en aja, en es e abajo se es udia c´omo modela in o - maci´on sob e el con ex o geom´e ico de los ob- je os, la cual esul a ´u il pa a inclina la bal- anza en econocimien os ambiguos, de al man- e a que se alcance un econocimien o an exi oso como sea posible. Pa a ello hemos ecu ido a los Campos Alea o ios Condicionales como he - amien a de modelado, y a Robo @Home como conjun o de da os pa a la e aluaci´on. Con es- as p emisas se han alcanzado conclusiones in e e- san es pa a cualquie sis ema econocedo emple- ando in o maci´on con ex ual. Palab as cla e: Reconocimien o de obje os, con ex o geom´e ico, campos alea o ios condi- cionales, obo s de se icio. 1 INTRODUCCI ´ ON Pa a que un obo m´o il pueda p es a se icios con ´exi o en su luga de abajo necesi a alcanza un cie o g ado de comp ensi´on sob e su en o no. El econocimien o de obje os es una a ea cla e pa a ello, ya que pe mi e al obo in e ac ua con los elemen os de ec ados en su al ededo . Es e econocimien o ha de se iable, ya que una clasi- icaci´on e ´onea puede comp ome e la in eg idad del obo , de su en o no, o incluso de se es hu- manos. Pa a isualiza es o, sup´ongase un obo enca gado de p o ee medicaci´on a una pe sona mayo , de ega las plan as, o de plancha la opa. Los m´e odos de econocimien o adicionales que econocen indi idualmen e cada obje o en el en- o no han alcanzado un ´exi o no able [1, 2, 3]. No obs an e, es os m´e odos pueden a menudo o ece esul ados ambiguos que comp ome en la ope aci´on del obo , p.e. un obje o cil´ınd ico de ? ? ? ? ? ? obse ación 1 obse ación 2 Figu a 1: Ejemplo del p oblema del modelado con- ex ual. En el caso de la mesa de noche (c´ı culo na anja), sus elaciones de con ex o (l´ıneas azules y e des) an a depende del ango de con ex o empleado, y de la ex ensi´on de la in o maci´on con- ex ual a modela . ama˜no medio pod ´ıa se econocido como una pa- pele a, un ja ´on, una bo ella, e c [4]. Una mane a de elimina es as ambig¨uedades es la u ilizaci´on de in o maci´on sob e el con ex o geom´e ico de los obje os: si hay una lo encima, p obablemen e sea un ja ´on [5]. Es a uen e de in o maci´on pe - mi e analiza las elaciones en e los obje os, y es de g an alo a la ho a de econoce los. Los Campos Alea o ios Condicionales, del ingl´es Condi ional Random Fields (CRFs) [6], son una he amien a com´unmen e usada pa a modela y explo a in o maci´on con ex ual. Es os modelos se basan en una ep esen aci´on en o ma de g a o, donde los nodos son in e p e ados como obje os, y los a cos conec an nodos/obje os con una elaci´on de con ex o. Pa a c ea dichos a cos se suele es- ablece un ango de con ex o, que ija la dis ancia m´axima a la que dos obje os pueden es a si u- ados en el en o no pa a conside a se que exis e una elaci´on en e ellos. Po ejemplo, las ela- ciones que se mues an como l´ıneas azules en la Fig. 1 se es ablece ´an dependiendo de es e ango de con ex o. En la li e a u a ambi´en pueden en- con a se abajos que conside an dis in as uen es de in o maci´on con ex ual a modela : p o enien e de una obse aci´on del en o no (imagen de in ensi- dad, RGB-D, e c.), donde es a in o maci´on puede se escasa o pob e, o de una econs ucci´on del mismo, lo que p opo ciona una mayo ex ensi´on de la in o maci´on con ex ual (po ejemplo, las elaciones que apo a la imagen de la de echa en la Fig. 1, ep esen ada como l´ıneas e des). La elecci´on del ango de con ex o, o de la ex ensi´on de la in o maci´on con ex ual, suelen hace se de man- e a ad-hoc sin ene en cuen a sus posibles e ec os en el econocimien o. Es e abajo pe sigue p o ee indicaciones ´u iles y buenas p ´ac icas sob e el modelado de in o - maci´on con ex ual, de al mane a que cualquie sis ema econocedo explo ando es a uen e de in- o maci´on pueda alcanza unos esul ados an ex- i osos como sea posible. Pa a ello se u ilizan los CRFs como he amien a pa a el modelado y ap o echamien o del con ex o, y se es udian p in- cipalmen e los dos ac o es an e io men e ci ados, la elecci´on i) del ango de con ex o, y ii) de la ex ensi´on de la in o maci´on a modela . En dicho es udio se analiza la in luencia de es os ac o es an o en el ´exi o del econocimien o, como en los iempos de ejecuci´on necesa ios pa a los p ocesos de en enamien o e in e encia sob e los CRFs, de al mane a que se pueda selecciona la con igu- aci´on que m´as se ajus e a las necesidades de cada aplicaci´on. Pa a lle a a cabo los expe imen os ealizados du an e el es udio se ha empleado el conjun o de da os Robo @Home [7], dada su com- plejidad y adecuaci´on al p oblema: ue ecogido po un obo m´o il en en o nos dom´es icos. 2 TRABAJOS RELACIONADOS Los m´e odos de econocimien o adicionales han enido un ´exi o no able en aplicaciones donde se especializan en de ec a un cie o ipo de ob- je o (e.g. ca as humanas [1]) o donde los obje- os a econoce apa ecen aislados [2]. Ejemplos de es os m´e odos son los que emplean desc ip- o es de la imagen como Scale-In a ian Fea u e T ans o m (SIFT) [8] o Speeded-Up Robus Fea- u es (SURF) [9], los cuales son explo ados po clasi icado es como las Suppo ed Vec o Machines (SVMs) [10] o las Bag-o -Wo ds (BoW) [3]. No obs an e, su endimien o iende a baja en si ua- ciones donde el n´ume o de posibles ca ego ´ıas a econoce es ele ado, o donde los obje os apa e- cen en escenas pobladas con m´ul iples obje os en di e sas localizaciones y con igu aciones, como es el caso de en o nos humanos (o icinas, hoga es, e c.) [4]. Uno de los p incipales mo i os de ´as de es a ca´ıda de endimien o es la apa ici´on de e- sul ados ambiguos. No obs an e, es e en´omeno se puede palia con la u ilizaci´on de in o maci´on sob e el con ex o geom´e ico de los obje os [5]. Los Modelos G ´a icos P obabil´ıs icos, del ingl´es P obabilis ic G aphical Models (PGMs) [6], son u ilizados en mul i ud de abajos pa a modela y explo a e icien emen e dicho con ex o. Pa a el caso del econocimien o de obje os, los Cam- pos Alea o ios Condicionales (del ingl´es Condi- ional Random Fields, CRFs), un ipo pa icula de PGM, han esul ad especialmen e exi osos. Es- os modelos ue on empleados, po ejemplo, po Xiong y Hube [11] pa a el econocimien o de los componen es b´asicos de un edi icio: pa ed, suelo, echo, e c. Es os au o es elacionan cada obje o con los kobje os m´as ce canos, sin impo a la dis- ancia a la que se encuen en, en oque que puede da luga a elaciones poco ele an es o inexis- en es. Po su pa e, el CRF dise˜nado po Roge s y Ch is ensen [12] incluye elaciones en e los ob- je os y las habi aciones donde se encuen an, pe o no en e los p opios obje os, desap o echando una aliosa uen e de in o maci´on. O o abajo ele- an e es el de Lin, Fidle y U asun [13], donde los obje os son ep esen ados po sus cajas delim- i ado as, y se conside a que es ´an elacionados si es as cajas se encuen an a una dis ancia meno de 50 cen ´ıme os. Los au o es del p esen e es u- dio ambi´en p esen a on abajos p e ios donde se emple´o dicho ango de con ex o (p.e. [14, 15]). Quiz´as el abajo m´as elacionado con el nues o es el de Anand e al. [16], donde se usa un Campo Alea o io de Ma ko ( a ian e disc imina i a de los CRFs) pa a econoce obje os en en o nos de o icinas y dom´es icos. En ´el se ealiza un es udio supe icial de la in luencia del ango de con ex o y de la ex ensi´on de la in o maci´on con ex ual. En es e abajo se ealiza un an´alisis m´as p o undo de ambos ac o es, y ambi´en se es udia su epe - cusi´on en los iempos de ejecuci´on de los p ocesos de en enamien o e in e encia de los CRFs. 3 LA HERRAMIENTA: CRFs APLICADOS AL RECONOCIMIENTO La a ea del econocimien o de obje os en una es- cena consis e en asigna ca ego ´ıas de un conjun o L(p.e. mesa, mace a, co ina, cuad o, aso, e c.) a las obse aciones de los nobje os en la misma x= [x1,· · · , xn]. Si se conside a y= [y1,· · · , yn] como el ec o de a iables alea o ias que asignan a cada obje o en xuna ca ego ´ıa de L, el p oblema del econocimien o desde un pun o de is a p ob- abil´ıs ico se de ine como la b´usqueda de la asig- naci´on a yque maximiza la dis ibuci´on de p ob- abilidad condicionada p(y|x). Dada su compleji- dad, la de inici´on exhaus i a de es a dis ibuci´on no es ac ible. Es en es e pun o donde los CRFs nos o ecen la posibilidad de ep esen a la de al mane a que su compu o pueda se m´as e icien e. cama mesa de noche eloj lámpa a cuad o cuad o cuad o cuad o X1 X6 X2 X4 X3 X5 X7X8 X9 ces o y5 x5 y1y2 y4 y6 y7y9 y8 y3 I (y6,y9,x6,x9, θ ) U (y5,x5, θ ) x1 x3 x2 x6 x4 x7x8x9 Figu a 2: Izquie da, econs ucci´on de una habi aci´on con obje os segmen ados (x1,· · · , x9). De echa, ep esen aci´on median e un CRF en o ma de g a o de dicha escena, donde apa ece una a iable alea o- ia/nodo po cada obje o, y los obje os elacionados se conec an con un a co. Las o mas na anjas ep esen an el ´ambi o de un ac o local, las azules de un ac o po pa es, y las neg as son el esul ado de un p oceso de in e encia sob e el CRF. Pa a ello, los CRFs emplean una ep esen aci´on en o ma de g a o G= (V,E), donde los nodos en Vse asocian con las a iables alea o ias en y, y los a cos en Econec an nodos que gua dan alg´un ipo de elaci´on. En el caso del econocimien o de obje os, los nodos se conec an aco de al con ex o geom´e ico de sus obje os asociados. As´ı si dos obje os es ´an si uados ce ca en la escena, se en- iende que el econocimien o de uno iene in luen- cia di ec a (y mu ua) en la ca ego izaci´on del o o, conec ´andose sus nodos, mien as que si es ´an ale- jados o en dis in as habi aciones es a in luencia no es al. El c´omo decidi si dos obje os es ´an ce ca es mo i o de discusi´on en la Sec. 4.1. Una ez cons uido el g a o Gque ep esen a los obje os en el en o no del obo , la p obabilidad p(y|x) se codi ica sob e el mismo empleando el concep o de ac o . Un ac o puede in e p e- a se como una unci´on de inida sob e pa e del g a o que codi ica un pedazo de dicha p obabili- dad, siendo ´ıpicamen e de dos ipos: locales ypo pa es. Los ac o es locales se e ie en a un nodo del g a o, y es ablecen como de p obable es pa a una a iable alea o ia yiel pe enece a una ca e- go ´ıa de Lde acue do a las ca ac e ´ıs icas isuales y/o geom´e icas del obje o xi. Po su pa e, los ac o es po pa es se de inen sob e a cos, y de e - minan la compa ibilidad de asigna dos ca ego ´ıas de La dos a iables elacionadas yiyyj eniendo en cuen a xiyxj. Es os ac o es suelen modela se como clasi icado es lineales de la siguien e o ma: U(yi, xi,θ) = X l∈L δyi=lθl xi(1) I(yi, yj, xi, xj,θ) = X l1∈L X l2∈L δyi=l1δyj=l2θ xixj(2) siendo U(·) un ac o local de inido sob e el nodo asociado a yi, y I(·) un ac o po pa es sob e el a co que conec a yiyyj. En es as ecuaciones δes la unci´on del a de K onecke que oma el alo 1 si yi=l, y 0 si yi6=l,θes un ec o de pesos o pa ´ame os ap endido du an e la ase de en enamien o del CRF, y xiy xixjson ec- o es de ca ac e ´ıs icas ex a´ıdas de los obje os (colo , ama˜no, o ma, e c.) y de sus elaciones de con ex o (dis ancia, di e encia en al u a, a io de ama˜no, e c.) espec i amen e. Una ez de inidas las piezas que componen un CRF, y deacue do con el eo ema de Hamme sley- Cli o d, la unci´on de p obabilidad P(y|x) puede se inalmen e ac o izada sob e el g a o Gemple- ando modelos log-lineales como: P(y|x,θ) = 1 Z(x,θ)Y i∈V exp(U(yi, xi,θ)) Y (i,j)∈V exp(I(yi, yj, xi, xj,θ)) (3) La esencia de es a ep esen aci´on es que, al ele a al exponen e los ac o es, el esul ado es siemp e un alo mayo que 0, equisi o b´asico pa a que el p oblema pueda modela se median e un CRF. Po su pa e, Z(·) ( ambi´en llamada unci´on de pa ici´on) no maliza los ac o es pa a que el esul- ado sea una dis ibuci´on de p obabilidad, es o es Pξ(y)P(y|x,θ) = 1, siendo ξ(y) una asignaci´on posible a las a iables en y. Pa a consegui los esul ados de econocimien o hay que ealiza un p oceso de in e encia sob e el g a o G, el cual nos pe mi e ob ene la asignaci´on m´as p obable ˆ ya las a iables en y, es o es: ˆ y=a g max yP(y|x,θ) (4) Es a in e encia suele ealiza se median e m´e odos ap oximados, ya que su c´ompu o equie e del cal- culo de la unci´on de pa ici´on Z(·), que suele e- sul a imp ac icable en p oblemas eales. En el es udio ealizado en es e abajo se ha empleado el m´e odo Loopy Belie P opaga ion (LBP), dado su buen endimien o [17]. 4 MODELADO DEL CONTEXTO GEOM´ ETRICO Como se ha comen ado, el modelado de la in o - maci´on con ex ual se basa en decidi qu´e obje os del en o no es ´an elacionados en e s´ı, es o es, que nodos se conec an median e un a co. Pa a oma es a decisi´on se suele emplea un ango de con ex o (dis ancia m´axima a la que se con- side a que dos obje os es ´an elacionados), cuya elecci´on es ´a es echamen e ligada al ipo de la in o maci´on a modela . Los abajos m´as no- o ios en la li e a u a suelen usa obse aciones de la escena p o eyendo in o maci´on de in ensi- dad (imagen RGB) o de in ensidad y p o undidad (im´agenes RGB-D ). En el caso de im´agenes de in ensidad, el ango de con ex o puede es ablece se en el plano de la imagen a ni el de pixel o supe -pixel. As´ı, los pix- eles o supe -pixels que gua dan elaci´on con ex- ual son los que apa ecen colindan es en la imagen. Con es e en oque no se espe a la geome ´ıa de la escena, po lo que, po ejemplo, una egi´on co - espondien e con un obje o ce cano a la c´ama a pod ´ıa conec a se con o o lejano. Tambi´en hay abajos que ealizan una econs ucci´on idimen- sional de la escena, bien buscando pun os de uga, con im´agenes es ´e eo, e c., la cual pe mi e medi dis ancias geom´e icas en e los obje os pa a es- ablece su con ex o. Po su pa e, las im´agenes RGB-D ya p opo cio- nan dicha in o maci´on idimensional, po lo que son ap as pa a ealiza medidas geom´e icas. Es e es el ipo de im´agenes u ilizadas en es e abajo, discu i´endose a con inuaci´on las dis in as mane as de ealiza mediciones en las mismas. 4.1 MEDICI ´ ON DE LA DISTANCIA ENTRE OBJETOS Una ez con amos con una imagen RGB-D de una escena, y conside ando una ep esen aci´on en o ma de nube de pun os pc = [p1,· · · , pm] donde pi= [x, y, z, , g, b] (in o maci´on geom´e ica y de colo ), el p ime paso pa a es ablece las elaciones de con ex o es segmen a los obje os o= [o1,· · · , on] que apa ecen en la misma. Una ez segmen ados, cada obje o se co esponde ´a con una egi´on de la nube oi=pci,pci⊆pc. A con inuaci´on se discu en las opciones m´as ele- an es pa a calcula la dis ancias en e egiones. pc1 pc2 pc1 pc2 dis 1 pc1pc2 dis 2 pc1 pc2 dis 3 a) b) c) Segmen o de la en . con exa Mues a de la en ol en e Mues a de la nube de pun os Pun o del p ime obje o Pun o del segundo obje o Cen oide Figu a 3: Ejemplos de nubes de pun os pe enecien es a dos obje os en 2 dimensiones, y 3 mane as de calcula la dis ancia en e ellos. En e los m´as popula es, el p ime en oque pa a calcula la dis ancia en e pciypcjconsis e en calcula sus cen oides pciypcjy ob ene la dis- ancia euclidea en e ambos, es o es: dis 1(pci,pcj) = u u 3 X e=1 (pcie −pcje) (5) Aunque el c´alculo de es a dis ancia es ´apido, y el c´ompu o de los cen oides puede ap o echa se pa a desc ibi los obje os, iene el p oblema de que pa es de obje os g andes y p ´oximos pueden p e- sen a una dis ancia supe io al ango de con ex o y no se conec ados en el CRF ( e Fig. 3-a). Una segunda opci´on es el c´ompu o de las en ol- en es con exas C(pci) y C(pcj) que encie an a odos los pun os de cada obje o. Tomando mues- as de dicha en ol en e se pueden ob ene una se ie de pun os ciycjsob e las que ealiza medi- ciones de dis ancia eucl´ıdea, siendo la dis ancia en e dos obje os la meno de es as mediciones, es deci : dis 2(pci,pcj) = min (pi∈ci,pj∈cj) u u 3 X e=1 (pie −pje) (6) El usa es a dis ancia iene el incon enien e de que un obje o con pa es c´onca as pod ´ıa gene a mediciones de dis ancia i eales, dando luga a elaciones de con ex o e ´oneas ( e Fig. 3-b). Po ´ul imo, un e ce en oque consis e en usa la ue za b u a pa a compu a la dis ancia m´ınima en e cada pa de pun os de dos obje os, lo cual soluciona los p oblemas p esen ados po las op- ciones an e io es. No obs an e, es e p oceso es al amen e ine icien e y ha ´ıa imp ac icable el e- conocimien o. Una al e na i a iable es la de con- s ui una ep esen aci´on de la nube de pun os que pe mi a ealiza b´usquedas de pun os ce canos de mane a e icien e, como es el caso de los ´a boles kd [18]. Es e es el en oque usado en es e a- bajo, conc e amen e, se cons uye el ´a bol kd de pci,kd eepci(complejidad O(nlog n), siendo n el n´ume o de pun os), y se mues ea pcjpa a ob ene una se ie de pun os mj. De mane a e i- cien e (complejidad O(log n)) se busca el pun o m´as ce cano en el ´a bol a cada pun o de mj, siendo la dis ancia en e los obje os el pa m´as ce cano ( e Fig. 3-c). Es o es: dis 3(pci,pcj) = min (pi∈pci,pj∈mj)dis (kd eepci, pj) (7) Como se ha comen ado, una ez calculada la dis- ancia en e dos obje os, se usa el ango de con- ex o ijado (p.e. un me o, dos, e c.) pa a decidi si exis e o no una elaci´on de con ex o geom´e ico en e ambos. La elecci´on del ango de con ex o es cla e pa a pode saca el m´aximo pa ido a es- as elaciones, y es es udiado en p o undidad en la Sec. 5. Con un ango co o se es ablece ´ıan pocas elaciones y pod ´ıa desca a se in o maci´on con- ex ual aliosa, pe o los p ocesos de en enamien o e in e encia sob e CRFs se ´ıan ´apido. Po o o lado, un ango g ande conside a ´ıa una mayo po ci´on de dicha in o maci´on, pe o pod ´ıa pe ju- dica a los iempos de en enamien o e in e encia y aumen a su complejidad. El ango de con ex o se e in luenciado po un ac o adicional: la ex- ensi´on de la in o maci´on con ex ual con enida en la imagen, al y como se comen a en la siguien e secci´on. 4.2 EXTENSI ´ ON DE LA INFORMACI ´ ON CONTEXTUAL Tan o cuando se usan im´agenes de in ensidad como RGB-D, pa a saca le el m´aximo pa ido a la in o maci´on con ex ual es necesa io que en la ob- se aci´on apa ezca la mayo po ci´on de la escena posible. De no se as´ı, es a in o maci´on puede e- sul a escasa e incomple a en algunos casos, siendo de poca u ilidad. Po ejemplo, en la Fig. 4 se mues an a la izquie da dos obse aciones con in- o maci´on con ex ual limi ada, mien as que en las de la de echa la ex ensi´on de es a es mucho mayo . Una mane a de ex ende la in o maci´on con ex- ual a modela es conside a una po ci´on de la Figu a 4: A la izquie da, nubes de pun os de una cocina y un cua o de ba˜no con in o maci´on con- ex ual limi ada. A la de echa, nubes de las mis- mas habi aciones donde la in o maci´on con ex ual m´as ex ensa. escena mayo que la p opo cionada po una sim- ple imagen. Pa a ello se hace necesa io p opa- ga en el iempo y el espacio la in o maci´on en cada obse aci´on median e alg´un algo i mo de egis o o econs ucci´on. A pesa de lo in- e esan e de su uso desde el pun o de is a del ap o echamien o del con ex o, el econs ui una escena puede aca ea una se ie de p oblemas adi- cionales uen e de e o es en el sis ema econoce- do . Po ejemplo, un mal egis o de dos im´agenes puede hace que los obje os apa ezcan dobles o de o mes. Adem´as, en aplicaciones donde se e- quie a que el econocimien o de obje os uncione a una cie a ecuencia, el algo i mo de econ- s ucci´on ha de se su icien emen e ´apido pa a sopo a dicha ecuencia. Aunque el an´alisis de dis in os m´e odos de econs ucci´on es ´a ue a del alcance de es e a ´ıculo, si es ele an e el e ec o de con a con dis in as ex ensiones de la in o maci´on con ex ual en el econocedo , ac o que se analiza en la siguien e secci´on. 5 ESTUDIO Y RESULTADOS En es e apa ado se in oducen las he amien as y equipos empleados (Sec. 5.1) en el an´alisis del ango de con ex o (Sec. 5.2) y la ex ensi´on de la in o maci´on con ex ual (Sec. 5.3), as´ı como los e- sul ados que se desp enden del es udio ealizado. 5.1 HERRAMIENTAS EMPLEADAS Pa a el modelado, en enamien o e in e encia de los CRFs en es e abajo se ha empleado la lib e ´ıa Undi ec ed P obabilis ic G aphical Models in C++ Tabla 1: In luencia de la u ilizaci´on de dis in os angos de con ex o sob e el n´ume o de elaciones con- ex uales es ablecidas, los iempos necesa ios pa a el en enamien o y la in e encia de los CRFs usados, y el ´exi o en el econocimien o de es os. Rango # de elaciones Tpo. en enamien o Tpo. in e encia ´ Exi o 0m0 (0%) 2.02s0.01ms 64.92% 0.5m631 (14%) 17.48s0.15ms 70.54% 1m1,379 (31%) 29.10s0.36ms 71.17% 1.5m2,107 (48%) 35.76s0.69ms 72.39% 2m2,917 (66%) 37.14s1.04ms 73.51% 3m3,805 (86%) 32.50s1.81ms 70.29% 4m4,248 (96%) 27.40s2.37ms 69.26% 5m4,387 (99%) 19.57s2.84ms 68.18% 6m4,410 (100%) 18.09s3.23ms 67.86% (UPGMpp) [19], un so wa e lib e especialmen e desa ollado pa a acili a la u ilizaci´on de es os modelos en el econocimien o de obje os. Po o a pa e, pa a el an´alisis de las dis in as op- ciones de modelado con ex ual se ha con ado con el conjun o de da os Robo @Home [7]. Es e epos- i o io con iene m´as de 69,000 im´agenes RGB-D cap u adas po medio de un obo m´o il en en- o nos dom´es icos eales, donde apa ecen 157 ca - ego ´ıas de obje os e ique adas. De en e ellas, en es e abajo se han seleccionado pa a se econo- cidas las 19 m´as comunes, sumando un o al de ∼600 ins ancias de obje os. Pa a e alua el ´exi o en el econocimien o se ha empleado alidaci´on c uzada. En cada paso de es e m´e odo se emplean las obse aciones p o e- nien es de una habi aci´on elegida al aza pa a e alua , y las 31 es an es pa a en ena . Es o se epi e 1,000 eces cambiando la habi aci´on con la que e alua , y los esul ados son p omediados. Las p uebas se ealiza on en un o denado con un mic op ocesado In el Co e i7-3820 a 3.60GHz. y una memo ia RAM de 4x4GB. DDR3 a 1,600MHz. 5.2 INFLUENCIA DEL RANGO DE CONTEXTO Con el in de medi la in luencia del ango de con ex o en el endimien o del sis ema de e- conocimien o, se han usado las econs ucciones de las 32 habi aciones comen adas (la Fig. 4 mues a a la de echa dos de ellas). Es as econs ucciones ienen la o ma de nubes de pun os con in o - maci´on geom´e ica y de apa iencia (in ensidad). La Tab. 1 mues a los esul ados del es udio lle- ado a cabo, donde la p ime a ila se co esponde con un CRF que no emplea in o maci´on con ex- ual, mien as que el es o epo an el endimien o de CRFs que usan es a in o maci´on con dis in os angos de con ex o. Se puede ap ecia como el ´exi o en el econocimien o siemp e es mayo en las con igu aciones que explo an elaciones sin impo - a el ango elegido. En cuan o al n´ume o de elaciones conside adas po cada opci´on, empleando un ango de con ex o de 0.5 me os se explo an el 14% de ellas (4,410 exis en es), mien as que hay que i se has a una dis ancia de 6 me os pa a que se incluyan o- das. Desde los 0 has a los 2 me os, el inc e- men o del ango de con ex o aca ea un aumen o en el ´exi o del econocedo , alcanz´andose con el ´ul imo un ∼73.5% (un ∼8.5% m´as que sin em- plea con ex o). Es o se debe a que, con o me aumen a el ango, en an en conside aci´on ela- ciones que ienden a cumpli se aunque no siemp e p esen en dis ancias co as. Po ejemplo, en una cocina pueden apa ece un g i o y una placa de inducci´on ´ıpicamen e a una dis ancia supe io a medio me o. No obs an e, hay un pun o a pa - i del cual el inc emen o de es e ango iene un e ec o nega i o en el ´exi o, dada la al a a iabil- idad de las elaciones y la apa ici´on de o as que a a ez se cumplen. En el abajo de Anand e al. [16] es e pun o se si ´ua en 0.6 me os en en- o nos dom´es icos. Es a conside able di e encia se debe p obablemen e a la ex ensi´on de la in- o maci´on con ex ual usada, como e emos en el siguien e apa ado. El inc emen o del ango de con ex o ambi´en con- lle a un mayo iempo de ejecuci´on del algo i mo de in e encia, que a desde los 0.15ms. con medio me o, has a los 3.23ms. con 6 me os, si u´andose en 1.04ms. pa a el ango con el que se alcanza el mayo ´exi o. Es o pone de mani ies o que una elecci´on a bi a ´ıa del ango puede esul a en un endimien o no ´op imo del econocedo . Un hecho cu ioso a p ime a is a es la e oluci´on del iempo de en enamien o. Al se un p oceso i e a i o (S ochas ic G adien Descen , m´as in o - maci´on en [17]), el a˜nadi m´as ca ga compu a- Tabla 2: In luencia que iene la u ilizaci´on de dis in os angos de con ex o sob e el n´ume o de elaciones con ex uales es ablecidas, los iempos necesa ios pa a el en enamien o y la in e encia de CRFs, y el ´exi o en el econocimien o. Rango # elaciones ´ Exi o 0.5m235 70.63% 1m446 70.21% 1.5m650 69.71% 2m757 69.69% 3m854 69.49% 4m872 69.44% 5m908 69.32% 6m918 69.07% cional po i e aci´on al conside a m´as elaciones con ex uales hace m´as cos osa la ase de en e- namien o. As´ı ocu e has a los 2 me os, pe o a pa i de ah´ı el iempo necesa io pa a en ena baja. Es o se debe a la apa ici´on de elaciones es- pu ias, que impiden al p oceso con e ge a mode- los m´as exac os, esul ando en un iempo de eje- cuci´on meno . En cualquie caso, los iempos de en enamien o son comedidos pa a un p oceso que solo ha de ejecu a se una ez. 5.3 REPERCUSI ´ ON DE LA EXTENSI ´ ON DE LA INFORMACI ´ ON CONTEXTUAL Pa a analiza como a ec an dis in as ex ensiones de la in o maci´on con ex ual al ´exi o del e- conocimien o se han en enado y e aluado CRFs con im´agenes RGB-D indi iduales de las 32 habi aciones (la Fig. 4 mues a a la izquie da dos nubes de pun os o madas a pa i de es as im´agenes). Es os CRFs se pueden comp a con los de la secci´on an e io , donde la ex ensi´on de es a in o maci´on e a m´as amplia. Pa a que la compa - a i a ue a lo m´as jus a posible, de nue o se ha empleado un m´e odo de alidaci´on c uzada, pe o en es a ocasi´on una imagen de una habi aci´on es escogida pa a e alua , mien as que 31 im´agenes del es o de habi aciones se usan pa a en ena (es- as selecciones se hacen odas al aza ). El p oceso se epi e mil eces, y se p omedian los esul ados. La Tab. 2 mues a los esul ados ob enidos. Como se puede e , el mayo ´exi o se alcanza pa a un ango de con ex o de medio me o (∼70.5%), ango simila al ´op imo alcanzado en [16], lo que hace pensa que la ex ensi´on de la in o maci´on us- ada po Anand e al. e a limi ada. A pa i de esa dis ancia, el ´exi o dec ece paula inamen e has a el ∼69% ob enido con un ango de 6 me os. Es o se debe a que al conside a mayo es angos man e- niendo una ex ensi´on de la in o maci´on con ex ual baja, apa ecen elaciones en las im´agenes que no se epi en a lo la go del conjun o de da os de en e- namien o, di icul ando el ajus e de los CRFs. As´ı, la mejo con igu aci´on empleando im´agenes indi- iduales alcanza un ´exi o 3 pun os po cen uales meno que empleando una ex ensi´on m´as amplia (∼70.5% s. ∼73.5%). En lo e e en e al n´ume o de elaciones con las que se abaja, es e ambi´en es meno , al y como mues a la segunda columna de la abla. Po ejem- plo, con un ango de 6 me os se incluyen 918, po las 4,410 de la secci´on an e io . Po o o lado, el iempo de ejecuci´on del algo i mo de in e encia se man iene es able y po debajo de los 0.3ms., mien- as que el de en enamien o a desde los 8s. con un ango de 0.5m. has a los 17s. con 3m., dis an- cia a pa i de la cual se man iene cons an e. 6 CONCLUSIONES En es e abajo se ha es udiado como in luyen dis in as opciones de modelado del con ex o geom´e ico en el endimien o de sis emas basados en Campos Alea o ios Condicionales (del ingl´es Condi ional Random Fields, CRFs) pa a el e- conocimien o de obje os po pa e de un obo m´o il. En conc e o, se ha analizado como a ec a la u ilizaci´on de dis in os angos de con ex o, es o es, dis ancias m´aximas a las que se conside a que dos obje os es ´an elacionados, y de dis in as ex en- siones de la in o maci´on con ex ual: in o maci´on p o enien e de una imagen indi idual de la escena, o de una econs ucci´on de la misma. En casos donde la in o maci´on con ex ual es ex- ensa (p.e. empleando econs ucciones de la es- cena), el an´alisis ealizado con el conjun o de da os Robo @Home epo a el bene icio de em- plea un ango de in o maci´on con ex ual de 2 me os, consiguiendo un ´exi o del ∼73.5%, un iempo de in e encia de 1.04ms, y un iempo de en enamien o de 37.14s. Pa a angos meno es, aunque los iempos de en enamien o e in e encia dec ecen, ambi´en lo hace el ´exi o alcanzado. En cambio, pa a angos mayo es, el iempo de in e - encia aumen a a la ez que desciende el ´exi o e- po ado. Es e es un e ec o poco deseable que pone de mani ies o la necesidad del es udio comple ado pa a ija un ango ´op imo. Po o a pa e, cuando la ex ensi´on de la in o - maci´on con ex ual no es ex ensa (p.e. abajando con im´agenes indi iduales), en el caso del con- jun o de da os empleado los mejo es esul ados se consigue con un ango de 0.5 me os. En lo e - e en e al ´exi o alcanzado, es e es un 3% meno que empleando in o maci´on con ex ual ex ensa, aunque con iempos de en enamien o e in e en- cia ambi´en m´as bajos. Es o mues a la es echa elaci´on que exis e en e el ango de con ex o y la ex ensi´on de es a in o maci´on, siendo necesa io en cada aplicaci´on pa icula adap a el p ime o con o me a la ampli ud del segundo. En un u u o se plan ea el es udio de como pod ´ıa in lui en el econocimien o la u ilizaci´on de angos de con ex o din´amicos, que se ajus a an au om´a icamen e dependiendo de la in o maci´on disponible sob e la escena. Ag adecimien os Es e abajo se ha desa ollado en el ma co de los p oyec os TEP2012-530 y DPI2014-55826-R, inanciados po la Jun a de Andaluc´ıa y el Min- is e io de Ciencia e Inno aci´on espec i amen e, ambos con ando con ondos del Fondo Eu opeo de Desa ollo Regional (FEDER). Re e encias [1] P. Viola and M. Jones. Rapid objec de ec ion using a boos ed cascade o simple ea u es. In P oceedings o he 2001 IEEE Compu e Soci- e y Con e ence on Compu e Vision and Pa e n Recogni ion (CVPR 2001), olume 1, pages 511– 518, 2001. [2] Jianguo Zhang, M. Ma szalek, S. Lazebnik, and C. Schmid. Local ea u es and ke nels o classi- ica ion o ex u e and objec ca ego ies: A com- p ehensi e s udy. In 2006 Con e ence on Com- pu e Vision and Pa e n Recogni ion Wo kshop (CVPRW’06), pages 13–13, June 2006. [3] D. Nis e and H. S ewenius. Scalable ecogni ion wi h a ocabula y ee. In IEEE Compu e Soci- e y Con e ence on Compu e Vision and Pa e n Recogni ion, olume 2, pages 2161–2168, 2006. [4] M. Oli ei a, L. Seab a Lopes, G. H. Lim, S. H. Kasaei, A. D. Sappa, and A. M. Tom´e. Con- cu en lea ning o isual codebooks and ob- jec ca ego ies in open-ended domains. In 2015 IEEE/RSJ In e na ional Con e ence on In elli- gen Robo s and Sys ems (IROS), pages 2488– 2495, Sep 2015. [5] Ca olina Galleguillos and Se ge Belongie. Con- ex based objec ca ego iza ion: A c i ical su - ey. Compu e Vision and Image Unde s anding, 114(6):712–722, June 2010. [6] D. Kolle and N. F iedman. P obabilis ic G aph- ical Models: P inciples and Techniques. MIT P ess, 2009. [7] J. R. Ruiz-Sa mien o, C. Galindo, and J. Gonz´alez-Jim´enez. Robo @home, a obo ic da ase o seman ic mapping o home en i on- men s. The In e na ional Jou nal o Robo ics Resea ch, 36(2):131–141, 2017. [8] Da id G. Lowe. Dis inc i e image ea u es om scale-in a ian keypoin s. In e na ional Jou - nal o Compu e Vision, 60(2):91–110, No embe 2004. [9] Jan Knopp, Muk a P asad, Gee Willems, Radu Timo e, and Luc Van Gool. Hough ans- o m and 3d su o obus h ee dimensional classi ica ion. In P oceedings o he 11 h Eu- opean Con e ence on Compu e Vision: Pa VI, ECCV’10, pages 589–602, Be lin, Heidelbe g, 2010. Sp inge -Ve lag. [10] M. Pon il and A. Ve i. Suppo ec o machines o 3d objec ecogni ion. IEEE T ansac ions on Pa e n Analysis and Machine In elligence, 20(6):637–646, Jun 1998. [11] Xuehan Xiong and Daniel Hube . Using con ex o c ea e seman ic 3d models o indoo en i on- men s. In In P oceedings o he B i ish Machine Vision Con e ence (BMVC 2010), pages 45.1–11, 2010. [12] J. G. Roge s and H. I. Ch is ensen. A condi ional andom ield model o place and objec classi ica- ion. In Robo ics and Au oma ion (ICRA), 2012 IEEE In e na ional Con e ence on, pages 1766– 1772, May 2012. [13] Dahua Lin, Sanja Fidle , and Raquel U asun. Holis ic scene unde s anding o 3d objec de ec- ion wi h gbd came as. IEEE In e na ional Con- e ence on Compu e Vision, 0:1417–1424, 2013. [14] J. R. Ruiz-Sa mien o, C. Galindo, and J. Gonz´alez-Jim´enez. Building mul i e sal seman ic maps o mobile obo ope a ion. Knowledge-Based Sys ems, 119:257 – 272, 2017. [15] J. R. Ruiz-Sa mien o, M. G¨un he , C. Galindo, J. Gonz´alez-Jim´enez, and J. He zbe g. On- line con ex -based objec ecogni ion o mo- bile obo s. In 17 h In e na ional Con e ence on Au onomous Robo Sys ems and Compe i ions (ICARSC). IEEE, Ap il 2017. [16] Abhishek Anand, Hema Swe ha Koppula, Tho s en Joachims, and Ashu osh Saxena. Con- ex ually guided seman ic labeling and sea ch o h ee-dimensional poin clouds. In The In e na- ional Jou nal o Robo ics Resea ch, 32(1):19–34, Janua y 2013. [17] J. R. Ruiz-Sa mien o, C. Galindo, and J. Gonz´alez-Jim´enez. A su ey on lea ning app oaches o p obabilis ic g aphical models. applica ion o scene objec ecogni ion. In e - na ional Jou nal o App oxima e Reasoning, 83(C):434–451, Ap il 2017. [18] Je ome H. F iedman, Jon Louis Ben ley, and Raphael A i Finkel. An algo i hm o inding bes ma ches in loga i hmic expec ed ime. ACM T ans. Ma h. So w., 3(3):209–226, Sep embe 1977. [19] J.R. Ruiz-Sa mien o, C. Galindo, and J. Gonz´alez-Jim´enez. UPGMpp: a So - wa e Lib a y o Con ex ual Objec Recogni ion. In 3 d. Wo kshop on Recogni ion and Ac ion o Scene Unde s anding, 2015.