Modelado del Con ex o Geom´e ico
pa a el Reconocimien o de Obje os
Jose-Raul Ruiz-Sa mien o, Cip iano Galindo, Ja ie Gonzalez-Jimenez
Depa amen o de Ingenie ´ıa de Sis emas y Au om´a ica, Ins i u o de In es igaci´on
Biom´edica de M´alaga, Uni e sidad de M´alaga, Campus de Tea inos, 29071, M´alaga
{jo a aul,cgalindo,ja ie gonzalez}@uma.es
Resumen
El econocimien o de obje os es una a ea cla e
pa a do a de cie a au onom´ıa a un obo m´o il.
Los m´e odos de econocimien o adicionales han
alcanzado un ´exi o acep able empleando in o -
maci´on sob e la apa iencia y/o la geome ´ıa de
los obje os, aunque pueden p esen a esul ados
ambiguos. Pe siguiendo mi iga es a des en aja,
en es e abajo se es udia c´omo modela in o -
maci´on sob e el con ex o geom´e ico de los ob-
je os, la cual esul a ´u il pa a inclina la bal-
anza en econocimien os ambiguos, de al man-
e a que se alcance un econocimien o an exi oso
como sea posible. Pa a ello hemos ecu ido a
los Campos Alea o ios Condicionales como he -
amien a de modelado, y a Robo @Home como
conjun o de da os pa a la e aluaci´on. Con es-
as p emisas se han alcanzado conclusiones in e e-
san es pa a cualquie sis ema econocedo emple-
ando in o maci´on con ex ual.
Palab as cla e: Reconocimien o de obje os,
con ex o geom´e ico, campos alea o ios condi-
cionales, obo s de se icio.
1 INTRODUCCI ´
ON
Pa a que un obo m´o il pueda p es a se icios
con ´exi o en su luga de abajo necesi a alcanza
un cie o g ado de comp ensi´on sob e su en o no.
El econocimien o de obje os es una a ea cla e
pa a ello, ya que pe mi e al obo in e ac ua con
los elemen os de ec ados en su al ededo . Es e
econocimien o ha de se iable, ya que una clasi-
icaci´on e ´onea puede comp ome e la in eg idad
del obo , de su en o no, o incluso de se es hu-
manos. Pa a isualiza es o, sup´ongase un obo
enca gado de p o ee medicaci´on a una pe sona
mayo , de ega las plan as, o de plancha la opa.
Los m´e odos de econocimien o adicionales que
econocen indi idualmen e cada obje o en el en-
o no han alcanzado un ´exi o no able [1, 2, 3].
No obs an e, es os m´e odos pueden a menudo
o ece esul ados ambiguos que comp ome en la
ope aci´on del obo , p.e. un obje o cil´ınd ico de
?
?
?
?
?
?
obse ación 1 obse ación 2
Figu a 1: Ejemplo del p oblema del modelado con-
ex ual. En el caso de la mesa de noche (c´ı culo
na anja), sus elaciones de con ex o (l´ıneas azules
y e des) an a depende del ango de con ex o
empleado, y de la ex ensi´on de la in o maci´on con-
ex ual a modela .
ama˜no medio pod ´ıa se econocido como una pa-
pele a, un ja ´on, una bo ella, e c [4]. Una mane a
de elimina es as ambig¨uedades es la u ilizaci´on de
in o maci´on sob e el con ex o geom´e ico de los
obje os: si hay una lo encima, p obablemen e
sea un ja ´on [5]. Es a uen e de in o maci´on pe -
mi e analiza las elaciones en e los obje os, y es
de g an alo a la ho a de econoce los.
Los Campos Alea o ios Condicionales, del ingl´es
Condi ional Random Fields (CRFs) [6], son una
he amien a com´unmen e usada pa a modela y
explo a in o maci´on con ex ual. Es os modelos
se basan en una ep esen aci´on en o ma de g a o,
donde los nodos son in e p e ados como obje os, y
los a cos conec an nodos/obje os con una elaci´on
de con ex o. Pa a c ea dichos a cos se suele es-
ablece un ango de con ex o, que ija la dis ancia
m´axima a la que dos obje os pueden es a si u-
ados en el en o no pa a conside a se que exis e
una elaci´on en e ellos. Po ejemplo, las ela-
ciones que se mues an como l´ıneas azules en la
Fig. 1 se es ablece ´an dependiendo de es e ango
de con ex o. En la li e a u a ambi´en pueden en-
con a se abajos que conside an dis in as uen es
de in o maci´on con ex ual a modela : p o enien e
de una obse aci´on del en o no (imagen de in ensi-
dad, RGB-D, e c.), donde es a in o maci´on puede
se escasa o pob e, o de una econs ucci´on del
mismo, lo que p opo ciona una mayo ex ensi´on
de la in o maci´on con ex ual (po ejemplo, las
elaciones que apo a la imagen de la de echa en
la Fig. 1, ep esen ada como l´ıneas e des). La
elecci´on del ango de con ex o, o de la ex ensi´on de
la in o maci´on con ex ual, suelen hace se de man-
e a ad-hoc sin ene en cuen a sus posibles e ec os
en el econocimien o.
Es e abajo pe sigue p o ee indicaciones ´u iles
y buenas p ´ac icas sob e el modelado de in o -
maci´on con ex ual, de al mane a que cualquie
sis ema econocedo explo ando es a uen e de in-
o maci´on pueda alcanza unos esul ados an ex-
i osos como sea posible. Pa a ello se u ilizan
los CRFs como he amien a pa a el modelado y
ap o echamien o del con ex o, y se es udian p in-
cipalmen e los dos ac o es an e io men e ci ados,
la elecci´on i) del ango de con ex o, y ii) de la
ex ensi´on de la in o maci´on a modela . En dicho
es udio se analiza la in luencia de es os ac o es
an o en el ´exi o del econocimien o, como en los
iempos de ejecuci´on necesa ios pa a los p ocesos
de en enamien o e in e encia sob e los CRFs, de
al mane a que se pueda selecciona la con igu-
aci´on que m´as se ajus e a las necesidades de cada
aplicaci´on. Pa a lle a a cabo los expe imen os
ealizados du an e el es udio se ha empleado el
conjun o de da os Robo @Home [7], dada su com-
plejidad y adecuaci´on al p oblema: ue ecogido
po un obo m´o il en en o nos dom´es icos.
2 TRABAJOS RELACIONADOS
Los m´e odos de econocimien o adicionales han
enido un ´exi o no able en aplicaciones donde se
especializan en de ec a un cie o ipo de ob-
je o (e.g. ca as humanas [1]) o donde los obje-
os a econoce apa ecen aislados [2]. Ejemplos
de es os m´e odos son los que emplean desc ip-
o es de la imagen como Scale-In a ian Fea u e
T ans o m (SIFT) [8] o Speeded-Up Robus Fea-
u es (SURF) [9], los cuales son explo ados po
clasi icado es como las Suppo ed Vec o Machines
(SVMs) [10] o las Bag-o -Wo ds (BoW) [3]. No
obs an e, su endimien o iende a baja en si ua-
ciones donde el n´ume o de posibles ca ego ´ıas a
econoce es ele ado, o donde los obje os apa e-
cen en escenas pobladas con m´ul iples obje os en
di e sas localizaciones y con igu aciones, como es
el caso de en o nos humanos (o icinas, hoga es,
e c.) [4]. Uno de los p incipales mo i os de ´as de
es a ca´ıda de endimien o es la apa ici´on de e-
sul ados ambiguos. No obs an e, es e en´omeno
se puede palia con la u ilizaci´on de in o maci´on
sob e el con ex o geom´e ico de los obje os [5].
Los Modelos G ´a icos P obabil´ıs icos, del ingl´es
P obabilis ic G aphical Models (PGMs) [6], son
u ilizados en mul i ud de abajos pa a modela
y explo a e icien emen e dicho con ex o. Pa a
el caso del econocimien o de obje os, los Cam-
pos Alea o ios Condicionales (del ingl´es Condi-
ional Random Fields, CRFs), un ipo pa icula
de PGM, han esul ad especialmen e exi osos. Es-
os modelos ue on empleados, po ejemplo, po
Xiong y Hube [11] pa a el econocimien o de los
componen es b´asicos de un edi icio: pa ed, suelo,
echo, e c. Es os au o es elacionan cada obje o
con los kobje os m´as ce canos, sin impo a la dis-
ancia a la que se encuen en, en oque que puede
da luga a elaciones poco ele an es o inexis-
en es. Po su pa e, el CRF dise˜nado po Roge s
y Ch is ensen [12] incluye elaciones en e los ob-
je os y las habi aciones donde se encuen an, pe o
no en e los p opios obje os, desap o echando una
aliosa uen e de in o maci´on. O o abajo ele-
an e es el de Lin, Fidle y U asun [13], donde
los obje os son ep esen ados po sus cajas delim-
i ado as, y se conside a que es ´an elacionados si
es as cajas se encuen an a una dis ancia meno
de 50 cen ´ıme os. Los au o es del p esen e es u-
dio ambi´en p esen a on abajos p e ios donde se
emple´o dicho ango de con ex o (p.e. [14, 15]).
Quiz´as el abajo m´as elacionado con el nues o
es el de Anand e al. [16], donde se usa un Campo
Alea o io de Ma ko ( a ian e disc imina i a de
los CRFs) pa a econoce obje os en en o nos de
o icinas y dom´es icos. En ´el se ealiza un es udio
supe icial de la in luencia del ango de con ex o y
de la ex ensi´on de la in o maci´on con ex ual. En
es e abajo se ealiza un an´alisis m´as p o undo
de ambos ac o es, y ambi´en se es udia su epe -
cusi´on en los iempos de ejecuci´on de los p ocesos
de en enamien o e in e encia de los CRFs.
3 LA HERRAMIENTA: CRFs
APLICADOS AL
RECONOCIMIENTO
La a ea del econocimien o de obje os en una es-
cena consis e en asigna ca ego ´ıas de un conjun o
L(p.e. mesa, mace a, co ina, cuad o, aso, e c.)
a las obse aciones de los nobje os en la misma
x= [x1,· · · , xn]. Si se conside a y= [y1,· · · , yn]
como el ec o de a iables alea o ias que asignan
a cada obje o en xuna ca ego ´ıa de L, el p oblema
del econocimien o desde un pun o de is a p ob-
abil´ıs ico se de ine como la b´usqueda de la asig-
naci´on a yque maximiza la dis ibuci´on de p ob-
abilidad condicionada p(y|x). Dada su compleji-
dad, la de inici´on exhaus i a de es a dis ibuci´on
no es ac ible. Es en es e pun o donde los CRFs
nos o ecen la posibilidad de ep esen a la de al
mane a que su compu o pueda se m´as e icien e.
cama
mesa de noche
eloj
lámpa a
cuad o
cuad o
cuad o
cuad o
X1
X6
X2
X4
X3
X5
X7X8
X9
ces o
y5
x5
y1y2
y4
y6
y7y9
y8
y3
I
(y6,y9,x6,x9,
θ
)
U
(y5,x5,
θ
)
x1
x3
x2
x6
x4
x7x8x9
Figu a 2: Izquie da, econs ucci´on de una habi aci´on con obje os segmen ados (x1,· · · , x9). De echa,
ep esen aci´on median e un CRF en o ma de g a o de dicha escena, donde apa ece una a iable alea o-
ia/nodo po cada obje o, y los obje os elacionados se conec an con un a co. Las o mas na anjas
ep esen an el ´ambi o de un ac o local, las azules de un ac o po pa es, y las neg as son el esul ado
de un p oceso de in e encia sob e el CRF.
Pa a ello, los CRFs emplean una ep esen aci´on
en o ma de g a o G= (V,E), donde los nodos en
Vse asocian con las a iables alea o ias en y, y
los a cos en Econec an nodos que gua dan alg´un
ipo de elaci´on. En el caso del econocimien o de
obje os, los nodos se conec an aco de al con ex o
geom´e ico de sus obje os asociados. As´ı si dos
obje os es ´an si uados ce ca en la escena, se en-
iende que el econocimien o de uno iene in luen-
cia di ec a (y mu ua) en la ca ego izaci´on del o o,
conec ´andose sus nodos, mien as que si es ´an ale-
jados o en dis in as habi aciones es a in luencia no
es al. El c´omo decidi si dos obje os es ´an ce ca
es mo i o de discusi´on en la Sec. 4.1.
Una ez cons uido el g a o Gque ep esen a los
obje os en el en o no del obo , la p obabilidad
p(y|x) se codi ica sob e el mismo empleando el
concep o de ac o . Un ac o puede in e p e-
a se como una unci´on de inida sob e pa e del
g a o que codi ica un pedazo de dicha p obabili-
dad, siendo ´ıpicamen e de dos ipos: locales ypo
pa es. Los ac o es locales se e ie en a un nodo
del g a o, y es ablecen como de p obable es pa a
una a iable alea o ia yiel pe enece a una ca e-
go ´ıa de Lde acue do a las ca ac e ´ıs icas isuales
y/o geom´e icas del obje o xi. Po su pa e, los
ac o es po pa es se de inen sob e a cos, y de e -
minan la compa ibilidad de asigna dos ca ego ´ıas
de La dos a iables elacionadas yiyyj eniendo
en cuen a xiyxj. Es os ac o es suelen modela se
como clasi icado es lineales de la siguien e o ma:
U(yi, xi,θ) = X
l∈L
δyi=lθl xi(1)
I(yi, yj, xi, xj,θ) = X
l1∈L X
l2∈L
δyi=l1δyj=l2θ xixj(2)
siendo U(·) un ac o local de inido sob e el nodo
asociado a yi, y I(·) un ac o po pa es sob e
el a co que conec a yiyyj. En es as ecuaciones
δes la unci´on del a de K onecke que oma el
alo 1 si yi=l, y 0 si yi6=l,θes un ec o de
pesos o pa ´ame os ap endido du an e la ase de
en enamien o del CRF, y xiy xixjson ec-
o es de ca ac e ´ıs icas ex a´ıdas de los obje os
(colo , ama˜no, o ma, e c.) y de sus elaciones
de con ex o (dis ancia, di e encia en al u a, a io
de ama˜no, e c.) espec i amen e.
Una ez de inidas las piezas que componen un
CRF, y deacue do con el eo ema de Hamme sley-
Cli o d, la unci´on de p obabilidad P(y|x) puede
se inalmen e ac o izada sob e el g a o Gemple-
ando modelos log-lineales como:
P(y|x,θ) = 1
Z(x,θ)Y
i∈V
exp(U(yi, xi,θ))
Y
(i,j)∈V
exp(I(yi, yj, xi, xj,θ)) (3)
La esencia de es a ep esen aci´on es que, al ele a
al exponen e los ac o es, el esul ado es siemp e
un alo mayo que 0, equisi o b´asico pa a que
el p oblema pueda modela se median e un CRF.
Po su pa e, Z(·) ( ambi´en llamada unci´on de
pa ici´on) no maliza los ac o es pa a que el esul-
ado sea una dis ibuci´on de p obabilidad, es o es
Pξ(y)P(y|x,θ) = 1, siendo ξ(y) una asignaci´on
posible a las a iables en y.
Pa a consegui los esul ados de econocimien o
hay que ealiza un p oceso de in e encia sob e el
g a o G, el cual nos pe mi e ob ene la asignaci´on
m´as p obable ˆ
ya las a iables en y, es o es:
ˆ
y=a g max
yP(y|x,θ) (4)
Es a in e encia suele ealiza se median e m´e odos
ap oximados, ya que su c´ompu o equie e del cal-
culo de la unci´on de pa ici´on Z(·), que suele e-
sul a imp ac icable en p oblemas eales. En el
es udio ealizado en es e abajo se ha empleado
el m´e odo Loopy Belie P opaga ion (LBP), dado
su buen endimien o [17].
4 MODELADO DEL CONTEXTO
GEOM´
ETRICO
Como se ha comen ado, el modelado de la in o -
maci´on con ex ual se basa en decidi qu´e obje os
del en o no es ´an elacionados en e s´ı, es o es,
que nodos se conec an median e un a co. Pa a
oma es a decisi´on se suele emplea un ango
de con ex o (dis ancia m´axima a la que se con-
side a que dos obje os es ´an elacionados), cuya
elecci´on es ´a es echamen e ligada al ipo de la
in o maci´on a modela . Los abajos m´as no-
o ios en la li e a u a suelen usa obse aciones
de la escena p o eyendo in o maci´on de in ensi-
dad (imagen RGB) o de in ensidad y p o undidad
(im´agenes RGB-D ).
En el caso de im´agenes de in ensidad, el ango
de con ex o puede es ablece se en el plano de la
imagen a ni el de pixel o supe -pixel. As´ı, los pix-
eles o supe -pixels que gua dan elaci´on con ex-
ual son los que apa ecen colindan es en la imagen.
Con es e en oque no se espe a la geome ´ıa de la
escena, po lo que, po ejemplo, una egi´on co -
espondien e con un obje o ce cano a la c´ama a
pod ´ıa conec a se con o o lejano. Tambi´en hay
abajos que ealizan una econs ucci´on idimen-
sional de la escena, bien buscando pun os de uga,
con im´agenes es ´e eo, e c., la cual pe mi e medi
dis ancias geom´e icas en e los obje os pa a es-
ablece su con ex o.
Po su pa e, las im´agenes RGB-D ya p opo cio-
nan dicha in o maci´on idimensional, po lo que
son ap as pa a ealiza medidas geom´e icas. Es e
es el ipo de im´agenes u ilizadas en es e abajo,
discu i´endose a con inuaci´on las dis in as mane as
de ealiza mediciones en las mismas.
4.1 MEDICI ´
ON DE LA DISTANCIA
ENTRE OBJETOS
Una ez con amos con una imagen RGB-D de
una escena, y conside ando una ep esen aci´on
en o ma de nube de pun os pc = [p1,· · · , pm]
donde pi= [x, y, z, , g, b] (in o maci´on geom´e ica
y de colo ), el p ime paso pa a es ablece las
elaciones de con ex o es segmen a los obje os
o= [o1,· · · , on] que apa ecen en la misma. Una
ez segmen ados, cada obje o se co esponde ´a
con una egi´on de la nube oi=pci,pci⊆pc.
A con inuaci´on se discu en las opciones m´as ele-
an es pa a calcula la dis ancias en e egiones.
pc1
pc2
pc1
pc2
dis 1
pc1pc2
dis 2
pc1
pc2
dis 3
a)
b)
c)
Segmen o de la en . con exa
Mues a de la en ol en e
Mues a de la nube de pun os
Pun o del p ime obje o
Pun o del segundo obje o
Cen oide
Figu a 3: Ejemplos de nubes de pun os
pe enecien es a dos obje os en 2 dimensiones, y
3 mane as de calcula la dis ancia en e ellos.
En e los m´as popula es, el p ime en oque pa a
calcula la dis ancia en e pciypcjconsis e en
calcula sus cen oides pciypcjy ob ene la dis-
ancia euclidea en e ambos, es o es:
dis 1(pci,pcj) =
u
u
3
X
e=1
(pcie −pcje) (5)
Aunque el c´alculo de es a dis ancia es ´apido, y
el c´ompu o de los cen oides puede ap o echa se
pa a desc ibi los obje os, iene el p oblema de que
pa es de obje os g andes y p ´oximos pueden p e-
sen a una dis ancia supe io al ango de con ex o
y no se conec ados en el CRF ( e Fig. 3-a).
Una segunda opci´on es el c´ompu o de las en ol-
en es con exas C(pci) y C(pcj) que encie an a
odos los pun os de cada obje o. Tomando mues-
as de dicha en ol en e se pueden ob ene una
se ie de pun os ciycjsob e las que ealiza medi-
ciones de dis ancia eucl´ıdea, siendo la dis ancia
en e dos obje os la meno de es as mediciones, es
deci :
dis 2(pci,pcj) = min
(pi∈ci,pj∈cj)
u
u
3
X
e=1
(pie −pje) (6)
El usa es a dis ancia iene el incon enien e de
que un obje o con pa es c´onca as pod ´ıa gene a
mediciones de dis ancia i eales, dando luga a
elaciones de con ex o e ´oneas ( e Fig. 3-b).
Po ´ul imo, un e ce en oque consis e en usa la
ue za b u a pa a compu a la dis ancia m´ınima
en e cada pa de pun os de dos obje os, lo cual
soluciona los p oblemas p esen ados po las op-
ciones an e io es. No obs an e, es e p oceso es
al amen e ine icien e y ha ´ıa imp ac icable el e-
conocimien o. Una al e na i a iable es la de con-
s ui una ep esen aci´on de la nube de pun os que
pe mi a ealiza b´usquedas de pun os ce canos de
mane a e icien e, como es el caso de los ´a boles
kd [18]. Es e es el en oque usado en es e a-
bajo, conc e amen e, se cons uye el ´a bol kd de
pci,kd eepci(complejidad O(nlog n), siendo n
el n´ume o de pun os), y se mues ea pcjpa a
ob ene una se ie de pun os mj. De mane a e i-
cien e (complejidad O(log n)) se busca el pun o
m´as ce cano en el ´a bol a cada pun o de mj,
siendo la dis ancia en e los obje os el pa m´as
ce cano ( e Fig. 3-c). Es o es:
dis 3(pci,pcj) = min
(pi∈pci,pj∈mj)dis (kd eepci, pj)
(7)
Como se ha comen ado, una ez calculada la dis-
ancia en e dos obje os, se usa el ango de con-
ex o ijado (p.e. un me o, dos, e c.) pa a decidi
si exis e o no una elaci´on de con ex o geom´e ico
en e ambos. La elecci´on del ango de con ex o
es cla e pa a pode saca el m´aximo pa ido a es-
as elaciones, y es es udiado en p o undidad en la
Sec. 5. Con un ango co o se es ablece ´ıan pocas
elaciones y pod ´ıa desca a se in o maci´on con-
ex ual aliosa, pe o los p ocesos de en enamien o
e in e encia sob e CRFs se ´ıan ´apido. Po o o
lado, un ango g ande conside a ´ıa una mayo
po ci´on de dicha in o maci´on, pe o pod ´ıa pe ju-
dica a los iempos de en enamien o e in e encia
y aumen a su complejidad. El ango de con ex o
se e in luenciado po un ac o adicional: la ex-
ensi´on de la in o maci´on con ex ual con enida en
la imagen, al y como se comen a en la siguien e
secci´on.
4.2 EXTENSI ´
ON DE LA
INFORMACI ´
ON CONTEXTUAL
Tan o cuando se usan im´agenes de in ensidad
como RGB-D, pa a saca le el m´aximo pa ido a la
in o maci´on con ex ual es necesa io que en la ob-
se aci´on apa ezca la mayo po ci´on de la escena
posible. De no se as´ı, es a in o maci´on puede e-
sul a escasa e incomple a en algunos casos, siendo
de poca u ilidad. Po ejemplo, en la Fig. 4 se
mues an a la izquie da dos obse aciones con in-
o maci´on con ex ual limi ada, mien as que en las
de la de echa la ex ensi´on de es a es mucho mayo .
Una mane a de ex ende la in o maci´on con ex-
ual a modela es conside a una po ci´on de la
Figu a 4: A la izquie da, nubes de pun os de una
cocina y un cua o de ba˜no con in o maci´on con-
ex ual limi ada. A la de echa, nubes de las mis-
mas habi aciones donde la in o maci´on con ex ual
m´as ex ensa.
escena mayo que la p opo cionada po una sim-
ple imagen. Pa a ello se hace necesa io p opa-
ga en el iempo y el espacio la in o maci´on en
cada obse aci´on median e alg´un algo i mo de
egis o o econs ucci´on. A pesa de lo in-
e esan e de su uso desde el pun o de is a del
ap o echamien o del con ex o, el econs ui una
escena puede aca ea una se ie de p oblemas adi-
cionales uen e de e o es en el sis ema econoce-
do . Po ejemplo, un mal egis o de dos im´agenes
puede hace que los obje os apa ezcan dobles o
de o mes. Adem´as, en aplicaciones donde se e-
quie a que el econocimien o de obje os uncione
a una cie a ecuencia, el algo i mo de econ-
s ucci´on ha de se su icien emen e ´apido pa a
sopo a dicha ecuencia. Aunque el an´alisis de
dis in os m´e odos de econs ucci´on es ´a ue a del
alcance de es e a ´ıculo, si es ele an e el e ec o de
con a con dis in as ex ensiones de la in o maci´on
con ex ual en el econocedo , ac o que se analiza
en la siguien e secci´on.
5 ESTUDIO Y RESULTADOS
En es e apa ado se in oducen las he amien as
y equipos empleados (Sec. 5.1) en el an´alisis del
ango de con ex o (Sec. 5.2) y la ex ensi´on de la
in o maci´on con ex ual (Sec. 5.3), as´ı como los e-
sul ados que se desp enden del es udio ealizado.
5.1 HERRAMIENTAS EMPLEADAS
Pa a el modelado, en enamien o e in e encia de
los CRFs en es e abajo se ha empleado la lib e ´ıa
Undi ec ed P obabilis ic G aphical Models in C++

Tabla 1: In luencia de la u ilizaci´on de dis in os angos de con ex o sob e el n´ume o de elaciones con-
ex uales es ablecidas, los iempos necesa ios pa a el en enamien o y la in e encia de los CRFs usados,
y el ´exi o en el econocimien o de es os.
Rango # de elaciones Tpo. en enamien o Tpo. in e encia ´
Exi o
0m0 (0%) 2.02s0.01ms 64.92%
0.5m631 (14%) 17.48s0.15ms 70.54%
1m1,379 (31%) 29.10s0.36ms 71.17%
1.5m2,107 (48%) 35.76s0.69ms 72.39%
2m2,917 (66%) 37.14s1.04ms 73.51%
3m3,805 (86%) 32.50s1.81ms 70.29%
4m4,248 (96%) 27.40s2.37ms 69.26%
5m4,387 (99%) 19.57s2.84ms 68.18%
6m4,410 (100%) 18.09s3.23ms 67.86%
(UPGMpp) [19], un so wa e lib e especialmen e
desa ollado pa a acili a la u ilizaci´on de es os
modelos en el econocimien o de obje os.
Po o a pa e, pa a el an´alisis de las dis in as op-
ciones de modelado con ex ual se ha con ado con
el conjun o de da os Robo @Home [7]. Es e epos-
i o io con iene m´as de 69,000 im´agenes RGB-D
cap u adas po medio de un obo m´o il en en-
o nos dom´es icos eales, donde apa ecen 157 ca -
ego ´ıas de obje os e ique adas. De en e ellas, en
es e abajo se han seleccionado pa a se econo-
cidas las 19 m´as comunes, sumando un o al de
∼600 ins ancias de obje os.
Pa a e alua el ´exi o en el econocimien o se ha
empleado alidaci´on c uzada. En cada paso de
es e m´e odo se emplean las obse aciones p o e-
nien es de una habi aci´on elegida al aza pa a
e alua , y las 31 es an es pa a en ena . Es o
se epi e 1,000 eces cambiando la habi aci´on con
la que e alua , y los esul ados son p omediados.
Las p uebas se ealiza on en un o denado con un
mic op ocesado In el Co e i7-3820 a 3.60GHz. y
una memo ia RAM de 4x4GB. DDR3 a 1,600MHz.
5.2 INFLUENCIA DEL RANGO DE
CONTEXTO
Con el in de medi la in luencia del ango de
con ex o en el endimien o del sis ema de e-
conocimien o, se han usado las econs ucciones de
las 32 habi aciones comen adas (la Fig. 4 mues a
a la de echa dos de ellas). Es as econs ucciones
ienen la o ma de nubes de pun os con in o -
maci´on geom´e ica y de apa iencia (in ensidad).
La Tab. 1 mues a los esul ados del es udio lle-
ado a cabo, donde la p ime a ila se co esponde
con un CRF que no emplea in o maci´on con ex-
ual, mien as que el es o epo an el endimien o
de CRFs que usan es a in o maci´on con dis in os
angos de con ex o. Se puede ap ecia como el
´exi o en el econocimien o siemp e es mayo en las
con igu aciones que explo an elaciones sin impo -
a el ango elegido.
En cuan o al n´ume o de elaciones conside adas
po cada opci´on, empleando un ango de con ex o
de 0.5 me os se explo an el 14% de ellas (4,410
exis en es), mien as que hay que i se has a una
dis ancia de 6 me os pa a que se incluyan o-
das. Desde los 0 has a los 2 me os, el inc e-
men o del ango de con ex o aca ea un aumen o
en el ´exi o del econocedo , alcanz´andose con el
´ul imo un ∼73.5% (un ∼8.5% m´as que sin em-
plea con ex o). Es o se debe a que, con o me
aumen a el ango, en an en conside aci´on ela-
ciones que ienden a cumpli se aunque no siemp e
p esen en dis ancias co as. Po ejemplo, en una
cocina pueden apa ece un g i o y una placa de
inducci´on ´ıpicamen e a una dis ancia supe io a
medio me o. No obs an e, hay un pun o a pa -
i del cual el inc emen o de es e ango iene un
e ec o nega i o en el ´exi o, dada la al a a iabil-
idad de las elaciones y la apa ici´on de o as que
a a ez se cumplen. En el abajo de Anand e
al. [16] es e pun o se si ´ua en 0.6 me os en en-
o nos dom´es icos. Es a conside able di e encia
se debe p obablemen e a la ex ensi´on de la in-
o maci´on con ex ual usada, como e emos en el
siguien e apa ado.
El inc emen o del ango de con ex o ambi´en con-
lle a un mayo iempo de ejecuci´on del algo i mo
de in e encia, que a desde los 0.15ms. con medio
me o, has a los 3.23ms. con 6 me os, si u´andose
en 1.04ms. pa a el ango con el que se alcanza
el mayo ´exi o. Es o pone de mani ies o que una
elecci´on a bi a ´ıa del ango puede esul a en un
endimien o no ´op imo del econocedo .
Un hecho cu ioso a p ime a is a es la e oluci´on
del iempo de en enamien o. Al se un p oceso
i e a i o (S ochas ic G adien Descen , m´as in o -
maci´on en [17]), el a˜nadi m´as ca ga compu a-
Tabla 2: In luencia que iene la u ilizaci´on de
dis in os angos de con ex o sob e el n´ume o de
elaciones con ex uales es ablecidas, los iempos
necesa ios pa a el en enamien o y la in e encia
de CRFs, y el ´exi o en el econocimien o.
Rango # elaciones ´
Exi o
0.5m235 70.63%
1m446 70.21%
1.5m650 69.71%
2m757 69.69%
3m854 69.49%
4m872 69.44%
5m908 69.32%
6m918 69.07%
cional po i e aci´on al conside a m´as elaciones
con ex uales hace m´as cos osa la ase de en e-
namien o. As´ı ocu e has a los 2 me os, pe o a
pa i de ah´ı el iempo necesa io pa a en ena
baja. Es o se debe a la apa ici´on de elaciones es-
pu ias, que impiden al p oceso con e ge a mode-
los m´as exac os, esul ando en un iempo de eje-
cuci´on meno . En cualquie caso, los iempos de
en enamien o son comedidos pa a un p oceso que
solo ha de ejecu a se una ez.
5.3 REPERCUSI ´
ON DE LA
EXTENSI ´
ON DE LA
INFORMACI ´
ON CONTEXTUAL
Pa a analiza como a ec an dis in as ex ensiones
de la in o maci´on con ex ual al ´exi o del e-
conocimien o se han en enado y e aluado CRFs
con im´agenes RGB-D indi iduales de las 32
habi aciones (la Fig. 4 mues a a la izquie da
dos nubes de pun os o madas a pa i de es as
im´agenes). Es os CRFs se pueden comp a con los
de la secci´on an e io , donde la ex ensi´on de es a
in o maci´on e a m´as amplia. Pa a que la compa -
a i a ue a lo m´as jus a posible, de nue o se ha
empleado un m´e odo de alidaci´on c uzada, pe o
en es a ocasi´on una imagen de una habi aci´on es
escogida pa a e alua , mien as que 31 im´agenes
del es o de habi aciones se usan pa a en ena (es-
as selecciones se hacen odas al aza ). El p oceso
se epi e mil eces, y se p omedian los esul ados.
La Tab. 2 mues a los esul ados ob enidos. Como
se puede e , el mayo ´exi o se alcanza pa a
un ango de con ex o de medio me o (∼70.5%),
ango simila al ´op imo alcanzado en [16], lo que
hace pensa que la ex ensi´on de la in o maci´on us-
ada po Anand e al. e a limi ada. A pa i de esa
dis ancia, el ´exi o dec ece paula inamen e has a el
∼69% ob enido con un ango de 6 me os. Es o
se debe a que al conside a mayo es angos man e-
niendo una ex ensi´on de la in o maci´on con ex ual
baja, apa ecen elaciones en las im´agenes que no
se epi en a lo la go del conjun o de da os de en e-
namien o, di icul ando el ajus e de los CRFs. As´ı,
la mejo con igu aci´on empleando im´agenes indi-
iduales alcanza un ´exi o 3 pun os po cen uales
meno que empleando una ex ensi´on m´as amplia
(∼70.5% s. ∼73.5%).
En lo e e en e al n´ume o de elaciones con las
que se abaja, es e ambi´en es meno , al y como
mues a la segunda columna de la abla. Po ejem-
plo, con un ango de 6 me os se incluyen 918, po
las 4,410 de la secci´on an e io . Po o o lado, el
iempo de ejecuci´on del algo i mo de in e encia se
man iene es able y po debajo de los 0.3ms., mien-
as que el de en enamien o a desde los 8s. con
un ango de 0.5m. has a los 17s. con 3m., dis an-
cia a pa i de la cual se man iene cons an e.
6 CONCLUSIONES
En es e abajo se ha es udiado como in luyen
dis in as opciones de modelado del con ex o
geom´e ico en el endimien o de sis emas basados
en Campos Alea o ios Condicionales (del ingl´es
Condi ional Random Fields, CRFs) pa a el e-
conocimien o de obje os po pa e de un obo
m´o il. En conc e o, se ha analizado como a ec a la
u ilizaci´on de dis in os angos de con ex o, es o es,
dis ancias m´aximas a las que se conside a que dos
obje os es ´an elacionados, y de dis in as ex en-
siones de la in o maci´on con ex ual: in o maci´on
p o enien e de una imagen indi idual de la escena,
o de una econs ucci´on de la misma.
En casos donde la in o maci´on con ex ual es ex-
ensa (p.e. empleando econs ucciones de la es-
cena), el an´alisis ealizado con el conjun o de
da os Robo @Home epo a el bene icio de em-
plea un ango de in o maci´on con ex ual de 2
me os, consiguiendo un ´exi o del ∼73.5%, un
iempo de in e encia de 1.04ms, y un iempo de
en enamien o de 37.14s. Pa a angos meno es,
aunque los iempos de en enamien o e in e encia
dec ecen, ambi´en lo hace el ´exi o alcanzado. En
cambio, pa a angos mayo es, el iempo de in e -
encia aumen a a la ez que desciende el ´exi o e-
po ado. Es e es un e ec o poco deseable que pone
de mani ies o la necesidad del es udio comple ado
pa a ija un ango ´op imo.
Po o a pa e, cuando la ex ensi´on de la in o -
maci´on con ex ual no es ex ensa (p.e. abajando
con im´agenes indi iduales), en el caso del con-
jun o de da os empleado los mejo es esul ados se
consigue con un ango de 0.5 me os. En lo e -
e en e al ´exi o alcanzado, es e es un 3% meno
que empleando in o maci´on con ex ual ex ensa,
aunque con iempos de en enamien o e in e en-
cia ambi´en m´as bajos. Es o mues a la es echa
elaci´on que exis e en e el ango de con ex o y
la ex ensi´on de es a in o maci´on, siendo necesa io
en cada aplicaci´on pa icula adap a el p ime o
con o me a la ampli ud del segundo.
En un u u o se plan ea el es udio de como
pod ´ıa in lui en el econocimien o la u ilizaci´on
de angos de con ex o din´amicos, que se ajus a an
au om´a icamen e dependiendo de la in o maci´on
disponible sob e la escena.
Ag adecimien os
Es e abajo se ha desa ollado en el ma co de
los p oyec os TEP2012-530 y DPI2014-55826-R,
inanciados po la Jun a de Andaluc´ıa y el Min-
is e io de Ciencia e Inno aci´on espec i amen e,
ambos con ando con ondos del Fondo Eu opeo de
Desa ollo Regional (FEDER).
Re e encias
[1] P. Viola and M. Jones. Rapid objec de ec ion
using a boos ed cascade o simple ea u es. In
P oceedings o he 2001 IEEE Compu e Soci-
e y Con e ence on Compu e Vision and Pa e n
Recogni ion (CVPR 2001), olume 1, pages 511–
518, 2001.
[2] Jianguo Zhang, M. Ma szalek, S. Lazebnik, and
C. Schmid. Local ea u es and ke nels o classi-
ica ion o ex u e and objec ca ego ies: A com-
p ehensi e s udy. In 2006 Con e ence on Com-
pu e Vision and Pa e n Recogni ion Wo kshop
(CVPRW’06), pages 13–13, June 2006.
[3] D. Nis e and H. S ewenius. Scalable ecogni ion
wi h a ocabula y ee. In IEEE Compu e Soci-
e y Con e ence on Compu e Vision and Pa e n
Recogni ion, olume 2, pages 2161–2168, 2006.
[4] M. Oli ei a, L. Seab a Lopes, G. H. Lim, S. H.
Kasaei, A. D. Sappa, and A. M. Tom´e. Con-
cu en lea ning o isual codebooks and ob-
jec ca ego ies in open-ended domains. In 2015
IEEE/RSJ In e na ional Con e ence on In elli-
gen Robo s and Sys ems (IROS), pages 2488–
2495, Sep 2015.
[5] Ca olina Galleguillos and Se ge Belongie. Con-
ex based objec ca ego iza ion: A c i ical su -
ey. Compu e Vision and Image Unde s anding,
114(6):712–722, June 2010.
[6] D. Kolle and N. F iedman. P obabilis ic G aph-
ical Models: P inciples and Techniques. MIT
P ess, 2009.
[7] J. R. Ruiz-Sa mien o, C. Galindo, and
J. Gonz´alez-Jim´enez. Robo @home, a obo ic
da ase o seman ic mapping o home en i on-
men s. The In e na ional Jou nal o Robo ics
Resea ch, 36(2):131–141, 2017.
[8] Da id G. Lowe. Dis inc i e image ea u es om
scale-in a ian keypoin s. In e na ional Jou -
nal o Compu e Vision, 60(2):91–110, No embe
2004.
[9] Jan Knopp, Muk a P asad, Gee Willems, Radu
Timo e, and Luc Van Gool. Hough ans-
o m and 3d su o obus h ee dimensional
classi ica ion. In P oceedings o he 11 h Eu-
opean Con e ence on Compu e Vision: Pa
VI, ECCV’10, pages 589–602, Be lin, Heidelbe g,
2010. Sp inge -Ve lag.
[10] M. Pon il and A. Ve i. Suppo ec o machines
o 3d objec ecogni ion. IEEE T ansac ions
on Pa e n Analysis and Machine In elligence,
20(6):637–646, Jun 1998.
[11] Xuehan Xiong and Daniel Hube . Using con ex
o c ea e seman ic 3d models o indoo en i on-
men s. In In P oceedings o he B i ish Machine
Vision Con e ence (BMVC 2010), pages 45.1–11,
2010.
[12] J. G. Roge s and H. I. Ch is ensen. A condi ional
andom ield model o place and objec classi ica-
ion. In Robo ics and Au oma ion (ICRA), 2012
IEEE In e na ional Con e ence on, pages 1766–
1772, May 2012.
[13] Dahua Lin, Sanja Fidle , and Raquel U asun.
Holis ic scene unde s anding o 3d objec de ec-
ion wi h gbd came as. IEEE In e na ional Con-
e ence on Compu e Vision, 0:1417–1424, 2013.
[14] J. R. Ruiz-Sa mien o, C. Galindo, and
J. Gonz´alez-Jim´enez. Building mul i e sal
seman ic maps o mobile obo ope a ion.
Knowledge-Based Sys ems, 119:257 – 272, 2017.
[15] J. R. Ruiz-Sa mien o, M. G¨un he , C. Galindo,
J. Gonz´alez-Jim´enez, and J. He zbe g. On-
line con ex -based objec ecogni ion o mo-
bile obo s. In 17 h In e na ional Con e ence
on Au onomous Robo Sys ems and Compe i ions
(ICARSC). IEEE, Ap il 2017.
[16] Abhishek Anand, Hema Swe ha Koppula,
Tho s en Joachims, and Ashu osh Saxena. Con-
ex ually guided seman ic labeling and sea ch o
h ee-dimensional poin clouds. In The In e na-
ional Jou nal o Robo ics Resea ch, 32(1):19–34,
Janua y 2013.
[17] J. R. Ruiz-Sa mien o, C. Galindo, and
J. Gonz´alez-Jim´enez. A su ey on lea ning
app oaches o p obabilis ic g aphical models.
applica ion o scene objec ecogni ion. In e -
na ional Jou nal o App oxima e Reasoning,
83(C):434–451, Ap il 2017.
[18] Je ome H. F iedman, Jon Louis Ben ley, and
Raphael A i Finkel. An algo i hm o inding
bes ma ches in loga i hmic expec ed ime. ACM
T ans. Ma h. So w., 3(3):209–226, Sep embe
1977.
[19] J.R. Ruiz-Sa mien o, C. Galindo, and
J. Gonz´alez-Jim´enez. UPGMpp: a So -
wa e Lib a y o Con ex ual Objec Recogni ion.
In 3 d. Wo kshop on Recogni ion and Ac ion o
Scene Unde s anding, 2015.