PROJECTE DE FI DE CARRERA
TÍTOL DEL PFC: Anàlisi audio isual mi jançan desc ip o s MPEG-7
TITULACIÓ: Enginye ia de Telecomunicació (segon cicle)
AUTOR: En ic Bosch Angla ill
DIRECTOR: F ancesc Ta és Ruiz
DATA: 24 eb e de 2006
Tí ol: Anàlisi audio isual mi jançan desc ip o s MPEG-7
Au o : En ic Bosch Angla ill
Di ec o : F ancesc Ta és Ruiz
Da a: 24 de eb e de 2006
Resum
L’objec iu és du a e me una classi icació audio isual de dibuixos anima s a
a és de desc ip o s MPEG-7.
Inicialmen s’ha c ea una base de dades audio isual sob e dibuixos anima s
o mada pe 140 i xe s (de ídeo, d’àudio i de ex ).
A con inuació s’ha implemen a el desc ip o de ex u a HTD de ini pe
l'es ànda d MPEG-7. Aques desc ip o anali za la po ència de la ima ge en
di eccions i bandes en el domini eqüencial.
S’han ex e de cada segmen de ídeo les ca ac e ís iques associades al
desc ip o de ex u a.
Aques es ca ac e ís iques s’han u ili za pe in odui -les a qua e classi icado s
(PCA, LDA, M-NN i Fuzzy In eg al) i ob eni els esul a s de la classi icació de
ídeos de dibuixos anima s.
Pe al de du a e me una classi icació mul imodal, s’ha adjun a el desc ip o
de ex u a amb al es desc ip o s (àudio, mo imen i colo ) .
S’han gene a i xe s de classi icació amb 43 ca ac e ís iques d’àudio ( olum
mig, c euamen s pe ze o, ample de banda...) i 79 de ídeo (mi ja RGB,
au oco elog ama, il e Gabo nº1, ....).
A pa i d’aques s i xe s s’han e di e ses p o es de classi icació.
En el cas d’u ili za només el desc ip o de ex u a, els esul a s han es a d’un
77% de econeixemen de ídeos de dibuixos anima s.
U ili zan ca ac e ís iques d’àudio i ídeo, el esul a de econeixemen de
dibuixos en el millo cas és del 85 %.
Ti le: Audio isual analysis h ough MPEG-7 desc ip o s.
Au ho : En ic Bosch Angla ill
Di ec o : F ancesc Ta és Ruiz
Da e: Feb ua y, 24 h 2006
O e iew
The objec i e o his mas e hesis is o pe o m a ca oon audio isual
classi ica ion using MPEG-7 desc ip o s.
Fi s ly, an audio isual da abase abou ca oons and o he ele ision gen es
has been c ea ed. This da abase consis s o 140 segmen ed iles ( ideo, audio
and ex ) which co espond o mo e han 2 hou es o ideo.
Ca oons a e supposed o ha e la and homogeneous ex u es. Thus, in he
second s ep o his wo k he Homogeneous Tex u e Desc ip o (HTD) de ined
in he MPEG-7 s anda d has been implemen ed. This desc ip o analyzes he
ene gy image in spa ial di ec ions and equency bands.
The ex u e ea u es included in his desc ip o has been compu ed o he
whole audio isual da abase and u ilized as inpu o ou classi ie s
(PCA,LDA,M-NN and Fuzzy In eg al) wi h he objec i e o ca oons
classi ica ion.
A i s classi ica ion has been ca ied ou conside ing only he ex u e ea u es.
A e analyzing hese p elimina y esul s, he ex u e desc ip o has been
included in a mul imodal amewo k ( ex u e,audio, mo emen and colo ).
Resul s ha e shown ha he ex u e desc ip o alone ob ains a high
classi ica ion a e (abo e he 77%) bu his can be imp o ed ill a de ec ion a e
o 85% when adding some audio and colo ideo ea u es.
Aques p ojec e es à dedica :
A la amília i a la Sa a,
pel supo mo al.
Al Toni i F ancesc,
pe les se es inspi acions.

ÍNDEX
INTRODUCCIÓ.................................................................................................. 1
CAPÍTOL 1. SITUACIÓ INICIAL........................................................................ 6
1.1. Con ingu audio isual....................................................................................................... 6
1.2. Visió global......................................................................................................................... 7
CAPÍTOL 2. ANÀLISI MULTIMODAL ............................................................... 8
2.1. Es ànda d MPEG-7 ............................................................................................................ 9
2.2. Àudio................................................................................................................................. 11
2.2.1. Ca ac e ís iques a ni ell de ama........................................................................ 11
2.2.2. Ca ac e ís iques a ni ell de clip............................................................................ 13
2.3. Vídeo................................................................................................................................. 13
2.3.1. Colo ..................................................................................................................... 13
2.3.2. Tex u a.................................................................................................................. 15
2.3.3. Fo ma ................................................................................................................... 15
2.3.4. Mo imen .............................................................................................................. 15
CAPÍTOL 3. FITXERS DE CARACTERÍSTIQUES.......................................... 17
3.1. Segmen ació manual....................................................................................................... 17
3.2. E ique a ge manual ......................................................................................................... 18
3.3. Expo ació dels i xe s.................................................................................................... 18
3.4. Ex acció de ca ac e ís iques......................................................................................... 19
3.5. Gene ació dels i xe s d’en enamen ........................................................................... 19
CAPÍTOL 4. CARACTERÍSTICA DE TEXTURA............................................. 20
4.1. Homogeneous Tex u e Desc ip o ................................................................................. 20
4.1.1. Sis ema de isió humana (HVS)........................................................................... 20
4.1.2. Desc ipció del desc ip o ...................................................................................... 21
CAPÍTOL 5. CLASSIFICADORS..................................................................... 26
5.1. PCA ................................................................................................................................... 26
5.2. LDA ................................................................................................................................... 29
5.3. M-NN ................................................................................................................................. 30
5.4. Fuzzy In eg al................................................................................................................... 31
CAPÍTOL 6. PROGRAMES ............................................................................. 32
6.1. Mac oFi xe ...................................................................................................................... 32
6.1.1. Funcionamen ....................................................................................................... 32
6.2. Desc ip o de Tex u a ..................................................................................................... 33
6.1.1. Eines u ili zades.................................................................................................... 33
6.1.2. Es uc u a ............................................................................................................. 34
6.1.3. Funcionamen ....................................................................................................... 39
CAPÍTOL 7. RESULTATS ............................................................................... 41
7.1. Segmen s de ídeos........................................................................................................ 41
7.2. Ex accions de ca ac e ís iques .................................................................................... 41
7.3. Classi icació de dibuixos anima s................................................................................. 42
7.3.1. Classi icació amb el desc ip o de ex u a............................................................ 43
7.3.2. Classi icació amb el desc ip o de ex u a eduï .................................................. 44
7.3.3. Classi icació mul imodal ....................................................................................... 45
7.3.4. Classi icació mul imodal amb ines a empo al ................................................... 46
CAPÍTOL 8. CONCLUSIONS I LÍNIES FUTURES.......................................... 48
BIBLIOGRAFIA ............................................................................................... 50
ANNEXOS........................................................................................................ 51
1.1. Desc ipció de l’aplicació d’ex acció de ca ac e ís iques .......................................... 51
1.2. P o es de e i icació del uncionamen de la FFT....................................................... 57
1.3. Fi xe de ca ac e ís iques del desc ip o de ex u a eduï ......................................... 59
In oducció 1
INTRODUCCIÓ
En l’ac uali a es disposa de g an olum d’in o mació, pe ò un dels p oblemes
és ce ca la que in e essa d’una mane a àpida i e icaç.
Com a conseqüència del desen olupamen ecnològic i de la ele isió digi al, la
in o mació endeix a se mul imèdia (en de imen de la in o mació ex ual), sen
més di ec a i is osa. En la Taula. 0.1 s’obse a el consum anual de bi s als
Es a s Uni s que és d’ap oximadamen 230 Exay es cada any.
Taula. 0.1 Consum anual de bi s als Es a Uni s
Un o al de 70 M de cases ≈ 230 Exaby e / any
Tele isió 94%
Ràdio 1,7%
Música G a ada 0,4%
Dia is 0,0003%
Llib es 0,0002%
Re is es 0,0002%
Vídeo a casa 3,3%
Jocs de ídeo 0,6%
In e ne 0,0003%
[Fon : UC Be kley: How much in o ma ion]
Anali zan aques es dues endències ha so gi la necessi a de busca sis emes
de ges ió i classi icació en con ingu s mul imèdia (p ocessamen i indexació
au omà ica). És a di , disposa de con ingu s audio isuals con enien men
ca aloga s de mane a que es puguin pe sonali za d’aco d amb el pe il de
l’usua i (no ícies, espo s, dibuixos anima s e c.), du a e me una ece ca de
con ingu s a pa i de pa aules clau (casa, co xe, a b e, camp e c.) e c.
Pe a la classi icació dels con ingu s mul imèdia de mane a au omà ica és
necessà ia l’anàlisi de o ipus d’in o mació: ima ges, sons, ex s, pa aules... En
p incipi, un sis ema d’anàlisi de con ingu mul imèdia se à més e icien si
l’anàlisi és mul imodal, (si s’anali zen ca ac e ís iques d’àudio i ídeo) ja que
s’espe a que disminueixi la p obabili a d’e o en la se a classi icació. Els
sis emes d’anàlisis mul imodals són ela i amen nous, ja que pe anali za
senyals d’àudio i de ídeo simul àniamen es eque eix mol a capaci a
compu acional, i ambé pe la poca coope ació que adicionalmen exis ia en e
les comuni a s cien í iques dels dos camps ( ídeo i àudio).
A pa i de la necessi a de desc iu e comple amen els con ingu s i/o ma e ials
audio isuals, a néixe l’es ànda d MPEG-7. El MPEG-7 es anda di za la o ma
en què el con ingu po desc iu e’s, és a di , es ableix una sin axi es ànda d de
mane a que sigui possible la in e ope a ibili a en e di e sos sis emes de
ca alogació o ece ca de con ingu s. Pe an , és in e essan conèixe aques
8 Anàlisis audio isual mi jançan desc ip o s MPEG-7
CAPÍTOL 2. ANÀLISI MULTIMODAL
Com a conseqüència dels a anços cien í ics en l’emmaga zema ge i les xa xes
ens di igim cap un món amb abundan con ingu mul imèdia. Pe an ,
necessi em indexa el con ingu pe a la se a ce ca, manipulació i classi icació.
Un mè ode pe la classi icació d’un documen audio isual és segmen a la pa
de ídeo, segmen a la pa d’àudio i desp és in eg a -ho. En el p ojec e s’ha
u ili za l’es uc u a de la Fig. 2.1 .
AUDIOVISUAL
FEATURES
AUDIO FEATURES
VIDEO FEATURES
AUDIO
FILE
VIDEO
FILE
AUDIOVISUAL
FILE
Fig. 2.1 Anàlisi mul imodal
Un dels pione s en la classi icació mul imodal de con ingu audio isual a se
Fishe ( eu e [3] ) que a classi ica p og ames de ele isió en no ícies, cu ses
de co xes, ennis, anuncis i dibuixos anima s u ili zan es ni ells d’ex acció.
En el p ime ni ell es an ex eu e algunes p opie a s sin àc iques del ídeo
(l’his og ama de colo , el mo imen , la o ma de eu i l’espec e de l’àudio). En
el segon ni ell, les ca ac e ís iques d’àudio i de ídeo es an u ili za pe
de e mina l’es il de cada escena. I l’úl im ni ell, la a iació empo al de cada
ca ac e ís ica es compa a amb uns i xe s de ca ac e ís iques p ede ini s que
co esponen a cada gène e de p og ama.
Wang ambé a implemen a un classi icado de gène es de p og ama u ili zan
HMM (Hiden Ma ko Models) ( eu e [4] ). Els au o s expliquen la se a
mo i ació pe la u ili zació HMM pel e que en o momen els alo s de les
ca ac e ís iques de di e en s p og ames poden se simila s en con as amb el
seu compo amen empo al (on és bas an di e en pe cada ca ego ia). Els
di e en s ipus de p og ama que classi ica en e en anuncis, bàsque , u bol,
no ícies i el emps.
Recen men , Glasbe ha p esen a una no a ap oximació sob e la classi icació
de seqüències de ídeo MPEG-2 com a dibuixos anima s o no dibuixos anima s
anali zan el colo , la ex u a i el mo imen de ames consecu ius en emps eal
( eu e [9] ). En aques mè ode, les ca ac e ís iques ex e es dels desc ip o s
isuals s’han ponde a de mane a no lineal amb la unció sigmoid i desp és s’ha
u ili za un pe cep ó mul icapa pe ob eni un bon econeixemen . Els esul a s
demos en que l'al a axa de econeixemen es basa en la lla ga base de dades

Anàlisi mul imodal 9
de 200 seqüències de ídeo (40 de dibuixos anima s i la es a de no dibuixos
anima s) ob ingudes g a uï amen de la ele isió digi al alemanya. Els au o s
han aconsegui un econeixemen mig del 80% pe ídeos de dibuixos anima s.
Un al e aspec e a comen a de o s els eballs mul imodals e s ins a a és que
pe du a e me la classi icació s’han selecciona o es les ca ac e ís iques de
mane a empí ica. Degu al g an nomb e de ca ac e ís iques disponibles, un
dels aspec es més impo an s dels classi icado s mul imodals és que hi ha la
necessi a de mesu a la elle ància de les ca ac e ís iques en el p océs de
classi icació, i pe an ia de o es les ca ac e ís iques d’àudio i ídeo les més
signi ica i es pels seus p opòsi s. Això és impo an pe dos mo ius: el p ime ,
pe edui el cos compu acional dels classi icado s ja que s’op imi za ien el
subconjun de ca ac e ís iques; i segon, pe què es pod ia selecciona de
mane a e icaç el subconjun de mesu es òp imes depenen del p oblema que
es ol soluciona . És a di , si es ol de ec a dibuixos anima s es ia à un
conjun X, si es ol de ec a espo s, es ia à un al e subconjun Y. Pe aques
mo iu un dels classi icado s implemen a s es à basa en la Fuzzy In eg al ja que
segons la eo ia ( eu e 5.4) aques ope ado no lineal é la possibili a de
mesu a la elle ància de les ca ac e ís iques, pe ò això s’ha deixa com a línia
u u a.
Desp és d’aques esum sob e alguns dels eballs més ep esen a ius sob e la
classi icació mul imodal de gène es, i més conc e amen la de ecció de dibuixos
anima s, es desc iuen les ca ac e ís iques més impo an s de l’es ànda d
MPEG-7 i ca ac e ís iques d’àudio i ídeo que es pod ien u ili za din e del
amewo k p esen a a la Fig. 2.1.
2.1. Es ànda d MPEG-7
L’objec iu p incipal de l’es ànda d MPEG-7 és desc iu e les ca ac e ís iques de
con ingu s mul imèdia. P opo ciona un conjun de desc ip o s basa s en ca àleg
( í ol, c eado , d e s), semàn ica (in o mació sob e objec es i e en s que
apa eixen en el documen ) i es uc u al (com his og ama de colo ) que
es anda di za la o ma de desc iu e el con ingu audio isual.
És una ecnologia desen olupada pel g up MPEG i ap o ada pe l’O gani zació
In e nacional d’Es anda di zació (ISO) que p opo ciona una desc ipció de
con ingu s pe pa aules clau, signi ica semàn ic (qui, què, quan, on) i
es uc u al ( o ma, colo s, ex u a i mo imen s).
El o ma MPEG-7 s’ha dissenya pe què sigui independen del o ma del
con ingu .
Aques es ànda d s’u ili za pe desen olupa sis emes capaços d'indexa g ans
bases de dades de ma e ial audio isual i busca en aques es bases de dades
de mane a au omà ica. L’es ànda d MPEG-7 ambé inclou in o mació sob e el
ipus de comp essió u ili zada (JPEG, MPEG-2 e c.), les condicions pe accedi ,
la classi icació, els enllaços a al es ma e ials elle an s i el seu con ex .
10 Anàlisis audio isual mi jançan desc ip o s MPEG-7
L’es ànda d de ineix una llib e ia mul imèdia d’eines i mè odes esumi s en la
Fig. 2.1.1, i que es de allen a con inuació.
Conjun de desc ip o s
Un desc ip o (D) és una ep esen ació d’una ca ac e ís ica de inida de mane a
sin àc ica i semàn ica.
Conjun d’esquemes de desc ipció
Un esquema de desc ipció (DS) especi ica l’es uc u a i semàn ica de les
elacions en e els seus componen s, que poden se desc ip o s (D) o
esquemes de desc ipció (DS).
Llengua ge de desc ipció de ini
Un llengua ge de desc ipció (DDL) és un llengua ge que especi ica esquemes
de desc ipció pe me en l’ex ensió i modi icació dels esquemes de desc ipcions
exis en s. Es ac a d’un llengua ge basa en XML.
La seqüència desi jada pe l'es ànda d MPEG-7 és inicialmen una anàlisi del
documen pe ob eni les se es ca ac e ís iques i les elacions en e els
elemen s. En aques cas s’u ili zen els desc ip o s es ànda ds que poden se
amplia s.
També es poden u ili za eines de ano ació pe desc iu e la semàn ica del
documen .
D’aques a mane a, u ili zan l’es ànda d MPEG-7 qualse ol aplicació pod à
en end e i u ili za la in o mació ob inguda i se em capaços de desen olupa
po en s buscado s o classi icado s de documen s mul imèdia.
Desc ip o s i esquemes no
especi ica s en l’es ànda d.
C ea s mi jançan DDL
Desc ip o s i esquemes de ini s
en l’es ànda d
DS
D
D
D
D
D
DS
DS
DDL
Fig. 2.1.1 Relació en e elemen s de l'es ànda d MPEG-7
Anàlisi mul imodal 11
Exis eixen mol es aplicacions i à ees on es po aplica l’es ànda d MPEG-7, ja
sigui en biblio eques digi als (ca àlegs d’ima ges, ídeos e c.), se eis de
di ec o is mul imèdia (pàgines g ogues, e c.), se ei de no ícies elec òniques,
au o i zació de con ingu s mul imèdia e c.
2.2. Àudio
En aques apa a s’explica an les ca ac e ís iques pe classi ica i xe s
d’àudio. Pe du a e me una classi icació d’àudio hi ha mol es ca ac e ís iques
que poden u ili za -se. Segons l’a icle “Mul imedia Con en Analysis Using bo h
Audio and Video Clues” s’ex euen dos ni ells de ca ac e ís iques d’àudio:
ca ac e ís iques a ni ell de ama i ca ac e ís iques a ni ell de clip.
Una ama es de ineix com un g up de mos es consecu i es de 10 a 40 ms de
du ada ( eu e [2] ).
Pe e una classi icació d’ àudio necessi em una anàlisi de du ació majo a una
ama, si s’ap o i en les ca ac e ís iques a ni ell de ama i s’apliquen du an un
pe íode de emps (1 o 2 segons) es po e una anàlisi a ni ell de clip.
2.2.1. Ca ac e ís iques a ni ell de ama
Les ca ac e ís iques a ni ell de ama són en un espai cu de emps, d’en e
10 ms i 40 ms. A con inuació es de ineixen b eumen cadascuna d’elles.
Volum
És la ca ac e ís ica més u ili zada i àcil de calcula . És un indicado del silenci
S’ap oxima pe la ms del senyal en una ama
Vn
`a
=1
N
·X
i=0
N@1
Sn
2i
`a
u
u
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww(2. 1)
on
S
ni
`a és el alo de la mos a i de la ama n i N la longi ud de la ama.
C euamen s pe ze o (ZCR)
Consis eix en con a les egades que el senyal d’àudio c eua el alo ze o en
l’eix d’o denades.
12 Anàlisis audio isual mi jançan desc ip o s MPEG-7
ZCR n
`a
=1
2
X
N@1
i=1
|sign Sn i
`a
bc
@sign Sn i @1
`a
bc
|
h
ji
k s
N
(2. 2)
on s és la eqüència de mos eig i N la longi ud de la ama.
F eqüència onamen al (Pi ch)
És un indicado impo an en la eu i la música ja que enen una eqüència
onamen al bas an de inida. La pa la é una eqüència es à en e 40 i 450 Hz
de eqüència onamen al i la música més al a.
Un mè ode pe oba la eqüència onamen al és e l’au oco elació i busca la
dis ància en e pics consecu ius.
Rnl
`a=X
N
@l@1
i
=
0
Sni
`a·Sni+l
`a
(2. 3)
F eqüència cen al (FC)
És una mesu a del pun d’equilib i de l’espec e i é una elació di ec a amb la
b illan o del so.
FC n
`a
=Z0
1
w·Snw
`a
dw
Z0
1
Snw
`a
dw
(2. 4)
on Sn (w) és l’espec e de po ència del senyal i w la eqüència angula .
Ampla de banda (BW)
És po calcula a pa i del pa àme e an e io FC i la des iació, ob enin una
mesu a de l’ample de banda del senyal d’àudio.
Ene gia en di e en s bandes (ESBR)
Consis eix en la mesu a d’ene gia en di e en s subbandes on es di ideix
l’espec e en qua e bandes amb in e als [0, w/8], [0, w/4], [0, w/2] i [0, w]. La
a iable w ep esen a la mei a de la eqüència de mos eig.
Spec al Rollo Poin
Anàlisi mul imodal 13
Es de ineix com el pun de l’espec e on s’assoleix el 95 % de la po ència
espec al.
Mel F equency Cep um Coe icien s (MFCC)
S’u ili zen il es iangula s pas banda espaia s linealmen a baixa eqüència i
loga í micamen a al a eqüència pe ex eu e les ca ac e ís iques onè iques
impo an s.
2.2.2. Ca ac e ís iques a ni ell de clip
Les ca ac e ís iques a ni ell de clip són bàsicamen mesu es es adís iques
(mi ja o a iança) de les an e io s du an una ines a empo al ap oximadamen
d’un o dos segons ( eu e [2] i [11] ).
2.3. Vídeo
En aques apa a s’expliquen els desc ip o s de ídeo de ini s en l’es ànda d
MPEG-7. Els desc ip o s pe a iba a inclou e’s a l'es ànda d MPEG-7 han de
passa uns p ocessos i una sè ie de p o es.
Hi ha mul i ud de desc ip o s de ídeo i la se a elecció es a di ícil. L’es ànda d
MPEG-7 p opo ciona una me odologia u ili zada en la majo ia de sis emes de
classi icació, i pe an la u ili zació dels seus desc ip o s pe me la
in e ope a ibili a amb qualse ol al e sis ema.
Els desc ip o s es uc u als de MPEG-7 es di ideixen en el colo , la ex u a, la
o ma i el mo imen .
2.3.1. Colo
El colo és un dels camps més u ili za s en les ca ac e ís iques d’ima ge. Les
ca ac e ís iques de colo són obus es pe obse a angles, desplaçamen s i
o acions de les egions d’in e ès. El colo és un a ibu impo an pel sis ema
de isió humana. L’es ànda d di ideix els desc ip o s de colo en sis
desc ip o s.
Colo Space Desc ip o
Especi ica el model de colo a u ili za en un al e desc ip o de colo ,
especialmen el desc ip o de colo dominan . Els models de colo especi ica s
en el MPEG-7 són RGB, YCbC , HSV i HMMD.
El model RGB és el més popula . Aques model es basa en els es colo s
p ima is ( e mell, e d i blau) pe ep esen a els al es colo s.

14 Anàlisis audio isual mi jançan desc ip o s MPEG-7
El model YcbC és una ans o mació lineal del RGB i s’exp essa com:
Y=0.299 ·
R
+
0.587 · G
+
0.114 ·
B
Cb [email protected] ·
R
@0.331 G
+
0.500 ·
B
C
=0.500·
R
@0.419 · [email protected] ·
B
(2. 5)
El model HSV es de ineix com un cilind e amb les a iables onali a (H), la
in ensi a (V) i la sa u ació (S). La onali a es ep esen a pe un angle que a
de 0 a 360º i especi ica la amília del colo . La in ensi a especi ica la b illan o o
osco del colo i la sa u ació la pu esa del colo .
El HMMD (Hue-Max-Min-Di ) és un model de o ma cònica on els noms Hue,
Max, Min i Di segueixen les equacions següen s:
Max =max R,G,B
bc
Mi
n=min R,G,B
bc
Di
=
M
a
x
@
M
in
Sum =
M
a
x
+
M
in
2
(2. 6)
Dominan Colo Desc ip o (DCD)
És un desc ip o que p opo ciona una in o mació compac a dels colo s
ep esen a ius d’una ima ge o egió de la ima ge.
Scalable Colo Desc ip o
És un desc ip o que es po in e p e a com la ans o mada Haa u ili zan el
mapa de colo s HSV .
G oup o F ames Desc ip o (GoF)
És un desc ip o u ili za pe ep esen a ca ac e ís iques de colo de múl iples
ima ges o múl iples ames.
Colo S uc u e Desc ip o
Rep esen a una ima ge amb la se a dis ibució de colo (simila al his og ama
de colo ) i l’es uc u a espaial de colo u ili zan una es uc u a de ines es.
Colo Layou Desc ip o
Cap u a els colo s ep esen a ius en una quad ícula. La ep esen ació es basa
en els coe icien s de la ans o mada cosinus disc e a. S’u ili za an en ima ges
com en segmen s de ídeo.
Anàlisi mul imodal 15
2.3.2. Tex u a
La ex u a es e e eix a pa ons isuals que enen p opie a s d’homogeneï a o
no, i la p esència de múl iples colo s o in ensi a s en la ima ge. L’es udi de la
ex u a d’una ima ge ha so gi com a conseqüència de busca a a és de
lla gues col·leccions d’ima ges de ex u a simila .
Mol s objec es na u als i a i icials es poden dis ingi pe la se a ex u a. Una
ima ge es po conside a com un mosaic de ex u es homogènies.
Ac ualmen hi ha es desc ip o s de ex u a en l’es ànda d MPEG-7: el
desc ip o homogeni de ex u a (HTD), el desc ip o buscado de ex u a (TBD) i
l’ his og ama de con o n (EHD).
Tex u e B owsing Desc ip o
El TBD especi ica la ca ac e i zació pe cep ual de la ex u a, en e mes de
egula i a , di ecció i in ensi a .
Edge His og am Desc ip o
El EHD consis eix en di idi la ima ge en 4x4 ima ges i gene a un his og ama
de cada una de les ima ges de cinc mane es di e en s: e ical, ho i zon al, 45º
diagonal, 135º diagonal i sense di ecció.
Homogeneous Tex u e Desc ip o
LA HTD és el desc ip o implemen a en aques p ojec e i s’explica en més
de all en el 4.1.
2.3.3. Fo ma
La o ma és una ca ac e ís ica impo an de baix ni ell. Els desc ip o s de
o ma es poden di idi en desc ip o s basa s en el con o n i desc ip o s basa s
en la egió.
Els mè odes basa s en el con o n explo en la in o mació on e a que és c ucial
en la pe cepció humana pe la de ecció de o mes simila s.
Els mè odes basa s en la egió explo en només in o mació in e io , que po se
aplicada a o mes més gene als.
2.3.4. Mo imen
Els desc ip o s MPEG-7 de mo imen són clau en la indexació de ídeo, són
desc ip o s compac es i ep esen a ius.
16 Anàlisis audio isual mi jançan desc ip o s MPEG-7
L’es ànda d cons a de qua e desc ip o s: l’ac i i a de mo imen , el mo imen
de la càme a, la ajec ò ia de la càme a i el mo imen pa amè ic.
Els mo imen s de càme a i l’ac i i a de mo imen desc iuen ca ac e ís iques
de mo imen en segmen s de ídeo, men e que la ajec ò ia de mo imen
desc iu el mo imen en egions. El mo imen pa amè ic po se u ili za
ambdós casos.
Mo ion T ajec o y
Pa ame ic Mo ion
Mo ion Ac i i y
Came a Mo ion
MOVING REGION
VIDEO SEGMENT
Fig. 2.3.1 Desc ip o s de mo imen
Mo ion Ac i i y
Aques desc ip o cons a de qua e a ibu s: la in ensi a de l’ac i i a , la di ecció
de l’ac i i a , la dis ibució espacial i la dis ibució empo al.
Came a Mo ion
Came a Mo ion supo a o es les ope acions de la càme a com les anslacions,
o acions, can i de ocali zació i combinacions d’aques es.
Dos segmen s de ídeo de la ma eixa escena amb di e en s mo imen s de
càme a po en a di e en s ep esen acions de la eali a .
Mo ion T ajec o y
Desc iu la ajec ò ia dels objec es en emps, de inin objec e com una egió
espai- emps.
Pa ame ic Mo ion
Rep esen a el mo imen i de o mació d’una egió o ima ge a a és de models
pa amè ics ( anslació, o ació, pe spec i a, quad à ic).
Fi xe s de ca ac e ís iques 17
CAPÍTOL 3. FITXERS DE CARACTERÍSTIQUES
En aques capí ol s’explica à la me odologia seguida en aques p ojec e des de
eni un i xe de ídeo ins a l’ob enció d’un i xe de ca ac e ís iques del ídeo
anali za . Tal com es mos a en la Fig.0.2 , comen a em les cinc p ime es
e apes: g a ació audio isual, segmen ació manual d’escenes, e ique a ge
manual, ex acció de ca ac e ís iques i ob enció dels mac o i xe s .
La u ili a d’ob eni un i xe de ca ac e ís iques és pode en ena un
classi icado que pe me i dis ingi el gène e de dibuixos anima s dels al es
gène es (espo s, no ícies, documen als e c.).
3.1. Segmen ació manual
S’ha disposa de dos i xe s de ídeo g a a s di ec amen de TV3 en o ma
VOB. Els dos i xe s de ídeo enen una emà ica de dibuixos anima s i d’una
du ació ap oximada de 40 minu s cadascun. S’ha eali za una con e sió de
o ma de VOB a MPEG-2 amb les següen s ca ac e ís iques:
Resolu ion: 720x576
Aspec Ra io: 4:3
F ame Ra e: 25 ps – PAL (625/50)
Video Bi Ra e: 6Mbps (cons an )
Audio Bi Ra e: 384Kbps
Pe al de acili a l’ex acció de les ca ac e ís iques del ídeo és necessà ia
una segmen ació p è ia del ídeo en sho s (escenes). El p og ama u ili za pe
la segmen ació manual ha es a l’Adobe P emie e 6.5 amb el LSX-MPEG Sui e
2.0 (P emie e Plug in).
Fig. 3.1.1 Adobe P emie e 6.5
24 Anàlisis audio isual mi jançan desc ip o s MPEG-7
Gp s, w ,θ
bc
=e@w@ws
`a
2
2σws2
e@θ@θ
`2
2σθ 2
a
(4. 3)
on Gp s, és la unció en s (índex adial) i (índex angula ). La Fig. 4.1.5
mos a els il es Gabo , on hi han 6 di isions en la di ecció angula i 5 di isions
en la di ecció adial.
Fig. 4.1.5 Fil e Gabo 6x5
La σ és una cons an de alo
θ
15º
2ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
en la di ecció angula . En la di ecció
adial σw
s
depèn de l'ample de banda i s’esc iu
σWs =
B
x
22ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
(4. 4)
Les següen s aules mos en les ca ac e ís iques dels canals de la unció
Gabo .
Taula. 4.1.1 Pa àme es en la di ecció adial
Index adial
(s)
0 1 2 3 4
F eqüència
cen al (Ws)
3 / 4 3 / 8 3 / 16 3 / 32 3 / 64
Ample de
banda (Bx)
1 / 2 1 / 4 1 / 8 1 / 16 1 / 32
σw
s
1
42ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
1
82ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
16
1
2 ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
1
32 2 ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
1
64 2 ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
Taula. 4.1.2 Pa àme es en la di ecció angula

Ca ac e ís ica de ex u a 25
Index
angula ( )
0 1 2 3 4 5
F eqüència
cen al (θ )
0º 30º 60º 90º 120º 150º
A
mple de
banda
30º 30º 30º 30º 30º 30º
σθ
30o
22ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
30o
22ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
30o
22ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
30o
22ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
30o
22ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
30o
22ln2
p
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
Pe ex eu e les ca ac e ís iques, aga em la ans o mada Radon de la ima ge i
em la ans o mada de Fou ie d’una dimensió, Desp és, es po ob eni un all
cen al de F(w, θ) en domini eqüencial 2D. El desc ip o de ex u a consis eix
en les ca ac e ís iques de cada canal. Els componen s són el p ime i segon mo
men d’ene gia en els canals (des iacions ene gè iques). Les ene gies i
des iacions ene gè iques s’esc iuen com e1,e2,e3,
…
,e30
@A
i BC
espec i amen , Els índexs indiquen els canals. L’ene gia ei d’un canal i es
de ineix com
d1,d2,d3,…A,d30
ei=log 1 +pi
bc
(4. 5)
(4. 6)
pi =X
w=0+
1X
θ=0
360
Gps, w,θ
bc
·w
L
LM
M·Fw,θ
bc
DE
2
(4. 7)
di=log 1 +qi
bc
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
(4. 8)
qi=X
w=0
1X
θ=0
360º
GPS,R w,θ
bc
·|w|·Fw,θ
bc
DE
2
@pi
X
ZY
]
[
2
u
u
u
u
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
on |w| és el e me jacobià en e la eqüència pola i la ca esiana i es po
esc iu e com L . F (w, θ ) és la ans o mada de Fou ie de la
ima ge (x,y).
w
LM
M=wx
2+wy
2
q
wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww
L
L
L
LM
M
M
M
Finalmen , el desc ip o bàsic consis eix en un ec o de 32 alo s on els dos
p ime s són la mi jana i la des iació ípica, i la es a les 30 ene gies dels
canals.
TD = DC , SD ,e1,e
2,e3,…,e
30
BC
(4. 9)
També exis eix el desc ip o a ança on s’inclouen les des iacions
ene gè iques.
TD = DC , SD ,e1,e
2,e3,…,e
30 ,d1,d2,d3,…,d30
BC
(4. 10)
26 Anàlisis audio isual mi jançan desc ip o s MPEG-7
CAPÍTOL 5. CLASSIFICADORS
En aques apa a explica em b eumen els classi icado s u ili za s pe la
classi icació de gène e de dibuixos.
Inicialmen els classi icado s necessi a an una ase d’en enamen on
s’ajus a an els seus pesos, i pos e io men es calcula à la p obabili a que els
ídeos pe anyin al gène e de dibuixos anima s.
S’ha implemen a un o al de 4 classi icado s: P incipal Componen Analysis
(PCA), Linea Disc iminan Analysis (LDA), Mean-Nea es Neighbou (M-NN) i
un classi icado no lineal basa en la Fuzzy In eg al.
És necessa i acla i que an la PCA com la LDA no són es ic amen uns
classi icado s. Aques s dos mè odes calculen un espai ans o ma a pa i d’un
conjun de mos es d’en enamen ( ase d’en enamen ) segons un c i e i de
maximi zació de l’ene gia. És a di , s’’ob é una codi icació més compac a dels
objec es que classi ica em (dibuixos i no-dibuixos) acili an i millo an els
esul a s.
A con inuació s’explica à amb més de all cadascuna d’aques s classi icado s,
pa icula i zan pel econeixemen de dos classes: dibuixos i no dibuixos.
5.1. PCA
Aques mè ode consis eix en edui la dimensió de l’espai de ep esen ació
dels objec es a pa i de p ojeccions lineals.
La mane a d’ope a és la següen , sigui N objec es ep esen a s pe ec o s de
ca ac e ís iques R als que
X1,X 2,…,XNSxi
ε
Rn
yi
, conside em una
ans o mació lineal que ans o ma l’espai o ignial n-dimensional en un espai
m-dimensional , sen m<n. Les no es ep esen acions es calculen
yi=WTBxii=1,2,…,N (5. 1)
sen les m les columnes de W
ε
R
nBm o ono mals. Sigui
S
c la ma iu de
co a iància dels ec o s de ca ac e ís iques o iginals de inida com
Sc=1
N
g
BX
i=1
N
xi@µ
bc
xi@µ
bT
c
(5. 2)
Classi icado s 27
on µε ep esen a la mi ja dels ec o s de ca ac e ís iques o iginals.
Rn
S
c
S
é
dimensions n x n, és simè ica i é n ec o s p opis R i n alo s
p opis R que compleixen la elació
Φ1,Φ2,…,Φn
λ1,λ2,…,λnS
S
cB
Φ
=
Φ
B
Λ
(5. 3)
on,
Φ és la ma iu de ec o s p opis RS
Φ1,Φ2,…,Φn
Λ és la ma iu de alo s p opis L
L
λ10…0
0λ2…0
…………
00…λn
H
L
L
L
J
I
M
M
M
M
M
K
els Φ són o ogonals en e si, pe an la ma iu
i
Φ
es de ineix una no a base,
sense de o ma l’espai o iginal
yi=ΦTBxi (5. 4)
desp és d’aques a ans o mació els ec o s enen una ma iu de
co a iàncies
yi
ΦTBScBΦ (5. 5)
ja que Φ és o ogonal b i u ili zan la (5.3), la no a ma iu de
co a iància és . Amb aques a ans o mació s’ha aconsegui deco ela els
alo s de les no es dimensions.
ΦTBΦ=Ic
Λ
Un exemple d’aques a ans o mació po eu e’s en la Fig. 5.1.1.
28 Anàlisis audio isual mi jançan desc ip o s MPEG-7
Fig. 5.1.1 Aplicació PCA
Pa icula i zan en el classi icado u ili za en el p ojec e, s’escull la mi ja del
ec o de cada classe més ep esen a i a i s’ob é un ec o de ca ac e ís iques
pe cada classe. Aques ec o es compa a amb el ec o de es (
@
T
E
ST ) a
a és de la dis ància mè ica. La dis ància més p òxima és la classe
econeguda (dibuixos o no dibuixos).
La Fig. 5.1.2 mos a l’es uc u a d’en enamen i econeixemen del
classi icado PCA u ili za en el p ojec e.
@
T
E
ST
X
@
T
E
ST
@
C
A
RTOO
N
@
NOCARTOON
@
NOCARTOON
X
@
1NoCa oon ………X
@
MNoCa oon
X
@
1Ca oon ………X
@
MCa oon
@
C
ARTOO
N
Espai de
ca ac e ís iques MIN
µ
FASE RECONEIXEMENT FASE ENTRENAMENT
µ
@
@
Fig. 5.1.2 Es uc u a del PDA
Classi icado s 29
5.2. LDA
En aques classi icado la di e ència en e classes (dibuixos o no dibuixos) es
maximi za, men e la dispe sió de les mos es de cada objec e es minimi za. És
a di , consis eix en oba la di ecció en la qual les mos es del conjun
d’en enamen enen la mínima dispe sió dins d’una classe i la màxima
dispe sió en e classes i p ojec a la mos a a classi ica sob e aques a di ecció.
En l’anàlisi disc iminan lineal ambé es busca una ma iu W que de ineixi una
ans o mació lineal. El LDA u ili za la in o mació de classe.
Pe e ús de la in o mació de classe es de ineixen la ma iu de co a iància
i la ma iu de co a iància b . La ma iu de co a iàncies es de ineixen
com
Sb
bc Swc
Sb=X
i=1
LNi
N
g
BM0@Mi
bc
BM0@Mi
bT
c
(5. 6)
on L és el nomb e de classes, N el nomb e o al de ec o s, Ni el nomb e o al
de ec o s de la classe i, Mo és el ec o mi ja dels ec o s i Mi és el ec o
mi ja dels ec o s de la classe i.
La ma iu de co a iància es de ineix com
Sw=X
i=1
LN
Ni
g
BSi (5. 7)
on Si és la ma iu de co a iància de la classe i que es calcula com
Si=1
Ni
g
BX
xεCi
Mi@x
bc
BMi@x
bT
c
c
S
(5. 8)
Ci és el conjun de ec o s de la classe i.
Amb aques es ma ius podem de ini el c i e i de sepa abili a
(c i e i de Fishe ). Com més g an sigui la dis ància en e classes i meno la
classe, majo se à J i més àcil se à la classi icació. Al es c i e is com
o J ambé són possibles.
J= Sw
@1BSb
bc
J2= Sc
@1BSb
bc
3= Sw
@1BSc
b
On R són els L-1 ec o s p opis amb alo p opi di e en de ze o
de la ma iu .
Φi:1…L@1
Sw
@1BSb

30 Anàlisis audio isual mi jançan desc ip o s MPEG-7
En la Fig. 5.2.1 s’obse a un exemple on la PCA ens dona ia una
ans o mació que augmen a ia el solapamen en e classes, men e que la LDA
les sepa a ia co ec amen .
Fig. 5.2.1 a) P ojecció PCA. b) P ojecció LDA
5.3. M-NN
És un classi icado que es basa en la compa ació del ec o d’en ada espec e
el ec o de e e ència o en enamen .
En l’en enamen la mi jana de o es les mos es co esponen s a una classe
són emmaga zemades i u ili zades com a ec o de e e ència pe aques a
classe.
En la ase de econeixemen , es calcula la dis ància Euclídea en e la mos a a
classi ica i la mi jana de cadascuna de les classes a econèixe (dibuixos i no
dibuixos en el nos e cas). Es selecciona la classe de la mos a que es à a una
dis ància meno . En la Fig. 5.3.1 es mos a l’es uc u a d’aques classi icado .
………
XT
@
E
ST
+
+
X
@
1NoCa oon X
@
MNoCa oon
X
@
1Ca oon ………X
@
MCa oon
µ
@
NOCARTOON
µ
@
C
ARTOO
N
Dibuixos
MIN
FASE RECONEIXEMENT
FASE ENTRENAMENT
Fig. 5.3.1 Classi icado M-NN
Classi icado s 31
5.4. Fuzzy In eg al
La in eg al di usa (Fuzzy In eg al) és un ope ado no-lineal de usió in oduï pe
Sugeno a l’any 1974. Es ac a d’un ope ado u ili za pe esold e p oblemes en
sis emes au oma i za s de p esa de decisions mul ic i e i, a aluació subjec i a
mul ia ibu i usió d’in o mació pel econeixemen de pa ons ( eu e [10]).
La idea in uï i a és la simulació del p océs d’in eg ació de di e en s on s
d’in o mació pe pa de l'ésse humà. Cada pe sona p en una decisió basan -
se en di e en s a ibu s, i desp és eali za una ponde ació segons les se es
p io i a s.
Aques p océs d’assignació és complex ja que s’han de alo a di e en s
c i e is de o ma indi idual i les combinacions d’aques es. El p océs de sín esi
inal no es a a a és d’una suma ponde ada, sinó que es a a a és de la
in eg al di usa.
Exis eixen dos ipus d'in eg als di uses, la de Sugeno i la de Choque . La se a
di e ència és el ipus d’ope ado s implica s en la usió de les dades, i que en la
eo ia de conjun s di usos eben el nom de no mes T i S. En aques p ojec e
s’u ili za à la in eg al di usa de Choque que segueix la o mula
Z
Bdµ=
X
i=1
n
x.i
bc
@ x.i@1
bc
DE
Bµx.i,x.i+1,KBx.n
RS
de
(5. 9)
on µ són les mesu es di uses i els ec o s dels
alo s de les ca ac e ís iques.
x.i,x.i+1,K Bx.n
R
d
S
ec
x.i
b
Aques classi icado ambé é la capaci a de mesu a la elle ància de les
ca ac e ís iques que s’es an a aluan , i pe an de e mina quines són les
ca ac e ís iques a u ili za en cada momen pe a la classi icació.
32 Anàlisis audio isual mi jançan desc ip o s MPEG-7
CAPÍTOL 6. PROGRAMES
En aques capí ol explica em les eines u ili zades, l’es uc u a i el uncionamen
dels dos p og ames elabo a s.
6.1. Mac oFi xe
És una eina que acili a la manipulació de les ca ac e ís iques ex e es de cada
segmen de ídeo uni ican les dades en un sol i xe de ex . Apo a agili a i un
alo a egi alho a d’en ena el classi icado .
S’ha u ili za el Visual S udio 2003 com a en o n de p og amació, i com a
llengua ge el C++.
El què a aques a classe és a pa i d’un di ec o i comp o a o el seu con ingu
i busca els i xe s que acabin amb *_s_VideoFea u es. x . Aques s són els
i xe s de ex s co esponen s a les ca ac e ís iques de cada segmen de ídeo.
Els i xe s es an ob in consecu i amen , les dues p ime es línies de cada
i xe de ex s’eliminen i les al es es an copian en un nou i xe .
6.1.1. Funcionamen
La in e ície g à ica és simple, s’ha de selecciona el i xe i p éme “Accep a ”.
En aques di ec o i hi ha d’ha e o s els al es i xe s de ca ac e ís iques que
es desi gin adjun a en el nou i xe .
Fig. 6.1.1 Aplicació pe gene a un mac o i xe
És un p og ama e a mida pels i xe s de ca ac e ís iques de ex u a, pe an si
les ca ac e ís iques dels i xe s a adjun a són de di e en amplada, el i xe
gene a se à e oni.
P og ames 33
6.2. Desc ip o de Tex u a
6.1.1. Eines u ili zades
Pe eali za aques desc ip o de ex u a l’en o n de p og amació i el llengua ge
u ili za s han es a els ma eixos que en l’al e p og ama (Visual S udio 2003, i
C++). També s’han u ili za simul àniamen es llib e ies de p ocessa d’ima ge.
OpenCV
OpenCV (Open Sou ce Compu e Vision Lib a y) és una llib e ia obe a
desen olupada pe In el. Aques a llib e ia p opo ciona un al ni ell de uncions
pel p ocessa d’ima ge. Aques es llib e ies pe me en c ea aplicacions
pode oses en el domini de la isió digi al. OpenCV és opensou ce pe pode
unciona amb mol es pla a o mes.
Pe me e ope acions bàsiques, p ocessa d’ima ge, anàlisi es uc u al, anàlisi
de mo imen , econeixemen del model, econs ucció 3D i calib ació de la
càme a, in e ície g à ica i adquisició...
És compa ible amb In el P ocessing Lib a y (IPL) i u ili za l’es uc u a IplImage
pe c ea i manipula ima ges. Aques a es uc u a é mol s camps, pe ò en
aques p ojec e només s’ u ili zen alguns d’ells (wid h, heigh , dep h, nChannels
i wid hs ep ). També disposa d’ una in e ície g à ica anomenada highGUI.
No obs an , é alguns incon enien s com són la necessi a d’u ili za una llib e ia
IPL pe eni uncions de més baix ni ell.
Des del seu llançamen al 2000, OpenCV ha is més de 5000 memb es
egis a s al seu g up d’usua is.
IPL (In el Image P ocesing Lib a y)
És una llib e ia d’In el pel ac amen d’ima ges que cons a d’un conjun de
uncions a baix ni ell en o ma DLL. Aques es uncions es an op imi zades pe
p ocessado s In el.
Són uncions op imi zades i pe an es edueix el emps d’execució i pe me
eali za expe imen s més complexes.
És una llib e ia de domini públic i es à desen olupada pe In el. In el ga an i za
el seu supo i u u es ac uali zacions.
40 Anàlisis audio isual mi jançan desc ip o s MPEG-7
Fig. 6.2.8 Modi ica l’escala de la FFT 2D
Es po obse a en la Fig. 6.2.8 que quan modi iquem l’escala (el alo de c) la
FFT 2D s’expandeix i els píxels on abans es eien de colo neg e es
con e eixen en ons més blancs ( eu e [7] ) .
Fig. 6.2.9 Fil e en la di ecció 150º a la FFT 2D
En aques a al a ima ge es po eu e l’e ec e d’aplica els il es Gabo nº 6,12,
18 ,24 i 30 que co esponen a la di ecció 150 º.
En esum, s’han c ea es classes en Visual C++, s’ha uni ica amb el
p og ama ja exis en d’ex acció de ca ac e ís iques d’a xius mul imèdia i s’ha
c ea un help pe consul a l’es uc u a de classes i les explicacions en els
a xius .h.

Resul a s 41
CAPÍTOL 7. RESULTATS
En aques capí ol s’explica an els esul a s ob ingu s en les p o es que s’han
e en la classi icació i el ma e ial gene a du an el p ojec e.
7.1. Segmen s de ídeos
Al inal d’aques p ojec e es disposa d’una base de dades de dibuixos anima s.
S’han c ea 80 segmen s a pa i de dos ídeos de dibuixos anima s g a a s
di ec amen del TV3 de 40 minu s cadascun.
Taula. 7.1.1 Fi xe s c ea s pe a cada segmen
Noms Desc ipció
Ca oon_0X_XXX.mpg DVD-Fo ma (720x560) Video segmen s
Ca oon_0X_XXX.wa Audio segmen s
Ca oon_0X_XXX_s.a i CIF-Fo ma (352x288) Video segmen s
Ca oon_0X_0XX. x E ique es pe a cada segmen
Ca oon_0X. x TXT amb o es les e ique es an e io s
En o al s’ha aconsegui una base de dades o mada pe 140 i xe s (de ex ,
d’àudio i ídeo).
Cal comen a que la segmen ació del ídeo en escenes és el p ime pas pe e
qualse ol classi icació.
7.2. Ex accions de ca ac e ís iques
Pe l’ob enció d’un i xe de ca ac e ís iques, inicialmen només s’ha e l’anàlisi
de con ingu audio isual amb el desc ip o de ex u a, en el nos e cas el HTD.
Segons el p océs explica en el 6.2, s’han calcula els 62 alo s del desc ip o
de ex u a pe cada ame i s’han gua da en una ma iu (ene gies i
des iacions). Pos e io men s’ha c ea un i xe de ex amb o s aques s alo s.
Aques i xe es à o ma pe 63 columnes i N+2 iles, on N és el nomb e de
ames del ídeo. També s’han gene a i xe s de ex més eduï s ag upan la
in o mació en menys ca ac e ís iques.
El p océs d’ex acció de ca ac e ís iques és len ja que s’han d’ex eu e les
ca ac e ís iques de o s els segmen s de ídeos disponibles, an de dibuixos
anima s, com de no-dibuixos anima s.
El esul a inal són 80 i xe s de ex s e e en s a dibuixos anima s i 138 i xe s
de ex s e e en s a no-dibuixos anima s.
42 Anàlisis audio isual mi jançan desc ip o s MPEG-7
Fig. 7.2.1 Fi xe de ex amb les ca ac e ís iques de l’HTD
Finalmen , amb el p og ama Mac oFiles ( eu e 6.1) s’han uni els i xe s
associa s a cada segmen segons si són de dibuixos anima s o no-dibuixos
anima s, eduin -se els i xe s en només qua e: 2 mac o i xe s d’en enamen i
2 ma o i xe s de es . Aques s 4 i xe s són els que s’u ili za an pe a alua els
classi icado s. Els i xe s s’han anomena CARTRAIN. x (40 i xe s associa s),
NOCARTRAIN. x (69 i xe s associa s), CARTEST. x (40 i xe s associa s) i
NOCARTEST. x (69 i xe s associa s).
Pe du a e me una classi icació mul imodal s’ha segui el ma eix p ocedimen
explica en o aques apa a , pe ò s’han ex e i xe s de ca ac e ís iques
d’àudio i ídeo conjun amen . La gene ació d’aques s i xe s necessi a un al
càlcul compu acional. En cada i xe de ca ac e ís iques hi han 122
ca ac e ís iques, 25 d’àudio a ni ell de ame, 18 d’àudio a ni ell de clip i 79 de
ídeo.
A pa i d’aques s i xe s de 122 ca ac e ís iques es poden e mul i ud de
p o es du an la classi icació.
7.3. Classi icació de dibuixos anima s
A pa i dels i xe s d’en enamen (NOCARTRAIN. x i CARTRAIN. x ) i de es
(NOCARTEST. x i CARTEST. x ) s’han e di e ses p o es de classi icació.
S’han e els en enamen s i els es s a a és dels classi icado s explica s en el
capí ol 5.
La classi icació s’ha e a a és d’uns p og ames eali za s en Ma lab. Pe a
cada classi icado s’ha disposa de es a xius .m.
Resul a s 43
El p ime a xiu anomena ReadAVFea u es.m aga a la in o mació del
mac o i xe i col·loca les dades en una ma iu ansposada.
L’al e a xiu és l’enca ega de l’en enamen del classi icado i s’anomena
XXXT aining.m .
I l’úl im s’enca ega de e el es eig de la classi icació, anomena XXXTes .m.
Pe acili a la asca a l’ho a d’execu a els es a xius s’ha c ea un al e a xiu
.m on els inpu s són els qua e noms dels mac o i xe s, i els ou pu s la axa de
econeixemen dels segmen s de ídeo segons si són dibuixos anima s o no
són dibuixos anima s.
Reconeixemen
Mac o i xe No-Dibuixos
Tes
Mac o i xe Dibuixos
Tes
CLASSIFICADOR
Mac o i xe No-Dibuixos
En enamen
Mac o i xe Dibuixos
En enamen
Fig. 7.3.1 Inpu s i Ou pu s en la classi icació
7.3.1. Classi icació amb el desc ip o de ex u a
Inicialmen , s’ha e un en enamen u ili zan només el desc ip o bàsic HTD
o ma pe les 30 po ències i les dc (des iació) i sc (mi ja).
En la Taula. 7.3.1 es mos en aques es p o es on les columnes de la aula hi
ha els classi icado s u ili za s (PCA, LDA i M-NN), i en les iles les di e ses
p o es que s’han e ec ua .
Pe al que les ca ac e ís iques dels mac o i xe s d’en enamen inguin el
ma eix ang i dona a les ca ac e ís iques la ma eixa impo ància, s’han
no mali za els seus alo s numè ics ( alo numè ic de 0 a 1) abans de e
l’en enamen i el es .
En aques apa a no se ia necessa i no mali za les ca ac e ís iques ja que
només s’u ili za el desc ip o de ex u a, no obs an ambé s’han e p o es
no mali zan els alo s del desc ip o .
44 Anàlisis audio isual mi jançan desc ip o s MPEG-7
És pe això que en la aula apa eixen dos di isions pe a cada classi icado , el
p ime cas (NORM) les ca ac e ís iques es an no mali zades, i en el segon cas
no (NO-NORM).
Els alo s numè ics que hi ha a la aula són les axes de econeixemen en an
pe u. És a di , que si el alo numè ic és 0,7 ha econegu el 70% dels
segmen s de ídeo de dibuixos anima s.
Taula. 7.3.1 Resul a s inicials
PCA LDA M-NN
NORM NO-NORM NORM NO-NORM NORM NO-NORM
HTD [32] 0,3 0,7 0,5 0,5 0,6 0,7
0º 0,713 0,78 0,6 0,52 0,38 0,47
30º 0,69 0,76 0,404 0,404 0,6 0,71
60º 0,3 0,33 0,55 0,59 0,64 0,53
90º 0,66 0,75 0,77 0,77 0,72 0,75
120º 0,372 0,3 0,52 0,52 0,63 0,5
150º 0,332 0,7 0,25 0,25 0,49 0,27
Banda 1 0,34 0,82 0,51 0,51 0,3 0,35
Banda 2 0,36 0,29 0,45 0,45 0,3 0,31
Banda 3 0,34 0,34 0,64 0,64 0,34 0,34
Banda 4 0,67 0,64 0,56 0,56 0,64 0,64
Banda 5 0,73 0,64 0,52 0,52 0,71 0,65
Tal com s’obse a en la Taula. 7.3.1, la p ime a p o a (HTD[32]) s’ha e una
classi icació u ili zan els 32 alo s de la HTD bàsica (30 ene gies, des iació
( dc) i la mi ja ( sc)).
Els esul a s no han es a b illan s en el classi icado LDA, pe ò en els al es
s’ha a iba a un econeixemen del 70 %.
Desp és, com es po eu e en la Taula. 7.3.1 s’han ana aga an menys alo s
pe obse a el econeixemen segons la di ecció (0º,30º, 60º, 90º, 120º i 150º)
i la banda (Banda 1, Banda 2, e c.). S’ha is que en la di ecció 90º és on hi ha
el millo econeixemen i en les bandes p òximes a baixa eqüència. Això és
degu a què la in o mació eqüèncial de les ima ges és majo i à iamen a
baixes eqüències.
7.3.2. Classi icació amb el desc ip o de ex u a eduï
Un al e p o a que s’ha e és suma les ene gies de cada banda i e la mi ja,
aconseguin edui ins a 12 el nomb e de ca ac e ís iques. També s’ha inclòs el
classi icado Fuzzy In eg al en la aula de esul a s. En aques cas els esul a s
ob ingu s no han es a els espe a s.
Resul a s 45
El què es olia e amb aques a p o a és e una anàlisi a més al ni ell, en la
mi ja de les ene gies de cada banda sense eni en comp e les di eccions.
Fig. 7.3.2 Bandes del il e Gabo
A la Taula. 7.3.2 s’obse en els esul a s de les axes de econeixemen on la
màxima axa a iba al 58%.
Això signi ica que ealmen no s’ap ecia una di e ència no able en e les bandes
en ídeos de dibuixos i les bandes en ídeos de no-dibuixos, i que ealmen la
di e ència més impo an es à en les di eccions.
Taula. 7.3.2 Classi icació amb desc ip o de ex u a eduï
PCA LDA M-NN FUZZY
NORM NO-NORM NORM NO-NORM NORM NO-NORM NORM
HTD 2 0,53 0,58 0,4 0,42 0,36 0,53 0,54
7.3.3. Classi icació mul imodal
A con inuació, s’ha p ocedi a e una classi icació u ili zan ca ac e ís iques
d’àudio i ídeo conjun amen . En la Taula. 7.3.3 es mos en les es p o es que
s’han eali za . S’han escolli ca ac e ís iques d’àudio a ni ell de ame (AF),
ca ac e ís iques d’àudio a ni ell de clip (AC) i ca ac e ís iques de ídeo (AV).

46 Anàlisis audio isual mi jançan desc ip o s MPEG-7
L’elecció de les ca ac e ís iques més elle an s ha es a basan -se en dos
es udis de classi icació, un sob e la classi icació d’àudio en la pa la ( eu e [11]
), i l’al e en la classi icació de ídeo ( eu e [12] ).
Taula. 7.3.3 Classi icació amb anàlisi mul imodal
PCA LDA M-NN FUZZY
AF AC V NORM NO-NORM NORM NO-NORM NORM NO-NORM NORM
25 18 79 0,71 0,69 - - 0,67 0,59 -
4 3 11 0,75 0,52 0,83 0,83 0,68 0,48 0,8
2 3 7 0,72 0,69 0,81 0,81 0,8 0,7 0,78
P ime s’ha e una classi icació u ili zan o es les ca ac e ís iques disponibles
(122 ca ac e ís iques).
En la segona p o a s’han aga a 4 ca ac e ís iques d’àudio a ni ell de ame
(Pi ch, Cen oid, Bandwid h i Rollo ), 3 ca ac e ís iques d’àudio a ni ell de clip
(Mean-Vol, FC-Mean i BW-Mean) i 11 ca ac e ís iques de ídeo (Mean-HSV,
Va -HSV, En HSV, SkeHSV, Ku oHSV, MeanPCF, Va PCF, Gabo 1,
Gabo 25, HTD_Des 1 i HTD_Des 25). Els esul a s han millo a no ablemen ,
sob e o en el classi icado LDA, que ha aconsegui un econeixemen del 83%.
En la e ce a p o a s’han aga a 2 ca ac e ís iques d’àudio a ni ell de ame
(Pi ch i Rollo ), 3 ca ac e ís iques d’àudio a ni ell de clip (FC-Mean,BW-Mean i
ESBR1-Me) i 7 ca ac e ís iques de ídeo (En pHSV, Au oco , Ku oPCF,
Gabo 1, Gabo 25, HTD_Des 1 i HTD_Des 25). Les axes de econeixemen
han es a simila s a les an e io s, menys en el classi icado M-NN que ha
assoli el 81%.
7.3.4. Classi icació mul imodal amb ines a empo al
Desp és, s’ha p o a d’u ili za una ines a empo al d’un segon pe a alua un
ni ell més al que el ni ell de ame, i eu e si el econeixemen millo a a. Com
es po obse a en la Fig. 7.3.3, la ines a empo al u ili zada é un solapamen
amb l’an e io .
Fig. 7.3.3 Fines es empo als solapades
Resul a s 47
S’ha e la mediana de cada ines a de 25 ames ob enin un únic alo
numè ic pe a cada ca ac e ís ica.
Els esul a s de econeixemen han millo a espec e les p o es eali zades
sense u ili za ines es empo als.
Taula. 7.3.4 Classi icació u ili zan ines es empo als en els mac o i xe s
PCA LDA M-NN FUZZY
AF AC V NORM NORM NORM NORM
4 3 11 0,81 0,85 0,69 0,78
2 3 7 0,77 0,81 0,81 0,75
U ili zan les ines es empo als i en la mediana s’ob enen uns alo s de les
ca ac e ís iques més gene als que en aques cas a a o eix a la classi icació del
gène e de dibuixos anima s.
48 Anàlisis audio isual mi jançan desc ip o s MPEG-7
CAPÍTOL 8. CONCLUSIONS I LÍNIES FUTURES
La emà ica d’aques p ojec e (l’anàlisi de con ingu audio isual) és d’ac uali a ,
i c ec que el seu in e ès ani à c eixen amb l’augmen de con ingu s
audio isuals i nous canals de dis ibució de con ingu s.
El desc ip o de ex u a u ili za pe a la classi icació del gène e de dibuixos
anima s ha aconsegui un econeixemen del 70%. Tenin en comp e que
només s’ha u ili za un desc ip o és un esul a bas an bo. Pe an , es po di
que la se a elecció pe la classi icació de dibuixos anima s ha es a co ec e.
Aques desc ip o de ex u a es à de ini a l'es ànda d MPEG-7. És impo an
ema ca que l’es ànda d MPEG-7 es à en oca a la indexació del con ingu
audio isual, i deixa més obe a la pa de classi icació. És a di , de ineix una
sè ie de desc ip o s, pe ò no de ineix cap ipus de classi icado , ni especi ica la
impo ància de cada desc ip o pels di e en s ipus de con ingu audio isual.
Re e en a la classi icació mul imodal (ca ac e ís iques d’àudio i ídeo), s’ha
pogu obse a que o e eix millo s esul a s. L’àudio apo a in o mació
addicional que no apo a el ídeo. S’ha aconsegui un econeixemen del 85%
en el millo cas, i els esul a s del econeixemen han es a simila s als
ob ingu s pe Glasbe g [9] .
Les llib e ies d’In el u ili zades en el p ojec e han es a de g an u ili a pe
eali za o es les ope acions de p ocessa d’ima ge. No han p esen a
p oblemes de compa ibili a en e elles, i s’han complemen a mol bé. La
llib e ia IPP é uncionali a s més especí iques, la IPL és més genè ica i la
OpenCV queda en e les dues.
La classi icació del gène e dibuixos anima s a emps eal enca a queda lluny, ja
que es necessi a un ce emps d’anàlisi pe de e mina el gène e. Enca a que
s’hagi e una segmen ació del ídeo en escenes pe acili a l’ex acció de
ca ac e ís iques, la se a ex acció necessi a més emps del desi jable.
Fen el p ojec e han ana apa eixen mol es idees que s’han queda en la men ,
i no s’han pogu po a a la p àc ica. A con inuació n’esmen o algunes.
La axa de econeixemen de dibuixos anima s pod ia millo a si s’a egeixen
més desc ip o s, pe ò ambé s’ha de igila amb l’elecció dels desc ip o s
u ili za s en cada cas pe què po se que no siguin ep esen a ius. Aques és un
p oblema que pod ia soluciona el classi icado Fuzzy In eg al, ja que pod ia
de e mina els desc ip o s més ep esen a ius segons la classi icació.
Pe aconsegui o s els esul a s abans s’han hagu de segui una sè ie de
passos (segmen ació manual, anàlisi dels segmen s, ex acció de
ca ac e ís iques e c.) que se ia in e essan au oma i za pe agili za el p océs.
Pe exemple la segmen ació au omà ica dels i xe s de ídeo en escenes.
Conclusions i línies u u es 49
Un al e aspec e és el emps de p ocessamen de l’o dinado pe ex eu e les
ca ac e ís iques. Es pod ia e l’anàlisi cada N ames pe dona apidesa al
p océs o u ili za un o dinado més po en .
Respec e el desc ip o de ex u a HTD, es pod ia implemen a la ans o mada
Radon abans d’ob eni la FFT 2D i obse a si els esul a s de la classi icació
millo en.
Complin la no ma i a de p ojec es de la uni e si a sob e l’impac e ambien al,
comen a que aques p ojec e no é cap e ec e di ec e con a el medi ambien , i
pe an no s’han p es mesu es sob e el medi ambien .
56 Anàlisis audio isual mi jançan desc ip o s MPEG-7
AudioVisual
Fea u es
Ex ac ion
TXT File
Video Fea u es
TXT File
Audio Fea u es
Name_XXX_s_AudioFea u es. x
-------------- F ame Le el Fea u es --------------
Fea 1 Fea 2
……………..
Fea N
-------------- Clip Le el Fea u es --------------
Fea 1 Fea 2 Fea M
Name_XXX_s_VideoFea u es. x
-------------- F ame Le el Fea u es --------------
Fea 1 Fea 2
……………..
Fea P
Fig. 1.1.9 Es uc u a dels i xe s de so ida del p og ama
Finalmen , s’ha implemen a una eina pe adjun a els dos documen s x en un
ma eix documen de ex . El i xe de ex de so ida con é les ca ac e ís iques
d’àudio i ídeo. L’eina u ili zada és la mos ada en la Fig. 1.1.10.
Fig. 1.1.10 Eina pe adjun a ca ac e ís iques d’àudio i ídeo

Annexos 57
1.2. P o es de e i icació del uncionamen de la FFT
Pe e i ica si la FFT implemen ada en el p og ama unciona a co ec amen ,
s’han e p o es de e i icació compa an les FFT ob ingudes amb unes de
mos a ex e es d’un llib e de p ocessa d’ima ge ( eu e [8] ) .
Taula. 1.2.1 Ima ges i les se es ans o mades de Fou ie
58 Anàlisis audio isual mi jançan desc ip o s MPEG-7
Annexos 59
1.3. Fi xe de ca ac e ís iques del desc ip o de ex u a eduï
TC MeanHTD Ds HTD GabFil01 GabFil02 GabFil03 GabFil04 GabFil05 De Fil01 De Fil02 De Fil03 De Fil04 De Fil05
------------------------------------------------------------------------------------------FRAME LEVEL FEATURES-----------------------------------------------------------------------------------------------------------------
0 86.52468 36.97545 16.39147 19.26203 9.321081 4.225594 1.987876 1.351655 2.123284 1.730200 1.308332 0.973775
1920 86.52549 36.98706 16.63529 19.10345 9.202487 4.162577 1.958027 1.375857 2.132502 1.732507 1.308042 0.973532
3840 86.55519 37.02353 17.11966 18.83044 8.991141 4.058042 1.906967 1.429610 2.152653 1.738246 1.308574 0.973717
5760 87.03869 36.60760 16.75701 19.10066 9.184995 4.068614 1.903421 1.409303 2.148010 1.775300 1.317632 0.969184
7680 86.87052 36.60564 17.03107 18.90711 9.059088 4.022310 1.880191 1.442864 2.155012 1.778566 1.321294 0.970165
9600 86.95484 36.79758 16.08389 19.53381 9.467808 4.209103 1.972409 1.327378 2.134745 1.763519 1.315059 0.970108
11520 86.97174 36.81894 16.35263 19.34704 9.346362 4.153650 1.945840 1.355403 2.141194 1.765631 1.315900 0.971283
13440 87.06794 36.63548 16.28110 19.44922 9.321702 4.155257 1.950542 1.374588 2.154362 1.769224 1.314061 0.970408
15360 87.13139 36.66203 16.81386 19.11856 9.090323 4.054065 1.901826 1.426906 2.164342 1.769112 1.312894 0.970916
17280 101.9824 34.00955 7.886345 18.88268 15.97124 9.139493 4.750706 0.524561 1.006167 1.161302 1.025271 0.815774
19200 101.0224 34.96258 7.991867 18.73027 15.86061 9.314931 4.773523 0.527900 1.001424 1.156640 1.046464 0.815061
21120 87.66546 38.52551 12.01548 20.50701 12.13117 5.812313 2.797559 0.936882 1.780678 1.690017 1.332682 1.013750
23040 87.98925 38.64241 11.77929 20.70465 12.19044 5.844593 2.813347 0.934292 1.788239 1.693587 1.335942 1.014434
24960 89.87889 37.14002 12.59133 20.77656 11.56115 5.358640 2.461629 1.019494 1.899167 1.723149 1.338862 0.962054
26880 89.85611 37.17073 12.40393 20.87809 11.69440 5.407289 2.486764 1.010930 1.901541 1.727058 1.343303 0.967466
28800 86.54582 40.10445 12.67250 20.60533 11.64080 5.375264 2.517839 1.040698 1.858889 1.713046 1.306208 0.950978
30720 86.27074 40.16633 12.49331 20.69332 11.76499 5.392600 2.528277 1.039063 1.868825 1.729385 1.311680 0.956671
32640 77.43237 41.69498 14.79392 19.87195 10.31492 4.748681 2.138031 1.291468 2.157646 1.859580 1.437045 1.011048
34560 77.81721 41.90206 14.58628 19.96552 10.44130 4.786265 2.152789 1.287021 2.158324 1.870879 1.442345 1.013161
36480 76.12116 46.18795 16.98278 18.67857 9.321414 4.236371 1.800691 1.516852 2.298715 1.962666 1.500856 0.978079
38400 76.29089 46.40338 16.57189 18.92629 9.483458 4.334679 1.840493 1.486324 2.285506 1.956537 1.502375 0.978678
40320 81.39486 51.63818 14.84372 19.90226 10.22386 4.782030 2.044484 1.284777 2.155807 1.850961 1.463555 0.959084
42240 81.48002 51.78500 14.95262 19.84300 10.17716 4.764023 2.032967 1.297789 2.156765 1.855110 1.468140 0.958047
44160 80.38436 51.31632 15.09544 20.31250 9.761128 4.366007 1.974375 1.347272 2.325937 1.905210 1.430603 1.024571