G adu Amaie ako Lana / T abajo Fin de G ado
Fisikako G adua / G ado en Física
Ikaske a sakona e abiliz isika in ui iboki ikasi
dezakeen ikusmen a i izialeko sis ema ba en
diseinua
Jon Pe ez Visai es
Zuzenda ia:
Mikel Peñaga ikano Badiola
Elek izi a ea e a Elek onika Saila
Zien zia e a Teknologia Fakul a ea
Euskal He iko Unibe si a ea UPV/EHU
Leioan, 2020ko i ailean
Gaien Au kibidea
Gaien Au kibidea 2
1 Sa e a e a helbu ua 3
1.1 Sa e a........................................ 3
1.2 Helbu ua....................................... 4
2 Adimen a i iziala 5
2.1 Ikaske aau oma ikoa................................ 7
2.2 Ikaske asakona................................... 8
2.3 Neu ona-sa eak ................................... 10
2.3.1 G adien ean oina i u ako op imizazioa . . . . . . . . . . . . . . . . . . 11
2.3.2 Konboluzio neu ona-sa eak . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3.3 Gale a- un zioak .............................. 17
3 Ikusmen a i iziala 19
3.1 I udien en so e-adie azpena . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2 In Phys ....................................... 21
4 Segmen azio seman ikoa 22
4.1 Helbu ua....................................... 22
4.2 Sa ea ena ki ek u a ................................ 23
4.3 En enamendua................................... 27
4.4 Emai zak ...................................... 28
5 E o kizuneko o og amen i aga pena 29
5.1 Helbu ua....................................... 31
5.2 Sa ea ena ki ek u a ................................ 32
5.3 En enamendua................................... 32
5.4 Emai zak ...................................... 33
6 T esnak 35
7 Ondo ioak 36
E e e en ziak 38
2
1 Sa e a e a helbu ua
1.1 Sa e a
Ikus ea, kon zep ualki ze dagoen e a ho i espazialki koka ua non dagoen begi a uz jaki ea da,
baina e o kizun hu bilean ge a uko dena au esa ea e a ho e an oina i uz ha u dai ezkeen
e abakiak iga zea ikus ea da e e [
15
]. Bes alde, ikus ea, elemen u bisualen kokapena de ek a-
zeaz gain, hauek di uz en ezauga i isikoak e a haien a eko ha emanak an zema ea da [
1
].
E eali a ea en osagaiak di en elemen uek ja ai zen di uz en lege isikoei bu uz a azoi zeko
ahalmena giza-adimena en un sezko oina ia da e a, ondo ioz, adimen a i iziala en (A i icial
In elligence, AI) helbu u ga an zi suene a ikoa.
Adimen a i iziala en jakin za-a lo zabala en ba nean o denagailu bidezko ikusmen a i iziala
(Compu e Vision, CV) oina izko gaia da, baina i udi e a bideoekin lan egi ea asko an ez da
eginkizun e aza: i udi baka ba ean kode ua dagoen in o mazio-kopu ua i zela da e a (pixel
baka ean 0 e a 255 a ean dauden 3zenbakizko balio go de zen di a, kolo ezko RGB i udien
kasuan). Ho az, ikusmena ekin lan egi en du en sis emak in o mazio- luxu handia jasa eko
edo sa e ako in o mazio ho i hasie an nolabai sinpli ika zeko gai izan beha di a. Gaine a,
adimen a i izialeko algo i moek ikusmen-lan konplexue an giza-gai asune a i i si dai ezen,
sis emek enomeno uga i ule u beha di uz e, be eziki mundu mak oskopikoan ge a zen
di en enomeno isikoak. Ho az, ikusmen a i izialeko sis emek objek u mak oskopikoak,
mugimendua, inda ak e a an zeko kon zep u isikoak zen zu in ui ibo ba ean ule zeko e a
ingu uko e eali a ea in e p e a zeko ahalmena esku a u beha du e, haiekin lo u nahi den
in o mazioa baliaga iagoa izan dadin [22].
Heldu asune a hel zen ga enean, gizakiok dagoeneko mundu isikoa i bu uz jakin za sakona
esku a u dugu, bizi za osoan zeha behin e a be iz izandako espe ien zien kopu u handia en
ondo io zuzena. Adibidez, badakigu objek u zu un ba ez dela es uago den zulo ba ean
sa uko, ezku uan dauden objek uek exis i zen ja ai zen du ela edo esku a ean dugun ze bai
aska ze akoan g abi a ea en ondo ioz lu e an z e o iko dela [
8
]. Hasie a ba ean, bula eko
umeek ge akizun isikoei bu uzko ezagu za oso xikia zu ela pen sa zen zen [
19
], baina 1980ko
hama kadan egindako espe imen uen bidez ideia hau ezez a u egin zen. Izan e e, ume oso
xikiek espe o ez di uz en ge akizun isikoen au ean ha idu a e a a e a handia adie az en
du e e a, ho en ondo ioz, objek uen zinema ika i e a dinamika i bu uzko i aga pen sinpleak
egi eko gai asuna du ela oga u zen [
8
]. Ikusmen a i izialeko sis emek, be iz, ez du e
ho elako ule men isikoa esku a zeko auke a ik izan, ahalmen hau esplizi uki p og ama zen
ez bada, behin za .
Umeek xiki a ik ingu uan ikus en du en mundua modu in ui ibo ba ean isikoki in e p e a zen
ikas en du e, e a guz iz au onomoan e a behin e a be iz e epika zen di en espe ien zia
isikoe an oina i uz. Gau egun, psikologia kogni iboa en a loan eo ia nagusia gizakiok
jaio ze ik ge o espe ien zia ekin doi zen den isika in ui iboki lan zeko balio duen ba ne
a azonamendu-sis ema ba dugula da; kausali a ea ule zeko sis ema konpu azional abs ak u
ba , hain zuzen e e [
8
]. Ho i dela e a, umeek New onen legeak ja ai zen di uen pilo a
3
ba ekin jolas en du en bakoi zean, e eali a ea gobe na zen du en lege isiko hauen po ae an
sakon zeko gai di a. Be az, ume xikiek objek u mak oskopikoek espazioan e a denbo an
zeha di uz en elka ekin zak ule zeko e a haien ibilbideak ja ai zeko gai asuna oso azka
esku a zen du e. Hau za oan zeha di uz en espe ien zia guz i haue a ik jakin za isikoa
lo zen du e e a espe ien zien e epikapena en ondo ioz ikas eko gai di a, gau egun in e es
handia lo u du en ikaske a sakoneko (Deep Lea ning, DL) neu ona-sa een (A i icial Neu al
Ne wo k, ANN) ikaske a-p ozesua en an zekoa den me odoa.
Azken u e haue an ikusmen a i iziala en espa uan eman di en au e apausoak izuga iak
izan di a, baina adimen a i izialeko sis emak o aindik gehiene an mo z geldi zen di a nahiko
konplexuak di en eszena bisualak in e p e a ze ako o duan, giza-e endimendua ekin konpa a-
zen badi ugu behin za [
22
]. Objek u mak oskopikoen zinema ika i e a dinamika i bu uzko
ule men ba lo zea ez da eginkizun e aza, ba ez e e e emu ho iek gobe na zen di uz en lege
isikoak kasu desbe din asko ako eskuz p og ama u beha badi a. Oz opo hau gaindi zeko,
ikaske a au oma ikoko sis emek e a au onomoan ikas eko du en gai asuna e abil zea i enbide
ba izan dai eke. Ho i dela e a, isika in ui iboa nolabai ule u dezakeen ikaske a sakoneko
neu ona-sa ee an oina i u ako ikusmen a i izialeko sis ema ba p oposa zen da lan hone an.
1.2 Helbu ua
Ze egin bisual konplexue an ikusmen a i izialeko sis emek giza-e endimendua lo zeko,
e eali a ean objek u mak oskopikoek ja ai zen di uz en lege isikoak ule u beha di uz e,
edo gu xienez lege hauei bu uzko in uizio sinple ba ga a u beha du e. Nahiz e a ule men
isikoa ikus e-espe ien zie a ik jakin za lo zeko ezinbes eko esna izan, gau egun ikusmen-
lane a ako e abil zen di en o denagailu bidezko ikusmen a i izialeko sis ema askok ez du e
ule men mo a hau gehiegi kon uan ha zen [22].
Umeek e a au onomoan in o mazio isikoa in ui iboki ule zeko e a ikas eko du en gai asunean
oina i uz, adimen a i izialeko aplikazio sendoagoak e a moldako agoak e aiki zeko ikusmen-
sis emek objek uen zinema ika i e a dinamika i bu uzko in o mazioa esku a zea e a hu a
in e p e a zeko ahalmena iza ea ezinbes ekoa da. Izan e e, e o kizuneko ge akizunak au esa-
eko gai asuna giza-adimena en un sezko osagaia e a sis ema adimen su asko en oina ia da,
e a gai asun hau denbo a e ealeko adimen a i izialeko sis emek (ibilgailu au onomoak, lan-
edo e xe- obo ak e ab.) e abaki egokiak momen uan ha u ahal iza eko beha -beha ezkoa da
[17].
Bideo ba ean e o kizuneko o og amak zehaz asunez au esa en ikasi ahal iza eko, adimen
a i izialeko sis ema ba ek bideoa osa zen du en i udien eduki kon zep uala e a o og ama
haue an age zen di en elemen u bisualen zinema ika e a dinamika de igo ez maila ba ean
modeliza u beha di u, e a ho e a ako ingu uko mundu isikoa en ba ne-e ep esen azio zeha-
za e a ez- ibiala ga a zea beha ezkoa da [
16
]. Be az, bideo ba en e o kizuneko o og amak
e aginko asunez i aga i ahal di uen sis ema isika in ui iboki nolabai ikasi duen sis ema da
e e.
4
Hau guz ia kon uan ha uz, lan honen helbu u nagusia oina izko in uizio isikoa lo zeko
gai asuna duen ikusmen a i izialeko sis ema ba ga a zea da, ho e a ako neu ona-sa eak e a
ikaske a sakona en a loko eknikak e abiliz. Sis ema hau objek u mak oskopikoen zinema ika-
en e a dinamika en hu bilke a ba egi eko gai iza ea lo u nahi da, e a ho e a ako hainba
mo a desbe dineko objek uak mugimenduan adie az en di uz en bideoe an e o kizuneko o-
og ama ba i aga zea helbu u bezala duen neu ona-sa e ba diseina u, inplemen a u e a
en ena uko da.
2 Adimen a i iziala
Azkenengo u ee an, adimen a i iziala (A i icial In elligence, AI) komunikabidee an asko
landu den gaia izan da. Ikaske a au oma ikoa, ikaske a sakona e a adimen a i iziala maiz
age zen di a gau egun p en sa a ikulue an, asko an eknologian espezializa uak ez di en
publikazioe an e e. Haue an, e o kizun hu bilean gizakiok gau egun egi en di ugun lan
asko makinek egingo di uz ela aipa zen da, bai a ekin za ekonomiko gehienak bo ek edo
agen e adimen suek bu u uko di uz ela. Izan e e, kasu ba zue an adimen a i iziala lan-
mundu a ailega u da jada, e a gau egun langile uga ik algo i mo ba ek e a au onomoan
ha u ako e abakiak ona u beha di uz e; pe sona asko en bene ako nagusia p ozesu zeha zak
op imiza zeko p og ama ua dagoen adimen a i izialeko sis ema ba da [
4
]. Ho ela, so wa e
adimen sua lan-e u inak au oma iza zeko, i udiak edo hizke a ule zeko e a medikun zan
diagnos ikoak egi eko e abil zen dugu jada [
6
]. Hala e e, ga an zi handia du adimen a i izialak
bene an lo u di uen a akas ak e a lo penak zein zuk di en ezagu zeak, ahalmenak e a mugak
ezagu uz e azagoa izango bai a eknologia hau e a egokian aplika zea [3].
Adimen a i iziala 1950ko hama kadan so u zen in o ma ika en azpi-a loa da, e a agen e
adimen suen diseinua e a po ae a az e zen di uen jakin zagaia da [
21
]. Ga ai ha an,
in o ma ika jaio be ia zen e e espa u eo iko bezala, e a hainba au enda ik hu engo
galde a e an zun nahi izan zu en: o denagailu ba ek adimena ga a u dezake? Galde a honen
ondo io sakonak gau egun hausna zen ja ai zen di ugu [
3
]. Adimen a i iziala en helbu u
zien i iko nagusia sis ema a i iziale an edo na u ale an po ae a adimen sua posiblea egi en
du en p in zipioak ule zea da, ho e a ako adimena konpu azioan oina i ua dagoela hipo esi
bezala ha uz [21].
Agen e ba be e ingu unean e agina izan dezakeen ze bai da. Agen e adimen su ba , be iz,
ingu unean e agina iza eko ahalmen ho i helbu u jakin ba lo zeko e a momen uko baldin za
zeha zak kon uan izanda modu adimen su ba ean e abil zen duen agen ea da [
20
]. Gaine a,
agen e ba adimen sua izan dadin ingu une e a helbu u aldako e a a molda zeko, espe ien-
zia ik ikas eko e a be e pe zepzio- e a konpu azio-limi een ba nean e abaki zen zudunak
ha zeko gai asuna izan beha du [
21
]. Lan hone an p oposa zen den ikusmen a i izialeko
sis ema mo a hone ako agen e adimen suek du en ingu unea en pe zepzioa hobe zeko modu
ba izan dai eke.
5
Adimen a i iziala en bes e de inizio labu ba hu engoa izan dai eke: no malean gizakiok
bu u zen di ugun ze egin in elek ualak au oma iza zeko ahalegina [
3
]. De inizio hau kon uan
ha uz, ikaske a au oma ikoa e a ikaske a sakona adimen a i iziala en a lo o oko a en
ba nean sa zen di a (2.1 I udia), baina ikaske a-p ozesu ik e abil zen ez di uz en adimen
a i iziala en bes e hainba azpi-a lo e e exis i zen di a. Adibidez, hasie a ba ean so u zi en
xakean jolas eko p og amak e a esplizi uan ida zi ako e egela-ze enda luzeez balia zen zi en
[
25
], e a ez zi uz en ikaske a-p ozesu au oma iko ik e abil zen (ez di a ikaske a au oma ikoa en
e emuan sa zen).
Denbo a luzez, adimen a i iziala en a loko adi u askok in o mazioa e alda zeko e egela
esplizi uen ze enda beha bezain luzea so uz giza-mailako adimena lo u ahal zela pen sa zen
zu en [
3
]. Plan eamendu hau adimen a i izial sinboliko izenaz ezagu zen da e a 1950ko
hama kada ik 1980ko hama kada en amaie a aino pa adigma nagusia izan zen, ba ez e e
1980ko hama kadan age u zi en sis ema adi uen ga aian [
20
]. Ho ela, hasie a ba ean
gizakion za in elek ualki zailak zi en p oblemak sis ema adi u hauen bidez azka eba zi zi en,
ondo de ini u ako e egela logikoak ja ai zen di uz en ze eginak o denagailuen za ebaz eko
e azak zi en e a [6].
Hala e e, sis ema adi uek gizakiok ia au oma ikoki bu u zen di ugun ze egine an zail asunak
zi uz en, ba ez e e giza-pe zepzioa ekin (ikusmena, en zumena e ab.) lo u ako p obleme an.
A azo nagusia mo a desbe dineko jakindu ia kode zeko baliaga iak di en e egelak gizakiek
logikoki de ini u e a esplizi uki p og ama u beha zi uz ela zen, e a gizakiok au oma ikoki e a
in ui iboki bu u zen di ugun ze egin kogni iboak o malki de ini zea oso konplexua izan dai eke
[
27
][
6
][
1
]. Adimen a i izial sinbolikoak e a egokian ebaz en zi uen ondo de ini u ako p oblema
logikoak (lehen aipa u ako xakean jolas eko gai asuna [
25
], adibidez), baina p oblema kogni ibo
konplexuagoak ebaz eko beha zi en e egela esplizi u guz iak eskuz de ini zea ezinezkoa zela
a gi ge a u zen denbo a ekin [
3
]. P oblema zail hauen adibide ba zuk i udi-sailkapena, i udi
ba ean au pegiak de ek a zea, hizkun za i zul zaile au oma ikoak e a hizke a-ezagu zea di a
[
6
]. A azo honi konponbidea ema eko, adimen a i iziala en azpi-a lo be i ba age u zen,
ikaske a au oma ikoa.
Adimen
a ifiziala
Ikaske a
au oma ikoa
Ikaske a
sakona
I udia 2.1: Adimen a i iziala en, ikaske a au oma ikoa en e a ikaske a sakona en a eko
e lazioa adie az en duen Venn diag ama.
6
2.1 Ikaske a au oma ikoa
Ikaske a au oma ikoa en (Machine Lea ning, ML) e emua hu engo galde a e an zu en saia-
zean so u zen: posiblea ahal da o denagailu ba ek ze egin zeha z ba be e kabuz bu u zen
ikas ea? P og ama zaileek eskuz ida zi ako da u-p ozesamendu ako e egelak e abili beha-
ean, o denagailu ba ek modu guz iz au onomoan e a baka ik esku aga i di uen da uak
e abiliz in o mazioa e a baliaga i ba ean e alda zen di uz en e egela logikoak au oma ikoki
ikas eko gai izan ahal da? [
3
] Be az, ikaske a au oma ikoa e eduen ezagu zean e a da ue a ik
au oma ikoki ikas ean oina i u a dagoen adimen a i iziala en azpi-a loa da [24].
E egelak
Da uak
Emai zak
P og amazio
klasikoa
Emai zak
Da uak
E egelak
Ikaske a
au oma ikoa
I udia 2.2: P og amazio klasikoa en e a ikaske a au oma ikoa en pa adigmen alde ake a.
P og amazioa en pa adigma klasikoan, adimen a i izial sinbolikoan esa e ako, e egelak
(p og ama) e a p ozesa u beha eko da uak sa e a moduan eza zen di a, e a i ee an
o denagailuak buel a u ako e an zunak lo zen di a. Ikaske a au oma ikoa e abil zean, o dea,
sa e a bezala da uak e a lo u nahi di en e an zunen adibideak e abil zen di a, e a i ee an
o denagailuak sa e an eman zaizkion e an zun haue a a hasie ako da ue a ik hel zeko beha
di uen e egela logikoak lo zea espe o da (2.2 I udia) [
3
]. P ozesu honen bidez lo u ako
p og amazio-e egelak o denagailuak inoiz ikusi ez di uen da u be ie an aplika u dai ezke,
ho ela ze egin zeha z ba ebaz eko balio du en e an zun be iak lo uz, algo i moa en
o oko ze-ahalmena ona bada.
Ho i dela e a, ikaske a au oma ikoko sis ema ba esplizi uki p og ama u beha ean en ena zen
dela esan ohi da. Sis ema i eba zi beha duen ze egina ekin lo u a dauden adibide asko
au kez en zaizkio (sa e a-i ee a biko een laginak), e a adibide haue an sis emak ze egina
modu au oma ikoan ebaz eko beha di uen e egelak de ini zea ahalbide zen dioen egi u a
es a is iko inplizi ua au ki zen saia zen da [
3
]. Adibide moduan, duela u e ba zuk sa e
soziale an eskuz e ike a u beha zi en a gazkiak gau egun e a guz iz au oma ikoan ze egin
be a be e zen du en ikaske a au oma ikoko sis emak en ena zeko e abiliak izan di a. Ho az,
sis ema hauek i udie an age zen di en au pegiak e ike a e a pe sona zeha zekin lo zeko
beha ezkoak di en p og amazio-e egelak de ini zeko gai asuna ga a u du e [
18
]. Au eko
guz ia kon uan ha uz, ikaske a au oma ikoa e abil zeko hi u gauza beha di ugu [3]:
7
•
Sa e ako da uak: ze egina i udiak e ike a zea bada, sa e ako da uak i udiak izango
di a.
•
I xa ondako i ee ak: sa e ako i udi bakoi za ekin lo u a dauden e ike ak izango di a;
“ xaku a”, “ka ua” edo “pe sona”, esa e ako.
•
Algo i moa en e aginko asuna neu zeko modu ba : azkenengo pun u hau beha -
beha ezkoa da algo i moa en i ee a en e a i xa ondako i ee a en a eko di e en zia
kalkula zeko. Neu ke a hau be elikadu a-seinale bezala e abil zen da algo i moak lan
egi eko duen modua alda zeko. Azkenengo pausu hone an egi en den doikun za honi
ikaske a de i zogu.
Ho az, ikaske a au oma ikoko sis ema ba ek sa e ako da uak i ee a esangu a sue an bihu -
zen di u, ho e a ako lehenengoz algo i moa en ena zeko esku agai dauden sa e a e a
i ee a biko een adibide uga i beha uz e a da u ho ie a ik in o mazio es a is ikoa au oma iko-
ki esku a uz [
6
]. Ho ela, ikaske a au oma ikoa en helbu u nagusia da uak e a esangu a su
ba ean ans o ma zea da, hau da, sa e ako da ue a ik abia uz i ee a adie azga iak so zeko
gai asuna ga a zea. Sis ema hauek onak badi a, haien i ee ak e a i xa ondako bene ako
i ee ak an zekoak izango di a. Izan e e, e ep esen azio jakin ba ean zailak di en p oblema
ba zuk asko e az en di a modu egokian adie az en badi a, isikan p oblema mo a zeha z
ba zuk ebaz eko koo dena u ka esia e a ik pola e a a aldake a egi en denean ge a zen den
bezala. Be az, ikaske a au oma ikoa en es uingu uan, ikaske a ze egin zeha z ba ebaz eko
sa e ako da uen e ep esen azio egokia en bilake a au oma ikoa en p ozesua da, ho e a ako
sa e ako da uen e ep esen azio hauen egoki asuna neu zen duen be elikadu a-seinale ba
e abiliz [3][6].
Ikaske a au oma ikoa en a loak ma ema ika es a is ikoa ekin lo u a es ua du, baina haien
a ean desbe din asun naba iak daude e e. Es a is ikan ge a zen ez den bezala, sis ema
hauek da u-mul zo handi e a konplexuekin lan egi en du e gehiene an: milioika i udi e a
i udi bakoi za en ba nean milaka pixel di uz en da u-mul zoak, esa e ako. I udiak, bideoak,
g abazioak e a an zekoak da u-mul zo ez-egi u a u hauen adibideak di a. Kasu konplexu
haue an, analisi es a is iko klasikoa aplika zea oso zaila edo zuzenean ezinezkoa izango
li za eke [
3
]. Gaine a, ikaske a au oma ikoa en e a ikaske a sakona en a loe an age zen den
eo ia ma ema ikoa ez da oso zabala, e a gau egun asko an ideiak eo ikoki baino enpi ikoki
oga zen di a.
2.2 Ikaske a sakona
Ikaske a sakona (Deep Lea ning, DL), ba zue an e ep esen azio-ikaske a hie a kikoa edo
e ep esen azio-ikaske a ge uza ua e e dei ua [
3
], ikaske a au oma ikoa en ba nean dagoen
azpi-a lo ba da (2.1 I udia). Ikaske a sakonak lehen aipa u di en giza-pe zepzioa ekin
lo u a dauden p oblema konplexuak hobe o ebaz eko modua eskain zen du. Mo a hone ako
algo i moen bidez, o denagailuek espe ien zia ik ikas eko e a mundua kon zep u-hie a kia
8
ba en moduan ule zeko ahalmena esku a zen du e. Kon zep u-hie a kia honi eske , o dena-
gailuek kon zep u konplexuak sinpleagoak di en bes e hainba kon zep u konbina uz ikas ea
posiblea da [
6
]. Gaine a, espe ien zia ik e a au onomoan ikas en du enez, bes e sis ema mo a
ba zue an ezinbes ekoa den gizakiok o malki de ini u ako e egela-ze enda en beha ik ez
du e.
Ikaske a sakoneko a ki ek u ek ondoz ondoko ge uza (da u- ans o mazio sinpleak) uga i
e abil zen di uz e, sa e ako da uen e ep esen azio ge o e a adie azga iagoak e aiki zeko
ahalmena ga a u ahal iza eko [
3
]. T adizionalki, ohikoena ba edo gehienez bi ge uza ezku u
zi uz en a ki ek u ekin lan egi ea zen (ge uza ezku uak sis ema en sa e an edo i ee an
ez dauden guz iak di a). Sa eak diseina zeko modu honen a zean zegoen a azoi nagusia
sakonagoak zi en neu ona-sa eak en ena zea oso zaila zela zen, une ha an sa eak en ena zeko
exis i zen zi en me odoak e a algo i moak e aginko asun xikikoak e a nahiko konplexuak
zi elako. Neu ona-sa e hauek ba ne-e ep esen azio abs ak uak so zeko zail asunak zi uz en,
ikaske a sakoneko algo i moen abs akzio-ahalmena sa ea en sakon asuna ekin e a ge uzen
kopu ua ekin zuzenean lo u a dago e a [
6
]. Hala e a guz iz e e, mende hone an egindako
au e apenei eske , gau egun ehunka ge uza di uz en neu ona-sa eak en ena zeko gai asuna
esku a u dugu. Ho i dela e a, ikaske a au oma ikoa en espa uan ga an zi suak di en
p oblema asko ebaz e ako o duan ikaske a sakoneko a ki ek u ak nagusi di a.
Neu ona-sa eek, ikaske a au oma ikoko bes e algo i moekin konpa a uz, e ep esen azio ho-
beak so zen di uz e, ge uza bakoi zak au eko ge uzen i ee e an oina i u a sa e ako da uen
e ep esen azio ge o e a abs ak uago ba so zen duelako; sakone a e a, ondo ioz, ge uzen
kopu ua handi zeak sa eak so u ahal duen ba ne-e ep esen azioa en konplexu asuna e a
abs akzio-maila handi zen di u e e. Ho ela, sa ea en hasie ako ge uzek behe-mailako in o -
mazioa esku a zen du e, e a behe-mailako in o mazio honen bidez hu engo ge uzek sa e ako
da uen e ep esen azio hobeagoa so u dezake e, sa eak eba zi beha duen p oblema en so-
luzioa au ki zeko baliaga iak di en ezauga iak bil zen di uena [
3
]. E ep esen azio hauek
gehiene an ez di a gizakion za oso a giak edo ule ga iak, baina neu ona-sa ea en ba nean
haien helbu ua be e zen du e [
6
]. Ho ela, neu ona-sa e ba in o mazioa des ila zen duen
e apa ani zeko e agike a dela esan dai eke, non in o mazioa ondoz ondoko i agazki zeha z
ba zue a ik iga o ondo en sa ea en za ge o e a adie azga iago bihu zen den.
Azkenengo u ee an ikaske a sakonak izan duen a akas a en a azoi nagusia hainba ze egine-
an ikaske a au oma ikoa en a loko bes e eknika ba zuekin alde a uz e endimendu hobeagoa
eskain zen duela da, ba ez e e giza-pe zepzioa imi a u nahi du en sis emen kasuan. Bes alde,
ikaske a sakonak hainba p oblemen ebazpena asko e az en du: bes e me odo ba zuk e abili
ahal iza eko eskuz de ini u beha di en da uen ezauga iak neu ona-sa eek e a au oma iko
ba ean a e a zen di uz e [
6
]. Ikaske a sakona en espa ua ez da be ia, baina gau egungo
ha dwa e au e apenek, be eziki p ozesa zeko uni a e g a ikoe an (G aphic P ocessing Uni ,
GPU) egindakoak, lehen eginga iak ez zi en a ki ek u ak en ena zea ahalbide a u du e.
Hauen a ean, au e ago azalduko di en konboluzio neu ona-sa eek ga an zi handia du e
ikusmen a i iziala en a loan.
9
•
Ezauga ien hie a kia espaziala ikasi ahal du e, e a mundu bisuala espazialki hie a kikoa
da. Sa ea en hasie an dagoen konboluzio-ge uzak amaina xikiko ezauga i lokalak
iga zen ikasiko du, e zak esa e ako. Sa ea en amaie an dagoen ge uzak, o dea, abs ak-
uagoak di en ezauga i handiagoak ikasiko di u, hasie ako konboluzio-ge uzek ikasi ako
ezauga i xikiagoez osa uak [
24
]. O oko ean, sa ea en lehenengo ge uzak sa e ako
i udia en e z mo a jakin ba zuk (ho izon alak, be ikalak edo izkinak) de ek a zen di-
uz en i agazkiak e aiki zen di u. Biga en ge uza ba ek lehenengo ge uza en i ee e an
oina i uz o ma geome iko sinpleak (ku bak, zi kuluak, laukizuzenak, iangeluak e a
an zekoak) an zema en di uz en i agazkiak lo u ahal di u. Hu engo ge uzek au eko
ge uzen i ee a sinpleagoen konbinazioe an oina i uz goi-mailako ezauga i konplexua-
goak (au pegiak, ka uak, au oak e ab.) so zeko ahalmena ga a zen du e. Mekanismo
hone az balia uz, konboluzio neu ona-sa eek e a e aginko ean ge o e a konplexuagoak
e a abs ak uagoak di en kon zep u bisualak ikasi ahal di uz e [3].
Pooling ge uzak
Konboluzio neu ona-sa een a ki ek u e an konboluzio-ge uzen a ean
pooling ge uzak ja zea ohikoa da. Pooling ge uzen un sezko helbu ua neu ona-sa ea zeha ka-
zen duen i udia en dimen sio espazialak (al ue a e a zabale a) mailaka mu iz ea da, ho ela
sa eak di uen pa ame oen kopu ua, zama konpu azionala e a, ondo ioz, sa ea en ena zeko
beha ezkoa den denbo a xiki zeko [24].
Pooling ge uzek sa e ako i udia en sakon asun kanal bakoi zean independen eki aplika zen
di a, e a ohikoenak max pooling e a a e age pooling di a. Max pooling e agike ak i udian zeha
pausoz pauso (s ide) mugi uz sa e ako i udi ik
m×m
dimen sioko blokeak ha zen di u
(konboluzio-ge uzek egi en du en moduan), e a bloke ho ie an age zen den balio handiena ekin
baka ik ge a zen da. A e age pooling e agike ak, be iz, blokean age zen di en balioen
ba ezbes ekoa kalkula zen du. No malean pooling ge uzek 2
×
2-ko blokeak (pool size)
e abil zen di uz e
s ide
= 2 pausoa ekin, ho ela sa e ako i udia en dimen sio espazialak
e di a xiki uz. Lan hone an diseina u di en neu ona-sa ee an 2
×
2-ko max pooling ge uzak
s ide = 2 pausoa ekin e abiliko di a.
015 2
2 3 8 9
473 1
5
0
8
1
389
7 8 9
885
39
8 5
2x2
max pooling
(
s ide
= 1)
2x2
max pooling
(
s ide
= 2)
I udia 2.8: 4
×
4-ko kanal baka eko i udi ba ean 2
×
2-ko max pooling e agike a aplika zea en
emai za, s ide = 1 e a s ide = 2 e abiliz.
16
Upsampling ge uzak
Neu ona-sa e diseinu ba zue an pooling ge uzak e abiliz xiki u
di en i udien dimen sio espazialak sa ean au e a egin ahala be i o be esku a u nahi di a.
Ho e a ako, upsampling ge uzen e abile a me odo ohikoena da [
11
]. Ge uza hauek nea es
neighbou algo i moa en bidez i udien be eizmena bikoiz eko balio du e (2.9 I udia).
339 9
3 3 9 9
885 5
5
5
8
8
39
8 5
Upsampling
I udia 2.9: 2
×
2-ko i udi ba en be eizmena nea es neighbou algo i moa en bidez bikoiz u
dai eke, upsampling ge uze an e abil zen den me odoa.
2.3.3 Gale a- un zioak
Ikaske a au oma ikoan, gale a- un zioa ikaske a-p ozesua no abide egokian gida zen duen
un zioa da, hau da, neu ona-sa ea en pa ame oak nola doi u beha di en zehaz en duen
me ika da, sa eak bu u u beha duen ze egina hobe o eba zi dezan. Zehazki, gale a- un zioak
neu ona-sa eak so u ako i ee a e a i xa ondako bene ako balioa konpa a zen di u e a
di e en zia hone an oina i uz sa ea en pa ame oak gale a-balioa xiki zen duen no abidean
doi zen di a, ho ela neu ona-sa ea en i ee a e a i xa ondako balioa ge u a uz. Be az,
sa ea en po ae an oso e agin handia duen diseinu-e abaki ga an zi sua da gale a- un zioa en
auke a.
Lehen aipa u den bezala, gale a- un zioa en xiki zea S ochas ic G adien Descen (SGD)
izenaz ezagu zen den algo i moa en bidez egi en da no malean, g adien ea en behe apena en
kon zep uan oina i u a dagoen algo i moa. Hau da, neu ona-sa ea osa zen du en ge uzen
pisuak (sa ea en pa ame oak) hauek so a az en du en gale a- un zioa en g adien ea en
kon ako no abidean doi zen di uen algo i moa da. Hu engoak lan hone an zeha e abiliko
di en gale a- un zioen de inizioak di a.
Mean Squa ed E o (MSE)
Mean Squa ed E o (MSE) e eg esio-p obleme an gehie-
ne an e abil zen den gale a- un zioa da. P oblema mo a haue an helbu ua balio e eal ba
i aga zea da. I xa ondako bene ako balioak banake a no mal ba e ik hu bil daudenean
e endimendu ona e akus en duen gale a- un zioa da [
2
]. Gale a- un zio honek i ee ako
en so ea en e a i xa ondako bene ako en so ea en elemen uen di e en zien ka a uen ba ez-
bes eko balioan oina i u a dago. Be az, gale a-balioa be i da posi iboa e a balio pe ek ua
0izango da. Di e en zien ka a ua e abil zen denez, e o e handiek e o e xikiek baino
gale a-balio p opo zionalki handiagoak so uko di uz e, ho ela neu ona-sa eak no malean
i xa ondako balioe a ik gehiegi u un zen di en i ee ak buel a zea gehiago zigo uz.
17
LM SE (Y, b
Y) = 1
n
n
X
i=1
(b
Yi−Yi)2(2.4)
Mean Absolu e E o (MAE)
E eg esio-p oblema ba zue an, i xa ondako balio gehie-
nak banake a no mal ba en ba nean egon a en, i aga i nahi di en hainba balio a ipikoak
di a. Kasu hone an MSE gale a- un zioa aplika zen bada, i xa ondako bene ako balioe an
age zen di en balio a ipiko ho iek i aga zeko gai asuna asko ahuldu dai eke. Ho az, balio
a ipikoak ga an zi suak e a adie azga iak di en p obleme an, balio hauek hobe o man endu-
ko di uen Mean Absolu e E o (MAE) gale a- un zioa e abil zea ohikoa da [
2
]. Fun zio hau
i ee ako en so ea en e a i xa ondako bene ako en so ea en elemen uen di e en zien balio
absolu ua en ba ezbes eko balioan oina i u a dago. MSE un zioa ekin ge a zen den bezala,
0balio a i is eak neu ona-sa ea en i ee a hobeezina dela esan nahi du.
LM AE (Y, b
Y) = 1
n
n
X
i=1
|b
Yi−Yi|(2.5)
Bina y C oss-En opy (BCE)
C oss-En opy in o mazio- eo ia en espa uan maiz e a-
bil zen den neu ke a da: bi p obabili a e-banake en a eko en opia o ala kalkula zen du, edo
bes e e a ba ean esanda, p obabili a e-banake a hauen a eko di e en zia [
2
]. C oss-En opy
gale a- un zio bezala e abil zea ohikoa da sailkapen-p obleme an. Gale a- un zio honen bidez
bi en so e konpa a zeko gai iza eko, en so e hauek bi p obabili a e-banake a desbe din
adie az en di uz ela ona u beha da. Bina y C oss-En opy gale a- un zioa klase baka eko
sailkapen-p obleme an e abili ohi da e a klase ba baka ik du en segmen azio-mapak i ee a
bezala buel a zen di uz en neu ona-sa eekin lan egi ean e abili dai eke (ikusi 4.1 A ala). Mo a
hone ako mapen pixelen in en si a eak 0 e a 1 balioen a ean no maliza u dai ezke, ho ela
p obabili a e bezala in e p e a u ahal iza eko. Be az, kasu hone an i ee ako en so ea en ele-
men uen balioak
b
Yi∈
[0
,
1] balioen a ean egongo di a, e a bene an i xa ondako en so ea en
elemen uen balioak
Yi∈ {
0
,
1
}
(baka ik bi balio posible, klase baka a) modukoak izango
di a. Be i o e e, gale a- un zio hau minimiza u beha eko un zioa da e a gale a-balio ideala
0izango da.
LBCE (Y, b
Y) = −
n
X
i=1
Yilog(b
Yi) + (1 −Yi)log(1 −b
Yi)(2.6)
18
3 Ikusmen a i iziala
Ikusmen a i iziala en a loa 1970ko hama kadan jaio zen, agen e adimen su o oko en so kun za
helbu u bezala zuen ahalegin kolek ibo ba en ba nean. Hasie a ba ean, adimen a i iziala en
e emuko au enda i ba zuk obo ek giza-adimena esku a zeko eba zi beha zi en p oblemen
a ean ikusmen-pe zepzioa en ze egina e la iboki e aza izango zela us e zu en. Gau egun,
ze egin honen konplexu asun-maila ga ai ha an pen sa zen zena baino askoz handiagoa dela
dakigu [27].
O denagailu bidezko ikusmen a i iziala en espa ua en un sezko helbu ua o denagailuek
da u bisuale a ik abia uz goi-mailako ule mena ga a zea da. Hau lo zeko, eszena bisual
ba ean age zen di en elemen uak de ek a u, iden i ika u, sailka u e a an ola u beha di a,
p ozesu hone an jakin za abs ak ua e a hainba ze egin desbe din (au pegi-sailkapena,
i udien zaha be i zea edo segmen azio seman ikoa, esa e ako) bu u zeko ahalmena i abaziz
[
24
]. Ho i dela e a, gizakiok ingu uko mundua en 3 dimen sioko egi u a a azo ik gabe
au oma ikoki hau ema eko dugun gai asuna ikusmen a i izialeko sis eme an e abili ahal
iza ea oso onu aga ia izango li za eke ze egin mo a asko hobe o bu u u ahal iza eko. Hala
e e, giza-pe zepzioa en a zean dagoen ikusmen-sis emak lan egi eko duen modua en azalpena
pe zepzioa en a loko psikologoek gau egun o aindik guz iz eba zi ez du en p oblema da [
27
].
Be az, a lo hone an helbu u ga an zi suena i udie a ik in o mazio e abilga ia a e a zea da,
algo i moak be e beha duen ze egina bu u zea e az en du en ezauga i abs ak u gisa (e zak,
kolo eak, es u ak e ab.). T adizionalki, beha ezkoak di en i udien ezauga i ga an zi su
hauek eskuz de ini u izan di a e a, hainba algo i mo desbe dinen bidez, ezauga i zeha z
hauek e abiliz p oblema mo a ezbe dinak ebaz eko egokiak di en ikusmen-sis emak diseina u
di a.
Halabe , azkenengo u e haue an ikusmen a i izialeko a loan au e apen naba menak egin
di a, ba ez e e ikaske a sakona en bidez lo uak. Ikaske a sakoneko a ki ek u ak i udie a ik
in o mazio e abilga ia lo zeko beha ezkoak di en ezauga i abs ak uen a e a zea modu
au oma iko ba ean egi eko gai di a e a, gaine a, aldi be ean ezauga i hauek lo zeko e a
ze egina ebaz en ikas eko ahalmena du e [
6
]. Neu ona-sa eek bes e aban ailak di uz e e e:
ondoz ondoko ge uzez osa u ako a ki ek u a sakonak di enez, bes e ikaske a au oma ikoko
algo i moekin alde a uz sa e ako i udie a ik abia uz ba ne-e ep esen azio abs ak uagoak
e a baliaga iagoak e a zeko gai asuna du e, adibidez [
3
]. Hau guz ia dela e a, 2.3.2 A alean
az e u di en konboluzio neu ona-sa eak ikusmen a i izialeko sis emak e aiki ze ako o duan
un sezko osagaie an bihu u di a.
3.1 I udien en so e-adie azpena
I udiekin lan egi en duen sis ema ba e aiki ze ako o duan, lehenengo pausoa i udi ba
ma ema ikoki nola adie az en den ule zea da. Ho e a ako, i udien oina izko blokeak di en
pixelekin hasi beha da. No malean pixelek i udi ba en posizio zeha z ba ean age zen den
19
a gia en kolo ea e a in en si a ea adie az en du e. I udi digi al guz iak pixelez osa u a daude:
i udia lauki-sa e ba bezala adie azi ezke o, sa ea en lauki bakoi za pixel ba izango li za eke
[24].
Pixel gehienak bi modu desbe dine an adie azi ohi di a: g isen eskalan edo kolo ez. Zu i-
bel zean dauden i udiak g isen eskalan daudela esa en da, i udia en so e ba bezala adie az en
badugu (
al ue a ×zabale a ×1
) o ma izango du, sakon asun-kanal baka a du. Kolo ez-
ko i udiak, be iz, RGB kolo e-espazioan adie azi ohi di a e a en so e moduan (
al ue a ×
zabale a ×3
) o ma du e, sakon asun-kanal ba kolo e (go ia, be dea, u dina) bakoi zeko.
Be az, g isen eskalan dauden i udien pixelak [0
,
255] (0 bel za e a 255 zu ia) a ean dagoen
zenbaki a un baka a izango du e e a kolo ezko pixelak, o dea, mo a ho e ako 3 balio di uz-
en bek o eak izango di a. Ho az,
( ed, g een, blue)
bek o eak RGB kolo e-espazioko
kolo e jakin ba adie aziko du.
I udi ba ekin en so e bezala lan egi eko,
(al ue a, zabale a, sakon asuna)
o mako
NumPy a ay ba e abili ohi da Py hon-en. Al ue a zabale a baino lehenago eza zen da
ma izee an elemen uak esku a zeko (
le oak ×zu abeak
) no azioa ekin ba e o zeko [
24
],
nahiz e a no malean i udiez hi z egi e akoan kon ako o dena e abil zen den. Izan e e, i udi
ba en adie azpen en so iala en le oen kopu ua be e al ue a zehaz en du e a zu abeena,
be iz, be e zabale a.
I udia 3.1: In Phys da u-mul zoan esku agai dauden laginen adibideak (kolo ezko RGB
i udiak, segmen azio-mapak e a sakon asun-mapak).
20
3.2 In Phys
Adimen a i izialeko sis emek ze egin bisual konplexue an giza-e endimendua esku a zeko,
lehenengo gu e e eali a e isikoan age zen di en objek u mak oskopikoak, mugimenduak
e a inda ak ule zeko gai asuna lo u beha du e. In Phys
1
[
22
] ikusmen a i izialeko sis-
emek oina izko in uizio isikoa ga a zeko helbu ua ekin diseina ua dagoen da u-mul zoa
da, umeek oso xikiak di enean mundu mak oskopikoko isika new onda a ba ne a zeko
du en e an inspi a ua. Ho ela, da u-mul zo hau hainba objek u mak oskopikoen zinema ika
e a dinamika e akus en di uz en eszena bisualen bilduma bezala desk iba u dai eke. Be az,
umeen moduan espe ien zien e epikapena en ondo ioz e e ikas en du en adimen a i izialeko
sis emak en ena zeko ezinbes ekoa den laginen kopu u handia eskain zen du In Phys-ek.
In Phys da u-mul zoa Un eal Engine
2
bideo-jokoak so zeko esna e abiliz so u di en bideo
sin e ikoz osa ua dago. Bideo bakoi zak 100 o og ama di u e a hainba mo a desbe dineko
objek uen mugimenduak e a hauek ingu unea ekin edo haien a ean di uz en elka ekin za
isikoak adie az en di uz e. Bes alde, bideoak 15
o og ama/segundo
o ma uan simula u a
daude e a, ondo ioz, eszena bakoi za en luze a
∼
7segundokoa da. Gaine a, bideoe an
age zen di en objek uak gu e e eali a ea en isika en legeak ja ai zeko p og ama u a daude,
Un eal Engine ba nean dagoen PhysX 3simulagailu isikoa e abiliz.
Eszena bisual bakoi zean
{
1
,
2
,
3
}
objek u e a
{
0
,
1
,
2
}
es aldu a dinamiko age u ahal di a.
Objek uak es a ikoak ala dinamikoak izan dai ezke e a hainba gainazaleko es u ak (plas ikoa,
me ala, egu a e ab.), kolo eak (kolo e biziak ala i zaliak) e a o mak (es e ak, kuboak,
konoak e ab.) di uz e. Es aldu a dinamikoak be i daude mugimenduan, e a haien helbu u
nagusia objek uak ezku a uz neu ona-sa een i aga ze-ze egina zail zea da. Haien a ean hain
desbe dinak izan dai ezkeen objek uak e abil zean, sa eek objek uen kon zep u o oko agoa
ikas ea nahi da. Adibidez, askoz e azagoa da be de bizi ba eko gainazala duen es e a objek u
bezala iden i ika zea ingu unea isla zen duen me alezko es e a ba baino.
Neu ona-sa eak en ena zeko 15.000 bideo esku agai daude, e a bideo bakoi za 100 o og amaz
osa u a dagoenez da u-mul zoak guz i a 1.500.000 i udi di u. Bideo bakoi za kolo ezko RGB
i udien (288
×
288 pixel) sekuen zia bezala adie az en da, guz i a 157Gb be ez. Kolo ezko
i udi bakoi za ekin lo uak, neu ona-sa een en enamendua e az eko bes e bi i udi eskain zen
di a e e: segmen azio-mapa e a sakon asun-mapa (3.1 I udia). Segmen azio-mapak o og ama
osa zen du en osagai kon zep ualak banan zen di u: zo ua, pa e ak, ze ua, objek uak e a
es aldu ak. Sakon asun-mapa, be iz, pixel bakoi za en posizio ik kame a aino dagoen dis an-
zia kodi ika zen du. Bes alde, lehen aipa u den bezala bideo guz i haue an age zen di en
objek uen mugimenduak e a haien dinamikak guz iz isikoki posibleak di a.
1In Phys: h ps://www.in phys.com
2Un eal Engine: h ps://www.un ealengine.com
3PhysX: h ps://de elope .n idia.com/physx-sdk
21
4 Segmen azio seman ikoa
Konboluzio neu ona-sa een e abile a heda uena i udi-sailkapena egi ea da e a sa e mo a
hauen i ee a e ike a baka a izan ohi da, no malean zenbaki a un ba . Hala e e, ikusmen
a i izialeko ze egin jakin ba zue an sa ea en i ee a i udi oso ba iza ea egokiagoa izan
dai eke, e a ho e a ako sa e ako i udia en pixel-mailako sailkapena egi ea beha ezkoa
iza en da. Be az, i udien segmen azio seman ikoa en ze eginean sa ea en i ee an sa e ako
i udia en pixel bakoi za i e ike a ba eza zen zaio, hau da, pixel bakoi za klase zeha z
ba ean sailka zen da. Segmen azio seman ikoan sa e ako i udia en pixel bakoi za en za
i aga pen ba egi en denez, ze egin hau i aga pen den so izena ekin ezagu zen da e e. Teknika
hau biomedikun za en a loan maiz e abil zen da e a espa u ho en i udi-p ozesamenduan
be eziki ga an zi handia dauka [
23
]. I ee a bezala i udi oso ba beha du en bes e ze egin
ba zuen adibideak ondo engo a alean landuko den e o kizuneko o og ama en i aga pena e a
sakon asuna en balioespena di a.
Lan hone an inplemen a zen den segmen azio seman ikoan klaseen ins an ziak ez di a be eiz en;
pixel bakoi za en sailkapena egi en da soilik. Ho i dela e a, sa e ako i udi ba ean objek u-
klaseko bi objek u age zen badi a, segmen azio-mapak ez di u objek u ho iek bi elemen u
desbe din bezala iden i ika uko, objek u-klasea en ba nean dauden pixel guz iak adie aziko
di u baka ik [
11
]. Hala e e, ins an zia-segmen azioa egi en di uz en bes e eknika ba zuk
exis i zen di a, baldin za hau bu u u nahi den ze eginean ezinbes ekoa izan ezke o, baina
inplemen azio zailagoa du e o oko ean e a sa ea en ena zeko ins an zia-segmen azio ako
be eziki p es a u ako da u-mul zo zeha zak beha di uz e [9].
4.1 Helbu ua
Segmen azio seman ikoa en helbu ua hu engoa da: sa e a bezala kolo ezko RGB i udia
(
al ue a ×zabale a ×3
) edo g isen eskalan dagoen i udia (
al ue a ×zabale a ×
1
) ha uz, i ee an sa e ako i udia en pixel bakoi za klase jakin ba ean sailka zen duen
segmen azio-mapa ba lo zea. Ho az, segmen azio seman ikoa en ze eginean ondo engo
galde a en e an zuna au ki u nahi da: kon zep ualki ze age zen da i udi ba ean e a non
dago ho i espazialki koka ua?
Sailkapen-ze egine an ohikoa den moduan, neu ona-sa ea en i xa ondako i ee an age u ahal
di en klaseen e ike ak one-ho e an kodi ika uz de ini zen di a. Bes e e a ba ean esanda,
klase posible bakoi za i i ee ako segmen azio-mapa en sakon asun-kanal ba dagokio: kanal
bakoi zean sa e ako i udian klase ho e akoak di en pixel guz iak 1zenbakiaz adie az en
di a, gaine ako bes e pixel guz iak 0izanda [11].
Ho ela, sa ea en i ee a bezala lo zen den segmen azio-mapa en pixel bakoi zean, balio
handiena duen kanala en posizioa pixel zeha z ho en klasea zehaz uko du. Bes e e a ba ean
esanda, i ee ako segmen azio-mapa en pixel bakoi za i dagokion sakon asun-bek o ea en
balio maximoa en posizioa kalkula uz pixel ho en klasea zehaz u dai eke. Ho i dela e a,
22
segmen azio seman iko mo a hone an pixel guz iek klase baka a izan dezake e gehienez.
Bes alde, neu ona-sa ea en i ee ako segmen azio-mapa en sakon asun-kanal ba auke a zean,
sa e ako i udian kanal ho ekin lo u a dagoen klasea i dagokion azale a adie az en duen
segmen azio-maska a lo zen da [11].
Lan hone an segmen azio seman ikoa bu u zen du en bi neu ona-sa e en ena uko di a: objek-
uak segmen a zen di uen sa ea e a es aldu ak segmen a zen di uena. Bi hauek In Phys [
22
]
da u-mul zoa en bideoe an age zen di en elemen u dinamikoak di a, e a haien segmen azio-
maska ak hu engo a alean landuko den e o kizuneko o og ama en i aga pene ako e abilga-
iak izan dai ezke. Lan hone an segmen azio seman ikoa bu u zen du en bi neu ona-sa e
en ena zea e abaki da, sa e bakoi za elemen u bisual zeha z ba ean hobe o espezializa u ahal
iza eko. Ho en ondo ioz, neu ona-sa e hauen i ee ak kanal baka eko segmen azio-mapak
izango di a, bakoi zak klase baka a sailka zen du e a.
Objek uen
segmen azioa
Es aldu en
segmen azioa
I udia 4.1: Objek uen e a es aldu en segmen azio-mapak en ena u di en bi neu ona-sa een
helbu uak di a.
4.2 Sa ea en a ki ek u a
I udien segmen azio seman ikoa egi eko neu ona-sa e ba diseina ze ako o duan, bu u a e o i
ahal den lehenengo a ki ek u a sinplea sa e ako i udia en dimen sio espazialak man en zen
di uz en konboluzio-ge uza ba zuk ba a bes ea en a zean ja zean lo zen den neu ona-sa ea
izan dai eke. Izan e e, soilik konboluzio-ge uzez osa u ako neu ona-sa eek i udiekin lan
egi e ako o duan o oko ean den soki konek a u ako ge uzak e abil zen di uz en sa eak baino
emai za hobeagoak lo zen di uz e [
26
]. Hala e e, sa e osoan zeha sa e ako i udia en
ja o izko amaina e a be eizmena man en zeko pa ame oen kopu u handia beha ezkoa da,
e a hau konpu azionalki ga es ia izan ahal da konboluzio-ge uzen kopu ua oso xikia ez bada
[11].
Honen ondo ioz, diseinu mo a hau e abil zen di uz en a ki ek u ek ezin di a oso sakonak izan
e a a azoi honenga ik asko an i udien ezauga i abs ak uak lo zeko a azoak iza en di uz e.
23
Izan e e, 2.3.2 A alean aipa u den bezala konboluzio neu ona-sa ee an hasie ako ge uzek behe-
mailako kon zep uak adie az en di uz en ezauga iak ikas en di uz e e a sa ea en bukae an
dauden ge uzek goi-mailako ezauga i abs ak uagoak a e a zen di uz e, hone a ako au eko
konboluzio-ge uzek lo u di uz en ezauga i sinpleagoak konbina uz. Gaine a, azkenengo
ge uze an a e a zen di en ezauga i konplexuagoen adie azko asuna hobe zeko, sa ean zeha
dauden konboluzio-ge uzen i agazkien kopu ua g adualki handi zea beha ezkoa da [11].
I udien sailkapena en ze eginean, au eko mugek ez du e a azo handi ik suposa zen: kasu
ho e an i udia en eduki kon zep uala, baina ez espaziala, in e esa du baka ik [
11
]. Be az,
sa e ako i udia en dimen sio espazialak (al ue a e a zabale a) xiki zen di uz en pooling
ge uzak sa ean pe iodikoki e abil zea ekin nahikoa da pa ame oen kopu ua kon ola zeko
e a zama konpu azionala mu iz eko. Bes e e a ba ean esanda, da uen be eizmen espaziala
mu iz en da pa ame oen kopu u be a e abiliz neu ona-sa ea en ge uzen kopu ua e a sa-
kon asuna handi u ahal iza eko. I udi-sailkapena ez di en bes e ze egin ba zue an, be iz,
sa e ako i udia en eduki kon zep uala e a espaziala in e esa du e; i udien segmen azio seman-
ikoan edo sakon asuna en balioespenean, esa e ako. Kasu haue an sa ea en i ee a sa e ako
i udia en dimen sio be dinak di uen bes e i udi ba izango da, e a neu ona-sa ea en ba nean
i udi-da uen dimen sio espaziala be esku a zeko me odo en ba beha ezkoa da.
U-Ne a ki ek u a
Azkenengo u e haue an i udien segmen azio seman ikoa en a loan
a akas a handia izan duen a ki ek u a U-Ne [
23
] izenaz ezagu zen den konboluzio neu ona-
sa ea da. Neu ona-sa e hau biomedikun zan mik oskopio ba en bidez lo zen di en zelulen
i udiak au oma ikoki segmen a zeko helbu ua ekin so u zen, baina ho ez gain espa u
ho e a ik kanpo oso a akas a su bihu u zen be ehala. Izan e e, sa e honek oso emai za
onak lo zen di u, e edua en ena zeko esku agai dauden da uen kopu ua xikia denean e e,
e a azka a iza eaz gain ez da inplemen a zeko konplexuegia.
U-Ne a ki ek u a Fully Con olu ional Neu al Ne wo k (FCNN) [
26
] izenaz ezagu zen den
a ki ek u an oina i u a dago. Sa e-diseinu honi egindako aldake ak e a gehike ak U-Ne
a ki ek u an oina i u ako neu ona-sa eek i udi-laginen kopu u xikiagoekin segmen azio
zeha zagoak lo zea posible egi en du e [
23
]. FCNN sa ea en a zean dagoen un sezko
ideia hu engoa da: no malean i udien sailkapenean ohikoa den konboluzio e a pooling
ge uzez egindako kode zailea i ee ako i udia en dimen sio espazialak be i o be esku a zen
di uen deskode zaile ba ekin osa zea, non pooling ge uzak upsampling ge uzekin o dezka zen
di en. Be az, ge uza be i hauek sa ea zeha ka zen du en i udien be eizmena handi zen
du e be i o. Lokalizazioa hobe zeko, kode zailea en konboluzio-ge uzek lo zen di uz en
ezauga iak deskode zailea en upsampling ge uzen i ee ekin konbina zen di a skip konexioak
e abiliz, hone a ako bien a eko ka eamendu ba eginez. Be az, deskode zailea en konboluzio-
ge uzek i ee a egokiagoak ikasi di zake e bi in o mazio-i u i hauek ba e a zea en ondo ioz.
U-Ne a ki ek u an, sa ea en kode zailea e a deskode zailea sime ikoak di a e a, be az, desko-
de zailea en konboluzio-ge uzek e e i agazkien kopu u handia du e, kode zailea en ge uze an
ge a zen den bezala. Honen ondo ioz, U- o mako sa e honek es uingu u-in o mazioa e a ezau-
ga ien lokal asuna be eizmen handiagoko hasie ako ge uze a ik neu ona-sa ea en amaie an
24
dauden ge uze a a e az asunez heda zeko gai asuna dauka, skip konexioei eske [
23
]. Gaine a,
a ki ek u a honek ez di u den soki konek a u ako ge uza ik e abil zen, i udiekin lan egi e ako
o duan hauek beha di uz en pa ame oen kopu ua handiegia delako, konboluzio-ge uzekin
alde a u ezke o [26].
U-Ne -Seg a ki ek u a
Lan hone an U-Ne sa ean oina i u ako sa e ba diseina u da
segmen azio ze eginak bu u zeko: 4.2 I udian adie azi a dagoen U-Ne -Seg izeneko sa ea.
Kode zaileak i udien sailkapene ako e abil zen di en konboluzio neu ona-sa eek ja ai u ohi
du en egi u a dauka: Bi 3
×
3-ko konboluzio-ge uzez e a
s ide
= 2 duen 2
×
2-ko max pooling
ge uza ba ez osa u ako blokea 3aldiz aplika zen da. Max pooling ge uzen bidez, i udia en
be eizmena e di a mu iz en da bloke bakoi za en i ee an. Gaine a, blokeek osa zen di uz en
konboluzio-ge uzek au eko blokea en ge uzek di uz en i agazkien kopu ua bikoiz en du e
aplikazio bakoi zean.
Bes alde, deskode zailea en blokeak i udia en be eizmena bikoiz en di uz en 2
×
2-ko up-
sampling ge uza ba ekin has en di a, ondo en i agazkiak e di a mu iz en di uen 2
×
2-ko
konboluzio-ge uza aplika zen da e a kode zailea en bloke baliokidea en azkenengo konboluzio-
ge uza en i ee a ka eamendu ba en bidez lo zen da (skip konexioak). Ge o, au eko blokea en
ge uzek du en i agazkien kopu u e dia di uz en bi 3
×
3-ko konboluzio-ge uzak aplika zen
di a. Buka zeko, klase baka eko segmen azio-mapa lo zeko i agazki ba duen 1
×
1-ko
konboluzio-ge uza e abil zen da.
128
Max pooling
Upsampling
3x3 Konboluzioa
1x1 Konboluzioa
Skip
konexioa
144x144
72x72
36x36
18x18
3 16 16
16 32 32
32 64 64
64 128
128 64 64
64 32 32
32 16 16 1
I udia 4.2: I udien segmen azio seman iko ako e abil zen den U-Ne -Seg sa ea en a ki ek u a-
en eskema o oko a.
25
E o kizuneko
o og ama en
i aga pena
I udia 5.2: U-Ne -I a sa ea en helbu ua.
5.2 Sa ea en a ki ek u a
Segmen azio seman iko ako a akas az e abili den U-Ne -Seg sa ea i aldake a ba zuk eginez
e o kizuneko o og ama en i aga pena en ze eginean an zeko a ki ek u a be e abil zea posi-
blea da. Izan e e, U-Ne a ki ek u an oina i u ako neu ona-sa eek bes e sa e-diseinu mo a
ba zuk baino emai za hobeagoak lo u di uz e e o kizuneko o og amen i aga penean, zehazki
segu asun-kame en bideoe an anomaliak de ek a zeko balio du en ikusmen a i izialeko sis-
emen diseinuan [
14
]. Au ekoa kon uan ha uz, mo a desbe dineko ze eginak bu u ze ako
o duan ikaske a sakoneko neu ona-sa eek e akus en du en moldaga i asun-ahalmen handia
naba ia da.
E o kizuneko o og ama en i aga pena a akas az bu u u ahal iza eko, segmen azio seman i-
ko ako e abili den neu ona-sa ea en modelizazio-ahalmena handi zea beha ezkoa da. Be az,
U-Ne a ki ek u a en ja o izko ideia (4.2 I udia) man enduz kode zailea en e a deskode zai-
lea en bloke bakoi zean bes e 3
×
3-ko konboluzio-ge uza ba gehi u da e a hasie ako blokea 16
i agazkiekin hasi beha ean 64 i agazkiekin has en da (sa ea en maila bakoi zean i agazkien
kopu ua bikoiz en dela gogo a u beha da). Bi aldake a hauen bidez neu ona-sa eak doi u ahal
di uen pa ame oen kopu ua handi zen da e a, ondo ioz, sa eak sa e ako da uen abs akzio
handiagoko ba ne-e ep esen azio e abilga iak lo zeko duen gai asuna e e. E o kizuneko
o og ama en i aga pene ako e abiliko den neu ona-sa ea en a ki ek u a be ia U-Ne -I a
izena jaso du.
5.3 En enamendua
Be i o e e, In Phys da u-mul zo osoa 15 bloke desbe dine an banandu da. Bes alde, bloke
bakoi zean dauden bideoak bes e bi mul zo an banan zen di a e e: 900 bideo en enamendu-
zikloan e abiliko den en enamendu-mul zoa osa zen du e e a ge a zen di en bes e 100 bideoak
es -mul zo ako go de zen di a. Segmen azio seman ikoa bu u zeko e abili di en neu ona-
sa eekin egin den bezala, en enamendu-zikloa en luze a mu iz eko sa e ako o og amen
be eizmena e di a jais en da, (288 ×288)- ik (144 ×144)- a pasa uz.
32
Au eko kasua en moduan, neu ona-sa ea en ena zeko
Adam
op imiza zailea [
12
] e abili
da,
= 0
.
001-ko ikaske a-e i moa ekin. U-Ne -I a bloke bakoi zean behin baka ik en e-
na zen da e e, o e i ing enomenoa ekidi eko, e a sa eak blokeen en enamendu-zikloa en
amaie an lo zen di uen pisuen balioak go de e a hu engo blokean en enamendua hasi
baino lehen be i o eza zen di a. Neu ona-sa eak
∼
30 minu u beha di u bloke bakoi zean
en enamendu-zikloa bu u zeko (sa ea en ena zeko guz i a 7 o du e a 30 minu u beha di a,
be az) e a guz i a 10
.
849
.
793 pa ame o desbe din di u. En enamendu-zikloan 2.3.3 A alean
de ini u di en 3gale a- un zioak e abili di a:
LBCE
,
LMSE
e a
LMAE
. Ho ela, e o kizuneko
o og ama en i aga pena en ze egina bu u zeko en ena u den U-Ne -I a sa ea en i ee an
gale a- un zioa en auke ak duen e agina beha u dai eke. 5.3 I udian gale a- un zio desbe dinen
balioa en enamenduan zeha e a bloke bakoi za en es -mul zoan adie az en da.
5 10 15
Blokea
0.002
0.004
0.006
0.008
0.010
MAE
En enamendua
Tes
5 10 15
Blokea
0.001
0.002
0.003
0.004
0.005
0.006
MSE
En enamendua
Tes
5 10 15
Blokea
0.005
0.010
0.015
0.020
0.025
0.030
BCE
En enamendua
Tes
I udia 5.3:
LBCE
,
LMSE
e a
LMAE
gale a- un zioekin en ena u ako U-Ne -I a neu ona-sa eek
en enamendu-zikloan zeha e a bloke bakoi za ekin lo u ako es -mul zoan lo zen di uz en
gale a-balioak.
5.4 Emai zak
U-Ne -I a neu ona-sa ean oina i u ako ikusmen a i izialeko sis emak objek uen ibilbideak
e a zinema ika sinplea ule zeko gai asuna duela 5.4 I udian adie az en di en adibidee an
beha u dai eke. Zuzenean kolo ezko RGB i udiekin lan egi ean lo zen di en i aga penekin
alde a uz (5.1 I udia), segmen azio-mapak e abil zean neu ona-sa eak buel a zen di uen
i ee e an U-Ne -I a sa eak objek u mak oskopikoen zinema ika e a dinamika modeliza zeko
duen gai asuna asko handi u dela a gi dago, ba ez e e objek uen e o kizuneko posizioa en
zehaz asuna i dagokionez (alde ake a e az eko, 5.4 I udian e a 5.1 I udian age zen di en
adibideak be dinak di a). Izan e e, lehen aipa u den bezala, neu ona-sa e ba ek bideo ba en
o og amen denbo azko eboluzioa zehaz asunez i aga zeko bideoan age zen di en elemen u
bisualek (kasu hone an objek uen e a es aldu en segmen azioak) ja ai zen di uz en lege
isikoak modeliza u beha di u [16].
5.4 I udian U-Ne -I a sa eak objek u geldiko ba en denbo azko eboluzioa au esa ea en
p oblema ibialean a azo ik ez duela ikus en da (1. adibidea). Hala e e, segmen azio
seman ikoa en kasuan ge a zen zen bezala, neu ona-sa eak mugimenduan dauden objek u
xikien o ma zeha zak denbo an zeha man en zeko a azoak di uela a gi ge a zen da e e (2.
adibidea). Bes alde, U-Ne -I a sa eak objek u dinamikoak i udien e ze a ik desage u ahal
33
1
1
4
7
10
13
16 BCE
16 MSE
16 MAE
16
2345
I udia 5.4: E o kizuneko o og ama en i aga pena bu u zen duen neu ona-sa ea gale a- un zio
desbe dinekin lo zen di en i ee en adibideak.
di ela ule zen du e a hainba objek u aldi be ean ja ai zeko ahalmena du (2-4 adibideak).
Azkenik, objek uen a eko alke an ge a zen di en no abide aldake ak i aga zeko gai asuna
e e duela beha u dai eke (5. adibidea).
Segmen azio-mapez osa u ako (
−12, −9, −6, −3,
)
→ +3
mo ako sa e a-i ee a bi-
ko eak en enamendu-lagin bezala e abiliz, U-Ne -I a zehaz asun gehiago ekin objek uen
ibilbideak au esa en di u e a, ondo ioz, ibilbide hauek gobe na zen di uz en zinema ika e a
dinamika in ui iboki hobe o ikas en di u e e. Be az, en enamendu-zikloan e o kizuneko
o og amen objek uen segmen azio-mapak helbu u bezala e abiliz, neu ona-sa ea en a e a
guz ia objek u dinamikoen denbo azko eboluzioa en i aga penean ja zen da, hau bai a kasu
hone an gale a- un zioa xiki zeko bide baka a.
Hala e e, 5.1 I udian neu ona-sa eak objek uen o mak e a amaina zeha zak denbo an zeha
man en zeko zail asunak di uela beha u dai eke, be eziki
LBCE
e a
LMSE
gale a- un zioekin
en ena u di en sa een kasuan. A gi ikusi dai eke
LMAE
gale a- un zioa en bidez en ena u
den neu ona-sa eak i ee a kuali a iboki hobeagoak lo zen di uela: de inizio-maila handiagoko
i aga penak so zen di u. 5.5 I udian en enamendu-zikloan zeha e a es -mul zoe an gale a-
un zio zeha zekin en ena u di en sa eek lo u du en
Dice
koe izien ea en balioa adie az en
da. 5.5 I udia kon uan ha uz, e o kizuneko o og ama en i aga pena segmen azio-mapak
e abiliz bu u zen duen neu ona-sa e ba en ena zeko, lan hone an p oposa u di en hi u
gale a- un zioen a ean kuan i a iboki emai za hobe enak
LMAE
gale a- un zioak lo zen di u.
Ho ela, p oblema zeha z ba ebaz eko e abiliko den neu ona-sa e ba en ena ze ako o duan
gale a- un zioa en auke a ga an zi handiko diseinu-e abakia dela oga zen da.
34
Be i o e e, 5.1 I udian age zen di en adibideak es -mul zo ba e ik a e a di en o og amen
segiden bidez so u di ela azpima a u nahi da. Ho i dela e a, U-Ne -I a o oko ze-ahalmen
nahiko ona duela ikusi dai eke e a adibide be i haue an en enamendu-zikloan zeha ikasi ako
modelizazio isikoa en bidez isikoki ona ga iak di en i aga pen be iak egi eko gai asuna
duela beha zen da.
2 4 6 8 10 12 14
Blokea
0.45
0.50
0.55
0.60
0.65
DICE
BCE
MAE
MSE
2 4 6 8 10 12 14
Blokea
0.55
0.60
0.65
0.70
DICE
Tes BCE
Tes MAE
Tes MSE
I udia 5.5:
LBCE
,
LMSE
e a
LMAE
gale a- un zioekin en ena u ako U-Ne -I a neu ona-sa eek
en enamendu-zikloan zeha e a bloke bakoi za ekin lo u ako es -mul zoan lo zen di uz en
Dice koe izien ea en balioak.
6 T esnak
Lan hone an az e u di en neu ona-sa e guz iak Tenso Flow
5
e a Ke as
6
p og ama-libu u egiak
e abiliz diseina u, p og ama u e a en ena u di a. Ke as be eziki lagunga ia izan da, ikaske a
sakona en espa uan ohikoak di en ge uza asko jada de ini u a e a e abil zeko p es di u
e a. Gaine a, neu ona-sa eak en ena ze ako o duan e abilga iak di en un zio e a me odo
uga i eskain zen di u, e a sa een en enamendu-zikloa en oina ia den S ochas ic G adien
Descen algo i moa inplemen a u a dago. Bes alde, gehien e abil zen di en gale a- un zioak
de ini u a daude e e. Hau guz ia dela e a, Ke as p og ama-libu u egiak ikaske a sakoneko
neu ona-sa eekin lan egi ea en zail asun uga i e az en di u e a asko an nahiko konplexua izan
dai ekeen adimen a i iziala en a loa demok a iza zeko balio duen oso esna ga an zi sua da.
Sa eak en ena zeko Google Colab
7
ingu unea e abili da p oiek u hone an, neu ona-sa een
en enamendue an GPU uni a e ba e abil zeko auke a ema en duelako. I udiekin lan egi en
du en ikaske a sakoneko sis emak en ena zeko GPU ba e abil zea ezinbes ekoa dela a gi
ge a u zen hasie a ik: CPU on ba ean 16 o du beha zi uen en enamendu-zikloa Google
Colab-eko GPUa e abiliz ∼20 minu u an bu u zen da.
5Tenso Flow: h ps://www. enso low.o g
6Ke as: h ps://ke as.io
7Google Colab: h ps://colab. esea ch.google.com
35
Kodea
P oiek u osoa en inplemen azioa ondo engo bil egi digi alean esku aga i dago:
h ps://gi hub.com/jpe ez isai es/ g-in phys
7 Ondo ioak
Bideo ba en hainba o og amez osa u ako sekuen zia ba e ik abia uz e o kizuneko o og ama
ba i aga zeko gai asuna duen ikusmen a i izialeko sis ema ba e aiki zea ez da ze egina
e aza izan. Hasie a ba ean, zuzenean p ozesa u gabeko kolo ezko RGB i udiekin lan egi eko
ahalegin asko egin zi en, baina a akas a ik gabeko saiake a ani z egin ondo en kasu zeha z
hone an e o kizuneko o og ama au esa eko e a ezegokia zela a gi ge a u zen. Izan e e,
neu ona-sa eak a zealde geldiko a ondo be egi en zuen a en, objek u mugiko en ibilbideak
e a haien e o kizuneko posizioak i aga zeko gai asuna ez zuen ba e e ga a zen (5.1 I udia):
zail asun-maila handiagoko ze egin hau ikas eak sa ea en gale a- un zioa en minimizazioan
e agin a buiaga iegia zuen.
Ho i dela e a, neu ona-sa eak objek uen zinema ika e a dinamika ikasi ahal iza eko, i udie an
kodi ika u a dagoen in o mazioa e a adie azga iago ba ean jaso beha du. Sis emak bu u u
beha di uen i aga penen zail asun-maila e az eko helbu ua ekin, sa eak jaso zen di uen
da ue an abs akzio-maila handiago ba e abil zea beha ezkoa da: objek uen e a es aldu en
o ma e a posizioa soilik adie az en di uz en segmen azio-mapak baliaga iak izan dai ezke
hau lo zeko [
17
]. Segmen azio-mapak e abil zean, neu ona-sa eak objek uen zinema ika e a
dinamika ikas eko e abilga ia ez den in o mazio asko baz e u dezake e a ikaske a-p ozesuan
zeha be e a e a osoa bene an eba zi nahi dugun p oblema ako ga an zi sua den objek uen
denbo azko eboluzioan aplika u dezake. Ho ela, sa eak lege isikoak ule zeko baliaga iak ez
di en kolo eak, gainazal mo a desbe dinak, a gi asun-maila e a an zekoak di en p opie a eak
alde ba e a u zi ahal di u, zinema ika e a dinamika ikas eko e abilga iak di en ezauga iak
soilik man enduz.
Emai ze an ikusi dai ekeen bezala, ikusmen a i izialeko sis emak objek uen e o kizuneko
posizioak au esa eko nolabai eko gai asuna ga a zea lo u du (5.4 I udia), baina denbo an
zeha objek uek di uz en o ma zeha zak zehaz asun handiz man en zeko zail asunak di u.
No mala den bezala, o ma es e ikoak di uz en objek uekin a azo gu xiago di u, baina kuboak
edo konoak di en objek uen de inizio-maila kasu gehiene an i aga pene an jais en da, objek u
mo a ho iek di uz en e z zo o zak di ela e a. Hala e a guz iz e e, objek u mugiko en
ibilbideak i aga zeko lo u ako ahalmen hau neu ona-sa eak zinema ika i e a dinamika i
bu uzko nolabai eko ule men isiko in ui iboa ga a u duela adie az en du, ule men ho i ze egin
hau modu egokian ebaz eko baldin za beha ezkoa bai a.
Bes alde, gogoan izan beha da lan hone an landu den sis emak ikaske a-p ozesua bu u ze ako
o duan izan duen in o mazio-kopu ua muga ua izan dela, adin xikiko ume ba ekin konpa a u
ezke o. Izan e e, umeek haien ingu unea ekin in e akziona zeko auke a du e e a zinema ika en
e a dinamika en a loe an age zen den kausali a ea hobe o ule zeko oso esna baliaga ia
da hau. P oiek u hone an az e u den neu ona-sa eak, be iz, isikoki posibleak di en bideo
36
sin e ikoen kopu u handia beha uz ikasi du baka ik, be e ingu unean inolako e agin isiko ik
iza eko gai asunik gabe. Sis ema adimen suek e o kizuneko ge akizunei bu uz egi en di uz en
i aga penak hobe zeko haien ingu unea ekin in e akziona zeko ahalmena iza ea ga an zi sua
da, e a no abide hone an ike kun za-ahalegin handiak egin di a azken u ee an [5].
Nahiz e a U-Ne -I a neu ona-sa eak lo u di uen emai zak nahiko onak izan di en, lan
hone an diseina u den ikusmen a i izialeko sis emak muga naba iak di u. E o kizun hu bileko
ge akizunak au esan dezake baka ik e a memo ia xikia du ((
−12, −9, −6, −3,
)
→
+3
); epe luze a i aga penak egi eko gai asuna ga a zeko beha den ba ne-e ep esen azio
isikoa esku a zea p oblema askoz konplexuagoa da. Neu ona-sa een denbo azko i aga pen-
ahalmenak hobe zeko helbu ua ekin, lan ba zuk denbo a-segidekin lan egi eko so u zi en
Long Sho -Te m Memo y (LSTM) ge uzak ohiko konboluzio-ge uzekin konbina zen di uz e
[5][28].
Azkenik, lan hone an e o kizuneko o og ama ba en i aga pena egi eko
LMAE
gale a- un zioa
e abil zean kali a e hobeko i ee ak lo zen di ela beha u da (5.5 I udia). Hala e e, i aga -
pene an age zen di en o men de inizio-maila a e gehiago hobe zeko, gale a- un zio bezala
Gene a i e Ad e sa ial Ne wo k (GAN) [
7
] ba e abili da bes e lan ba zue an [
16
][
14
]. Sa e-
diseinu mo a hauen a zean dagoen oina izko ideia hu engoa da: i aga penak egi en di uen
sa ea en i ee en bene ako asuna neu zeko helbu ua ekin en ena zen den bes e neu ona-sa e
ba gale a- un zio bezala e abil zea, hau da, gale a- un zioa e e ikaske a-p ozesuan zeha
hobe zea.
37
E e e en ziak
[1]
P. W. Ba aglia, J. B. Ham ick, and J. B. Tenenbaum. Simula ion as an engine o
physical scene unde s anding. P oceedings o he Na ional Academy o Sciences, 2013.
[2]
J. B ownlee. How o choose loss unc ions when aining deep lea -
ning neu al ne wo ks, 2019. URL:
h ps://machinelea ningmas e y.com/
how- o-choose-loss- unc ions-when- aining-deep-lea ning-neu al-ne wo ks/
.
[3] F. Cholle . Deep lea ning wi h Py hon. Manning Publica ions Co, 2018.
[4]
J. Dzieza. How ha d will he obo s make us wo k?,
2020. URL:
h ps://www. he e ge.com/2020/2/27/21155254/
au oma ion- obo s-unemploymen -jobs- s-human-google-amazon.
[5]
C. Finn, I. J. Good ellow, and S. Le ine. Unsupe ised lea ning o physical in e ac ion
h ough ideo p edic ion. CoRR, 2016.
[6]
I. Good ellow, Y. Bengio, and A. Cou ille. Deep Lea ning. MIT P ess. URL:
h p:
//www.deeplea ningbook.o g.
[7]
I. J. Good ellow, J. Pouge -Abadie, M. Mi za, B. Xu, D. Wa de-Fa ley, S. Ozai , A. C.
Cou ille, and Y. Bengio. Gene a i e ad e sa ial ne wo ks. A Xi , 2014.
[8]
U. Goswami, edi o . The Wiley-Blackwell handbook o childhood cogni i e de elopmen .
Wiley-Blackwell, 2010.
[9] K. He, G. Gkioxa i, P. Dollá , and R. B. Gi shick. Mask R-CNN. CoRR, 2017.
[10]
J. Jo dan. Con olu ional neu al ne wo ks, 2017. URL:
h ps://www.je emyjo dan.me/
con olu ional-neu al-ne wo ks/.
[11]
J. Jo dan. An o e iew o seman ic image segmen a ion, 2018. URL:
h ps://www.
je emyjo dan.me/seman ic-segmen a ion.
[12] D. P. Kingma and J. Ba. Adam: A me hod o s ochas ic op imiza ion. CoRR, 2015.
[13]
L. Nie adzik. Loss unc ions o segmen a ion, 2018. URL:
h ps://la s76.gi hub.
io/2018/09/27/loss- unc ions- o -segmen a ion.h ml.
[14]
W. Liu, W. Luo, D. Lian, and S. Gao. Fu u e ame p edic ion o anomaly de ec ion -
A new baseline. CoRR, 2017.
[15]
D. Ma . Vision : a compu a ional in es iga ion in o he human ep esen a ion and
p ocessing o isual in o ma ion. MIT P ess, 2010.
[16]
M. Ma hieu, C. Coup ie, and Y. LeCun. Deep mul i-scale ideo p edic ion beyond mean
squa e e o . CoRR, 2016.
38
[17]
N. Ne e o a, P. Luc, C. Coup ie, J. J. Ve beek, and Y. LeCun. P edic ing deepe in o
he u u e o seman ic segmen a ion. CoRR, 2017.
[18]
S. Na ayanan. An upda e abou ace ecogni ion on Facebook, 2019. URL:
h ps:
//abou . b.com/news/2019/09/upda e- ace- ecogni ion/.
[19] J. Piage . The psychology o he child. Basic Books, 1969.
[20]
D. L. Poole and A. K. Mackwo h. A i icial in elligence : ounda ions o compu a ional
agen s. Camb idge Uni e si y P ess, 2010.
[21]
D. L. Poole, A. K. Mackwo h, and R. Goebel. Compu a ional in elligence : a logical
app oach. Ox o d Uni e si y P ess, 1998.
[22]
R. Rioche , M. Ynocen e Cas o, M. Be na d, A. Le e , R. Fe gus, V. Iza d, and
E. Dupoux. In phys: A amewo k and benchma k o isual in ui i e physics easoning.
CoRR, 2018.
[23]
O. Ronnebe ge , P. Fische , and T. B ox. U-ne : Con olu ional ne wo ks o biomedical
image segmen a ion. CoRR, 2015.
[24]
A. Roseb ock, edi o . Deep Lea ning o Compu e Vision wi h Py hon. PyImageSea ch,
2017.
[25]
C. E. Shannon. XXII. p og amming a compu e o playing chess. The London, Edinbu gh,
and Dublin Philosophical Magazine and Jou nal o Science, 1950.
[26]
E. Shelhame , J. Long, and T. Da ell. Fully con olu ional ne wo ks o seman ic
segmen a ion. CoRR, 2016.
[27] R. Szeliski. Compu e ision : algo i hms and applica ions. Sp inge , 2011.
[28]
Y. Zhou, H. Dong, and A. El Saddik. Deep lea ning in nex - ame p edic ion: A
benchma k e iew. IEEE Access, 2020.
39
