Garuneko erretrakzioa robotizatzeko kontrolalgoritmo adimentsuak

Ga uneko e e akzioa obo iza zeko kon ol-
algo i mo adimen suak
Dok o ego Tesia
Egilea: Ibai Incia e Hidalgo
Zuzenda ia: D . Ekai z Zulue a Gue e o
Kon ol au oma iko e a sis emen ingenia i za saila
Euskal He iko Unibe si a ea / Uni e sidad del País Vasco
(cc) 2024 Ibai Incia e Hidalgo (cc by 4.0)
ii
LABURPENA
U e o 22,6 milioi pazien ek jasa en di uz e lesio neu ologikoak, e a ho ie a ik 13,8
milioik ebakun za beha du e (Dewan e al., 2019). Ebakun za ho ie an, neu ozi ujauak
egin beha duen p ozedu e ako ba ga una en e e akzioa de i zon maniob a da.
Teknika hau ezinbes ekoa da neu oki u gia egi en du en langileen esku ha zea beha
du en ga uneko gune kal e ue a a sa u ahal iza eko.
I udia 1: Ga uneko e e akzioa
Hala e e, e e akzioa egi e akoan, ehunen esposizio egokia lo zeko ezinbes eko
p ak ika izan a en, ga uneko lesioen edo kal een in ziden zia ez da a a oa, ga uneko
kal ea en de inizioa en edo kon uan ha zen dena en a abe a alda zen da, e a % 47 a
i i s dai eke edema kon uan ha zen bada.
O o ha , ebakun za os eko gabezia klinikoki esangu a suak kasuen %3 e a %9 a ean
age zen di a, nahiz e a p ozedu a en zail asuna en a abe a aldakun za handia dagoen.
Ebakun za luzee an, ga una babes eak beha ezko segu asun baldin zak be e zen di uen
moni o izazio e a/edo kon ol sis ema beha du. Tes uingu u ho e an, obo ika
ki u gikoa kon uan ha u beha eko auke a gisa age zen da, obo ki u gikoek zi ujauei
ze egin ba zuk egi en lagundu diezaieke elako, gai k i ikoene an zen a u ahal iza eko.
Ho ela, ebakun zan du en nekea mu iz en da e a, be az, aka sak egi eko
p obabili a ea mu iz en da. Azken ho i oso ga an zi sua da, 2016an zeha Es a u
Ba ue an aka s medikoak izan bai zi en hi uga en he io za kausa.
Ike ke a lan honen helbu u nagusia da neu oki u gia en es uingu uan ga una en
e e akzio p ozesua en op imizazio esangu a su ba lo zea da, p ozesua en obo izazioa
ahalbide zen du en eknologien in eg azioa en bi a ez. P ozesu hau bi e emu
ezbe dine a ik hu bilduz bu u u da. Lehenik, ba iaziozko kalkulu eknike an
oina i u ako algo i moak diseina u di a, ibilbide op imoak lo zeko helbu ua ekin.
Bes alde, adimen a i izialean oina i u ako me odoak e abili di a, sis ema obo ikoa i
hainba egoe a kliniko ikas eko e a egoki zeko gai asuna emango dio enak, e a ho ela
be e e endimendua e a e aginko asuna hobe uko di a ingu une mediko konplexue an.
i
SUMMARY
I is es ima ed ha 22.6 million pa ien s su e neu ological inju ies each yea , o
which 13.8 million equi e su ge y. Du ing he pe o mance o hese su ge ies, one o he
p ocedu es ha he neu osu geon mus pe o m is he manoeu e known as b ain
e ac ion. This p ocedu e is pe o med in o de o open a space ha allows he su geon
o each deepe in o he b ain, which would o he wise be inaccessible due o ana omical
complexi y and limi ed isibili y in he su gical ield.
Figu e 1: B ain e ac ion
Howe e , in he pe o mance o e ac ion, despi e being an essen ial p ac ice o
adequa e issue exposu e, he incidence o b ain inju y o damage is no uncommon and
a ies depending on he de ini ion o conside a ion o b ain damage and can be as high
as 47% i oedema is conside ed.
In gene al, clinically signi ican pos ope a i e de ici s occu in 3-9% o cases, al hough
he e is conside able a ia ion depending on he di icul y o he p ocedu e. P o ec ion
o he b ain du ing p olonged su ge y equi es a moni o ing and/o con ol sys em ha
mee s he necessa y sa e y equi emen s. In his con ex , su gical obo ics eme ges as an
op ion o conside , as su gical obo s can assis su geons in pe o ming some asks,
allowing hem o ocus on he mos c i ical issues. This educes hei a igue du ing he
ope a ion and hus he likelihood o mis akes. The la e is e y impo an as medical
e o s we e he hi d leading cause o dea h in he Uni ed S a es in 2016.
The main objec i e o his esea ch wo k has been o ake s eps owa ds achie ing a
signi ican op imisa ion o he b ain e ac ion p ocess in he con ex o neu osu ge y by
obo ising he p ocess. This p ocess has been ca ied ou in wo ways. Fi s ly, algo i hms
based on a ia ional calcula ion echniques ha e been designed wi h he aim o ob aining
op imal ajec o ies. On he o he hand, me hods based on a i icial in elligence ha e
been used, which will p o ide he obo ic sys em wi h he abili y o lea n and adap o
di e en clinical si ua ions, hus imp o ing i s pe o mance and e iciency in complex
medical en i onmen s.

i
ESKERRAK
Has eko, ike kun za lan honen u o e izan den pe sona i: Ekai z Zulue a Gue e o
dok o ea i akaslea. Be a en za ni e eske on zin zoena. Tesi hau ez li za eke posible
izango zu e ezagu za, aholku ezin hobe, ike kun za ako in e es e a egindako lan guz ia
gabe. Eske ik asko uneo o ni i lagun zeko izandako denbo aga ik e a zu egandik jaso
dudan kon ian zaga ik.
P oiek u honen hasie a ik, ni e ideiak az e zeko aska asuna eman zidan, e a neu e
mugak gaindi ze a anima u ninduen, be ie e ja e a i eki ha ko ba ekin. Hobekun za-
a loak iden i ika zeko e a inda zeko duen gai asunak e a ezagu zak modu a gi e a
zeha zean ansmi i zeko duen ebe asunak alde naba mena ma ka u zu en ni e
ikaskun zan.
P ozesua en une desa ia zaileene an, bideak zalan zazkoa zi udienean, zuen enpa ia
e a ule mena e e ai o u nahi di u . Ado ez e a mo ibazioz be e iko hi zak eskain zeko
zuen gai asunak, bai a egoe a zailene an e e, lagundu zidan p oiek u hau beha bezala
bu u zeko beha nuen ikuspegia i e a i aunko asuna i eus en.
Naba men zekoa a ikuluak bidal zeko p ozedu an Ekai zek emandako aholku
guz iak e a egindako lana. Eske ik asko. Buka zeko, a lo akademiko ik ha ago, mila
eske pe sonalki emandako a uaga ik. Bene ako plaze a izan da zu ekin lan egi ea.
Tu o eez gain, bes e pe sona ba zuen lana e a p es u asuna e e ai o u e a eske u
nahiko nuke. Lehenik e a behin Iñigo Elguea eske ik asko denbo a hone an zeha
emandako lagun za enga ik. Ondo en, Ka mele Gomezen e a Ne ea Longasen lagun za
eske u nahiko nuke, alde ba e ik bu muina en i udia egi eaga ik e a bes e ik i udien
kali a ea e a o ma ua hobe zen lagun zeaga ik.
ii
Buka zeko, be eziki eske ak eman nahi dizkio La ai zi esi honen azken
zuzenke e an emandako lagun zaga ik, e a ba ez e e, p ozesu hone an guz ian zeha
emandako baldin za ik gabeko babesaga ik. Zu e pazien zia e a ule mena un sezko
zu abea izan di a au e a egi eko, bai a une zailene an e e.
Mila eske guz ioi!
iii
AURKIBIDEA
LABURPENA .................................................................................................... II
SUMMARY ....................................................................................................... IV
ESKERRAK ..................................................................................................... VI
AURKIBIDEA ............................................................................................... VIII
IRUDIEN AURKIBIDEA .................................................................................. X
TAULEN AURKIBIDEA ............................................................................... XII
GLOSARIOA ................................................................................................. XIII
1 SARRERA ..................................................................................................... 1
1.1 AURREKARIAK ......................................................................................... 2
1.2 Helbu uak ..................................................................................................... 6
1.3 Hipo esiak .................................................................................................... 7
1.4 Me odologia .................................................................................................. 8
1.5 Tesia en egi u a ........................................................................................... 8
2 ARTEAREN EGOERA .............................................................................. 10
2.1 Sa e a ........................................................................................................ 10
2.2 Me odo klasikoak ....................................................................................... 12
2.3 Kon ol op imoa ......................................................................................... 21
2.4 Adimen a i izialean oina i u ako me odoak ............................................. 28
ix
2.5 Labu pena e a ondo ioak ........................................................................... 47
3 GARUNAREN ERRETRAKZIOA ROBOTIZATZEKO KONTROL
ESTRATEGIEN DISEINUA ETA SIMULAZIOA ................................................ 51
3.1 Sa e a ........................................................................................................ 52
3.2 Kalkulu ba iazionaleko eknike an oina i u ako kon olagailua ............... 52
3.3 Inda ze ikaskun zako eknike an oina i u ako kon olagailua. ................ 64
4 ONDORIOAK ............................................................................................. 82
4.1 Ondo ioak ................................................................................................... 82
5 ETORKIZUNEKO ILDOAK ...................................................................... 88
6 ARGITALPEN ZERRENDA ...................................................................... 94
6.1 Aldizka ie ako a gi alpenak ....................................................................... 94
6.2 Aldizka ie ako bes e a gi alpen ba zuk ...................................................... 94
7 BIBLIOGRAFÍA ......................................................................................... 96
1
1 SARRERA
Kapi ulu honek egindako ike ke a lana sakon ule zeko beha ezko oina i
eo ikoa e a es uingu ua eskain zen di u. I aku lea i hasie a ik az e gaian koka zeko
auke a emango dion e e e en zia espa u a gi ba eskain zea da helbu ua.
Lehenengo a alean gaia en au eka iak jo a zen di a, ga uneko e e akzioa ekin
lo u ako egoe a en az e ke a zeha za eginda. Au eko ike ke ak az e zen di a,
li e a u ako au kikun za ik ga an zi suenak azal zen di a e a a ea en egoe a inka zen
da, lan honek es ali nahi di uen in e es a loak e a balizko ezagu za hu suneak
iden i ika zea en.
Ja aian, ondo engo a ale an, ike ke a en helbu uak e a hipo esiak zehaz en di a.
Lehenengo a alean ike ke a gida zen du en helbu u o oko ak e a zeha zak zehaz en
di a, lo u nahi di en helbu uak eza iz. Ondo engo a alean, hipo esi esangu a suenak
au kez en di a, au eka ie a ik e a helbu ue a ik abia u a o mula u a, ob a en
ga apenean kon as a uko di enak.
Ja aian dagoen a alean lan hau egi eko e abili den me odologia desk iba zen da.
Azkenengo a alean esia en egi u a en ikuspegi o oko a eskain zen da, e a
ondo en da ozen kapi uluak nola an ola u a dauden azal zen. Ondo engo kapi ulue ako
bakoi za en desk ibapen labu a egi en da, bakoi zak gaia en ga apenean e a
adie azi ako helbu uen lo penean nola lagun zen duen adie azi a. Ho ela, i aku lea
gida u nahi da lana en an olake an ba ena, ike ke a en i aku ke a kohe en e e a logikoa
e az ea en.

2
1.1
AURREKARIAK
U e o 22,6 milioi pazien ek jasa en di uz e lesio neu ologikoak, e a ho ie a ik 13,8
milioik ebakun za beha du e (Dewan e al., 2019). Ebakun za ho ie an, neu ozi ujauak
egin beha duen p ozedu e ako ba ga una en e e akzioa de i zon maniob a da.
Teknika hau ezinbes ekoa da neu oki u gia egi en du en langileen esku ha zea beha
du en ga uneko gune kal e ue a a sa u ahal iza eko.
Ga un e e akzioa ga una en za i ba kon uz mugi zean edo banan zean da za.
P ozedu a hau zi ujaua i ga una en ba uko za i sakonagoe a a i is eko espazio ba
i eki zeko helbu ua ekin egi en da; bes ela, konplexu asun ana omikoaga ik e a e emu
ki u gikoko ikusga i asun muga uaga ik esku aezinak izango li a eke ga un za i ho iek.
I udia 2: Ga una en e e akzioa
Hala e e, e e akzioa egi e akoan, ehunen esposizio egokia lo zeko ezinbes eko
p ak ika izan a en, ga uneko lesioen edo kal een in ziden zia ez da a a oa (Fukamachi
e al., 1985; Kal as & Li le, 1988; Rosenø n, 1989; Yokoh e al., 1987), ga uneko
3
kal ea en de inizioa en edo kon uan ha zen dena en a abe a alda zen da, e a % 47 a
i i s dai eke edema kon uan ha zen bada. (Roca & Ramo ino, 2023)-k egindako lana en
a abe a (Benne e al., 1977), e e akzioan ga una en gainazalean egi en den p esioak
hainba kal e e agi en di u e e akzioa en magni udea en, exekuzio denbo a en e a
aplikazio lekua en a abe a. P esio ho i ondoko ga un ehune a ans e i zen da, e a ge o
de o mazioa e a odol hodien i xie a pa ziala edo osoa e agi en du, e a ondo ioz,
ga uneko zelulen oxigeno ho nidu a u i u egi en da. Ga uneko kal ea en la i asuna
zenbai ak o e en a abe akoa da, hala nola: e e ak ila en p esioa en banake a,
geome ia, p opie a e isikoak e a ga un ehun mo a, p esio baskula a e a a ze apena en
i aupena (Dujo ny e al., 1980).
Hala e e, ho iek ez di a e e akzioan kon uan ha u beha di en ak o e baka ak;
izan e e, g abi a eak, odol e a likido ze eb oespinala en gale ak, edo agen e anes esiko
ba zuen ondo ioek ga una en o man 20 mm-ko de o mazio ez zu una e agin dezake e
ebakun zan zeha (DeLo enzo e al., 2012; Fallens ein e al., 1969; Ha kens e al., 2003;
Wa ield e al., 2002). Ho ek, ga uneko zu un asuna en aldae a ekin ba e a (A ani e
al., 2018; Budday e al., 2019; Chambe s e al., 2008; DeLo enzo e al., 2012; Fallah e
al., 2020; Fallens ein e al., 1969; Ky iacou e al., 2002), a e zailagoa egi en du
e e akzio egokia lo zea.
Zi ujau Neu ologikoen Elka ea en a abe a, u e e di baino gehiago i au en du en
50.000 neu oki u gia egi en di a Es a u Ba ue an baka ik (Ame ican Associa ion o
Neu ological Su geons, 2021); e a (Benne e al., 1977)-k adie az en du e, gaine a,
ga uneko ehunak es esa/ en sioa jasa en has en di ela o du lau den ba iga o ondo en.
(Spe zle & Sanai, 2012)-k adie azi/e egis a u du e bu ezu eko oina ian egindako
4
ki u gie an e e akzioa ekin lo u ako konplikazioen % 10eko in ziden zia du ela.
Konplikazio ho ien a ean hema oma pa enkima ikoak, a asia, hemipa esia e a
so go asuna zeuden. Gaine a, a zealdeko zi kulazioko aneu isma ki u gia i bu uzko
ike ke a ba ek jakina azi zuen pazien een %4ak e e akzioak e agindako ga uneko
lesioak jasan zi uela (Rice e al., 1990). Eskualde pinealeko umo een kasuan, hamabi
pazien e a ik bik ikusmen aka s i aunko ak izan zi uz en, e a egileek lobulu
okzipi ala en e e akzioa i ego zi zizkio en aka s ho iek (Nazza o e al., 1992).
Ga uneko e e akzioa egi ean e a ondo en ge a zen di en mekanismo zeha zak e a
aldake a hemodinamiko pa enkimalak ez di a zeha z ezagu zen. Li ekeena da ga unean
egi en den p esioa ekin e laziona u a ego ea, odol pe usioa mu iz ea edo e e ea e a
iskemia e aginda (Roca & Ramo ino, 2023).
O o ha , ebakun za os eko gabezia klinikoki esangu a suak kasuen % 3 e a %9 a ean
age zen di a, nahiz e a p ozedu a en zail asuna en a abe a aldakun za handia dagoen
(And ews & B ingas, 1993). Ebakun za luzee an, ga una babes eak beha ezko
segu asun baldin zak be e zen di uen moni o izazio e a/edo kon ol sis ema beha du.
Tes uingu u ho e an, obo ika ki u gikoa kon uan ha u beha eko auke a gisa age zen
da, obo ki u gikoek zi ujauei ze egin ba zuk egi en lagundu diezaieke elako (Muiioz
e al., 2000; Zo n e al., 2016), gai k i ikoene an zen a u ahal iza eko. Ho ela,
ebakun zan du en nekea mu iz en da e a, be az, aka sak egi eko p obabili a ea
mu iz en da. Azken ho i oso ga an zi sua da, 2016an zeha Es a u Ba ue an aka s
medikoak izan bai zi en hi uga en he io za kausa (Maka y & Daniel, 2016).
5
Alde di ho iek guz iak kon uan ha u a, lan hau neu oki u gian ga una en
e e akzio e agike e a ako obo lagun zaile ba en kon ol sis ema diseina zea e a
simula zea du gai nagusi za . E e akzioa egi eko obo lagun zaile/kolabo a ibo ba ean
inplemen a u ako kon ol sis emak helbu u hauek izango li uzke:
1. Pazien ea en segu asuna e a ongiza ea be ma zea.
2. Ebakun za gelan lan egi en du en zi ujauen e a gaine ako medikuen
segu asuna e a ongiza ea be ma zea.
3. E e akzioan, nahi den posizio a nahi di en baldin ze an i is ea.
4. Egindako inda a e a e e akzioa en i aupena minimiza zea.
Goian adie azi denez, ga una en p opie a e mekanikoak adina en e a sexua en,
eskualdea en e a ehun mo a en a abe a alda dai ezke. Li e a u a akademikoak
adie az en du ga una en zu un asuna handi u egi en dela adina ekin (Bils on, 2011).
P opie a e mekanikoak, adin ba e ik bes e a ez ezik, ga uneko eskualde ba e ik bes e a
e e alda zen di a. Ga una en p opie a e mekanikoak asko alda zen di a eskualde ba e ik
bes e a, be e mik oegi u a en he e ogeneo asuna dela e a. Desbe din asun handiak
daude ma e ia g isa en e a ma e ia zu ia en a ean, bai e a hainba egi u a
ana omiko en a ean e e, hala nola ko exa en, ganglio basala en, ko oa adia a e a
go pu z callosuma en a ean.
E emuen a eko aldakun za ho iek naba menagoak izan dai ezke zaha za oa ekin
(Basilio e al., 2024; Budday e al., 2020). Azpima a u beha da, halabe , adibidez,
umo e ehunak, esa e ako glioblas oma ba enak, zu un asun naba men handiagoa duela
umo ea ez den ga un ehuna ekin alde a u a. Zu un asuna en a eago ze ho i
6
umo ee an zelulaz kanpoko ma izea en den si a e handiko zelulen e a desan olake a en
ondo ioz izan dai eke (Bils on, 2011). Gaine a, ki u gian zeha , ga una osa zen du en
ehunen p opie a e mekanikoak alda dai ezke zenbai ak o e en ondo ioz, hala nola:
ehunen hid a azioa, ins umen u ki u gikoek aplika zen du en p esioa e a ai ea en
esposizioa. Aldake a ho iek umo een e a umo e gabeko ehunen a eko be eizke a zaildu
dezake e (Budday e al., 2019; Fallens ein e al., 1969; Ha kens e al., 2003; K en e al.,
2024; Ky iacou e al., 2002; Mille e al., 2010a; Wea e e al., 2012).
Au eko guz ia kon uan ha u a, e e akzioa egi en duen obo a en kon ol
sis emak, egindako inda a e a e e akzioa en i aupena gu xi zeaz gain, ga una en
p opie a e mekanikoen aldako asune a egoki u beha du e a, aldi be ean, e e akzioan
egi en den inda a minimiza u.
1.2
HELBURUAK
Ike ke a lan honen helbu u nagusia da neu oki u gia en es uingu uan ga una en
e e akzio p ozesua en op imizazio esangu a su ba lo zea da, p ozesua en obo izazioa
ahalbide zen du en eknologien in eg azioa en bi a ez. Helbu u ho i lo zeko, kon ol
algo i moen ga apena, diseinua e a simulazioa p oposa zen da; algo i mo ho iekin,
maniob a en doi asuna e a segu asuna hobe zeaz gain, p ozesua en e aginko asuna e a
egoki zaile asuna a eago u nahi di a.
Helbu ua nagusi ho i biga en mailako helbu u haue an bana u dai eke :
• Ga una en e e akzioa obo iza zea ahalbide zen duen kon olagailu ba en
diseinua e a simulazioa iza ea, kon ol eknika op imoen bidez, sis ema
obo ikoak ga una en e e akzioa zeha z meha z egi eko auke a emango duena,

7
ga uneko egi u e an kal eak egi eko a iskua gu xi u a e a denbo a ki u gikoak
op imiza u a.
• Adimen a i izialean oina i u ako eknikak e abiliz ga una en e e akzioa
obo iza zea ahalbide zen duen kon olagailu ba en diseinua e a simulazioa
iza ea, sis ema obo ikoa i hainba egoe a kliniko ikas eko e a egoki zeko
gai asuna emango diona.
1.3
HIPOTESIAK
1.3.1
1. hipo esia
Lan hone an ga una en po ae a mekanikoa ma e ial hipe elas iko ba ena ekin ba
da o ela us e da/suposa zen da. Zehazki, lan hone an Ogden e edua ha uko da (Ogden,
1972).
Ogden en sio ene gia den si a e un zioa honela de ini zen da:
W=#µ!
α!&λ"
#!+λ$
#!+λ%
#!)
&
!'" *
non:
• λ"i de o mazio uni a e nagusia den,
• α"i , µ i ma e ial kons an eak di en,
• N un zioa en e mino kopu ua den.
Fun zio ho i jo zen da kau xu/goma mo ako ma e ialen de o mazio handien so a
desk iba zeko un zio zuzenene ako ba .
8
1.3.2
2. hipo esia
P oposa zen da, ingu une simula u ba e ik ingu une e eal ba e a ans e i zeko
me odo egokiak eza iz, bai op imizazioak bai simulazio ingu unean diseina u edo
ikasi ako poli ikak baliozkoak iza en ja ai uko du ela e eali a ean heda zen di enean.
Ho ek esan nahi du simulazioan e aginko ak di en e abakiak, es a egiak edo
jokabideak e aginko man endu beha di ela mundu e ealean aplika zen di enean,
be ie e bi ingu uneen a eko ezbe din asunak minimiza zen di uz en ans e en zia
p ozedu a e a eknika jakin ba zuk e espe a uz. Hipo esi honen baliozko asuna
simulazioan un sezko aldagaiak e a dinamika ga an zi suenak beha bezala i udika zen
di ela ziu a zeko gai asunean da za, ingu une e eale ako an sizioak sis ema
op imiza ua en e endimendua i nega iboki e agin ez diezaion.
1.4
METODOLOGIA
Dok o ego esi hone an egindako lana lau ase an bana u da. Alde ba e ik, hu enez
hu en be ikuspen bibliog a ikoa e a emai zen zabalkundea bil zen di uz en hasie ako
e a azken aseak daude. Bes e ik, eknikoago za jo li ezkeen lana i dagozkion a eko
aseak daude, e a ho iek bi an bana dai ezke: ba e ik, ga una en e e akzioa ba iaziozko
kalkuluan oina i u iko kon ol eknikak e abiliz obo izazioa ahalbide uko duen
kon olado ea en diseinua e a simulazioa egongo li za eke. E a, bes e ik, adimen
a i izialean oina i u ako eknikak e abiliz kon olagailua diseinua e a simulizoa.
1.5
TESIAREN EGITURA
Dok o e za esi honek hu engo egi u a hau du: 2. kapi uluan, esi hone an landu ako
gaien ingu uko li e a u a en az e ke a ba au kez uko da. 3. kapi uluan, ba iazio
9
kalkuluan oina i u ako kon ol es a egia en diseinu e a simulazioa e a p oposa u ako
eknika adimen sue an oina i u ako kon ol es a egia en diseinu e a simulazioa. 3.
Kapi uluan e e, diseina u ako kon ol es a egiekin lo u ako emai zen au kezpena e a
ez abaida jaso di a. 4. Kapi uluan be iz, a e a ako ondo ioak au kez uko di a. Azkenik
5. Kapi uluan, ike kun za lan honen ondo en e o kizuneko ildoak desk iba uko di a.
10
2 ARTEAREN EGOERA
Kapi ulu honek lan hau beha bezala ule zeko e a es uingu uan ja zeko
in o mazioa daka . Kapi ulu hone an, jo a u di en gaiei bu uz lan hone an zeha
egindako a ea en egoe a en analisia au kez en da. Lehenik e a behin, kon ol sis ema
klasikoak desk iba u di a. Ondo en kon ol adimenduna en eknikei bu uzko
li e a u a en az e ke a au kez uko da. Azkenik, li e a u az e ke a en labu pena e a
ondo ioak desk iba uko di a.
2.1
SARRERA
Me ka uan dauden obo gehienak posizio kon ola du en gailuak di a, e a ho i
eske , bes e objek u edo gainazal ba zuekin zuzeneko kon ak ua beha ezkoa ez den
ze eginak egi ea e az en zaie. Kon ol mo a ho i ap oposa da posizioa en zehaz asuna
un sezkoa den e a ingu uko ingu unea ekin elka ekin za isikoa espe o ez den
ope azioe a ako. Hala e e, ezauga i ho ek zuzeneko manipulazioa edo kon ak ua
daka en ja due e an aplika zea muga zen du, hala nola piezen mun ake a edo
un zionamendua ingu une aldako e an, non kon ak ua saihes ezina den e a sis emak
asaldu a za in e p e a u dezakeen. In e p e azio ho ek kon olagailua en e an zunak
e agin di zake, e an zunen ondo ioa ukipen inda handi ba ekin alkak izan dai ezke, e a
ho ek obo a e a elka ekin zan duen objek ua kal e u di zake.
Muga ho iei au e egi eko, inda ak kon ola zeko es a egiak ga a u di a, obo ek
posizioa edo ibilbidea man en zea ez ezik, bes e objek u ba zuekin kon ak uan zeha
egi en den inda a kudea zea e e ahalbide zen du enak. Es a egia ho iek ezinbes ekoak
di a osagai delika uen mun ake a bezalako ze egine a ako, non posizio zehaz asuna e a
17
No malean, kon olagailu ho i asaldu ak zuzen zeko e a sis ema en sendo asuna
hobe zeko e abil zen da, modela u gabeko aldakun za e a aka sen au ean.
Modu i is ako eko kon olagailuak gainazal i is ako a de ini zen du, hau da,
aplikazio bakoi ze ako be eziki diseina u ako un zio ma ema iko ba . Sis ema en egoe a
gainazal ho e a a i is en denean, kon ol p ozesuan be an ego ea espe o da. Sis ema
i is a zea en gainazalean man en zeko, SMCk no malean osagai e en ba ba ne ha zen
duen kon ol lege ba e abil zen du, sis ema en e an zuna alda zeko doi u dai ekeena,
i is a ze azale a desbide a zeak minimiza zeko.
Azka e a zehaz asunez doi zeko gai asun ho ek modu i is ako ean kon ola
be eziki e abilga ia bihu zen du sis ema en baldin zak azka alda zen di en edo sis ema
e eduek dinamika ga an zi su guz iak guz iz jaso ezin di uz en aplikazioe an. Adibidez,
obo ikan e abil zen da doi asun handiko e agingailuak kon ola zeko, ibilgailu
sis eme an egonko asuna hobe zeko e a indus ia ae oespazialean hegazkinen hegaldi
dinamika hainba ingu umen baldin ze an kudea zeko.
Modu i is ako ean kon ola zea en aban aila nagusie ako ba da sis ema en
pa ame oen aldake ekiko e a kanpoko asaldu en p esen zia ekiko sendo asuna.
Figu a 1: Con ol en modo deslizan e

18
Kon olagailu egoki zailea en an ze a, modu i is ako eko kon olagailua e e e abili
ohi da ibilbidea en ondo engo ze egine an (Baek e al., 2016; Goswami & Padhy, 2018;
Sa iyildiz e al., 2016; Wu e al., 2019). (Calanca e al., 2014)-n SMC ba p oposa zen
da, gizakia en e a makina en a eko elka e agin sis ema ba ean e agingailu elas iko
ba zuk kon ola zeko, non ope ado eak aplika zen di uen inda ak asaldu a
baz e ga i za ha zen di en.
Hala e e, e agozpen naba men ba da
cha e ing
izenez ezagu zen di en maiz asun
handiko enomenoen p esen zia. E ek u ho i ge a zen da sis ema i is aga ia en
gainazalean man en zea en kon ol legea maiz alda zea en ondo ioz, e a ho ek
higadu a mekanikoa e a sis ema en osagaien bizi za mu iz ea e agin di zake (Guldne
& U kin, 2000). Cha e ing-a a in zeko ga a u di a zenbai eknika, hala nola kon ol
anpli udea en modulazioa e a e engabeko hu bilke a un zioen e abile a kommu azio
bi a en o dez –esa e ako, Lyapuno -en egonko asuna (Kase a e al., 2017), edo
oszilazio au kako SMC in eg al ba en bidez (Bei an and e al., 2021). Me odo ho i ez
da e abili ohi asaldu ak e a ez lineal asunak dauden obo en inda a edo inpedan zia
kon ola zeko ze egine a ako.
2.2.4
Kon ol sis ema hib idoak
Kon ol sis ema hib idoak ohiko kon ol sis emak baino sis ema mo a
so is ika uagoak di a. Sis ema ho iek dinamika ja ai uz osa u a daude, sis ema isikoen
po ae a jaso zen du enak, e a dinamika disk e uz, gailu konpu azionalen po ae a
jaso zen du enak. Be az, kon ol sis ema hib ido ba kommu azio sis ema za ha
dai eke, non dinamika e edu dinamikoen kopu u ini u ba en bidez desk iba zen den
19
(ekuazio di e en ziale an emanak), e eduen a ean alda zeko a au mul zo ba ekin ba e a,
non a au ho iek adie azpen logikoen bidez i udika u dai ezkeen.
Jokabide e engabe zein disk e uen bikoiz asun ho i dela e a, kon ol sis ema
hib idoak modu e aginko agoan molda dai ezke ha dwa ea en e a so wa ea en a eko
elka ekin za konplexua beha den ingu une e a egoe a aldako e a a. Dinamika mo a
desbe dinak kudea zeko e a sink oniza zeko gai asun ho ek sis ema hib idoak be eziki
e abilga iak bihu zen di u aplikazio indus ial e a eknologiko au e a ue an, hala nola
obo ikan, p ozesuen au oma izazioan e a ibilgailu au onomoe an (Acqua & Lomba di,
2011).
I udia 5: kon ol diag ama
(D. Zhang & Wei, 2017)-k kon olagailu hib ido ba p oposa u zu en, p opo zional
in eg al de iba u ba (PID) e eduzko e e e en ziazko kon olagailu moldaga i ba ekin
(MRAC) konbina zen duena, manipula zaile obo iko ba ez hel ze ze eginak egi eko.
Ikuspegi hib ido ho ek bi kon ol me odoen inda osaga iak ap obe xa u nahi di u.
PID kon olagailuak nahas eei e an zun azka a e a e aginko a ema en die, diseinu
sinplea ekin e a pa ame o inkoekin; MRAC-ek, aldiz, aldake e a a e a sis ema en
20
dinamikan aldake a ezezagune a a moldaga i asuna eskain zen du, be e pa ame oak
denbo a e ealean egoki uz e endimendua op imiza zeko. Hi u kon olagailuak alde a u
ondo en, PID+MRAC kon olagailu hib idoak konbe gen zia abiadu a handiagoa e a
e endimendu hobea izan zuen, PID edo MRAC kon olagailu baka ekin alde a u a.
Be e alde ik, (Rahmani e al., 2019) -ek PID ba konbina u zu en 7 ask asun maila
exoeskele o obo iko ba e ako i is a ze moduko kon ola ekin. PIDak ja aipen
e endimendu handia badu e e, i is a ze moduko kon ola sendoa da kanpoko
dinamika ekiko e a, be az, kon ol sis ema en e endimendua hobe zen du e edue an
oina i u ako bes e kon ol eknikekin alde a u a.
Hala e e, kon ol sis ema hib idoek a azo ba zuk e e au kez en di uz e. Sis ema
ho iek modela zea un sezkoa da, baina ez da lan e aza. E edu ho ie ako asko simulazio
ze egine a ako zeha zak e a bikainak badi a e e, asko an zailak di a az e zen. Ho en
a azoia da asko a iko jokabide dinamiko e a elka e aginak sa zen di uz ela be en
osagaien a ean, e a ho ek deskonposa zeko e a sakonki az e zeko zailak di en e edu
oso konplexuak so di zake. Gaine a, sis ema hib idoen p opie a e ma ema ikoek analisi
eo ikoa zail zen du en be ezi asunak e a po ae a ez linealak sa di zake e.
Ai zi ik, analisi ako egokiak di en e eduak agian ez di a e azak sin e iza zen edo
inplemen a zen (An saklis e al., 2001). Kasu asko an, e edu sinpli ika u ho iek mundu
e ealeko sis ema en e endimenduan e agina du en xehe asun k i ikoak baz e zen
di uz e. Esa e ba e ako, anali ikoki a aga ia den e edu ba ek bali eke beha bezala ez
ha apa zea modela u gabeko pe u bazioei edo us ekabeko muga baldin zei sis emak
21
emandako e an zuna, e a ho i ezinbes eko alde dia da edozein kon ol sis ema en
eza pen p ak ikoan.
2.3
KONTROL OPTIMOA
Kon ol op imoa en es uingu uan, aldakun za kalkulua e abil zen da e endimendu
i izpide jakin ba op imiza zen duen kon ol lege ba au ki zeko, kos uen minimizazioa i
edo e izien zia maximiza zea i lo u a egon ohi dena. Kalkulu ba iazionalak sis ema
dinamikoekin lo u ako op imizazio p oblemak o mula u e a ebaz eko auke a ema en du
(Cla ke, 2013; Pinch, 1995). Ja aian, lehenik e a behin, aldakun za kalkulua i bu uzko
sa e a labu ba ema en da; e a, ondo en, ba iazio kalkuluan oina i u ako kon ol
eknika op imoak az e zen di a.
2.3.1
Kalkulu ba iazionala
Kalkulu ba iazionala ma ema ika en ada ba da, un zional gisa ezagu zen di en
adie azpen ma ema iko mo a ba zuk op imiza zen di uz en un zioak au ki ze a
bide a zen dena. Aldagai e eal edo konplexuen menpe dauden un zioak maximiza u
edo minimiza zea bila zen du en ohiko kalkulu p oblemak ez bezala, kalkulu ba iazionala
bes e un zio ba zuen menpe dauden un zioak op imiza zeaz a du a zen da. Fun zional
ba en adibide ipikoa hau da:
+[-]=/ 0(2,-(2),-((2)) 52
)
*
Non:
• y(x) zehaz u nahi dugun un zio ezezaguna den.
• y ′ (x) y(x)- en de iba ua den x- ekiko.
22
• F( x,y ,y ′ ) x, y(x) e a be e de iba ua en y ′ (x) menpeko un zio ezaguna den.
Kalkulu ba iazionala en helbu u nagusia da op imizazio un zionala en p oblemak
ebaz eaa, hau da, un zional jakin ba minimiza zen edo maximiza zen duen un zio ba
au ki zea. Ebazpene ako bi esna e abil dai ezke: alde ba e ik, Eule -Lag ange
ekuazioak daude; e a, bes e ik, ekin za xikiena en p in zipioa (ekin za geldiko a en
p in zipioa edo Hamil onen p in zipioa izenez e e ezaguna) (Kalman, 1963).
Eule -Lag ange ekuazioak un zio ba un zional ba en minimiza zaile edo
maximiza zaile iza eko beha ezko baldin zak ema en di uz en ekuazio di e en zialak
di a. Eule -Lag ange- en ekuazioak un zionala en aldakun za nulua izan beha dela
eska uz a e a zen di a. Eule -Lag ange ekuazioen o ma o oko a hau da:
∂0
∂-−5
52(∂0
∂-()=0.
(F) un zioa (x), (y(x)) e a (y'(x))- en a abe akoa izanik. Ekuazio ho i be e beha da
(y(x)) izan dadin (J[y]) un zionala en mu u eko un zioa.
Bes alde, eza zen du sis ema isiko ba ek ja ai zen duen bene ako bidea ondo engo
hau dela: ekin za es aziona ioa (no malean minimoa) iza ea e agi en duena, hu bileko
ibilbide posibleekin alde a u a. Hamil onen p in zipioak dio bi egoe a en a eko sis ema
isiko ba en bilakae a denbo a a e zeha z ba ean [ 1 , 2 ] halakoa dela non S
ekin za
es aziona ioa den. Ekin za un zional ba da
,
denbo an zeha
Lag angia en
in eg al
gisa de ini zen dena:
:=/ ;(<,<=,>) 5>
+"
+#

23
Non:
• S[q] q( ) ibilbidea i lo u ako ekin za den.
• L(q,q=, ) *sis ema en qlag angia a den, hau da, ( ) koo dena uen, haien
abiadu a q=( )=dq/ d e a, agian, denbo a en a abe akoa den un zioa.
Kon ol op imoa en e a kalkulu ba iazionala en a eko lo u a eza dai eke kon ol
op imoa en p oblema kalkulu ba iazionaleko p oblema za bi o mula dai ekeenean.
2.3.2
Kon ol op imoa i aplika u ako kalkulu ba iazionala
Kon ol op imoa i aplika u ako kalkulu ba iazionala en oina iak bi esna
ma ema iko di a: Pon yagin-en maximoa en p in zipioa e a Hamil on-Jacobi-Bellman-
en (HJB) ekuazioak. Bi kon zep uek kon ol op imoa en a azoak konpon zeko esnak
eskain zen di uz e.
Pon yagin-en maximoa en p in zipioa kon ol op imoa en eo ian gehien e abil zen
di en esne ako ba da (B yson, 2018). P in zipio ho ek sis ema dinamikoe an kon ol
ba op imoa iza eko beha ezko baldin zak eskain zen di u, e a soluzioak anali ikoki edo
zenbakiz bila zea eska zen du en kon ol p obleme an e abili ohi da (Kopp, 1962).
Bes alde, Hamil on-Jacobi-Bellman-en ekuazioek o mulazio ezbe dina ema en du e,
sis ema en egoe a bakoi ze ako kon ol balio op imoa desk iba zen duen ekuazio
di e en zial pa zial (EDP) ba ean oina i ua(Fleming & Rishel, 2012). Hamil on-Jacobi-
Bellman-en ekuazioek op imo asune ako baldin za beha ezko e a nahikoak eskain zen
di uz e (Mangasa ian, 1966).
24
2.3.2.1
Robo ikan kon ol op imoa i aplika u ako kalkulu ba iazionala
Robo ikan, sis ema en mugak e espe a uz e endimendu i izpide espezi ikoak
op imiza zen di uz en ekin zen sekuen ziak zehaz eko o mula zen di a kon ol op imoko
p oblemak. A es ian esan bezala, kalkulu ba iazionalak p oblema ho iek ebaz eko
beha ezkoa den ma ko eo ikoa eskain zen du, non kon ol ibilbideen e a sis ema en
egoe a en menpe dauden un zionalak minimiza zea (edo maximiza zea) bila zen den.
T esna ho iek obo ek i izpide zeha z ba zuekin mugimenduak egi eko auke a ema en
du en algo i moak diseina zeko e abil zen di a.
T esna ho iek aplika dai ezkeen espa ue ako ba ibilbidea en op imizazioa da.
Kalkulu ba iazionala un zional ba minimiza zen du en ibilbide op imoak au ki zeko
e abil zen da, bidaia u ako dis an zia, denbo a, ene gia kon sumoa edo ak o e ho ien
e a bes e ba zuen konbinazioa i udika di zake enak. P oblema ho ien o mulazioa
ja ai ua edo disk e ua izan dai eke, e a me odoak zuzeneko e a zeha kako me odoe an
sailka zen di a.
2.3.2.1.1
Zuzeneko me odoak
Zuzeneko me odoak be eziki ga an zi suak di a es uingu u hone an, denbo a
e ealean muga ez lineal e a dimen sio handikoak di uz en p oblema konplexuak
ebaz eko du en gai asunaga ik. Zuzeneko me odoen ba neko me odologiak denbo a
e ealeko ibilbidea en op imizazioa, zuzeneko ansk ipzioa, ibilbidea en disk e izazioa
e a e edue an oina i u ako i aga pen kon ola (MPC) di a. Me odo ho iek obo ika
aplikazioe an e abili izan di a, mugimendu e aginko , leun e a segu uak be ma zeko
helbu ua ekin, ingu uneko aldake e a a dinamikoki egoki zeko helbu ua lo uz (Kamel
e al., 2017; Posa e al., 2014).
25
Denbo a e ealeko ibilbidea en op imizazioa ezinbes ekoa da ingu unea en edo
sis ema en egoe a en aldake e a a azka egoki zea eska zen du en aplikazio
obo ikoe a ako. Ho i zuzeneko me odoak eza iz lo zen da, hala nola zuzeneko
koka zea e a zuzeneko ansk ipzioa, ibilbidea nodoe an disk e iza zen du enak e a
op imizazio eknikak e abiliz be e ibilbidea op imiza zen du enak. Me odologia ho i
eske , obo ek be en ibilbideak doi u di zake e zen zumen da u be iei edo ingu umen
baldin zen aldake ei e an zunez, denbo a, ene gia e a segu asuna en e endimendua
op imiza uz. Adibidez, ibilgailuen nabigazio au onomoan, denbo a e ealeko
op imizazioa e abil zen da oz opoak saihes en e a ibilgailua en muga dinamikoak
e espe a zen di uz en ibilbideak plani ika zeko. E a be ean, ingu une dinamikoe ako
obo manipula zaileek eknika ho i ap obe xa zen du e eu en mugimendu ibilbideak
doi zeko e a alkak saihes eko, ze egin edo ingu une kon igu azio be ie a a egoki uz
(Diehl e al., 2005).
Zuzeneko ansk ipzio me odoek kon ol e a egoe a aldagaiak denbo a nodo
ba zue an disk e iza zen di uz e, kon ol p oblema op imoa op imizazio p oblema ez
lineal ba bihu zeko, IPOPT edo SNOPT bezalako “
konpon zaileak”
e abiliz eba zi
dai ekeena
.
Teknika ho ek denbo a ho izon ea kokapen pun u an disk e iza zen du e a
pun u ho ie an sis ema en kon olak e a egoe ak adie az en di u. So zen den p oblema
p og amazio ez lineala en (NLP) p oblema bihu zen da, muga konplexuak e a dinamika
ez linealak kudea u di zakeena. Robo manipula zaileen e a ibilgailu au onomoen
mugimendu ibilbideen op imizazioa ahalbide zen duen eknika da, non zehaz asuna e a
hainba muga kon uan ha zea, hala nola alkak saihes ea e a abiadu a mugak
e espe a zea, un sezkoak di en (Diehl e al., 2005).
26
Ibilbidea en disk e izazioak nahi den ibilbidea segmen u disk e ue an bana zea
daka , e a ge o segmen u ho ien posizioa e a kon olak op imiza zea. Me odo ho i
be eziki e aginko a da konplexu asun e a dimen sio handiko p obleme a ako, non
soluzio anali ikoa edo e di anali ikoa bide aga ia ez den.
Zuzeneko kokapeneko me odoe an, obo en ibilbideak oina izko un zioak balia uz
hu bil zen di a, hala nola polinomioak edo splineak, e a op imiza zen di a kos u
un zional ba minimiza zeko, dinamika e a mugimendua en mugak be e zen di uz en
bi a ean. Ikuspegi ho ek kon ol konplexuak e a egoe a mu iz apenak mugimendua en
plangin zan in eg a zea ahalbide zen du, ibilbideak leunak, dinamikoki bide aga iak e a
ene gia e a denbo a alde ik op imiza uak iza ea ziu a u a. Robo ika mugiko ean,
ibilbidea en disk e izazio me odoak e abil zen di a oz opoak modu dinamikoan e a
e aginko ean saihes en di uz en bideak so zeko. Me odo ho iek un sezkoak di a
ingu une ezezagun e a aldako e an nabigazio au onomo ako. E a be ean, espazio
muga ue ako objek uen manipulazioan, zuzeneko kokapeneko me odoak a akas az
aplika u di a obo manipula zaileen ibilbideak op imiza zeko, ziklo denbo a gu xi zea
e a espazio e a ene gia mugak be e zen di ela be ma u a (Kashyap e al., 2022).
Model P edic i e Con ol (MPC)
bes e kon ol es a egia op imo ba da, obo ikan
e aginko a dela oga u dena, ba ez e e denbo a e ealeko kon ole ako a azoe a ako.
MPC-k sis ema en e edu ba e abil zen du be e e o kizuneko po ae a au eikus eko e a
denbo a ho izon e muga u ba ean e endimendua op imiza zeko. Denbo a u a s
bakoi zean, MPC-k op imizazio p oblema ba ebaz en du kos u un zio ba minimiza zen
du en kon ol sekuen zia op imoa zehaz eko, sis ema en bilakae a au eikus en duen
bi a ean. Ikuspegi ho i be eziki e abilga ia da d oneen e a ipulazio ik gabeko ai eko
33
kon ol in o mazioa xe a zen delako, hala nola ja aipen e o ea e a kon ol sa e ako
seinaleak, uneko kon ol ekin za en e aikun zan.
Sis ema en kon olak i e azio ba ean zeha kon ol egokia e a e aginko a eska u ez
ezik, ondoz ondoko i e azioe an e endimendua kon ola u beha a e e ba ne ha zen du.
Ho e a ako, memo ia osagaia e abil zen da au eko kon ol in o mazioa go de zeko, e a
ge o uneko i e azioa ekin konbina zen da, i e azioz i e azio e endimendua hobe zea en
e a sis emak kon ol zehaz apenak be e zen di uela ziu a zea en (X. i udia) (Bien &
Xu, 2012; Owens & Hä önen, 2005).
I udia 9: Ikaskun za en kon ol i e a iboa en kon ol diag ama
(Lakshmina ayanan e al., 2021)-k egindako lanean, inpedan zia kon olean
oina i u ako ikaskun za en kon ol i e a iboa eza i zen, posizio e a inda aldagaiak aldi
be ean egoki zen di uen i e azio bakoi zean leunke a p ozesu obo iza u ba
e egula zeko. Kon olagailuak ez du beha ezkoa ma e iala leun zeko beha di en
inda en aldez au e iko ezagu za ik, aldagaiak aldi be ean egoki zen bai i a
eedbacka en a abe a. Dena den, ike ke a en helbu ua inpedan zia op imiza zean
oina i zen da, e a ez ingu umena en asaldu an oina i u a zuzen zean.
Kon ol mo a ho i e abil zeko, sis ema en dinamika en e a ha en ziu gabe asunen
az e ke a zeha za beha da. Ho i dela e a, ikaskun za en kon ol i e a iboa a azo zeha z

34
e a e epikako ba zue a a muga zen da, non egoki zapen pa ame oak a e az doi zea
beha ezkoa den e a, kasu asko an, poli ika neu i ba ean baka ik molda dai ekeen
(Nemec e al., 2017). Gaine a, ikaskun za algo i mo ho iek kon olagailuan zuzenean
aplika zeak denbo a e ealeko a azoak so di zake, kon olagailua en pa ame oak
kalkula zeko kos u konpu azionala handi zen bai u (Kim e al., 2020).
2.4.5
Inda ze ikaskun za en bidezko kon ola
RS Su on-ek aipa u zuenez, (Su on, 1999)“
Inda ze ikaskun za adimen
a i iziala en ikuspegi ba da, no banakoak be e ingu unea ekiko elka ekin za ik
abia u a egindako ikaskun za azpima a zen duena. Ho ek adimen a i iziala en e a
ikaskun za au oma ikoa en ikuspegi klasikoekin kon aja zen du, ikuspegi klasiko
ho iek elka ekin za ik ikas ea i ga an zia ken zen bai io e, ai zi ik a da z gisa ha u a
adi u ba engandik ikas ea edo ingu unea en e edu oso ba e ik abia u ako
a azonamendua. Inda ze ikaskun zak sa i seinale eskala ba maximiza zeko ze egin
beha den ikas ea daka . Ikaslea i ez zaio esa en ze ekin za egin beha duen, baizik e a,
p oba uz, sa i ik handiena zein ekin zak ema en du en ezagu u beha du. Kasu ik
in e esga i e a zailene an, ekin zek be ehalako sa ia ez ezik, hu engo egoe an e a,
ho en bidez, ondo engo sa i guz ie an e e e agin dezake e. Bi ezauga i ho iek —
saiake a e a aka sen bilake a e a a ze a u ako sa ia— inda ze ikaskun za en bi
ezauga i be eizga i ga an zi suenak di a.
”
Inda ze ikaskun za en gakoe ako ba da saio e a hu segi e bidez edo e edu ba
e abiliz epe luze ako sa ia handi zea.
Ondo engo i udiak agen ea en e a ingu unea en a eko elka ekin zako a ki ek u a
e akus en du.
35
I udia 10: Agen e ingu unea en elka ekin za en a ki ek u a.
Ja aian, a ki ek u a osa zen du en elemen uak desk iba zen di a:
• Agen ea: inda zeko ikaskun za sis ema en osagai nagusia da. Agen ea
helbu u ba zuk lo zea en ingu une zeha z ba en ba uan ekin zak
gauza zeaz a du a zen da. Esku a ean dugun kasuan, sis ema obo iza u
ba izanik, agen ea obo a be a izango li za eke, e a ha k ha u beha di u
e abakiak nola mugi u, zenba inda e abili, e ab. Agen ea en un zioa
ingu unea beha zea da, ekin zak hau a u e a exeku a zea, e a ekin za
ho iek e o kizuneko po ae a hobe zeko di uz en ondo ioak ezagu zea
(Su on & Ba o, 2012).
• Ingu uneak agen ea ingu a zen duen guz ia e a ha k elka ekin zan ja
dezakeen guz ia adie az en du. Inda ze ikaskun za en es uingu uan,
ingu uneak eedbacka ema en dio agen ea i, egoe a e a sa i moduan.
Agen ea en kon ol zuzene ik kanpo dagoen baina ha en e abakie an
e agin dezakeen guz ia da. Adibidez, obo ba en kasuan, kasu hone an
ingu unean sa dai ezke ebakun za gela, saihes u edo ha ekin elka e agin
beha duen mediku langilea e a manipula uko duen pazien ea (Mnih e
al., 2015a).
36
•
Egoe a
: egoe ak edo egoe ek agen eak izan di zakeen egoe a posible
guz ien mul zoa adie az en du e. Egoe a bakoi zak une jakin ba ean
ingu unea desk iba zen duen e a agen eak zein ekin za exeku a u
e abaki zeko beha ezkoa den in o mazio ga an zi sua dauka. Ingu une
dinamiko ba ean, egoe ak alda zen di a agen ea en ekin zen e a kanpoko
bes e ak o e ba zuen a abe a. Esa e ako, kasu hone an, egoe a ba izan
dai eke pazien ea alde ba ean iza ea ebakun za gelan e a obo a bes ean
(Sil e e al., 2016).
•
Ekin zak
: ekin zak agen eak au ki zen den egoe a bakoi zean ha
di zakeen e abakiak di a. Ekin za bakoi za ingu unea en egungo egoe a en
balizko aldake a ba i dagokio. Ekin za posible guz ien mul zoak
agen ea en ekin za espazioa osa zen du. Esa e ako, kasu hone an, ekin zek
au e a egin dezake e a ze a, ezke e a edo eskuine a, e emu ki u gikoa
geldi zea edo uz ea. Ekin za ba auke a zea agen eak ja ai zen duen
poli ika en a abe akoa da (Lillic ap e al., 2015).
•
Poli ika
: poli ika es a egia edo a au mul zo ba da, agen eak be e
ekin zak nola hau a zen di uen de ini zen duena, uneko egoe a en a abe a.
Egoe e a ik ekin ze a ako mapa ba da, e a de e minis a edo p obabilis a
izan dai eke. Poli ika de e minis iko ba ek egoe a jakin ba e ako ekin za
be a hau a zen du be i, e a poli ika p obabilis a ba ek ekin za ba zuei
p obabili a eak eslei zen dizkie, jokabide esplo aziozkoago ba
ahalbide zeko. Poli ika un sezkoa da inda ze ikaskun za ako, agen ea
37
epe luze ako sa ia maximiza zeko e abakiak ha ze a gida zen bai u
(Schulman e al., 2017a).
•
Sa ia
: sa ia agen ea en ekin zen e aginko asuna une jakin ba ean
ebalua zeko e abil zen den zenbakizko balio ba da. Agen eak be e
espe ien zie a ik ikasi ahal iza eko duen eedback mekanismo nagusia da.
Sa i posi ibo ba ek ("1" gisa adie azia) adie az en du egindako ekin za
onu aga ia edo zuzena izan dela agen ea en helbu u o oko a en
es uingu uan; e a sa i nega ibo ba ek edo sa i ik ezak ("0" gisa adie azia)
ekin za ez dela e aginko a izan edo oke a izan dela adie az en du.
Denbo an zeha sa iak pila zea en bidez, agen eak be e poli ika doi zen
du be e e endimendua hobe zeko e a be e helbu uak e izien zia handiagoz
lo zeko (Bellema e e al., 2013).
Inda ze ikaskun za en (RL) a azoak ebaz eko diseina u ako algo i mo uga i daude.
Bakoi zak be e ezauga iak e a plan eamendu espezi ikoak di u, ingu une e a helbu u
mo a ezbe dinei au e egi eko. Algo i mo ho ien ka ego izazio ohikoenak oina i hau du:
ea ingu unea en e edu esplizi ua e abil zen du en edo ez. Ho ek RL algo i moak bi
ka ego ia nagusi an bana zen di u: e edue an oina i u ako inda ze ikaskun za e a
e edu ik gabeko inda ze ikaskun za.
•
E edue an oina i u ako inda ze ikaskun za (Model-Based RL)
: algo i mo
mo a ho en be eizga i da ingu unea en e edu ba e abil zen duela (dela
emandako e edu ba , dela agen eak ingu unea ekiko elka e aginezko p ozesuan
ikas en duena). (And ychowicz e al., 2021)- en a abe a, e edue an oina i u ako
ikuspegia "Ma ko -en e abaki ze p ozesua (MDP) edozein ikuspegi da, ezauga i
38
hauek di uena: i) e edu ba (ezaguna edo ikasia) e abil zen du; e a ii) balio edo
poli ika global ba hu bil zeko, ikaskun za e abil zen du". Bes e e a ba e a
esanda, algo i mo ho iek ingu unea i aga zeko e edu ba e aiki zen edo
ap obe xa zen saia zen di a, agen ea en ekin zen emai zak au eikus di zakeen
e edu ba , e a ho ela agen ea i au ea ha zeko e a be e e abakiak hobe zeko
auke a ema en dio e. Plangin za gai asun ho i be eziki e abilga ia izan dai eke
in e akzio posibleen kopu ua handia den ingu unee an edo espe imen azioa en
kos ua handia den ingu unee an. E edue an oina i u ako algo i moak ingu unea
zeha z meha z a aka zeko beha a mu iz eko gai di a, e eduak ingu unea
simula u e a e o kizuneko egoe en e a sa ien es imazioak eskain di zakeelako
espe imen azio zuzenik gabe (Alibabaei e al., 2022).
Ikuspegi hau aban aila sua da ingu unea ezaguna den edo e edu ba a azoizko
zehaz asuna ekin ikas dai ekeen aplikazioe an. Dena den, e edue an oina i u ako
ikaskun zak e e e onka naba menak di u, ba ez e e ingu unea en e edua ikas eko
zaila edo zehaz asunik gabea denean, e a ho ek aka sak so di zake agen ea en
plangin zan e a e abakiak ha ze akoan.
•
E edu ik gabeko inda ze ikaskun za (Model-F ee RL)
: e edue an oina i u ako
ikaskun za ez bezala, e edu ik gabeko algo i moak ez di a ingu unea en e edu ba
e aiki zen saia zen. Ho en o dez, agen eak ingu unea ekiko espe ien zia
zuzena en bidez ikas en du, saio e a hu segi e bidezko me odoak e abil zen
bai i u sa i handienak zein ekin zak eka zen di uz en ezagu zeko (S ehl e al.,
2006). (Su on & Ba o, 2012)- en a abe a, e edu ik gabeko inda ze ikaskun za
honela de ini zen da: "Ikuspegi ba , non agen eak ingu unea en kon ol poli ika i

39
bu uz saio e a hu segi e bidez ikas en duen (hau da, espe ien zia en bidez), sa iak
maximiza zeko, e edu ik gabe". RL mo a hone an, agen ea ez da e o kizuneko
egoe ak esplizi uki au eikus en saia zen, baizik e a denbo an zeha me a u ako
sa ia maximiza zeko auke a ema en duen poli ika edo balio un zioa ikas e a
bide a zen da (Deg is e al., 2012).
E edu ik gabeko inda ze ikaskun za ingu unea en e edu zeha za e aiki zea
p ak ikoa edo posible ez den ingu unee an, be e konplexu asunaga ik, dimen sio
handiaga ik edo izae a es okas ikoaga ik. Dimen sio handia honela de ini dai eke:
"egoe a espazioak e a/edo ekin za espazioak aldi be ean kon ola u beha di en
hainba aldagai edo aska asun g adu di uen egoe ak" (Bellman, 1966). Ikuspegi
ho ek malgu asun e a egoki zapen handiagoa ahalbide zen du ingu une aldako
edo ziu gabee a a, agen eak be e espe ien zia ik zuzenean ikas en bai u,
ingu unea i bu uzko hipo esi esplizi u ik gabe. E edu ik gabeko algo i moak
inplemen a zeko e azagoak di a no malean, ez bai u e ingu unea en e edu oso
ba en es imazio ik beha . Hala e e, poli ika e aginko ak ikas eko,
ingu unea ekiko elka ekin za handia e e beha du e, e a ho i e onka izan
dai eke espe imen azioa ga es ia edo a isku sua den ingu unee an.
Ja aian, e edu ik gabeko
(
model- ee
) inda ze ikaskun zako algo i mo nagusiak
desk iba zea i ekingo diogu. Lehenik e a behin, "poli ikaz kanpoko" edo balioe an
oina i u ako algo i moen az e ke a egingo da. Ondo en, poli ikan oina i u ako (
policy-
based
) algo i moak landuko di a. Azkenik,
poli ikaz kanpoko
e a
poli ikan
oina i u ako algo i moen
alde diak konbina zen di uz en ak o e-k i iko algo i moak
az e uko di a
(Schulman e al., 2017b):
40
2.4.5.1
Poli ikaz kanpo
Q-ikaskun za: Q-ikaskun za (
Q-lea ning
) balioe an oina i u ako edo poli ikaz
kanpoko algo i mo ba da, hau da, poli ika op imoa ikas en du agen eak ingu unea
esplo a zean ja ai zen duen poli ika ik independen eki (Wa kins & Dayan, 1992). Q-
ikaskun zako algo i moa ekin za espazio disk e ue an soilik un ziona zen duen
algo i moa da. Q-ikaskun zako algo i moan Q- aula izeneko aula so zen da, non
e enkadak egoe ak e a zu abeek ekin zak adie az en di uz en ma ize ba ez osa ua.
Taula en sa e a bakoi zak, Q(s,a), s egoe an a ekin za egi ea i espe o zaion balioa
adie az en du. Q-ikaskun za egune a zeko o mula ezinbes ekoa da p ozesu hone a ako,
ho e a ako Bellman-en ekuazioa e abil zen da (Bellman, 1954, 1966):
Q(s,a)←Q(s,a)+α[ +γmax*
,$Q(s(,a()−Q(s,a)]
Q-ikaskun za algo i moa hainba u a se an eza zen da. Lehenik e a behin, Q- aula
balio a bi a ioekin hasie a zen da (asko an, ze o balioa ekin), e a α"e a γ"pa ame oak
eza zen di a. Ondo en, i e azio bakoi zean, agen eak e abaki zen du ekin za be iak
esplo a uko di uen edo Q- aula en a abe a ekin za ezagun onenak us ia uko di uen.
Ja dun ho i no malean ε-g eedy es a egia ba e abil zean oina i zen da (Millán e al.,
2002); es a egia ho ek esplo azioa e a us iapena o eka zen di u. Agen ea en u a s
bakoi zean, uneko
s egoe a
ikus en da. Ondo en,
a
ekin za ba
auke a zen da
esplo azio/us iapen es a egia en a abe a.
a
ekin za gauza u ondo en,
sa ia
e a s
′ egoe a
be ia ikus en di a
.
In o mazio ho ekin, Q- aula egune a zen da dagokion egune a ze
o mula e abiliz. U a s ho iek e epika zen di a agen eak poli ika op imoa ikasi duela
zehaz en den a e, edo au ez zehaz u ako geldialdi i izpide ba e a i i si a e.
41
DQN:
Deep Q-Ne wo k (DQN)
inda ze ikaskun zako algo i mo ba da, Q-
ikaskun za sa e neu onal sakonekin konbina zen duena, egoe a espazio handi e a
konplexuen bidez a azoak kudea zea en (Mnih e al., 2015b). DQN, Q-ikaskun za
algo i moa bezala, ekin za-espazio disk e ue an soilik un ziona zen duen algo i moa da.!
DQN Q-ikaskun zan oina i zen da; e a, adie azi denez, Q-ikaskun za en helbu ua da
poli ika op imo ba ikas ea ekin za balioa en un zioa Q(s,a) es ima uz. DQN
algo i moan, Q(s,a) balioak go de zea en aula ba e abili beha ean, sa e neu onal
sakon ba e abil zen da Q un zioa hu bil zeko (A gue a e al., 1992). Sa e ho ek sa e a
gisa ss egoe a ha zen du e a a ekin za posible guz ie a ako Q(s,a) balioak so zen di u.
Neu ona sa e sakonei eske , DQNk egoe a espazio handiak kudea zen di u.
DQN algo i moak hainba es a egia gako e abil zen di u en enamendua en
egonko asuna e a e aginko asuna hobe zeko. Es a egia ho ie ako ba da e epikapen
bu e -a (Dao & Lee, 2019), en enamendu laginen a eko denbo azko ko elazioa
haus eko e abilia. DQNk agen ea en espe ien ziak ((s,a, ,s′) an sizioak) memo ia bu e
ba ean go de zen di u, e a laginak ausaz a e a zen di a sa ea en ena zeko, e a ho ek
p es akun za egonko zen lagun zen du.
Bes e es a egia ba da helbu u sa e ba e abil zea (A gue a e al., 1992) Q-
ikaskun zako helbu uak kalkula zeko. Sa e ho i aldian aldian egune a zen da
en enamendu sa e nagusiko pisuak kopia uz. Helbu u sa e ba e abil zeak p es akun za
egonko zen du, ikaskun za helbu ua inkoago man en zen bai u.
DQN algo i moan, sa ea en egune a zea denbo a di e en ziako e o ea (TD e o ea)
minimiza zean oina i zen da. E o e ho ek
Q un zio ako sa ea en uneko i aga pena en
42
e a un zio ho e a ako kalkula u ako helbu u balioa en a eko aldea adie az en du sa e
neu onala en pa ame oak doi zeko, Q balioa en i aga pena xede balio ik ahalik e a
hu bilen egon dadin.
2.4.5.2
Poli ikan oina i u a
SARSA:
SARSA algo i moa (S a e Ac ion Rewa d S a e Ac ion)
inda ze
ikaskun zako algo i mo ba da, poli ike an oina i ua, e a e abakiak ha zeko ingu une
sekuen zial ba ean sa i me a ua maximiza zen duen poli ika ba ikasi nahi du (Su on
& Ba o, 2012). SARSA
poli ikan oina i uako algo i mo
ba da, hau da, poli ika
ikas en e a egune a zen du agen ea en uneko poli ikan oina i u a hau a u ako ekin zen
a abe a. Ho ek be eizi egi en du Q-ikaskun za bezalako
poli ikaz kanpoko
algo i moe a ik, azken ho iek ingu unean bene an egi en ez di en ekin ze a ik ikas
bai ezake e (Su on, 1999). SARSA algo i moa, Q-ikaskun zako algo i moa e a DQN
bezala, ekin za espazio disk e ue an soilik un ziona zen duen algo i mo ba da.!SARSAn
Q-balioa en un zioa egune a zen da ikaskun za p ozesuko u a s bakoi zeko, uneko
egoe a, egindako ekin za, jaso ako sa ia, hu engo egoe a e a hu engo ekin za e abiliz.
U a s bakoi zean, uneko egoe an dagoen agen eak ekin za ba hau a zen du be e
jokabide poli ika en a abe a; e a poli ika ho i esplo azioa e a us iapena o eka zeko ϵ-
g eedy es a egia ba izan dai eke. Ondo en, agen eak +1 sa i ba jaso zen du e a s +1
egoe a be i ba e a iga o zen da, ekin za be i ba hau a zen du +1ean be e jokabide
poli ika en a abe a, e a ekin za be i ho i Q balio un zioa egune a zeko e abil zen du.
P ozesu ho i e epika zen da. agen ea egoe a e minal ba e a i i si a e edo pasa e ba
osa u a e.
49
ehuna en baldin zak alda dai ezkeen in e ben zioan zeha , e a sis emak azka e a
zeha z doi u beha di u be e ekin zak.
•
Egonko asuna e a zehaz asuna ikaskun zan
: Ga un e e akzioa en
obo izazioan, egonko asuna un sezkoa da ba -ba eko mugimenduak edo ga un
ehuna kal e u dezake en e abaki zehaz ugabeak saihes eko. Policy-based
algo i moek, REINFORCEk bezala, ba ian za handiko a azoak izan ohi di uz e
(And ychowicz e al., 2021; Sewak, 2019) e a ho ek po ae a ezegonko a edo
en enamendu aldi asko en beha a e agin dezake poli ika op imoa lo zeko.
Bes alde, Ak o e K i ikoak algo i moek balio seinale zeha zagoa ema en du e
k i ikoa i eske , e a ho ek ak o ea en egune a zeen ba ian za mu iz en du,
kon ol egonko agoa e a zeha zagoa e aginez.
•
Poli ika en op imizazioa denbo a e ealean
: Baldin zek ak o e k i iko
algo i moak azka alda zea ahalbide zen badu e, poli ika denbo a e ealean
egune a zea ahalbide zen du e, ak o eak ekin zak doi zen bai i u k i ikoak be e
e aginko asuna ebalua zen duen bi a ean (Sil e e al., 2016). Poli ika e a balio
un zioa aldi be ean ikas eko gai asuna baliaga ia izan dai eke p ozedu a
medikoe a ako, non a ze aelikadu ak e a e abakiak be ehala doi zeko gai asunak
pazien ea en segu asuna e a esku ha zea en e aginko asuna hobe u
bai i zake e.
•
Ba ian za mu iz ea sa i seinalee an
: Ga uneko e e akzioan, sa iak zehaz ea
e a zuzenean neu zea zaila izan dai eke, ehun delika uei kal e ik ez egi ea ekin
lo u a bai aude. Ak o e k i iko algo i moen aban aila da sa i ho ien es imazioan
ba ian za mu iz u dai ekeela, k i ikoak ak o ea en ekin zen epe luzeko emai zak

50
hobe o ebalua zen lagun zen bai u (Kobe e al., 2013). Ho i be eziki baliaga ia
da ze egin ki u gikoe an, ekin za ba en ondo ioak be ehalakoak izan ez a en
p ozedu a en a akas a o oko ean e agina izan bai ezake e.
•
O -policy balioen/laginen ap obe xamendua
: Lapu e a ki u giko ba en
ga apena hainba u e ako p ozesua da, e a hama u e a i i s dai eke. Ohikoa
da sis ema en zehaz asuna hobe zeko simulazioak egi ea. Ak o e k i ikoen
algo i moek (DDPG, esa e ako) o -policy laginak e abil zea ahalbide zen du e,
e a ho ek esan nahi du simulazioe an edo au eko p obe an so u ako i aganeko
espe ien zie a ik ikas dezake ela (Hwangbo e al., 2019). Ho ek en enamendu
p ozesua bizko zen du e a egoe a k i ikoe an kon ola op imiza zen du, pazien ea
ingu une e eale an en enamendu aldi luzee an ego eko beha a mu iz uz.
51
3 GARUNAREN ERRETRAKZIOA ROBOTIZATZEKO KONTROL
ESTRATEGIEN DISEINUA ETA SIMULAZIOA
Kapi ulu hone an zeha z meha z au kez en di a ga una en e e akzioa
obo iza zeko be a iaz diseina u di en bi kon olagailuak. Kon olagailu ho ie ako
bakoi za plan eamendu desbe dinak e abiliz ga a u da; plan eamendu ho iek dagozkien
a ale an azal zen di a.
Lehenik e a behin, lehenengo azpia alean, lehen kon olagailua en desk ibapen
zabala ema en da. Kon olagailu ho i kalkulu ba iazionaleko eknike an oina i u ako
kon ol es a egia e abiliz diseina u da. Teknika ho en oina izko p in zipioak azal zen
di a, bai e a ga una en e e akzio obo ika en es uingu uan duen aplikazioa e e.
Gaine a, ikuspegi ho i lo u ako emai zak az e zen di a, bai e a kon ol mo a honek
p ak ikan di uen aban ailak e a mugak e e.
Bes alde, biga en azpia alean biga en kon olagailua sa zen da, zeina en
kon ol es a egia adimen a i izialeko eknike an oina i zen den. A al ho e an,
kon olagailua diseina zeko e abil zen di en adimen a i iziala en eknikak az e zen
di a, bes eak bes e ikaskun za au oma ikoko algo i moak e a neu ona sa eak.
Zehaz uko da nola eknika ho iek kon olagailua i auke a ema en dio en
baldin za bakoi ze a egoki zeko e a be e e endimendua hobe zeko, ga un obo ikoa en
e e akzio ze egin espezi ikoan. E a be ean, ikuspegi ho ekin lo u ako emai zak
ez abaida uko di a e a lehenengo kon olagailua enekin alde a uko di a, onu ak e a
hobekun za a loak naba mendu a.
52
Kapi ulu honek, o o a a, ga un e e akzioa obo iza zeko az e u di en kon ol
ikuspegien ikuspegi o oko a eskain zen du, e abili ako eknikak e a sis ema en
e endimenduan du en e agina ule zeko oina i sendoak eskaini a.
3.1
SARRERA
Lehenengo kapi uluan ("Sa e a") desk iba zen denez, neu oki u gian, ga un
e e ak ilak ga un ehuna nahikoa a ze a u a man en zen du lesioa dagoen e emu a
( umo ea, ik usa, e ab.) sa u ahal iza eko (Eche e y e al., 2020). E e ak il ho ek
ga uneko ehunean e e azkioa egi en duenean, p ozesu iskemikoak e agin di zake
(And ews & B ingas, 1993; Laha e al., 1979; Roca & Ramo ino, 2023; Wa ing e al.,
1990; Zagzoog & Reddy, 2020; Zhong e al., 2003). P ozesu iskemiko ho iek ebakun za
os eko de izi klinikoki esangu a suak e a bai a he io za e e e agin di zake e. Be az,
dokumen u honen lehen kapi uluan azal zen denez, e e akzioa egi eko obo ba ean
inplemen a u ako kon ol sis emak helbu u hauek izan beha di u:
1. Pazien ea en segu asuna e a ongiza ea be ma zea.
2. Ebakun za gelan lan egi en du en zi ujauen e a gaine ako medikuen
segu asuna e a ongiza ea be ma zea.
3. E e akzioan nahi den posizio a i is ea.
4. Egindako inda a e a e e akzioa en i aupena mu iz ea.
3.2
KALKULU BARIAZIONALEKO TEKNIKETAN OINARRITUTAKO KONTROLAGAILUA
3.2.1
A azoa en de inizioa e a kon ol p oposamena
Lehen kon ol helbu ua zi ujauak emandako posizio pun ua lo zea da. Nahi den
posizio ho i
x_desi ed
izena ja i zaio. Ga un e e ak ilak ga un ehuna x posizio a
53
i zuli beha du. Biga en kon ol helbu ua da e e akzioan ga un e e ak ilak
aplika zen duen F inda a ahalik e a xikiena man en zea.
Beso obo ikoa en dinamika ez da ga an zi su za jo, e e akzioan egin beha eko
ibilbidea en abiadu ak beso obo ikoa en banda zabale a baino askoz xikiagoak bai i a
(KUKA AG, n.d.). Beso obo ikoak ibilbide linealean egingo du lan, e a desplazamendua
oso xikia izango da (0,1 me o, gehienez). Gaine a, beso obo ikoak be e kon ol uni a e
p opioa du, abiadu a en kon igu azioa e o e baz e ga ia ekin ja ai zeko gai dena.
Azkenik, ga un ehuna en inda ak ez di a nahikoa handiak kokapenean ja aipen e o e
ga an zi su ba so zeko; be az, abiadu a en eza pen pun ua ga un ehuna en bene ako
abiadu a dela suposa dai eke. Beso obo ikoa en dinamika (1) ekuazioa en bidez
de ini zen da.
!"
!#=%
(1)
Ga un ehunak e eakzio inda a so zen du ga una en e e akzio maniob a egi en
denean. Dokumen u hone ako lehen kapi uluko hipo esi a alean adie azi den bezala,
Ga una en e eakzio inda a Ogden e edua en e an zun hipe elas ikoa e abiliaz
modela u da (Ogden, 1972), (Coa s & Ma gulies, 2006)-n modela ua izan den e a
hu engo i udian e akus en den moduan. Badaude ga un ehuna en de o mazio inda a
modela zen du en bes e e edu ba zuk (Mille e al., 2010b), baina lan hone a ako
baz e u egin di a, kon ol aplikazioe an eza zen konplexuak di elako. No malean,
kon ol aplikazioe ako sis ema e eduek sinpleak izan beha du e, kon ol lagina en
denbo an emai zak ema eko
54
I udia 11: Ogden-en modeloa
&="+(%&%'%()
(%&%'%()
(2)
Ga un e e ak ilak aplika zen duen inda a λ- en e a denbo a en a abe akoa da.
Mendeko asun ho iek (Coa s & Ma gulies, 2006; Gan e al., 2015) a ale an desk iba zen
di a. Inda a ga un e e ak ila en ukipen azale a (1 cm2-an eza i a) e a p esio
maximoa en a abe akoa dagehienez. P esio maximoa, hau da, (Mille e al., 2010b)
a alean emandako balioe an ha u da. Lan hone an, pa ame o ho i 500 Pa-n eza i zen.
Ga un e e ak ilek aplika zen du en inda a en e a inda no maliza ua en a eko
e lazioa (3) e a (4) ekuazioe an adie az en da.
)=)*(+ ∙),-.*()%/('0((&,#)
(3)
)*(+ =./∙012345*(+
(4)

55
3.2.2
Kon ol p oposamena
Ga una en e e akzioan iskemia e a bes elako kal eak saihes eko, kalkulu
ba iazionalean oina i u ako kon ol lege ba aplika u da. Kon ol op imoko legeen
zail asun nagusia da kos u un zional egokia eza zea; ho i dela e a, lehenengo az e ke a
hau egin da.
3.2.2.1
Kos u un zionala en p oposamena
Lan hone an p oposa zen da posizio e o ea kos u un zional hone an sa zea. Kos u
un zionala i gehi u beha zaion bes e aldagai ba ga unak egi en duen inda a da. Inda
ho i (2)-(4) ekuazioe an de ini u da. Azkenik, ga una en e e akzioa egi en den abiadu a
un zional hone an e e sa u beha a zehaz u zen. Ho i dela e a, baldin za ho iek guz iak
kos u un zionala en p oposamen hone an sa u zi en. Adie azpen hone an,
λ da
abiadu a haz a zeko koe izien ea.
6=∫81-2'("3−",)("))∙!#
4
!"#
5+:6∫";7∙!#
4
!"#
5////(5)/
Ho ez gain, hainba muga baldin za eza i di a. Eza i ako lehen muga baldin zak
ziu a zen du ga un e e ak il obo ikoa en azken posizioa nahi dena dela. Eza i ako
biga en muga baldin zak zehaz en du azken abiadu ak ze o en be dina izan beha duela.
Azkenik, eza i ako hi uga en muga baldin zak eza zen du ga un e e ak il
obo ikoa en hasie ako posizioa ze o en be dina iza ea.
"(=*(+)="382%.83 (6)
";(=*(+)=0 (7)
"(0)=0 (8)
56
Ondo en, Eule -Lag ange ekuazioa e a zeha kako baldin zak aplika zen di a (6)
ekuazioa be e dadin. Kon uan izan beha da
Tmax
ez dela balio kons an ea. Alde di
ho ek zeha kako baldin za ba eza zen du.
!=∫(%!"#$&'%&#'(&% −',*('),+.)'/*)∙12
+!"#
, (9)
!=∫3(','/)∙12
+!"#
, (10)
(5) ekuazioa op imiza zeko, Eule -Lag ange ekuazioa aplika u beha da. (6) ekuazioa
be e zeko, zeha kako baldin za ba p oposa u da; ikus (12) ekuazioa.
-.(0,02)
-0 −%
%$ 4-.(0,02)
-025=0 (11)
!(#,#%)−#% ∙!"($,$&)
!$&)()*!"# = 0 (12)
(11) e a (12) ekuazioak honela de ini dai ezke:
-4
$%&'
-0 −2.)'8 =0 (13)
-4
$%&'
-0 −'/∙2.)'/9$5+!"# =0 (14)
Kon ol bidea en dinamika de ini zeko e abili da (13) ekuazioa. (14) ekuazioak
zeha kako baldin za de ini zen du (ikus (6) ekuazioa). (15) ekuazioak e akus en du
ibilbide op imoak ondo engo ekuazio di e en zial hau be e zen duela:
'8 = 6
*7(
-4
$%&'
-0 (15)
Kos u un zionalak bes e baldin za ma ema iko ba zuk be e beha di u. G kos u
un zioak ze o izan beha du x hasie ako posizioan dagoenean; izan e e, kasu ho e an,
beso obo ikoak ez du inolako ga uneko kal e ik so zen. Gaine a,
G un zioak
ze o izan
57
beha du, x
desi ed x
-ean dagoenean, beso obo ikoak
ga un e e ak ila azken posizio
ho e a a e aman beha duelako, nahiz e a ga unak egi en duen inda a ze o ez izan.
%!"#$&'%&#'(&% −',*('),:050)*&+,*) =0 (16)
%!"#$&'%&#'(&% −',*('),:05, =0 (17)
Eza i ako biga en muga baldin zak azken abiadu ak ze o en be dina izan beha
duela zehaz en du. (14) ekuazioak inposa zen du -.9:;<
-/ ze o en be dina iza ea obo a en
besoa azken posizio a i is en denean.
-4
$%&'
-0 9050)*&+,*) =0 (18)
Lan hone an ondo engo
kos ua
un zio hau p oposa u izan da (16)-(18) ekuazioak
be e dai ezen. Kos u un zioa en jus i ikazioa be e ahal iza eko, helbu u nagusi hauek
ha u di a kon uan:
Alde ba e ik, ga un ehuna en beha adina e e akzio egi ea egongo li za eke, hau
da, ga un e e ak ila i i s dadila nahi den posizio a. Bes e ik, kal e iskemikoa ekidi ea
edo ahal bezainba gu xi zea, hau da, ga un e e ak ila ekin ahalik e a inda xikiena
aplika zea.
Helbu u ho iek kon uan ha u a, kon side a u da kos u un zionalak kon ol legea en
ba nean sa u beha di uela posizio e o ea, ba e ik, e a ga una en inda a e a ga una en
e e akzio abiadu a, bes e ik. Ho ela de ini u ako un zioak aplika u ako zeha kako
baldin zak e a Eule -Lag ange ekuazioa be e zen di u.
81-2' =λ=("3−")7∙)7(")+λ8..-. ("3−")7
(19)
58
3.2.2.2
Kon ol-legea en p oposamena
Egileek kon ol lege za (20) ekuazioa p oposa zen du e. Ekuazio ho i (15) e a (19)
ekuazioe a ik abia u a lo dai eke.
'8 =(0)80)
*7(;−2λ9∙**(')−2λ&(("( +2λ9('%−')∙*(')∙-9(0)
-0 = (20)
20) ekuazioa biga en mailako ekuazio di e en ziala da, non posizioa en biga en
de iba ua soilik
x
posizioa en a abe akoa den. Be az, dinamika ho ek
x
aldagai
independen ea duen abiadu a inposa zen du. (21) ekuazioak abiadu a en o ma op imoa
desk iba zen du. Ekuazio ho i (20) ekuazioa en emai za abiadu az bide ka uz lo u da,
bi aldeen in eg azioa egin ondo en.
)-
*−).
-
*=∫(0)80)
*7(;−2λ9∙**(')−2λ&(("( +2λ9('%−')∙*(')∙-9(0)
-0 =∙1'
0
, (21)
(20) ekuazioak
x
- en abiadu a- un zio ba de ini zen du
, D
(
x
) gisa de ini ua. Be i o
e e ikus en dugu azken abiadu ak ze o izan beha duela e a, be az, hasie ako abiadu ak
G
(
xd)-
k de ini zen duela. Baldin za ho ek (ikus (22) ekuazioa) inda a ezaguna e a
kons an ea dela inplika zen du. Hala e e, analisi xeheagoak (ikus (23) ekuazioa)
e akus en du obo a posizioa en e a inda a en a abe akoa dela soilik; kon ol-sis emak
bi aldagai ho iek neu di zake.
@(")=A ("3−")
2:6C−2λ=∙)7(")−2λ8..-. +2λ=("3−")∙)(")∙D)(")
D" E∙!"
+
5
!
>(')=λ9('%−')***(')+λ&(("(('%−')*
2.)
!
!
)-
*−).
-
*=>(')→=).
-
*=>('%)!(22)!
!
65
ga una en e e akzioa obo iza zea ahalbide zen duen kon ol-sis ema ba en
ga apena en ase hone an so zen di en e onka zeha zei au e egi eko. .
3.3.2
Kon ol-p oposamena
2. kapi uluan desk iba zen den bezala, Deep De e minis ic algo i moa hau a u da
Poli ika G adien ea (DDPG) inda ze sakoneko ikaskun za algo i mo ezbe dinen a ean.
DDPG algo i moak ma e ial hipe elas ikoen inda a kon ola zeko hainba aban aila
eskain zen di u, inda zeko ikaskun za bes e me odo ba zuen aldean auke a bihu uz.
DDPG algo i moa be eziki egokia da ekin za-espazio ja aien p obleme a ako, aplikazio
obo ikoe an disk e uak baino ohikoagoak di enak. DDPG algo i moa ekin zen
ja ai asun izae a kon ola zeko e abil dai eke disk e izazio beha ik gabe, e a ho i
asko an beha ezkoa da balioe an oina i u ako me odoe an. E aginko asun ho i
un sezkoa da kon ol obo ikoa bezalako aplikazioe an, non ekin zak (adibidez, inda a
edo posizioa en doikun zak) be ez ja aiak di en (Plaa , 2022; Sewak, 2019). DDPG
ak o e-k i ikoa algo i mo da, hau da, ez du ingu unea en dinamika en e edu ik beha .
Honek aban aila a gi ba suposa zen du aplikazioan, ga una en e edu mekaniko zeha za
e a e e akzioan duen po ae a so zea p ozesu oso konplexua bai a . DDPG
algo i moak zuzenean ikas en du poli ika ba , hau da, es a ue a ik ekin ze a ako
mapake a ba , balio un zio ba ean oina i u beha ean. Ezauga i hau be eziki
onu aga ia da denbo a e ealeko aplikazioe a ako, ekin za-emai zak be ehala lo zea
ahalbide zen bai u, kalkulu gehiga i ik egin beha ik gabe, balio- un zio ba en mende
dauden algo i moe an ge a zen den bezala (Plaa , 2022; Scha Fabianand Hel ens ein,
2021).

66
3.3.2.1
Ingu unea
Biga en kapi uluan esan bezala, e e o zu-ikaskun za en a loan , ingu uneak
ak o ea i beha ezko in o mazioa ema en dio e abakiak ha zeko e a haie a ik ikas eko.
DDPG algo i moa en e a desk iba u ako ingu unea en es uingu uan, egoe a en
behake ak ingu uneak emandako sa e a k i ikoak di a. Behake a ho iek ga una en
e e akzio esna en posizioa izan dezake e, kasu hone an koo dena u espazialak ba ne
ha zen di uena. Gaine a, de o mazio-inda a un sezko behake a da, e e akzioan
aplika zen den inda a adie az en duena, e a ho i ezinbes ekoa da aplika u ako inda ak
hipoxia ik e agin ez dezan edo hala egi en badu, ga uneko ehunean iskemia e agi eko
nahikoa luza zen ez dela ziu a zeko.
Sa ia ingu uneak agen ea i ema en dion seinalea da, egindako ekin zen kali a ea
adie az eko. Ga una en e e akzioan, aldez au e ik egindako ekin za en balioa izan
dai eke sa ia en oina ia, ehunen kal ea gu xi zea, esna en doi asuna e a emandako
denbo a bezalako ak o eak kon uan ha u a. Sa i honek eedback-seinale gisa ja du en
du agen ea be e ekin za hau a ze poli ika en e engabeko hobekun za p ozesuan
gida zeko. Helbu u nagusia poli ika ho i op imiza zea da, denbo an zeha pila u ako
sa ien ba u a maximiza zeko. Modu hone an, agen eak be e ekin za-e abakiak doi zen
di u au eko elka ekin ze an lo u ako sa ien a abe a, ja du en duen ingu unean epe
luze ako e endimendua maximiza zen duen jokabide ba ikas eko helbu ua ekin.
Op imizazio p ozesu ho i eske , agen eak nahi den e endimendua lo zen edo
hu bil zen den es a egia e aginko ba ga a zen du, edo e o kizuneko elka ekin ze an.
Agen ea en e a ingu unea en a eko elka ekin za-zikloak DDPG algo i moan ondo
de ini u ako e a egi u a u ako sekuen zia ba i ja ai zen dio. Lehenik e a behin,
67
ingu uneak agen ea i hasie ako egoe a ba au kez en dio, e a ho ek une ho e an
sis ema en baldin zak desk iba zen di u. Egoe a ho e a ik, agen eak, be e ak o e sa ea
e abiliz, ekin za ba auke a zen du modu de e minis ikoan, jaso ako uneko egoe a en
a abe a. Agen eak ekin za ho i egi en duenean, ingu uneak egoe a be i ba so uz e a
sa i ba emanez e an zu en du, egindako ekin za en kali a ea en edo a akas a en
neu ia adie az en duena. In o mazio ho ekin (hasie ako egoe az, exeku a u iko
ekin zaz, lo u ako sa ia e a egoe a be iaz osa ua), agen eak be e ak o e sa ea zein
K i iko sa ea egune a zen di u.
Egune a ze honen helbu ua bikoi za da: ak o e sa eak be e ekin za hau a zeko
poli ika doi zen du, e a k i iko sa eak, be iz, ekin za ho ien kali a ea ebalua zen du
haien balioak es ima uz , Q-balioa en un zioak adie azi a. E engabeko ikaskun za-
p ozesu ho i eske , agen eak e o kizuneko elka ekin ze an e abaki e aginko agoak
ha zeko gai asuna pixkanaka hobe zen du. Elka e agin-ziklo hau denbo a-u a s
bakoi zean e epika zen da, agen een e endimendua en hobekun za ink emen ala
be ma uz. P ozesua au e a doa au ez zehaz u ako helbu u ba lo u a e edo pasa e
ba osa u a e, e a momen u ho e an agen eak poli ika op imoa edo ia op imoa ikasi
du denbo an zeha pila u ako sa iak maximiza zeko. E engabeko ziklo ho i eske ,
ak o eak be e e abakiak ikasi e a hobe di zake ingu unea ekin elka e aginean jaso ako
espe ien zian oina i u a. Ziklo hau e epika uz, agen eak be e es a egiak indu di zake
e a ingu unea en konplexu asune a a hobe o molda dai ezke, ze egin konplexue an
e endimendu op imoa lo uz, hala nola ga una en e e akzio esnen manipulazio
zeha za.
68
Ingu une hau so zeko e abili ako kodea bi ase nagusi an egi u a u da, be e
ule mena e a exekuzioa e az eko.
Lehenik e a behin, ingu uneko behake a e a ekin za posibleen kopu ua hasie a zen
da (ikus 1. algo i moa xehe asune a ako). E apa hau un sezkoa da, agen eak
ingu unea ekin duen elka ekin zan zeha e abiliko di uen sa e a- e a i ee a-aldagaiak
de ini zen bai i u. Ondo en, simula u ako ingu unean egi en di en kalkulue an pa e
ha zen du en beha ezko aldagai guz iei hasie ako balioak eslei zen zaizkie.
“Cleans a " izeneko un zio espezi iko ba ga a u zen (ikus 2. algo i moa) , e a
ho en helbu ua aldagai guz iak hasie ako balio lehene sie a a be eza zea da. Ezauga i
honek ziu a zen du simulazio be i ba has en denean, agen ea be i oina i-egoe a
be e ik abia zen dela, ho ela simulazioe an kohe en zia emanez. Be eza i ahalmen ho i
ezinbes ekoa da hainba p oba egi eko e a emai zei au eko simulazioe ako honda -
baldin zek e aginik ez du ela ziu a zeko. Honek agen ea en e endimendua en ebaluazio
zeha za e az en du simula u ako ingu unea en ba uan hainba eszena oki an,
simulazio bakoi za hasie ako baldin za be dine an has en dela ziu a uz.
Taula 3: 1 algo i moa
1 Algo i moa:
ingu une ba so u.
1.
p ozedu a
2. Behake a en in o mazioa ← Behake en kan i a ea = 2: inda a e a posizioa.
3. Ekin za en in o mazioa ← Ekin zen kopu ua = 1: Abiadu a.
4. λ1 ← 0,9 // Sa i- un zioan de o mazio inda a en ga an zia en kon ol-
aldagaia.
5. λ2 ← 0,2 // Sa i- un zioan abiadu a en ga an zia en kon ol-aldagaia.
6. λ3 ← 0,2 // Sa i- un zioan posizio-e o ea en ga an zia en kon ol-aldagaia.
69
7. OgdenModelDa a ← load(' OgdenModelDa a ')
8. x desi ed ← 0,1
9. Ts ← 0,02 // U a s denbo a.
10. Λx ← 0,01 // Kokapen-e o een a a iak.
11. Penalizazioa ← −15 // Baldin za e minalenga ik penalizazioa
12. en ← So u ingu unea Behake a e a Ekin za in o mazioa ekin.
13. en ← @cleans a
Taula 4: Be eza pen un zioa
2. algo i moa
: be eza i un zio ba so u.
1.
un zioa
cleans a
2. x ← 0
3. F ← 0
4. xp e ← 0
5. ẋ ← 0
6.
i zuli
x, F, xan , ẋ
Fun zio hone an, obo a en posizio e eala kalkula zen da, bai a elka ekin zan
so zen den de o mazio-inda a i dagokion balioa e e (ikus 3. Algo i moa desk ibapen
xeha u ba e ako). E agike a ho iez gain, un zioak sa i- un zioa en kalkulua e e ba ne
ha zen du. Fun zio ho ek agen ea en ja duna ebalua zen du, egindako ekin zen
a abe a, e a eza i ako helbu uei dagokienez ekin za ba hain ondo gauza u dela
adie az en duen pun uazioa ema en du. Agen eak a ze aelikadu a ho i e abil zen du be e
ekin za-poli ika doi zeko e a e o kizuneko i e azioe an ja duna hobe zeko. Be az, sa i-
un zioa un sezkoa da agen ea en ikaskun za-p ozesua gida zeko. Halabe , egiaz apenak
70
egi en di a amai zeko edo penaliza zeko baldin zak be e di en iden i ika zeko. Baldin za
ho iek auke a ema en du e a aza a akas az osa u den edo ge aka ia aldez au e ik
amai zea eska zen duen e o e esangu a su en ba ge a u den zehaz eko.
Taula 5: Behake ak e a sa iak
3. algo i moa:
behake ak e a sa iak lo zen di u agen een e abile aga ik.
1.
un zioa
Ingu umenFun zioa (λ 1 , λ 2 , λ 3 , Penalizazioa, Λ x , OgdenModelDa a ,
T s , x p e , , x desi ed )
2. ẋ ←
3. x ← x au eko + ẋ * T s
4. F 0 ← In e polazioa ( OgdenModelDa a , 0)
5. F ← In e polazioa ( OgdenModelDa a , x)
6. 6. F ← F − F 0
7. [ egina ] ← baldin za-Te minalak( x desi ed , Λ x , x au eko ) (Ikus 4. algo i moa)
8. [sa ia] ← Sa ia (F, x, ẋ , xdesi ed , λ 1 , λ 2 , λ 3 , Penalizazioa) (Ikus 5. algo i moa)
9.
i zuli
x, F, sa ia
Taula 6: Baldin za e minalak
4. algo i moa:
Baldin za e minalak.
1.
un zioa
Te minal-baldin zak ( xdesi ed , Λ x , x au eko , x)
2. x > xdesi ed + λ x // Agen eak nahi baino gehiago i eki zen du ga una.
3. Eginda dago ← 1
4. elsei x < 0 // Posizioek balio nega iboak di uz e.
5. Eginda dago ← 1
6. elsei x − x p e < 0 // Ga una i eki zen a i den bi a ean, obo a be i o ix en
has en da.

71
7. Eginda dago ← 1
8. bes ela
9. Eginda dago ← 0
10. endi
11.
i zuli
Eginda dago
5. algo i moa:
Sa i- un zioa.
1.
un zioa
Sa i- un zioa (F, x, ẋ , x desi ed, λ1, λ2, λ3, Penalizazio a)
2. Eginda badago == 0
3. Sa ia ← Balioa (F, x, ẋ , x desi ed, λ1, λ2, λ3)
4. Bes ela
5. Sa ia ← Balioa (F, x, ẋ , x desi ed, λ1, λ2, λ3, Penalizazio a)
6. endi
7.
i zuli
sa ia
3.3.2.2
Agen ea
DDPG algo i moko agen ea bi osagai nagusik osa zen du e: Ak o eak e a K i ikoak,
biak e e sa e neu onal sakon gisa inplemen a uak.
3.3.2.2.1
Ak o ea
Ak o ea i dagokion neu ona sa ea inplemen a u du, ak o ea i ekin zak modu
e aginko ean e a zeha zean hau a zeko gai asuna ema eko, ingu unea en egungo
egoe a en a abe a. Ho e a ako, Hau ema e Ge uza Ani zeko (MLP) sa e neu onal
a i izial ba e aiki da, ikaskun za sakoneko a azoe an asko e abil zen den e edua,
malgu asunaga ik e a un zio konplexuak hu bil zeko gai asunaga ik.
72
Sa e neu onal honen diseinuak bi mo a nagusi ako xandakako ge uzez osa u ako egi u a
ba i ja ai zen dio:
• E aba Konek a u ako Ge uzak (Fully Connec ed Laye s): Ge uza ho iek ondoko
ge uze ako neu ona guz iekin konexioak di uz en neu onek osa zen di uz e, bai
au ekoekin, bai ondo engoekin. A ki ek u a mo a ho i eske , sa eak in o mazioa
modu in eg alean p ozesa zen e a konbina zen du, e a ho ek ingu unea en
egoe a en i udikapen konplexuak ikas ea e az en du. Konexio inko ho iei eske ,
neu ona sa ea gai da in o mazio ga an zi su guz ia ge uza ba e ik bes e a
ansmi i zeko, be e i udikapen-gai asuna maximiza uz.
• ReLU ge uzak (Rec i ied Linea Uni s): Ge uza ho iek ak ibazio- un zio ba
sa zen du e, sa e ik pasa zen di en da uei zuzenke a lineal ba aplika zen diena,
hau da, balioak zenbaki posi iboe a a muga zen di uz e. Te mino p ak ikoe an,
ho ek esan nahi du au eko ge uzek so u ako edozein balio nega ibo ze o a
doi zen dela, e a ho ek en enamendua en konbe gen zia e az en du desage u
den g adien ea en a azoa a in zean. ReLU un zioa asko e abil zen da ikaskun za
sakonean, sinplea e a e aginko a delako, neu ona-sa eek azka ago e a
egonko asun handiagoa ekin ikas bai ezake e.
Ak o ea en sa ea en egi u an e aba konek a u ako ge uzak e a ReLU ge uzak
konbina zeak auke a ema en dio agen ea i sa e ako da uak (ingu uneko egoe ak)
e aginko asunez p ozesa zeko e a i ee a gisa ekin za egokia so zeko. A ki ek u a
ho ek be ma zen du sa ea nahikoa adie azko a iza ea ingu uneko konplexu asunak
a zema eko; aldi be ean, nahiko e aza da konpu azioa en ikuspegi ik, e a ho i
e abakiga ia da denbo a e ealeko aplikazioe a ako.
73
Hauek di a neu ona-sa ea en egi u a osa zen du en ge uzak ak o ean:
• Sa e ako ge uza (obs1) → 2 sa e a/behake a ( x,F ) → 2 neu ona;
• E aba konek a u ako ge uza ( c1) → 10 neu ona;
• ReLu Ge uza ( elu1 );
• E aba konek a u ako ge uza ( c2) → 10 neu ona;
• ReLu Ge uza ( elu2 );
• E aba konek a u ako ge uza ( c3) → 10 neu ona;
• ReLu Ge uza ( elu3 );
• E aba Lo u ako Ge uza (ac 1) → neu ona 1;
• ReLu Laye ( elu4) → i ee ako ge uza gisa un ziona zen du → neu ona 1.
3.3.2.2.2
K i ikoa
K i ikoa so u beha dugun biga en e a azken neu ona sa ea da. K i ikoak ak o eak
egindako ekin zak ebalua zen di u, egoe a edo ekin za-pa e bakoi za en balioa edo
kali a ea zenba e siz. Ak o ea i a ze aelikadu a ema en dio, e a ak o ea en ekin zak
egoe a jakin ba ean zein onak edo xa ak di en balioes en du. K i ikoak jaso ako
espe ien zie a ik ikas en du e a be e balio-es imazioak egune a zen di u ak o ea ekin za
hobeagoe a a bide a zeko.
K i ikoa en neu ona sa ea e aiki zeko, ge uza hauek e abili di a. Ba ean elka zen
di en bi le o desbe dinekin hasiko ga a, k i ikoak bi ha zen bai i u sa e ak,
ingu une ik e a ak o e ik.
• 1. le oa:
• Sa e ako ge uza (obs2) → 2 sa e a/behake a( x,F ) → 2 neu ona;
• E aba konek a u ako ge uza ( c1) → 10 neu ona;
• ReLu Ge uza ( elu1 );
• E aba konek a u ako ge uza ( c2) → 10 neu ona.
• 2. le oa:
• Sa e ako ge uza (2. ekin za) → 1 sa e a/behake a. → 1 neu ona.
• E aba Konek a u ako Ge uza (gi a ea) → 10 neu ona.
74
• Konbe gen zia- le oa;
• Ge oago gehi zea → bi le oak baka ean gehi zen di u ;
• ReLu Ge uza ( elu2 );
• E aba konek a u ako ge uza ( c3) → 10 neu ona;
• ReLu Ge uza ( elu3 );
3.3.2.3
Baldin za e minalak
Lan hone an e minal-baldin zak aipa zen di enean, simulazioak kudea ze ik ez
dagoen egoe a ba , e eali a ean gauzaezina izan dai ekeena, edo zeha ka u nahi ez den
egoe a ba (ikus 4. Algo i moa) lo zen duen egoe ak di a. Hona hemen kasu hone a ako
de ini u ako e minal-baldin zak:
• Agen eak, ga una en e e akzio p ozesuan, beha baino inda handiagoa
egi en badu, bu muinak jasandako e e akzioa gehiegizkoa da. Egoe a ho i
ez da ba e e desi aga ia, p esio handiegia e agi en bai u ingu uko ga un-
ehune an.
• Posizioek balio nega iboak di uz e. Hau ezinezkoa da.
• Robo ak bu muineko e e akzioa egi en duen bi a ean, e a p oposa u ako
helbu ua lo u gabe egi ea i uz en dion bi a ean.
3.3.2.4
Sa i- un zioa
DDPG algo i moan sa i- un zioa de ini zeko ingu uneko aldagai behaga iak e a
ingu uaba espezi iko hauek ha u di a kon uan:
• E o ea ahalik e a gehien minimiza u beha da.
• Ga unak e agindako kon ako inda a ahalik e a xikiena izan beha da.
• Abiadu a ahalik e a maila ik baxuenean man endu beha da.
81
gu e be abia az e- un zioa doi u dezakegu (Algo i mo 2), e a "xdesi ed" aldagaia sa u
simulazio ba has ean alda uko den ausazko aldagai gisa.

82
4 ONDORIOAK
Kapi ulu hone an, ike ke a hone an zeha lo u ako ga apene ik e a emai ze a ik
a e a ako ondo io o oko ak au kez en di a. Ike ke a en helbu u nagusia izan da
ga una en e e akzioa obo iza zeko kon olagailu ba en diseinua e a simulazioa, bai
kon ol op imoko eknikak e a bai adimen a i izialean oina i u ako me odoak e abiliz.
Lan honek bi helbu u zeha z izan di u a da z: ba e ik, ga una en e e akzioa zeha z-
meha z egi eko gai den sis ema obo iza u ba ga a zea, ga un-egi u e an kal eak iza eko
a iskua gu xi u a e a kon ol op imoko ekniken bidez ebakun za-denbo ak
op imiza u a; e a, bes e ik, sis ema obo ikoa i egoe a kliniko bakoi za ikas eko e a
egoe a ho ie a a egoki zeko gai asuna ema eko adimen a i iziala e abil zen duen
kon olagailu ba diseina u e a simula zea.
4.1
ONDORIOAK
Esan bezala (Go elick, 2019),
2016an, 25 u e edo gehiagoko pe sonen za ik usa
iza eko a isku globala % 24,9koa zen; 1990ean, % 22,8koa baino gehiago. 2030e ako,
AEBko helduen ia % 4k azu ba izango luke. Lo u ako u eko mediku-kos uak 2012an
71.550 milioi dola iza e ik 183.130 milioi dola iza e a iga o zi en. Igoe a ho i biz anle ia
zaha agoa e a mediku-a e a hobea iza eak e agin zuen. Ik usak ja ai zen du mundu
osoan biga en he io za-kausa iza en, 2016an 5,5 milioi he io za e agin bai zi uen.
Adina en a abe a egoki u ako he io za- asa jai si e a eskualde gehiene an in ziden zia
gu xi u a en, ik us-kasuen kopu u absolu ua handi u egingo da populazioa en
hazkundea en e a zaha zea en ondo ioz. AEBn, ik us-kasuak 2050e a a e handi uko
di ela au eikus en da
. Tes uingu u ho e an, oso ga an zi sua da ik usa en
83
a amenduan p ebeni zea e a a e a medikoa hobe zea. A lo ho e an au e apen
naba menak lo zeko, ezinbes ekoa da ik usa en alo eko ike ke a sus a zea. Hain zuzen
e e, ma ko ho e an koka zen da o aingo ike ke a. Lan honen helbu u nagusia izan da
ga una en e e akzioa obo iza zeko kon ol-algo i moak ga a zea, esku-ha ze
ki u gikoe an pazien ea i kal eak minimiza zen dizkion e e akzio- eknika ba lo zeko.
Hala e e, ike ke a lan guz ie an bezala, ike ke a honek muga ba zuk di u. Lehenik
e a behin, simulazioe an e abili ako ga un-e edua soil asun handikoa da, e a ho ek ez
du ona zen o ganoa en konplexu asun ana omiko e a isiologikoa en i udikapen guz iz
idela. Gaine a, o ain a e, lana simulazio konpu azionalean zen a u da soilik, bene ako
eszena klinikoe an aplika u gabe.
Muga ho iek go abehe a, lo u ako emai zek lehen u a s ga an zi su ba osa zen
du e maniob a ki u giko ba au oma iza zeko, e a, be e o ma adizionalean,
pazien eengan sekuen zia-kopu u esangu a sua so dezake.
4.1.1
Kon ol op imoa, kalkulu ba iazionaleko ekniken bidez
Lehenik e a behin, azpima a zekoa da kalkulu ba iazionalean oina i u ako kon ol
op imoa oso baliaga ia izan dai ekeela ga una en e e akzioa en obo izazioan
ibilbideak so zea en, hipoxia ik e a o i ako kal e iskemikoak gu xi zeko edo
ezaba zeko helbu ua ekin. Au kez u ako g a ikoan ikus dai ekeenez, esku-ha zea en
lehen segundoan, 6 zen ime oko e e akzioa egi en da; e a ho ek, lehen begi a uan,
gehiegizkoa di udi, izan e e, ez bai a ekin za in ui iboa mo a ho e ako maniob a.
Ule ga ia da pen sa zea ga uneko e e akzio ba egi eko modu ik kal ega iena e a
oso mo el e a kon ola uan egi ea dela. Izan e e, ponde azio- ak o ea, lambda gisa
adie azia, e e akzio-abiadu a e egula zeko helbu ua ekin sa u zen; ze en e a Ekai z
84
Zulue a dok o eak e a biok us e baikenuen abiadu a gehiegizkoa izan zi ekeela e a,
ondo ioz, gaixoa en za kal ega ia izan zi ekeela. Aldake a ho i eza i zen, au eko
emai ze an e e akzio-abiadu a a e handiagoa zelako, ponde azio- ak o e ho i ja o izko
kon ol-legean sa u gabe zegoelako.
Hala e e, plan eamendu ho ek pa e ha u dudan neu oki u gia-in e ben zioe an
egindako behake ekin kon aesanean dago. Ebakun za ho ie an, ni e us ez oso azka a
den e e akzio ba egi en dela ikusi du , e e akzio mo elago ba ek konp esio-denbo a
luza u e a ingu uko ehunak kal e zeko a iskua a eago u dezakeelako.
Ho i dela e a, ponde azio- ak o ea ga una en e e akzio-abiadu a kon ola zeko
esna bada e e, ezinbes ekoa da ha en magni udea a e az o eka zea, bai kal e
mekanikoen a iskua bai hipoxia-a iskua gu xi zeko. O eka ho i ezinbes ekoa da esku-
ha zean pazien ea en segu asuna be ma zea en; e a kon ol op imoko ekniken
e abile a esna baliaga ia da ga una en e e akzioa bezain delika uak di en p ozedu a
ki u gikoen obo izazio ako bidean.
4.1.2
Adimen a i izialeko eknike an oina i u ako kon ola
Ingu une klinikoe an obo izazio ako DDPG algo i moa en bide aga i asuna
:
Simulazioe an lo u ako emai zek e aku si du e DDPG algo i moa i enbide egokia e a
e aginko a dela ga una en e e akzioa en kon ol obo iko ako. P ozedu a mo a hauek
mu u eko zehaz asuna e a mugimendu delika u e a kon ola uak egi eko gai asuna
eska zen du e, edozein aka s edo mugimendu desegokiek kal e konponezinak e agin
di zakeelako ga uneko ehunean. DDPG algo i moa ezauga i zen duen e engabeko
e e o zua en ikaskun zan oina i u ako ikuspegia i eske , agen e obo ikoa i kon ol
poli ika oso e aginko e a e aginko ak ga a zea ahalbide u zuen, ingu une ki u gikoa en
85
baldin za aldako e a a egoki zeko gai asuna hobe uz. Ikaskun za mo a honi eske ,
agen eak denbo an zeha be e e endimendua op imiza dezake, ingu une ik jaso zen
duen eedbacka en bidez (hau da, gauza u ako ekin zen a abe a lo u ako sa iak) modu
au onomoan ikasiz. Ho ela, sis ema obo ikoak ehun delika ue an egi en den p esioa
minimiza zen du en e e akzio-mugimenduak egi eko es a egia ik onenak iden i ika u
e a be egana u ahal izan zi uen, e a ho ela ehunak kal e zeko a iskua naba men
mu iz uz.
Ikuspegi honen aban aila nagusie ako ba da DDPG gai dela e engabeko ekin za-
espazioe an kon ol-poli ikak ikas eko , e a ho i ezinbes ekoa da obo ika ki u gikoa
bezalako aplikazioe an. Ekin za-espazio disk e ue an lan egi en du en inda ze-
ikaskun zako bes e algo i mo ba zuek ez bezala, DDPG ezin hobe o egoki zen da ki u gia
obo ikoa en beha e a a, non obo a en ekin zak (adibidez, e e akzio mugimenduak,
inda a en doikun za e a esna en manipulazio zeha za) e engabeak e a leunak izan
beha bai u e. Ezauga i ho i un sezkoa izan zen p oiek ua en a akas a ako, obo a i
be e mugimenduak a inago doi zeko auke a eman bai zion, ingu une ki u gikoan ondo io
kal ega iak eka di zake en ba -ba eko mugimenduak saihes uz.
Tes uingu u hone an DDPG en bide aga i asuna en bes e aban aila gako ba da
algo i moak p es akun zan zeha ikusi gabeko egoe ak o oko zeko duen gai asuna.
Ingu une klinikoan, zaila da bene ako p ozedu a ki u giko ba ean so dai ezkeen aldae a
posible guz iak au eikus ea. Dena den, e e o zu-ikaskun zan oina i u ako ikuspegia
e abil zea i eske , agen e obo ikoa dinamikoki molda zen da ope azioan so dai ezkeen
egoe a edo us ekabeko ge ae a be ie a a.
86
Agen ea en egoki zapena Baldin za aldako e a a
: Lan hone an inplemen a u ako
DDPG algo i moa en diseinua en alde di ik aipaga iene ako ba baldin za e a
eszena oki ezbe dine a a egoki zeko gai asuna da, sis ema obo ikoa en aldako asuna
e a sendo asuna inda zen duena. Ingu une kliniko ba en es uingu uan, ga una en
e e akzioa ekin ge a zen den bezala, obo a en po ae an e agi en du en ak o eak
naba men alda dai ezke, pazien e bakoi zak ezauga i isiologiko be eziak bai i u e a
ebakun za ba ean ki u gia-baldin zak dinamikoki alda dai ezkeelako. Simula u ako
DDPG algo i moak, e engabeko ekin za-poli ika ikasiz , aldake e a a egoki zeko auke a
ema en du, be e ekin zak ingu uneko egoe a zeha ze a a egoki uz. Egoki zapen-mo a
hau oso ga an zi sua da ki u gia-p ozedu a ba ean, non pazien ea en segu asuna, bes e
ak o e asko en a ean, sis emak aldake ei, au eikusi akoak edo ezus ekoak izan,
e eakziona zeko duen gai asuna en mende bai ago. Egoki zeko gai asunak ga uneko
ehunen baldin zen aldake ak ez ezik, ebakun zan zeha ezus eko ge aka iei au e egi eko
gai asuna e e ba ne ha zen du, hala nola pazien ea en mugimendu xikiak edo langile
medikoek e agindako mugimenduak. Zuzeneko poli ika en ikaskun za- ikuspegi honek
e abakiak ha zeko p ozesua mo elduko luke en kalkulu gehiga ien beha a ezaba zeko
aban aila ema en du, e a, aldi be ean, sis ema obo ikoa en e an zun azka ago e a
leunagoa da.
Sa e neu onalen e abile a en bidezko op imizazioa
: Ak o e zein K i iko egi u e an
sa e neu onal sakonak eza zea un sezko osagaia izan da agen eak nahi di uen emai zak
eman di uen poli ika ga a zen duela ziu a zeko . Lehenik e a behin, Ac o a ki ek u an
e abili ako Fully
Connec ed Laye ek
ingu unea en behake ak p ozesa zeko gai asun
handia eman zio en agen ea i, hau da, ga una en egungo egoe a e a e e akzio inda ak

87
desk iba zen di uz en aldagai desbe dinak. Ge uza bakoi zeko neu ona guz iak ondoko
ge uze akoekin konek a u a daudenez, sa ea ingu une-aldagaien a eko in e akzio
konplexuak i udika zeko gai dela ziu a zen da. I udikapen-gai asun ho i un sezkoa da
maniob a an, hala nola ga una en e e akzioan, non ingu unea en egoe a en aldakun za
xikiek doikun za ga an zi suak eska di zake e obo a en ekin ze an.
Bes alde,
ReLU (Rec i ied Linea Uni ) ak ibazioek
, balio nega iboak ze o a
muga zen di uz enak, un sezko eginkizuna izan zu en en enamendua en
e aginko asuna hobe zeko. ReLU ak ibazio- un zio gisa auke a zeak ikaskun za-
konbe gen zia e az en du, g adien een desage pena bezalako a azoak a in zeaz gain,
sa e neu onalak abiadu a handiagoan ikas eko e a egonko asuna eskainiz e e auke a
ema en du. Abiadu a e a egonko asun ho i ezinbes ekoak di a denbo a e ealeko
e abakiak beha di uz en ingu unee an , hala nola, p ozedu a ki u gikoan. ReLU
e abil zeak, be az, sa ea en gai asuna hobe zen du ingu une ki u gikoko egoe a
aldako e a a egoki zeko e a obo a en un zionamendu ako beha ezkoak di en ekin za
op imoak so zeko.
E o kizuneko Aplikazio Klinikoe a ako Po en ziala
: Lan honen espa ua ingu une
simula u ba e a muga u bada e e, lo u ako emai zek adie az en du e DDPG algo i moa
auke a egokia dela bene ako aplikazio klinikoe an inplemen a zeko. Ikas eko e a egoe a
aldako e a a egoki zeko gai asunak esna i xa open su bihu zen du doi asun handiko
ze egin ki u gikoe a ako, hala nola ga una en e e akzio ako.
88
5 ETORKIZUNEKO ILDOAK
Ike ke a hone an, ga un-uzku du a en obo izazio-p ozesua i bu uzko ezagu zan
au e a egi eko auke a eman du en hainba gai jo a u di a. Hala e e, edozein ike ke a-
p oiek u an bezala, lo u ako emai zek a eak i eki zen dizkie e galde a e a e onka
be iei, lan hone an guz iz landu ezin izan di enei. Kapi ulu honen helbu ua e o kizuneko
ike ke a-ildo posible ba zuk plan ea zea da, au kez u ako au kikun zak osa zeko e a
zabal zeko.
E o kizuneko ike ke a ho ien ga apena i eske , esi hone an egindako eka penak
sendo zeaz gain, ga un-uzku du a en obo izazio-p ozesua en ule men in eg alago
ba e an z e e egin ahal izango da, e a, ho ela, a lo ho e ako ezagu za zien i ikoa en
eboluzioan lagunduko da.
5.1.1
Simula u ako sis ema en eza pena e a p oba espe imen alak egi ea
Sis ema diseina u e a simula u ondo en, hu engo u a s na u ala, edo gu xienez
ga an zi suene ako ba , au e ik simula u ako sis ema eza zea da. Inplemen azio ho i
egi eko, un sezko bi alde di iden i ika u di a: a ki ek u a en diseinua e a eza pena, e a
laginke a-maiz asuna en zehaz apena.
5.1.1.1
Kon ol-a ki ek u a
Kuka LBR Iiwa ba ean diseina u ako kon ol-sis ema eza zeko p oposa u ako
a ki ek u a e akus en da. Hi u za i ezbe dine an bana u a dago, kon ol-sis em,
ingu une e eala e a simulazioa naba mendu a.
•
Ingu une e ealean
, beso obo ikoak bu muina ekin elka e agingo luke, e a
ha en kon ola Kuka en "Sun ise" izeneko so wa e sis ema en bidez kudea uko
89
li za eke, obo a en posizio- e a inda -da uak jasoko li uzke e a ha en
mugimendu ako aginduak bidaliko li uzke.
•
Simulazioan
, Gazebo esna e abiliko li za eke obo a en po ae a ikus eko, e a
Simulink e a ROS, be iz
,
simula u ako ingu une ho e ako ibilbideak e a
inda ak kon ola zeaz a du a zen li a eke. Simulazioak ibilbideak kalkula zea
e a obo a en gainean e agi en du en inda ak kudea zea ahalbide zen du en
e edu zinema ikoak e a kon ak uak bil zen di u.
•
Kon ol-sis emak
ROS e a C++ kon olagailuak in eg a uko li uzke obo a en
mugimendua e a inda ak kon ola zen di uz en seinaleak p ozesa zeko, nahi
di en ibilbideak ja ai zen di uela e a be e ingu unea ekiko elka ekin zak beha
bezala kudea zen di uela ziu a u a. Sis ema ho iek guz iak, bai simulazioan, bai
ingu une e ealean, konek a uko li a eke, komandoen e a da uen no anzko biko
komunikazioa ahalbide zen du en ROS nodoak izango bai zi en, gil zadu ak zein
obo a en inda ak e a ibilbideak denbo a e ealean kudea zeko.
90
I udia 20: P oposa u iko kon ol a ki ek u a
5.1.2
Ga una en po ae a mekanikoa en e edua
Sa e an esan bezala, lan hone an Ogden e edua e abili da ga una en po ae a
mekanikoa simula zeko, ma e ial hipe elas ikoen po ae a mekanikoa —ba ez e e
de o mazio handie an po ae a ez-lineala e akus en du enena, hala nola ga uneko
ehuna ena— desk iba zeko e abil zen den e edu ma ema ikoa bai a.
97
An saklis, P. J., Kou soukos, X. D., & Dame, N. (2001).
Hyb id Sys ems Con ol
.
1–30.
A ani, A., Min, H. K., Fa ahi, N., We jen, N. M., T zasko, J. D., Manduca, A.,
Jack, C. R., Lee, K. H., Ehman, R. L., & Hus on, J. (2018). Acu e p essu e
changes in he b ain a e co ela ed wi h MR elas og aphy s i ness
measu emen s: ini ial easibili y in an in i o la ge animal model.
Magne ic
Resonance in Medicine
,
79
(2), 1043–1051.
h ps://doi.o g/10.1002/m m.26738
A gue a, C., Chow, A., & Lomeli, C. (1992). Deep Rein o cemen Lea ning and
T ans e Lea ning wi h FlappyBi d.
Machine Lea ning
,
8
(4), 279–292.
Baek, J., Jin, M., & Han, S. (2016). A new adap i e sliding-mode con ol scheme
o applica ion o obo manipula o s.
IEEE T ansac ions on Indus ial
Elec onics
,
63
(6), 3628–3637.
Basilio, A. V, Zeng, D., Pichay, L. A., Maas, S. A., Sunda esh, S. N., Finan, J.
D., Elkin, B. S., McKhann, G. M., A eshian, G. A., & Mo ison III, B. (2024).
Region-Dependen Mechanical P ope ies o Human B ain Tissue Unde
La ge De o ma ions Using In e se Fini e Elemen Modeling.
Annals o
Biomedical Enginee ing
,
52
(3), 600–610.
Bei an and, A., Kalho , A., & Masouleh, M. T. (2021). Modeling, iden i ica ion
and minimum leng h in eg al sliding mode con ol o a 3-DOF ca esian
pa allel obo by conside ing i ual lexible links.
Mechanism and Machine
Theo y
,
157
, 104183.

98
Bellema e, M. G., Nadda , Y., Veness, J., & Bowling, M. (2013). The a cade
lea ning en i onmen : An e alua ion pla o m o gene al agen s.
Jou nal o
A i icial In elligence Resea ch
,
47
, 253–279.
Bellman, R. (1954). The heo y o dynamic p og amming.
Bulle in o he
Ame ican Ma hema ical Socie y
,
60
(6), 503–515.
Bellman, R. (1966). Dynamic p og amming.
Science
,
153
(3731), 34–37.
Benne , M. H., Albin, M. S., Bunegin, L., Dujo ny, M., Hells om, H., &
Janne a, P. J. (1977). E oked po en ial changes du ing b ain e ac ion in
dogs.
S oke
,
8
(4), 487–492. h ps://doi.o g/10.1161/01.STR.8.4.487
Be s, J. T. (2010).
P ac ical me hods o op imal con ol and es ima ion using
nonlinea p og amming
. SIAM.
Bien, Z., & Xu, J.-X. (2012).
I e a i e lea ning con ol: analysis, design,
in eg a ion and applica ions
. Sp inge Science & Business Media.
Bils on, L. E. (2011). B ain issue mechanical p ope ies. In
Biomechanics o he
B ain
(pp. 69–89). Sp inge .
B yson, A. E. (2018).
Applied op imal con ol: op imiza ion, es ima ion and
con ol
. Rou ledge.
Budday, S., O ae , T. C., Holzap el, G. A., S einmann, P., & Kuhl, E. (2019).
Fi y Shades o B ain: A Re iew on he Mechanical Tes ing and Modeling o
B ain Tissue. In
A chi es o Compu a ional Me hods in Enginee ing
(Vol. 27,
Issue 4). Sp inge Ne he lands. h ps://doi.o g/10.1007/s11831-019-09352-w
99
Budday, S., O ae , T. C., Holzap el, G. A., S einmann, P., & Kuhl, E. (2020).
Fi y Shades o B ain: A Re iew on he Mechanical Tes ing and Modeling o
B ain Tissue.
A chi es o Compu a ional Me hods in Enginee ing
,
27
(4),
1187–1230. h ps://doi.o g/10.1007/s11831-019-09352-w
Calanca, A., Capisani, L., & Fio ini, P. (2014). Robus o ce con ol o se ies
elas ic ac ua o s.
Ac ua o s
,
3
(3), 182–204.
h ps://doi.o g/10.3390/ac 3030182
Cao, H., Chen, X., He, Y., & Zhao, X. (2019). Dynamic adap i e hyb id impedance
con ol o dynamic con ac o ce acking in unce ain en i onmen s.
IEEE
Access
,
7
, 83162–83174.
Casalino, A., Mazzocca, E., Di Gio gio, M. G., Ma ia Zanche in, A., & Rocco, P.
(2019). Task scheduling o human- obo collabo a ion wi h unce ain
du a ion o asks: A uzzy app oach.
2019 IEEE 7 h In e na ional Con e ence
on Con ol, Mecha onics and Au oma ion, ICCMA 2019
,
1
, 90–97.
h ps://doi.o g/10.1109/ICCMA46720.2019.8988735
Chambe s, I. R., Ma in, D., Cla k, A., Nicklin, A., Mendelow, A. D., & Mi chell,
P. (2008). The measu emen o b ain issue s i ness in- i o. In
Ac a
Neu ochi u gica Supplemen s
(pp. 287–289). Sp inge .
Cla ke, F. (2013).
Func ional analysis, calculus o a ia ions and op imal con ol
(Vol. 264). Sp inge .
Clemen e, A. V., Cas ejón, H. N., & Chand a, A. (2017).
E icien Pa allel
Me hods o Deep Rein o cemen Lea ning
. h p://a xi .o g/abs/1705.04862
100
Coa s, B., & Ma gulies, S. S. (2006). Ma e ial p ope ies o po cine pa ie al co ex.
Jou nal o Biomechanics
,
39
(13), 2521–2525.
C owe, J., Chen, G. R., Fe dous, R., G eenwood, D. R., G imble, M. J., Huang,
H. P., Jeng, J. C., Johnson, M. A., Ka ebi, M. R., Kwong, S., & o he s.
(2005).
PID con ol: new iden i ica ion and design me hods
. Sp inge .
Dachang, Z., Baolin, D., Puchen, Z., & Shouyan, C. (2020). Cons an Fo ce PID
Con ol o Robo ic Manipula o Based on Fuzzy Neu al Ne wo k Algo i hm.
Complexi y
,
2020
.
Dao, G., & Lee, M. (2019). Rele an expe iences in eplay bu e .
2019 IEEE
Symposium Se ies on Compu a ional In elligence (SSCI)
, 94–101.
Deg is, T., Pila ski, P. M., & Su on, R. S. (2012). Model- ee ein o cemen
lea ning wi h con inuous ac ion in p ac ice.
Ame ican Con ol Con e ence
(ACC)
, 2177–2182.
DeLo enzo, C., Papademe is, X., S aib, L. H., Vi es, K. P., Spence , D. D., &
Duncan, J. S. (2012). Volume ic in aope a i e b ain de o ma ion
compensa ion: model de elopmen and phan om alida ion.
IEEE
T ansac ions on Medical Imaging
,
31
(8), 1607–1619.
Dewan, M. C., Ra ani, A., Fieggen, G., A aez, M. A., Se adei, F., Boop, F. A.,
Johnson, W. D., Wa , B. C., & Pa k, K. B. (2019). Global neu osu ge y:
The cu en capaci y and de ici in he p o ision o essen ial neu osu gical
ca e. Execu i e summa y o he global neu osu ge y ini ia i e a he p og am
101
in global su ge y and social change.
Jou nal o Neu osu ge y
,
130
(4), 1055–
1064. h ps://doi.o g/10.3171/2017.11.JNS171500
Diehl, M., Bock, H. G., & Schlöde , J. P. (2005). A eal- ime i e a ion scheme o
nonlinea op imiza ion in op imal eedback con ol.
SIAM Jou nal on Con ol
and Op imiza ion
,
43
(5), 1714–1736.
Dujo ny, M., Wackenhu , N., Kosso sky, N., Le , L., Gomez, C., & Nelson, D.
(1980). Biomechanics o ascula occlusion in neu osu ge y.
Ac a Neu ologica
La inoame icana
,
26
(2), 123–127.
Eche e y, N., Mansou , S., MacKinnon, G., Ja aki, J., Shapi o, S., & Snelling,
B. (2020). In ac anial Tubula Re ac o Sys ems: A Compa ison and
Re iew o he Li e a u e o he B ainPa hTM, Vyco TM, and METRxTM
Tubula Re ac o s in he Managemen o Deep B ain Lesions.
Wo ld
Neu osu ge y
.
Fallah, A., Sub amaniam, T., Phillips, H. W., Michale , X., Vin e s, H. V., Yong,
W. H., Wu, J. Y., Salamon, N., Ellingson, B. M., Wang, A. C., Reyes, S. D.,
Ib ahim, G. M., Weil, A. G., Chang, J. W., Babayan, D., Nguyen, J. C.,
Behnke, E., Tseng, C. H., & Ma he n, G. W. (2020). No el onome e de ice
dis inguishes b ain s i ness in epilepsy su ge y.
Scien i ic Repo s
,
10
(1), 1–
11. h ps://doi.o g/10.1038/s41598-020-77888-0
Fallens ein, G. T., Hulce, V. D., & Mel in, J. W. (1969). Dynamic mechanical
p ope ies o human b ain issue. In
J. Eiomechanics
(Vol. 2). Pe gamon
P ess.
102
Fleming, W. H., & Rishel, R. W. (2012).
De e minis ic and s ochas ic op imal
con ol
(Vol. 1). Sp inge Science & Business Media.
Fujimo o, S., Hoo , H., & Mege , D. (2018). Add essing unc ion app oxima ion
e o in ac o -c i ic me hods.
In e na ional Con e ence on Machine Lea ning
,
1587–1596.
Fukamachi, A., Koizumi, H., & Nukui, H. (1985). Pos ope a i e in ace eb al
hemo hages: A su ey o compu ed omog aphic indings a e 1074
in ac anial ope a ions.
Su gical Neu ology
,
23
(6), 575–580.
h ps://doi.o g/10.1016/0090-3019(85)90006-0
Gan, L. S., Za einia, K., Lama, S., Maddahi, Y., Yang, F. W., & Su he land, G.
R. (2015). Quan i ica ion o o ces du ing a neu osu gical p ocedu e: A pilo
s udy.
Wo ld Neu osu ge y
,
84
(2), 537–548.
Go elick, P. B. (2019). The global bu den o s oke: pe sis en and disabling.
The
Lance Neu ology
,
18
(5), 417–418.
Goswami, N. K., & Padhy, P. K. (2018). Sliding mode con olle design o
ajec o y acking o a non-holonomic mobile obo wi h dis u bance.
Compu e s & Elec ical Enginee ing
,
72
, 307–323.
G ego y, J., Oli a es, A., & S a e i, E. (2012). Ene gy-op imal ajec o y
planning o obo manipula o s wi h holonomic cons ain s.
Sys ems &
Con ol Le e s
,
61
(2), 279–291.

103
G ego y, J., Oli a es, A., & S a e i, E. (2013). Ene gy-op imal ajec o y
planning o he Pendubo and he Ac obo .
Op imal Con ol Applica ions
and Me hods
,
34
(3), 275–295.
Gu, S., Holly, E., Lillic ap, T., & Le ine, S. (2017). Deep ein o cemen lea ning
o obo ic manipula ion wi h asynch onous o -policy upda es.
2017 IEEE
In e na ional Con e ence on Robo ics and Au oma ion (ICRA)
, 3389–3396.
Guldne , J., & U kin, V. I. (2000). The cha e ing p oblem in sliding mode
sys ems.
Fou een h In ena ional Symposium o Ma hema ical Theo y o
Ne wo ks and Sys ems, MTNS2000
.
Hamedani, M. H., Sadeghian, H., Zek i, M., Sheikholeslam, F., & Keshmi i, M.
(2021). In elligen Impedance Con ol using Wa ele Neu al Ne wo k o
dynamic con ac o ce acking in unknown a ying en i onmen s.
Con ol
Enginee ing P ac ice
,
113
, 104840.
Ha kens, T., Hill, D. L. G., Cas ellano-Smi h, A. D., Hawkes, D. J., Mau e , C.
R., Ma in, A. J., Hall, W. A., Liu, H., & T uwi , C. L. (2003). Measu emen
and analysis o b ain de o ma ion du ing neu osu ge y.
IEEE T ansac ions
on Medical Imaging
,
22
(1), 82–92. h ps://doi.o g/10.1109/TMI.2002.806596
Hogan, N. (1984). Impedance con ol: An app oach o manipula ion.
1984
Ame ican Con ol Con e ence
, 304–313.
Hogan, N. (1985). Impedance con ol: An app oach o manipula ion: Pa II-
implemen a ion.
Jou nal o Dynamic Sys ems, Measu emen and Con ol,
T ansac ions o he ASME
,
107
(1), 8–16. h ps://doi.o g/10.1115/1.3140713
104
Hong, J., Wang, D., & o he s. (2017). Polishing o une en su aces using indus ial
obo s based on neu al ne wo k and gene ic algo i hm.
The In e na ional
Jou nal o Ad anced Manu ac u ing Technology
,
93
(1), 1463–1471.
Hwangbo, J., Lee, J., Doso i skiy, A., Bellicoso, D., Tsounis, V., Kol un, V., &
Hu e , M. (2019). Lea ning agile and dynamic mo o skills o legged obo s.
Science Robo ics
,
4
(26), eaau5872.
Kal as, I. H., & Li le, J. R. (1988). Pos ope a i e hemo hage: a su ey o 4992
in ac anial p ocedu es.
Neu osu ge y
,
23
(3), 343–347.
Kalman, R. E. (1963). The Theo y o Op imal Con ol and he Calculus o
Va ia ions.
Ma hema ical Op imiza ion Techniques
, 309.
Kamel, M., Bu i, M., & Siegwa , R. (2017). Linea s nonlinea mpc o
ajec o y acking applied o o a y wing mic o ae ial ehicles.
IFAC-
Pape sOnLine
,
50
(1), 3463–3469.
Kase a, S., Kuma , A., & P asad, L. B. (2017). Analysis o cha e ing ee
imp o ed sliding mode con ol.
2017 In e na ional Con e ence on Inno a ions
in In o ma ion, Embedded and Communica ion Sys ems (ICIIECS)
, 1–6.
Kashyap, A. K., Pa hi, D. R., & Pandey, A. (2022). Mul i-objec i e op imiza ion
echnique o ajec o y planning o mul i-humanoid obo s in clu e ed
e ain.
ISA T ansac ions
,
125
, 591–613.
Kim, Y. L., Ahn, K. H., & Song, J. B. (2020). Rein o cemen lea ning based on
mo emen p imi i es o con ac asks.
Robo ics and Compu e -In eg a ed
105
Manu ac u ing
,
62
(Decembe 2018), 101863.
h ps://doi.o g/10.1016/j. cim.2019.101863
Kobe , J., Bagnell, J. A., & Pe e s, J. (2013). Rein o cemen lea ning in obo ics:
A su ey.
The In e na ional Jou nal o Robo ics Resea ch
,
32
(11), 1238–1274.
Kopp, R. E. (1962). Pon yagin maximum p inciple. In
Ma hema ics in Science
and Enginee ing
(Vol. 5, pp. 255–279). Else ie .
K en, J., Skamba h, I., Kupple , P., Buschschlü e , S., De ez, N., Bu han, S.,
Hube , R., B inkmann, R., & Bonsan o, M. M. (2024). Mechanical
cha ac e is ics o glioblas oma and pe i umo al umo - ee human b ain
issue.
Ac a Neu ochi u gica
,
166
(1). h ps://doi.o g/10.1007/s00701-024-
06009-x
KUKA AG. (n.d.).
LBR iiwa - Technical da a
. H ps://Www.Kuka.Com/En-
Us/P oduc s/Robo ics-Sys ems/Indus ial-Robo s/Lb -Iiwa.
Ky iacou, S. K., Mohamed, A., Mille , K., & Ne , S. (2002). B ain mechanics Fo
neu osu ge y: modeling issues.
Biomechanics and Modeling in
Mechanobiology
,
1
(2), 151–164. h ps://doi.o g/10.1007/s10237-002-0013-0
Laha, R. K., Dujo ny, M., Rao, S., Ba ionue o, P. J., Bunegin, L., Hells om, H.
R., Albin, M. S., & Taylo , F. H. (1979). B ain e ac ion inju y.
Su gical
Neu ology
,
12
(3), 209–215.
Lakshmina ayanan, S., Kana, S., Mohan, D. M., Manya , O. M., Then, D., &
Campolo, D. (2021). An adap i e amewo k o obo ic polishing based on
106
impedance con ol.
In e na ional Jou nal o Ad anced Manu ac u ing
Technology
,
112
(1–2), 401–417. h ps://doi.o g/10.1007/s00170-020-06270-1
Lei e, A. C., C uz, F. L., & Liza alde, F. (2020). Adap i e passi i y-based hyb id
pose/ o ce con ol o unce ain obo s.
IFAC-Pape sOnLine
,
53
(2), 3854–
3860.
Ligu an, D. D., C uz, L. J. S., Del Rosa io, M. C. D. P., Kudhal, J. N. S., Abad,
A. C., & Dadios, E. P. (2018). Design and implemen a ion o a uzzy logic-
based join con olle on a 6-DOF obo a m wi h machine ision eedback.
P oceedings o Compu ing Con e ence 2017
,
2018-Janua
(July), 249–257.
h ps://doi.o g/10.1109/SAI.2017.8252111
Lillic ap, T. P., Hun , J. J., P i zel, A., Heess, N., E ez, T., Tassa, Y., Sil e , D.,
& Wie s a, D. (2015). Con inuous con ol wi h deep ein o cemen lea ning.
P occedings o In e na ional Con e ence on Lea ning Rep esen a ions
.
Lin, G., Shan, B., Ma, Y., Tian, X., & Yu, J. (2021). Adap i e neu al ne wo k
command il e ed backs epping impedance con ol o unce ain obo ic
manipula o s wi h dis u bance obse e .
T ansac ions o he Ins i u e o
Measu emen and Con ol
, 01423312211009376.
Lin, H. I., & Dubey, V. (2019). Design o an adap i e o ce con olled obo ic
polishing sys em using adap i e uzzy-pid.
Ad ances in In elligen Sys ems
and Compu ing
,
867
, 825–836. h ps://doi.o g/10.1007/978-3-030-01370-
7_64
113
Wang, Y., & Boyd, S. (2009). Fas model p edic i e con ol using online
op imiza ion.
IEEE T ansac ions on Con ol Sys ems Technology
,
18
(2), 267–
278.
Wa ield, S. K., Talos, F., Tei, A., Bha a ha, A., Naba i, A., Fe an , M., Black,
P. M. L., Jolesz, F. A., & Kikinis, R. (2002). Real- ime egis a ion o
olume ic b ainMRI by biomechanical simula ion o de o ma ion du ing
image guided neu osu ge y.
Compu ing and Visualiza ion in Science
,
5
(1), 3–
11. h ps://doi.o g/10.1007/s00791-002-0083-7
Wa ing, A. J., Houswo h, C. M., Voo hies, R. M., Douglas, J. R., Walke , C. F.,
& Connolly, S. E. (1990). A p o o ype e ac o sys em designed o minimize
ischemic b ain e ac o inju y: ini ial obse a ions.
Su gical Neu ology
,
34
(3), 139–143.
Wa kins, C. J. C. H., & Dayan, P. (1992).
Q-Lea ning
(Vol. 8).
Wea e , J. B., Pa ison, A. J., McGa y, M. D., Pe ea d, I. M., Swienckowski, J.
G., Eskey, C. J., Lollis, S. S., & Paulsen, K. D. (2012). B ain mechanical
p ope y measu emen using MRE wi h in insic ac i a ion.
Physics in
Medicine and Biology
,
57
(22), 7275–7287. h ps://doi.o g/10.1088/0031-
9155/57/22/7275
Williams, R. J. (1992). Simple s a is ical g adien - ollowing algo i hms o
connec ionis ein o cemen lea ning.
Machine Lea ning
,
8
, 229–256.

114
Wu, X., Jin, P., Zou, T., Qi, Z., Xiao, H., & Lou, P. (2019). Backs epping
ajec o y acking based on uzzy sliding mode con ol o di e en ial mobile
obo s.
Jou nal o In elligen & Robo ic Sys ems
,
96
(1), 109–121.
Xu, W., Cai, C., & Zou, Y. (2013). PD-based ajec o y acking con ol in
au oma ic cell injec ion sys em.
Jou nal o Con ol Theo y and Applica ions
,
11
(2), 207–214.
Yang, X., Sea ch, C., Yang, X., & Yang, X. (n.d.).
Na u e-Inspi ed Op imiza ion
Algo i hms
.
Yen, J. (1999). Fuzzy logic - a mode n pe spec i e.
IEEE T ansac ions on
Knowledge and Da a Enginee ing
,
11
(1), 153–165.
h ps://doi.o g/10.1109/69.755624
Yokoh, A., Sugi a, K., & Kobayashi, S. (1987). Clinical s udy o b ain e ac ion
in di e en app oaches and diseases.
Ac a Neu ochi u gica
,
87
(3–4), 134–139.
h ps://doi.o g/10.1007/BF01476064
Zagzoog, N., & Reddy, K. K. (2020). Mode n B ain Re ac o s and Su gical B ain
Inju y: A Re iew.
Wo ld Neu osu ge y
.
Zhang, D., & Wei, B. (2017). Design analysis and modelling o a hyb id con olle
o se ial obo ic manipula o s.
Robo ica
,
35
(9), 1888–1905.
h ps://doi.o g/10.1017/S0263574716000564
Zhang, W., Zhang, L., Wang, S., Ren, B., & Meng, S. (2019). Op imiza ion o
machining pa ame e s o 2.25 C 1Mo0. 25V s eel based on esponse su ace
115
me hod and gene ic algo i hm.
In e na ional Jou nal on In e ac i e Design
and Manu ac u ing (IJIDeM)
,
13
(2), 809–819.
Zhong, J., Dujo ny, M., Pe lin, A. R., Pe ez-A jona, E., Pa k, H. K., & Diaz, F.
G. (2003). B ain e ac ion inju y.
Neu ological Resea ch
,
25
(8), 831–838.
h ps://doi.o g/10.1179/016164103771953925
Zo n, L., Nageo e, F., Zanne, P., Legne , A., Dallemagne, B., Ma escaux, J., &
De Ma helin, M. (2016).
A No el Telemanipula ed Robo ic Assis an o
Su gical Endoscopy: P eclinical Applica ion o ESD
.