Garuneko erretrakzioa robotizatzeko kontrolalgoritmo adimentsuak

Garuneko erretrakzioa robotizatzeko kontrolalgoritmo adimentsuak Doktorego Tesia Egilea: Ibai Inciarte Hidalgo Zuzendaria: Dr. Ekaitz Zulueta Guerrero Kontrol automatiko eta sistemen ingeniaritza saila Euskal Herriko Unibertsitatea / Universidad del País Vasco (cc) 2024 Ibai Inciarte Hidalgo (cc by 4.0) ii LABURPENA Urtero 22,6 milioi pazientek jasaten dituzte lesio neurologikoak, eta horietatik 13,8 milioik ebakuntza behar dute (Dewan et al., 2019). Ebakuntza horietan, neurozirujauak egin behar duen prozeduretako bat garunaren erretrakzioa deritzon maniobra da. Teknika hau ezinbestekoa da neurokirurgia egiten duten langileen esku hartzea behar duten garuneko gune kaltetuetara sartu ahal izateko. Irudia 1: Garuneko erretrakzioa Hala ere, erretrakzioa egiterakoan, ehunen esposizio egokia lortzeko ezinbesteko praktika izan arren, garuneko lesioen edo kalteen intzidentzia ez da arraroa, garuneko kaltearen definizioaren edo kontuan hartzen denaren arabera aldatzen da, eta % 47ra irits daiteke edema kontuan hartzen bada. Oro har, ebakuntza osteko gabezia klinikoki esanguratsuak kasuen %3 eta %9 artean agertzen dira, nahiz eta prozeduraren zailtasunaren arabera aldakuntza handia dagoen. Ebakuntza luzeetan, garuna babesteak beharrezko segurtasun baldintzak betetzen dituen monitorizazio eta/edo kontrol sistema behar du. Testuinguru horretan, robotika kirurgikoa kontuan hartu beharreko aukera gisa agertzen da, robot kirurgikoek zirujauei zeregin batzuk egiten lagundu diezaieketelako, gai kritikoenetan zentratu ahal izateko. Horrela, ebakuntzan duten nekea murrizten da eta, beraz, akatsak egiteko probabilitatea murrizten da. Azken hori oso garrantzitsua da, 2016an zehar Estatu Batuetan akats medikoak izan baitziren hirugarren heriotza kausa. Ikerketa lan honen helburu nagusia da neurokirurgiaren testuinguruan garunaren erretrakzio prozesuaren optimizazio esanguratsu bat lortzea da, prozesuaren robotizazioa ahalbidetzen duten teknologien integrazioaren bitartez. Prozesu hau bi eremu ezberdinetatik hurbilduz burutu da. Lehenik, bariaziozko kalkulu tekniketan oinarritutako algoritmoak diseinatu dira, ibilbide optimoak lortzeko helburuarekin. Bestalde, adimen artifizialean oinarritutako metodoak erabili dira, sistema robotikoari hainbat egoera kliniko ikasteko eta egokitzeko gaitasuna emango diotenak, eta horrela bere errendimendua eta eraginkortasuna hobetuko dira ingurune mediko konplexuetan. iv SUMMARY It is estimated that 22.6 million patients suffer neurological injuries each year, of which 13.8 million require surgery. During the performance of these surgeries, one of the procedures that the neurosurgeon must perform is the manoeuvre known as brain retraction. This procedure is performed in order to open a space that allows the surgeon to reach deeper into the brain, which would otherwise be inaccessible due to anatomical complexity and limited visibility in the surgical field. Figure 1: Brain retraction However, in the performance of retraction, despite being an essential practice for adequate tissue exposure, the incidence of brain injury or damage is not uncommon and varies depending on the definition or consideration of brain damage and can be as high as 47% if oedema is considered. In general, clinically significant postoperative deficits occur in 3-9% of cases, although there is considerable variation depending on the difficulty of the procedure. Protection of the brain during prolonged surgery requires a monitoring and/or control system that meets the necessary safety requirements. In this context, surgical robotics emerges as an v option to consider, as surgical robots can assist surgeons in performing some tasks, allowing them to focus on the most critical issues. This reduces their fatigue during the operation and thus the likelihood of mistakes. The latter is very important as medical errors were the third leading cause of death in the United States in 2016. The main objective of this research work has been to take steps towards achieving a significant optimisation of the brain retraction process in the context of neurosurgery by robotising the process. This process has been carried out in two ways. Firstly, algorithms based on variational calculation techniques have been designed with the aim of obtaining optimal trajectories. On the other hand, methods based on artificial intelligence have been used, which will provide the robotic system with the ability to learn and adapt to different clinical situations, thus improving its performance and efficiency in complex medical environments. vi ESKERRAK Hasteko, ikerkuntza lan honen tutore izan den pertsonari: Ekaitz Zulueta Guerrero doktorea irakaslea. Berarentzat nire esker on zintzoena. Tesi hau ez litzateke posible izango zure ezagutza, aholku ezin hobe, ikerkuntzarako interes eta egindako lan guztia gabe. Eskerrik asko uneoro niri laguntzeko izandako denboragatik eta zuregandik jaso dudan konfiantzagatik. Proiektu honen hasieratik, nire ideiak aztertzeko askatasuna eman zidan, eta neure mugak gainditzera animatu ninduen, betiere jarrera ireki harkor batekin. Hobekuntzaarloak identifikatzeko eta indartzeko duen gaitasunak eta ezagutzak modu argi eta zehatzean transmititzeko duen trebetasunak alde nabarmena markatu zuten nire ikaskuntzan. Prozesuaren une desafiatzaileenetan, bideak zalantzazkoa zirudienean, zuen enpatia eta ulermena ere aitortu nahi ditut. Adorez eta motibazioz beteriko hitzak eskaintzeko zuen gaitasunak, baita egoera zailenetan ere, lagundu zidan proiektu hau behar bezala burutzeko behar nuen ikuspegiari eta iraunkortasunari eusten. Nabarmentzekoa artikuluak bidaltzeko prozeduran Ekaitzek emandako aholku guztiak eta egindako lana. Eskerrik asko. Bukatzeko, arlo akademikotik harago, mila esker pertsonalki emandako tratuagatik. Benetako plazera izan da zurekin lan egitea. Tutoreez gain, beste pertsona batzuen lana eta prestutasuna ere aitortu eta eskertu nahiko nuke. Lehenik eta behin Iñigo Elguea eskerrik asko denbora honetan zehar emandako laguntzarengatik. Ondoren, Karmele Gomezen eta Nerea Longasen laguntza eskertu nahiko nuke, alde batetik burmuinaren irudia egiteagatik eta bestetik irudien kalitatea eta formatua hobetzen laguntzeagatik. vii Bukatzeko, bereziki eskerrak eman nahi dizkiot Larraitzi tesi honen azken zuzenketetan emandako laguntzagatik, eta batez ere, prozesu honetan guztian zehar emandako baldintzarik gabeko babesagatik. Zure pazientzia eta ulermena funtsezko zutabea izan dira aurrera egiteko, baita une zailenetan ere. Mila esker guztioi! viii AURKIBIDEA LABURPENA .................................................................................................... II SUMMARY ....................................................................................................... IV ESKERRAK ..................................................................................................... VI AURKIBIDEA ............................................................................................... VIII IRUDIEN AURKIBIDEA .................................................................................. X TAULEN AURKIBIDEA ............................................................................... XII GLOSARIOA ................................................................................................. XIII 1 SARRERA ..................................................................................................... 1 1.1 AURREKARIAK ......................................................................................... 2 1.2 Helburuak ..................................................................................................... 6 1.3 Hipotesiak .................................................................................................... 7 1.4 Metodologia .................................................................................................. 8 1.5 Tesiaren egitura ........................................................................................... 8 2 ARTEAREN EGOERA .............................................................................. 10 2.1 Sarrera ........................................................................................................ 10 2.2 Metodo klasikoak ....................................................................................... 12 2.3 Kontrol optimoa ......................................................................................... 21 2.4 Adimen artifizialean oinarritutako metodoak ............................................. 28 ix 2.5 Laburpena eta ondorioak ........................................................................... 47 3 GARUNAREN ERRETRAKZIOA ROBOTIZATZEKO KONTROL ESTRATEGIEN DISEINUA ETA SIMULAZIOA ................................................ 51 3.1 Sarrera ........................................................................................................ 52 3.2 Kalkulu bariazionaleko tekniketan oinarritutako kontrolagailua ............... 52 3.3 Indartze ikaskuntzako tekniketan oinarritutako kontrolagailua. ................ 64 4 ONDORIOAK ............................................................................................. 82 4.1 Ondorioak ................................................................................................... 82 5 ETORKIZUNEKO ILDOAK ...................................................................... 88 6 ARGITALPEN ZERRENDA ...................................................................... 94 6.1 Aldizkarietako argitalpenak ....................................................................... 94 6.2 Aldizkarietako beste argitalpen batzuk ...................................................... 94 7 BIBLIOGRAFÍA ......................................................................................... 96 1 1 SARRERA Kapitulu honek egindako ikerketa lana sakon ulertzeko beharrezko oinarri teorikoa eta testuingurua eskaintzen ditu. Irakurleari hasieratik aztergaian kokatzeko aukera emango dion erreferentzia esparru argi bat eskaintzea da helburua. Lehenengo atalean gaiaren aurrekariak jorratzen dira, garuneko erretrakzioarekin lotutako egoeraren azterketa zehatza eginda. Aurreko ikerketak aztertzen dira, literaturako aurkikuntzarik garrantzitsuenak azaltzen dira eta artearen egoera finkatzen da, lan honek estali nahi dituen interes arloak eta balizko ezagutza hutsuneak identifikatzearren. Jarraian, ondorengo ataletan, ikerketaren helburuak eta hipotesiak zehazten dira. Lehenengo atalean ikerketa gidatzen duten helburu orokorrak eta zehatzak zehazten dira, lortu nahi diren helburuak ezarriz. Ondorengo atalean, hipotesi esanguratsuenak aurkezten dira, aurrekarietatik eta helburuetatik abiatuta formulatuta, obraren garapenean kontrastatuko direnak. Jarraian dagoen atalean lan hau egiteko erabili den metodologia deskribatzen da. Azkenengo atalean tesiaren egituraren ikuspegi orokorra eskaintzen da, eta ondoren datozen kapituluak nola antolatuta dauden azaltzen. Ondorengo kapituluetako bakoitzaren deskribapen laburra egiten da, bakoitzak gaiaren garapenean eta adierazitako helburuen lorpenean nola laguntzen duen adierazita. Horrela, irakurlea gidatu nahi da lanaren antolaketan barrena, ikerketaren irakurketa koherente eta logikoa erraztearren. 2 1.1 AURREKARIAK Urtero 22,6 milioi pazientek jasaten dituzte lesio neurologikoak, eta horietatik 13,8 milioik ebakuntza behar dute (Dewan et al., 2019). Ebakuntza horietan, neurozirujauak egin behar duen prozeduretako bat garunaren erretrakzioa deritzon maniobra da. Teknika hau ezinbestekoa da neurokirurgia egiten duten langileen esku hartzea behar duten garuneko gune kaltetuetara sartu ahal izateko. Garun erretrakzioa garunaren zati bat kontuz mugitzean edo banantzean datza. Prozedura hau zirujauari garunaren barruko zati sakonagoetara iristeko espazio bat irekitzeko helburuarekin egiten da; bestela, konplexutasun anatomikoagatik eta eremu kirurgikoko ikusgarritasun mugatuagatik eskuraezinak izango lirateke garun zati horiek. Irudia 2: Garunaren erretrakzioa Hala ere, erretrakzioa egiterakoan, ehunen esposizio egokia lortzeko ezinbesteko praktika izan arren, garuneko lesioen edo kalteen intzidentzia ez da arraroa (Fukamachi et al., 1985; Kalfas & Little, 1988; Rosenørn, 1989; Yokoh et al., 1987), garuneko 3 kaltearen definizioaren edo kontuan hartzen denaren arabera aldatzen da, eta % 47ra irits daiteke edema kontuan hartzen bada. (Roca & Ramorino, 2023)-k egindako lanaren arabera (Bennett et al., 1977), erretrakzioan garunaren gainazalean egiten den presioak hainbat kalte eragiten ditu erretrakzioaren magnitudearen, exekuzio denboraren eta aplikazio lekuaren arabera. Presio hori ondoko garun ehunera transferitzen da, eta gero deformazioa eta odol hodien itxiera partziala edo osoa eragiten du, eta ondorioz, garuneko zelulen oxigeno hornidura urritu egiten da. Garuneko kaltearen larritasuna zenbait faktoreren araberakoa da, hala nola: erretraktilaren presioaren banaketa, geometria, propietate fisikoak eta garun ehun mota, presio baskularra eta atzerapenaren iraupena (Dujovny et al., 1980). Hala ere, horiek ez dira erretrakzioan kontuan hartu behar diren faktore bakarrak; izan ere, grabitateak, odol eta likido zerebroespinalaren galerak, edo agente anestesiko batzuen ondorioek garunaren forman 20 mm-ko deformazio ez zurruna eragin dezakete ebakuntzan zehar (DeLorenzo et al., 2012; Fallenstein et al., 1969; Hartkens et al., 2003; Warfield et al., 2002). Horrek, garuneko zurruntasunaren aldaerarekin batera (Arani et al., 2018; Budday et al., 2019; Chambers et al., 2008; DeLorenzo et al., 2012; Fallah et al., 2020; Fallenstein et al., 1969; Kyriacou et al., 2002), are zailagoa egiten du erretrakzio egokia lortzea. Zirujau Neurologikoen Elkartearen arabera, urte erdi baino gehiago irauten duten 50.000 neurokirurgia egiten dira Estatu Batuetan bakarrik (American Association of Neurological Surgeons, 2021); eta (Bennett et al., 1977)-k adierazten dute, gainera, garuneko ehunak estresa/tentsioa jasaten hasten direla ordu laurden bat igaro ondoren. (Spetzler & Sanai, 2012)-k adierazi/erregistratu dute burezurreko oinarrian egindako 4 kirurgietan erretrakzioarekin lotutako konplikazioen % 10eko intzidentzia dutela. Konplikazio horien artean hematoma parenkimatikoak, afasia, hemiparesia eta sorgortasuna zeuden. Gainera, atzealdeko zirkulazioko aneurisma kirurgiari buruzko ikerketa batek jakinarazi zuen pazienteen %4ak erretrakzioak eragindako garuneko lesioak jasan zituela (Rice et al., 1990). Eskualde pinealeko tumoreen kasuan, hamabi pazientetatik bik ikusmen akats iraunkorrak izan zituzten, eta egileek lobulu okzipitalaren erretrakzioari egotzi zizkioten akats horiek (Nazzaro et al., 1992). Garuneko erretrakzioa egitean eta ondoren gertatzen diren mekanismo zehatzak eta aldaketa hemodinamiko parenkimalak ez dira zehatz ezagutzen. Litekeena da garunean egiten den presioarekin erlazionatuta egotea, odol perfusioa murriztea edo etetea eta iskemia eraginda (Roca & Ramorino, 2023). Oro har, ebakuntza osteko gabezia klinikoki esanguratsuak kasuen % 3 eta %9 artean agertzen dira, nahiz eta prozeduraren zailtasunaren arabera aldakuntza handia dagoen (Andrews & Bringas, 1993). Ebakuntza luzeetan, garuna babesteak beharrezko segurtasun baldintzak betetzen dituen monitorizazio eta/edo kontrol sistema behar du. Testuinguru horretan, robotika kirurgikoa kontuan hartu beharreko aukera gisa agertzen da, robot kirurgikoek zirujauei zeregin batzuk egiten lagundu diezaieketelako (Muiiozt et al., 2000; Zorn et al., 2016), gai kritikoenetan zentratu ahal izateko. Horrela, ebakuntzan duten nekea murrizten da eta, beraz, akatsak egiteko probabilitatea murrizten da. Azken hori oso garrantzitsua da, 2016an zehar Estatu Batuetan akats medikoak izan baitziren hirugarren heriotza kausa (Makary & Daniel, 2016). 5 Alderdi horiek guztiak kontuan hartuta, lan hau neurokirurgian garunaren erretrakzio eragiketetarako robot laguntzaile baten kontrol sistema diseinatzea eta simulatzea du gai nagusitzat. Erretrakzioa egiteko robot laguntzaile/kolaboratibo batean inplementatutako kontrol sistemak helburu hauek izango lituzke: 1. Pazientearen segurtasuna eta ongizatea bermatzea. 2. Ebakuntza gelan lan egiten duten zirujauen eta gainerako medikuen segurtasuna eta ongizatea bermatzea. 3. Erretrakzioan, nahi den posiziora nahi diren baldintzetan iristea. 4. Egindako indarra eta erretrakzioaren iraupena minimizatzea. Goian adierazi denez, garunaren propietate mekanikoak adinaren eta sexuaren, eskualdearen eta ehun motaren arabera alda daitezke. Literatura akademikoak adierazten du garunaren zurruntasuna handitu egiten dela adinarekin (Bilston, 2011). Propietate mekanikoak, adin batetik bestera ez ezik, garuneko eskualde batetik bestera ere aldatzen dira. Garunaren propietate mekanikoak asko aldatzen dira eskualde batetik bestera, bere mikroegituraren heterogeneotasuna dela eta. Desberdintasun handiak daude materia grisaren eta materia zuriaren artean, bai eta hainbat egitura anatomikoren artean ere, hala nola kortexaren, ganglio basalaren, koroa radiata eta gorputz callosumaren artean. Eremuen arteko aldakuntza horiek nabarmenagoak izan daitezke zahartzaroarekin (Basilio et al., 2024; Budday et al., 2020). Azpimarratu behar da, halaber, adibidez, tumore ehunak, esaterako glioblastoma batenak, zurruntasun nabarmen handiagoa duela tumorea ez den garun ehunarekin alderatuta. Zurruntasunaren areagotze hori 6 tumoreetan zelulaz kanpoko matrizearen dentsitate handiko zelulen eta desantolaketaren ondorioz izan daiteke (Bilston, 2011). Gainera, kirurgian zehar, garuna osatzen duten ehunen propietate mekanikoak alda daitezke zenbait faktoreren ondorioz, hala nola: ehunen hidratazioa, instrumentu kirurgikoek aplikatzen duten presioa eta airearen esposizioa. Aldaketa horiek tumoreen eta tumore gabeko ehunen arteko bereizketa zaildu dezakete (Budday et al., 2019; Fallenstein et al., 1969; Hartkens et al., 2003; Kren et al., 2024; Kyriacou et al., 2002; Miller et al., 2010a; Weaver et al., 2012). Aurreko guztia kontuan hartuta, erretrakzioa egiten duen robotaren kontrol sistemak, egindako indarra eta erretrakzioaren iraupena gutxitzeaz gain, garunaren propietate mekanikoen aldakortasunera egokitu behar du eta, aldi berean, erretrakzioan egiten den indarra minimizatu. 1.2 HELBURUAK Ikerketa lan honen helburu nagusia da neurokirurgiaren testuinguruan garunaren erretrakzio prozesuaren optimizazio esanguratsu bat lortzea da, prozesuaren robotizazioa ahalbidetzen duten teknologien integrazioaren bitartez. Helburu hori lortzeko, kontrol algoritmoen garapena, diseinua eta simulazioa proposatzen da; algoritmo horiekin, maniobraren doitasuna eta segurtasuna hobetzeaz gain, prozesuaren eraginkortasuna eta egokitzailetasuna areagotu nahi dira. Helburua nagusi hori bigarren mailako helburu hauetan banatu daiteke : • Garunaren erretrakzioa robotizatzea ahalbidetzen duen kontrolagailu baten diseinua eta simulazioa izatea, kontrol teknika optimoen bidez, sistema robotikoak garunaren erretrakzioa zehatz mehatz egiteko aukera emango duena, 7 garuneko egituretan kalteak egiteko arriskua gutxituta eta denbora kirurgikoak optimizatuta. • Adimen artifizialean oinarritutako teknikak erabiliz garunaren erretrakzioa robotizatzea ahalbidetzen duen kontrolagailu baten diseinua eta simulazioa izatea, sistema robotikoari hainbat egoera kliniko ikasteko eta egokitzeko gaitasuna emango diona. 1.3 HIPOTESIAK 1.3.1 1. hipotesia Lan honetan garunaren portaera mekanikoa material hiperelastiko batenarekin bat datorrela uste da/suposatzen da. Zehazki, lan honetan Ogden eredua hartuko da (Ogden, 1972). Ogden tentsio energia dentsitate funtzioa honela definitzen da: W=#µ! α!&λ" #!+λ$ #!+λ% #!) & !'" * non: • λ"i deformazio unitate nagusia den, • α"i , µ i material konstanteak diren, • N funtzioaren termino kopurua den. Funtzio hori jotzen da kautxu/goma motako materialen deformazio handien sorta deskribatzeko funtzio zuzenenetako bat. 8 1.3.2 2. hipotesia Proposatzen da, ingurune simulatu batetik ingurune erreal batera transferitzeko metodo egokiak ezarriz, bai optimizazioak bai simulazio ingurunean diseinatu edo ikasitako politikak baliozkoak izaten jarraituko dutela errealitatean hedatzen direnean. Horrek esan nahi du simulazioan eraginkorrak diren erabakiak, estrategiak edo jokabideak eraginkor mantendu behar direla mundu errealean aplikatzen direnean, betiere bi inguruneen arteko ezberdintasunak minimizatzen dituzten transferentzia prozedura eta teknika jakin batzuk errespetatuz. Hipotesi honen baliozkotasuna simulazioan funtsezko aldagaiak eta dinamika garrantzitsuenak behar bezala irudikatzen direla ziurtatzeko gaitasunean datza, ingurune errealerako trantsizioak sistema optimizatuaren errendimenduari negatiboki eragin ez diezaion. 1.4 METODOLOGIA Doktorego tesi honetan egindako lana lau fasetan banatu da. Alde batetik, hurrenez hurren berrikuspen bibliografikoa eta emaitzen zabalkundea biltzen dituzten hasierako eta azken faseak daude. Bestetik, teknikoagotzat jo litezkeen lanari dagozkion tarteko faseak daude, eta horiek bitan bana daitezke: batetik, garunaren erretrakzioa bariaziozko kalkuluan oinarrituriko kontrol teknikak erabiliz robotizazioa ahalbidetuko duen kontroladorearen diseinua eta simulazioa egongo litzateke. Eta, bestetik, adimen artifizialean oinarritutako teknikak erabiliz kontrolagailua diseinua eta simulizoa. 1.5 TESIAREN EGITURA Doktoretza tesi honek hurrengo egitura hau du: 2. kapituluan, tesi honetan landutako gaien inguruko literaturaren azterketa bat aurkeztuko da. 3. kapituluan, bariazio 9 kalkuluan oinarritutako kontrol estrategiaren diseinu eta simulazioa eta proposatutako teknika adimentsuetan oinarritutako kontrol estrategiaren diseinu eta simulazioa. 3. Kapituluan ere, diseinatutako kontrol estrategiekin lortutako emaitzen aurkezpena eta eztabaida jaso dira. 4. Kapituluan berriz, ateratako ondorioak aurkeztuko dira. Azkenik 5. Kapituluan, ikerkuntza lan honen ondoren etorkizuneko ildoak deskribatuko dira. 10 2 ARTEAREN EGOERA Kapitulu honek lan hau behar bezala ulertzeko eta testuinguruan jartzeko informazioa dakar. Kapitulu honetan, jorratu diren gaiei buruz lan honetan zehar egindako artearen egoeraren analisia aurkezten da. Lehenik eta behin, kontrol sistema klasikoak deskribatu dira. Ondoren kontrol adimendunaren teknikei buruzko literaturaren azterketa aurkeztuko da. Azkenik, literatur azterketaren laburpena eta ondorioak deskribatuko dira. 2.1 SARRERA Merkatuan dauden robot gehienak posizio kontrola duten gailuak dira, eta horri esker, beste objektu edo gainazal batzuekin zuzeneko kontaktua beharrezkoa ez den zereginak egitea errazten zaie. Kontrol mota hori aproposa da posizioaren zehaztasuna funtsezkoa den eta inguruko ingurunearekin elkarrekintza fisikoa espero ez den operazioetarako. Hala ere, ezaugarri horrek zuzeneko manipulazioa edo kontaktua dakarren jardueretan aplikatzea mugatzen du, hala nola piezen muntaketa edo funtzionamendua ingurune aldakorretan, non kontaktua saihestezina den eta sistemak asalduratzat interpretatu dezakeen. Interpretazio horrek kontrolagailuaren erantzunak eragin ditzake, erantzunen ondorioa ukipen indar handi batekin talkak izan daitezke, eta horrek robota eta elkarrekintzan duen objektua kaltetu ditzake. Muga horiei aurre egiteko, indarrak kontrolatzeko estrategiak garatu dira, robotek posizioa edo ibilbidea mantentzea ez ezik, beste objektu batzuekin kontaktuan zehar egiten den indarra kudeatzea ere ahalbidetzen dutenak. Estrategia horiek ezinbestekoak dira osagai delikatuen muntaketa bezalako zereginetarako, non posizio zehaztasuna eta 17 Normalean, kontrolagailu hori asaldurak zuzentzeko eta sistemaren sendotasuna hobetzeko erabiltzen da, modelatu gabeko aldakuntza eta akatsen aurrean. Modu irristakorreko kontrolagailuak gainazal irristakorra definitzen du, hau da, aplikazio bakoitzerako bereziki diseinatutako funtzio matematiko bat. Sistemaren egoera gainazal horretara iristen denean, kontrol prozesuan bertan egotea espero da. Sistema irristatzearen gainazalean mantentzeko, SMCk normalean osagai eten bat barne hartzen duen kontrol lege bat erabiltzen du, sistemaren erantzuna aldatzeko doitu daitekeena, irristatze azalera desbideratzeak minimizatzeko. Azkar eta zehaztasunez doitzeko gaitasun horrek modu irristakorrean kontrola bereziki erabilgarria bihurtzen du sistemaren baldintzak azkar aldatzen diren edo sistema ereduek dinamika garrantzitsu guztiak guztiz jaso ezin dituzten aplikazioetan. Adibidez, robotikan erabiltzen da doitasun handiko eragingailuak kontrolatzeko, ibilgailu sistemetan egonkortasuna hobetzeko eta industria aeroespazialean hegazkinen hegaldi dinamika hainbat ingurumen baldintzetan kudeatzeko. Modu irristakorrean kontrolatzearen abantaila nagusietako bat da sistemaren parametroen aldaketekiko eta kanpoko asalduren presentziarekiko sendotasuna. Figura 1: Control en modo deslizante 18 Kontrolagailu egokitzailearen antzera, modu irristakorreko kontrolagailua ere erabili ohi da ibilbidearen ondorengo zereginetan (Baek et al., 2016; Goswami & Padhy, 2018; Sariyildiz et al., 2016; Wu et al., 2019). (Calanca et al., 2014)-n SMC bat proposatzen da, gizakiaren eta makinaren arteko elkarreragin sistema batean eragingailu elastiko batzuk kontrolatzeko, non operadoreak aplikatzen dituen indarrak asaldura baztergarritzat hartzen diren. Hala ere, eragozpen nabarmen bat da chattering izenez ezagutzen diren maiztasun handiko fenomenoen presentzia. Efektu hori gertatzen da sistema irristagarriaren gainazalean mantentzearren kontrol legea maiz aldatzearen ondorioz, eta horrek higadura mekanikoa eta sistemaren osagaien bizitza murriztea eragin ditzake (Guldner & Utkin, 2000). Chattering-a arintzeko garatu dira zenbait teknika, hala nola kontrol anplitudearen modulazioa eta etengabeko hurbilketa funtzioen erabilera kommutazio bitarren ordez –esaterako, Lyapunov-en egonkortasuna (Kasera et al., 2017), edo oszilazio aurkako SMC integral baten bidez (Beiranvand et al., 2021). Metodo hori ez da erabili ohi asaldurak eta ez linealtasunak dauden roboten indarra edo inpedantzia kontrolatzeko zereginetarako. 2.2.4 Kontrol sistema hibridoak Kontrol sistema hibridoak ohiko kontrol sistemak baino sistema mota sofistikatuagoak dira. Sistema horiek dinamika jarraituz osatuta daude, sistema fisikoen portaera jasotzen dutenak, eta dinamika diskretuz, gailu konputazionalen portaera jasotzen dutenak. Beraz, kontrol sistema hibrido bat kommutazio sistematzat har daiteke, non dinamika eredu dinamikoen kopuru finitu baten bidez deskribatzen den 19 (ekuazio diferentzialetan emanak), ereduen artean aldatzeko arau multzo batekin batera, non arau horiek adierazpen logikoen bidez irudikatu daitezkeen. Jokabide etengabe zein diskretuen bikoiztasun hori dela eta, kontrol sistema hibridoak modu eraginkorragoan molda daitezke hardwarearen eta softwarearen arteko elkarrekintza konplexua behar den ingurune eta egoera aldakorretara. Dinamika mota desberdinak kudeatzeko eta sinkronizatzeko gaitasun horrek sistema hibridoak bereziki erabilgarriak bihurtzen ditu aplikazio industrial eta teknologiko aurreratuetan, hala nola robotikan, prozesuen automatizazioan eta ibilgailu autonomoetan (Acqua & Lombardi, 2011). Irudia 5: kontrol diagrama (D. Zhang & Wei, 2017)-k kontrolagailu hibrido bat proposatu zuten, proportzional integral deribatu bat (PID) ereduzko erreferentziazko kontrolagailu moldagarri batekin (MRAC) konbinatzen duena, manipulatzaile robotiko batez heltze zereginak egiteko. Ikuspegi hibrido horrek bi kontrol metodoen indar osagarriak aprobetxatu nahi ditu. PID kontrolagailuak nahasteei erantzun azkarra eta eraginkorra ematen die, diseinu sinplearekin eta parametro finkoekin; MRAC-ek, aldiz, aldaketetara eta sistemaren 20 dinamikan aldaketa ezezagunetara moldagarritasuna eskaintzen du, bere parametroak denbora errealean egokituz errendimendua optimizatzeko. Hiru kontrolagailuak alderatu ondoren, PID+MRAC kontrolagailu hibridoak konbergentzia abiadura handiagoa eta errendimendu hobea izan zuen, PID edo MRAC kontrolagailu bakarrekin alderatuta. Bere aldetik, (Rahmani et al., 2019) -ek PID bat konbinatu zuten 7 asktasun maila exoeskeleto robotiko baterako irristatze moduko kontrolarekin. PIDak jarraipen errendimendu handia badu ere, irristatze moduko kontrola sendoa da kanpoko dinamikarekiko eta, beraz, kontrol sistemaren errendimendua hobetzen du ereduetan oinarritutako beste kontrol teknikekin alderatuta. Hala ere, kontrol sistema hibridoek arazo batzuk ere aurkezten dituzte. Sistema horiek modelatzea funtsezkoa da, baina ez da lan erraza. Eredu horietako asko simulazio zereginetarako zehatzak eta bikainak badira ere, askotan zailak dira aztertzen. Horren arrazoia da askotariko jokabide dinamiko eta elkarreraginak sartzen dituztela beren osagaien artean, eta horrek deskonposatzeko eta sakonki aztertzeko zailak diren eredu oso konplexuak sor ditzake. Gainera, sistema hibridoen propietate matematikoek analisi teorikoa zailtzen duten berezitasunak eta portaera ez linealak sar ditzakete. Aitzitik, analisirako egokiak diren ereduak agian ez dira errazak sintetizatzen edo inplementatzen (Antsaklis et al., 2001). Kasu askotan, eredu sinplifikatu horiek mundu errealeko sistemaren errendimenduan eragina duten xehetasun kritikoak baztertzen dituzte. Esate baterako, analitikoki tratagarria den eredu batek baliteke behar bezala ez harrapatzea modelatu gabeko perturbazioei edo ustekabeko muga baldintzei sistemak 21 emandako erantzuna, eta hori ezinbesteko alderdia da edozein kontrol sistemaren ezarpen praktikoan. 2.3 KONTROL OPTIMOA Kontrol optimoaren testuinguruan, aldakuntza kalkulua erabiltzen da errendimendu irizpide jakin bat optimizatzen duen kontrol lege bat aurkitzeko, kostuen minimizazioari edo efizientzia maximizatzeari lotuta egon ohi dena. Kalkulu bariazionalak sistema dinamikoekin lotutako optimizazio problemak formulatu eta ebazteko aukera ematen du (Clarke, 2013; Pinch, 1995). Jarraian, lehenik eta behin, aldakuntza kalkuluari buruzko sarrera labur bat ematen da; eta, ondoren, bariazio kalkuluan oinarritutako kontrol teknika optimoak aztertzen dira. 2.3.1 Kalkulu bariazionala Kalkulu bariazionala matematikaren adar bat da, funtzional gisa ezagutzen diren adierazpen matematiko mota batzuk optimizatzen dituzten funtzioak aurkitzera bideratzen dena. Aldagai erreal edo konplexuen menpe dauden funtzioak maximizatu edo minimizatzea bilatzen duten ohiko kalkulu problemak ez bezala, kalkulu bariazionala beste funtzio batzuen menpe dauden funtzioak optimizatzeaz arduratzen da. Funtzional baten adibide tipikoa hau da: +[-]=/ 0(2,-(2),-((2)) 52 ) * Non: • y(x) zehaztu nahi dugun funtzio ezezaguna den. • y ′ (x) y(x)-ren deribatua den x-rekiko. 22 • F( x,y ,y ′ ) x, y(x) eta bere deribatuaren y ′ (x) menpeko funtzio ezaguna den. Kalkulu bariazionalaren helburu nagusia da optimizazio funtzionalaren problemak ebazteaa, hau da, funtzional jakin bat minimizatzen edo maximizatzen duen funtzio bat aurkitzea. Ebazpenerako bi tresna erabil daitezke: alde batetik, Euler-Lagrange ekuazioak daude; eta, bestetik, ekintza txikienaren printzipioa (ekintza geldikorraren printzipioa edo Hamiltonen printzipioa izenez ere ezaguna) (Kalman, 1963). Euler-Lagrange ekuazioak funtzio bat funtzional baten minimizatzaile edo maximizatzaile izateko beharrezko baldintzak ematen dituzten ekuazio diferentzialak dira. Euler-Lagrange-ren ekuazioak funtzionalaren aldakuntza nulua izan behar dela eskatuz ateratzen dira. Euler-Lagrange ekuazioen forma orokorra hau da: ∂0 ∂-−5 52(∂0 ∂-()=0. (F) funtzioa (x), (y(x)) eta (y'(x))-ren araberakoa izanik. Ekuazio hori bete behar da (y(x)) izan dadin (J[y]) funtzionalaren muturreko funtzioa. Bestalde, ezartzen du sistema fisiko batek jarraitzen duen benetako bidea ondorengo hau dela: ekintza estazionarioa (normalean minimoa) izatea eragiten duena, hurbileko ibilbide posibleekin alderatuta. Hamiltonen printzipioak dio bi egoeraren arteko sistema fisiko baten bilakaera denbora tarte zehatz batean [t1 , t 2 ] halakoa dela non S ekintza estazionarioa den. Ekintza funtzional bat da , denboran zehar Lagrangiarren integral gisa definitzen dena: :=/ ;(<,<=,>) 5> +" +# 23 Non: • S[q] q(t) ibilbideari lotutako ekintza den. • L(q,q=,t) *sistemaren qlagrangiarra den, hau da, (t) koordenatuen, haien abiadura q=(t)=dq/ dt eta, agian, t denboraren araberakoa den funtzioa. Kontrol optimoaren eta kalkulu bariazionalaren arteko lotura ezar daiteke kontrol optimoaren problema kalkulu bariazionaleko problematzat birformula daitekeenean. 2.3.2 Kontrol optimoari aplikatutako kalkulu bariazionala Kontrol optimoari aplikatutako kalkulu bariazionalaren oinarriak bi tresna matematiko dira: Pontryagin-en maximoaren printzipioa eta Hamilton-Jacobi-Bellmanen (HJB) ekuazioak. Bi kontzeptuek kontrol optimoaren arazoak konpontzeko tresnak eskaintzen dituzte. Pontryagin-en maximoaren printzipioa kontrol optimoaren teorian gehien erabiltzen diren tresnetako bat da (Bryson, 2018). Printzipio horrek sistema dinamikoetan kontrol bat optimoa izateko beharrezko baldintzak eskaintzen ditu, eta soluzioak analitikoki edo zenbakiz bilatzea eskatzen duten kontrol problemetan erabili ohi da (Kopp, 1962). Bestalde, Hamilton-Jacobi-Bellman-en ekuazioek formulazio ezberdina ematen dute, sistemaren egoera bakoitzerako kontrol balio optimoa deskribatzen duen ekuazio diferentzial partzial (EDP) batean oinarritua(Fleming & Rishel, 2012). Hamilton-JacobiBellman-en ekuazioek optimotasunerako baldintza beharrezko eta nahikoak eskaintzen dituzte (Mangasarian, 1966). 24 2.3.2.1 Robotikan kontrol optimoari aplikatutako kalkulu bariazionala Robotikan, sistemaren mugak errespetatuz errendimendu irizpide espezifikoak optimizatzen dituzten ekintzen sekuentziak zehazteko formulatzen dira kontrol optimoko problemak. Arestian esan bezala, kalkulu bariazionalak problema horiek ebazteko beharrezkoa den marko teorikoa eskaintzen du, non kontrol ibilbideen eta sistemaren egoeraren menpe dauden funtzionalak minimizatzea (edo maximizatzea) bilatzen den. Tresna horiek robotek irizpide zehatz batzuekin mugimenduak egiteko aukera ematen duten algoritmoak diseinatzeko erabiltzen dira. Tresna horiek aplika daitezkeen esparruetako bat ibilbidearen optimizazioa da. Kalkulu bariazionala funtzional bat minimizatzen duten ibilbide optimoak aurkitzeko erabiltzen da, bidaiatutako distantzia, denbora, energia kontsumoa edo faktore horien eta beste batzuen konbinazioa irudika ditzaketenak. Problema horien formulazioa jarraitua edo diskretua izan daiteke, eta metodoak zuzeneko eta zeharkako metodoetan sailkatzen dira. 2.3.2.1.1 Zuzeneko metodoak Zuzeneko metodoak bereziki garrantzitsuak dira testuinguru honetan, denbora errealean muga ez lineal eta dimentsio handikoak dituzten problema konplexuak ebazteko duten gaitasunagatik. Zuzeneko metodoen barneko metodologiak denbora errealeko ibilbidearen optimizazioa, zuzeneko transkripzioa, ibilbidearen diskretizazioa eta ereduetan oinarritutako iragarpen kontrola (MPC) dira. Metodo horiek robotika aplikazioetan erabili izan dira, mugimendu eraginkor, leun eta seguruak bermatzeko helburuarekin, inguruneko aldaketetara dinamikoki egokitzeko helburua lortuz (Kamel et al., 2017; Posa et al., 2014). 25 Denbora errealeko ibilbidearen optimizazioa ezinbestekoa da ingurunearen edo sistemaren egoeraren aldaketetara azkar egokitzea eskatzen duten aplikazio robotikoetarako. Hori zuzeneko metodoak ezarriz lortzen da, hala nola zuzeneko kokatzea eta zuzeneko transkripzioa, ibilbidea nodoetan diskretizatzen dutenak eta optimizazio teknikak erabiliz bere ibilbidea optimizatzen dutenak. Metodologia horri esker, robotek beren ibilbideak doitu ditzakete zentzumen datu berriei edo ingurumen baldintzen aldaketei erantzunez, denbora, energia eta segurtasunaren errendimendua optimizatuz. Adibidez, ibilgailuen nabigazio autonomoan, denbora errealeko optimizazioa erabiltzen da oztopoak saihesten eta ibilgailuaren muga dinamikoak errespetatzen dituzten ibilbideak planifikatzeko. Era berean, ingurune dinamikoetako robot manipulatzaileek teknika hori aprobetxatzen dute euren mugimendu ibilbideak doitzeko eta talkak saihesteko, zeregin edo ingurune konfigurazio berrietara egokituz (Diehl et al., 2005). Zuzeneko transkripzio metodoek kontrol eta egoera aldagaiak denbora nodo batzuetan diskretizatzen dituzte, kontrol problema optimoa optimizazio problema ez lineal bat bihurtzeko, IPOPT edo SNOPT bezalako “ konpontzaileak” erabiliz ebatzi daitekeena . Teknika horrek denbora horizontea kokapen puntutan diskretizatzen du eta puntu horietan sistemaren kontrolak eta egoerak adierazten ditu. Sortzen den problema programazio ez linealaren (NLP) problema bihurtzen da, muga konplexuak eta dinamika ez linealak kudeatu ditzakeena. Robot manipulatzaileen eta ibilgailu autonomoen mugimendu ibilbideen optimizazioa ahalbidetzen duen teknika da, non zehaztasuna eta hainbat muga kontuan hartzea, hala nola talkak saihestea eta abiadura mugak errespetatzea, funtsezkoak diren (Diehl et al., 2005). 26 Ibilbidearen diskretizazioak nahi den ibilbidea segmentu diskretuetan banatzea dakar, eta gero segmentu horien posizioa eta kontrolak optimizatzea. Metodo hori bereziki eraginkorra da konplexutasun eta dimentsio handiko problemetarako, non soluzio analitikoa edo erdi analitikoa bideragarria ez den. Zuzeneko kokapeneko metodoetan, roboten ibilbideak oinarrizko funtzioak baliatuz hurbiltzen dira, hala nola polinomioak edo splineak, eta optimizatzen dira kostu funtzional bat minimizatzeko, dinamika eta mugimenduaren mugak betetzen dituzten bitartean. Ikuspegi horrek kontrol konplexuak eta egoera murriztapenak mugimenduaren plangintzan integratzea ahalbidetzen du, ibilbideak leunak, dinamikoki bideragarriak eta energia eta denbora aldetik optimizatuak izatea ziurtatuta. Robotika mugikorrean, ibilbidearen diskretizazio metodoak erabiltzen dira oztopoak modu dinamikoan eta eraginkorrean saihesten dituzten bideak sortzeko. Metodo horiek funtsezkoak dira ingurune ezezagun eta aldakorretan nabigazio autonomorako. Era berean, espazio mugatuetako objektuen manipulazioan, zuzeneko kokapeneko metodoak arrakastaz aplikatu dira robot manipulatzaileen ibilbideak optimizatzeko, ziklo denbora gutxitzea eta espazio eta energia mugak betetzen direla bermatuta (Kashyap et al., 2022). Model Predictive Control (MPC) beste kontrol estrategia optimo bat da, robotikan eraginkorra dela frogatu dena, batez ere denbora errealeko kontrolerako arazoetarako. MPC-k sistemaren eredu bat erabiltzen du bere etorkizuneko portaera aurreikusteko eta denbora horizonte mugatu batean errendimendua optimizatzeko. Denbora urrats bakoitzean, MPC-k optimizazio problema bat ebazten du kostu funtzio bat minimizatzen duten kontrol sekuentzia optimoa zehazteko, sistemaren bilakaera aurreikusten duen bitartean. Ikuspegi hori bereziki erabilgarria da droneen eta tripulaziorik gabeko aireko 33 kontrol informazioa txertatzen delako, hala nola jarraipen errorea eta kontrol sarrerako seinaleak, uneko kontrol ekintzaren eraikuntzan. Sistemaren kontrolak iterazio batean zehar kontrol egokia eta eraginkorra eskatu ez ezik, ondoz ondoko iterazioetan errendimendua kontrolatu beharra ere barne hartzen du. Horretarako, memoria osagaia erabiltzen da aurreko kontrol informazioa gordetzeko, eta gero uneko iterazioarekin konbinatzen da, iterazioz iterazio errendimendua hobetzearren eta sistemak kontrol zehaztapenak betetzen dituela ziurtatzearren (X. irudia) (Bien & Xu, 2012; Owens & Hätönen, 2005). Irudia 9: Ikaskuntzaren kontrol iteratiboaren kontrol diagrama (Lakshminarayanan et al., 2021)-k egindako lanean, inpedantzia kontrolean oinarritutako ikaskuntzaren kontrol iteratiboa ezarri zen, posizio eta indar aldagaiak aldi berean egokitzen dituen iterazio bakoitzean leunketa prozesu robotizatu bat erregulatzeko. Kontrolagailuak ez du beharrezkoa materiala leuntzeko behar diren indarren aldez aurretiko ezagutzarik, aldagaiak aldi berean egokitzen baitira feedbackaren arabera. Dena den, ikerketaren helburua inpedantzia optimizatzean oinarritzen da, eta ez ingurumenaren asalduran oinarrituta zuzentzean. Kontrol mota hori erabiltzeko, sistemaren dinamikaren eta haren ziurgabetasunen azterketa zehatza behar da. Hori dela eta, ikaskuntzaren kontrol iteratiboa arazo zehatz 34 eta errepikakor batzuetara mugatzen da, non egokitzapen parametroak arretaz doitzea beharrezkoa den eta, kasu askotan, politika neurri batean bakarrik molda daitekeen (Nemec et al., 2017). Gainera, ikaskuntza algoritmo horiek kontrolagailuan zuzenean aplikatzeak denbora errealeko arazoak sor ditzake, kontrolagailuaren parametroak kalkulatzeko kostu konputazionala handitzen baitu (Kim et al., 2020). 2.4.5 Indartze ikaskuntzaren bidezko kontrola RS Sutton-ek aipatu zuenez, (Sutton, 1999)“ Indartze ikaskuntza adimen artifizialaren ikuspegi bat da, norbanakoak bere ingurunearekiko elkarrekintzatik abiatuta egindako ikaskuntza azpimarratzen duena. Horrek adimen artifizialaren eta ikaskuntza automatikoaren ikuspegi klasikoekin kontrajartzen du, ikuspegi klasiko horiek elkarrekintzatik ikasteari garrantzia kentzen baitiote, aitzitik ardatz gisa hartuta aditu batengandik ikastea edo ingurunearen eredu oso batetik abiatutako arrazonamendua. Indartze ikaskuntzak sari seinale eskalar bat maximizatzeko zer egin behar den ikastea dakar. Ikasleari ez zaio esaten zer ekintza egin behar duen, baizik eta, probatuz, saririk handiena zein ekintzak ematen duten ezagutu behar du. Kasurik interesgarri eta zailenetan, ekintzek berehalako saria ez ezik, hurrengo egoeran eta, horren bidez, ondorengo sari guztietan ere eragin dezakete. Bi ezaugarri horiek — saiakera eta akatsen bilaketa eta atzeratutako saria— indartze ikaskuntzaren bi ezaugarri bereizgarri garrantzitsuenak dira. ” Indartze ikaskuntzaren gakoetako bat da saio eta hutsegite bidez edo eredu bat erabiliz epe luzerako saria handitzea. Ondorengo irudiak agentearen eta ingurunearen arteko elkarrekintzako arkitektura erakusten du. 35 Irudia 10: Agente ingurunearen elkarrekintzaren arkitektura. Jarraian, arkitektura osatzen duten elementuak deskribatzen dira: • Agentea: indartzeko ikaskuntza sistemaren osagai nagusia da. Agentea helburu batzuk lortzearren ingurune zehatz baten barruan ekintzak gauzatzeaz arduratzen da. Esku artean dugun kasuan, sistema robotizatu bat izanik, agentea robota bera izango litzateke, eta hark hartu behar ditu erabakiak nola mugitu, zenbat indar erabili, etab. Agentearen funtzioa ingurunea behatzea da, ekintzak hautatu eta exekutatzea, eta ekintza horiek etorkizuneko portaera hobetzeko dituzten ondorioak ezagutzea (Sutton & Barto, 2012). • Inguruneak agentea inguratzen duen guztia eta hark elkarrekintzan jar dezakeen guztia adierazten du. Indartze ikaskuntzaren testuinguruan, inguruneak feedbacka ematen dio agenteari, egoera eta sari moduan. Agentearen kontrol zuzenetik kanpo dagoen baina haren erabakietan eragin dezakeen guztia da. Adibidez, robot baten kasuan, kasu honetan ingurunean sar daitezke ebakuntza gela, saihestu edo harekin elkarreragin behar duen mediku langilea eta manipulatuko duen pazientea (Mnih et al., 2015a). 36 • Egoera : egoerak edo egoerek agenteak izan ditzakeen egoera posible guztien multzoa adierazten dute. Egoera bakoitzak une jakin batean ingurunea deskribatzen duen eta agenteak zein ekintza exekutatu erabakitzeko beharrezkoa den informazio garrantzitsua dauka. Ingurune dinamiko batean, egoerak aldatzen dira agentearen ekintzen eta kanpoko beste faktore batzuen arabera. Esaterako, kasu honetan, egoera bat izan daiteke pazientea alde batean izatea ebakuntza gelan eta robota bestean (Silver et al., 2016). • Ekintzak : ekintzak agenteak aurkitzen den egoera bakoitzean har ditzakeen erabakiak dira. Ekintza bakoitza ingurunearen egungo egoeraren balizko aldaketa bati dagokio. Ekintza posible guztien multzoak agentearen ekintza espazioa osatzen du. Esaterako, kasu honetan, ekintzek aurrera egin dezakete atzera, ezkerrera edo eskuinera, eremu kirurgikoa gelditzea edo uztea. Ekintza bat aukeratzea agenteak jarraitzen duen politikaren araberakoa da (Lillicrap et al., 2015). • Politika : politika estrategia edo arau multzo bat da, agenteak bere ekintzak nola hautatzen dituen definitzen duena, uneko egoeraren arabera. Egoeretatik ekintzetarako mapa bat da, eta determinista edo probabilista izan daiteke. Politika deterministiko batek egoera jakin baterako ekintza bera hautatzen du beti, eta politika probabilista batek ekintza batzuei probabilitateak esleitzen dizkie, jokabide esploraziozkoago bat ahalbidetzeko. Politika funtsezkoa da indartze ikaskuntzarako, agentea 37 epe luzerako saria maximizatzeko erabakiak hartzera gidatzen baitu (Schulman et al., 2017a). • Saria : saria agentearen ekintzen eraginkortasuna une jakin batean ebaluatzeko erabiltzen den zenbakizko balio bat da. Agenteak bere esperientzietatik ikasi ahal izateko duen feedback mekanismo nagusia da. Sari positibo batek ("1" gisa adierazia) adierazten du egindako ekintza onuragarria edo zuzena izan dela agentearen helburu orokorraren testuinguruan; eta sari negatibo batek edo saririk ezak ("0" gisa adierazia) ekintza ez dela eraginkorra izan edo okerra izan dela adierazten du. Denboran zehar sariak pilatzearen bidez, agenteak bere politika doitzen du bere errendimendua hobetzeko eta bere helburuak efizientzia handiagoz lortzeko (Bellemare et al., 2013). Indartze ikaskuntzaren (RL) arazoak ebazteko diseinatutako algoritmo ugari daude. Bakoitzak bere ezaugarriak eta planteamendu espezifikoak ditu, ingurune eta helburu mota ezberdinei aurre egiteko. Algoritmo horien kategorizazio ohikoenak oinarri hau du: ea ingurunearen eredu esplizitua erabiltzen duten edo ez. Horrek RL algoritmoak bi kategoria nagusitan banatzen ditu: ereduetan oinarritutako indartze ikaskuntza eta eredurik gabeko indartze ikaskuntza. • Ereduetan oinarritutako indartze ikaskuntza (Model-Based RL) : algoritmo mota horren bereizgarri da ingurunearen eredu bat erabiltzen duela (dela emandako eredu bat, dela agenteak ingurunearekiko elkarreraginezko prozesuan ikasten duena). (Andrychowicz et al., 2021)-ren arabera, ereduetan oinarritutako ikuspegia "Markov-en erabakitze prozesua (MDP) edozein ikuspegi da, ezaugarri 38 hauek dituena: i) eredu bat (ezaguna edo ikasia) erabiltzen du; eta ii) balio edo politika global bat hurbiltzeko, ikaskuntza erabiltzen du". Beste era batera esanda, algoritmo horiek ingurunea iragartzeko eredu bat eraikitzen edo aprobetxatzen saiatzen dira, agentearen ekintzen emaitzak aurreikus ditzakeen eredu bat, eta horrela agenteari aurrea hartzeko eta bere erabakiak hobetzeko aukera ematen diote. Plangintza gaitasun hori bereziki erabilgarria izan daiteke interakzio posibleen kopurua handia den inguruneetan edo esperimentazioaren kostua handia den inguruneetan. Ereduetan oinarritutako algoritmoak ingurunea zehatz mehatz arakatzeko beharra murrizteko gai dira, ereduak ingurunea simulatu eta etorkizuneko egoeren eta sarien estimazioak eskain ditzakeelako esperimentazio zuzenik gabe (Alibabaei et al., 2022). Ikuspegi hau abantailatsua da ingurunea ezaguna den edo eredu bat arrazoizko zehaztasunarekin ikas daitekeen aplikazioetan. Dena den, ereduetan oinarritutako ikaskuntzak ere erronka nabarmenak ditu, batez ere ingurunearen eredua ikasteko zaila edo zehaztasunik gabea denean, eta horrek akatsak sor ditzake agentearen plangintzan eta erabakiak hartzerakoan. • Eredurik gabeko indartze ikaskuntza (Model-Free RL) : ereduetan oinarritutako ikaskuntza ez bezala, eredurik gabeko algoritmoak ez dira ingurunearen eredu bat eraikitzen saiatzen. Horren ordez, agenteak ingurunearekiko esperientzia zuzenaren bidez ikasten du, saio eta hutsegite bidezko metodoak erabiltzen baititu sari handienak zein ekintzak ekartzen dituzten ezagutzeko (Strehl et al., 2006). (Sutton & Barto, 2012)-ren arabera, eredurik gabeko indartze ikaskuntza honela definitzen da: "Ikuspegi bat, non agenteak ingurunearen kontrol politikari 39 buruz saio eta hutsegite bidez ikasten duen (hau da, esperientziaren bidez), sariak maximizatzeko, eredurik gabe". RL mota honetan, agentea ez da etorkizuneko egoerak esplizituki aurreikusten saiatzen, baizik eta denboran zehar metatutako saria maximizatzeko aukera ematen duen politika edo balio funtzioa ikastera bideratzen da (Degris et al., 2012). Eredurik gabeko indartze ikaskuntza ingurunearen eredu zehatza eraikitzea praktikoa edo posible ez den inguruneetan, bere konplexutasunagatik, dimentsio handiagatik edo izaera estokastikoagatik. Dimentsio handia honela defini daiteke: "egoera espazioak eta/edo ekintza espazioak aldi berean kontrolatu behar diren hainbat aldagai edo askatasun gradu dituen egoerak" (Bellman, 1966). Ikuspegi horrek malgutasun eta egokitzapen handiagoa ahalbidetzen du ingurune aldakor edo ziurgabeetara, agenteak bere esperientziatik zuzenean ikasten baitu, inguruneari buruzko hipotesi espliziturik gabe. Eredurik gabeko algoritmoak inplementatzeko errazagoak dira normalean, ez baitute ingurunearen eredu oso baten estimaziorik behar. Hala ere, politika eraginkorrak ikasteko, ingurunearekiko elkarrekintza handia ere behar dute, eta hori erronka izan daiteke esperimentazioa garestia edo arriskutsua den inguruneetan. Jarraian, eredurik gabeko ( model-free ) indartze ikaskuntzako algoritmo nagusiak deskribatzeari ekingo diogu. Lehenik eta behin, "politikaz kanpoko" edo balioetan oinarritutako algoritmoen azterketa egingo da. Ondoren, politikan oinarritutako ( policybased ) algoritmoak landuko dira. Azkenik, politikaz kanpoko eta politikan oinarritutako algoritmoen alderdiak konbinatzen dituzten aktore-kritiko algoritmoak aztertuko dira (Schulman et al., 2017b): 40 2.4.5.1 Politikaz kanpo Q-ikaskuntza: Q-ikaskuntza ( Q-learning ) balioetan oinarritutako edo politikaz kanpoko algoritmo bat da, hau da, politika optimoa ikasten du agenteak ingurunea esploratzean jarraitzen duen politikatik independenteki (Watkins & Dayan, 1992). Qikaskuntzako algoritmoa ekintza espazio diskretuetan soilik funtzionatzen duen algoritmoa da. Q-ikaskuntzako algoritmoan Q-taula izeneko taula sortzen da, non errenkadak egoerak eta zutabeek ekintzak adierazten dituzten matrize batez osatua. Taularen sarrera bakoitzak, Q(s,a), s egoeran a ekintza egiteari espero zaion balioa adierazten du. Q-ikaskuntza eguneratzeko formula ezinbestekoa da prozesu honetarako, horretarako Bellman-en ekuazioa erabiltzen da (Bellman, 1954, 1966): Q(s,a)←Q(s,a)+α[r+γmax* ,$Q(s(,a()−Q(s,a)] Q-ikaskuntza algoritmoa hainbat urratsetan ezartzen da. Lehenik eta behin, Q-taula balio arbitrarioekin hasieratzen da (askotan, zero balioarekin), eta α"eta γ"parametroak ezartzen dira. Ondoren, iterazio bakoitzean, agenteak erabakitzen du ekintza berriak esploratuko dituen edo Q-taularen arabera ekintza ezagun onenak ustiatuko dituen. Jardun hori normalean ε-greedy estrategia bat erabiltzean oinarritzen da (Millán et al., 2002); estrategia horrek esplorazioa eta ustiapena orekatzen ditu. Agentearen urrats bakoitzean, uneko s egoera ikusten da. Ondoren, a ekintza bat aukeratzen da esplorazio/ustiapen estrategiaren arabera. a ekintza gauzatu ondoren, r saria eta s ′ egoera berria ikusten dira . Informazio horrekin, Q-taula eguneratzen da dagokion eguneratze formula erabiliz. Urrats horiek errepikatzen dira agenteak politika optimoa ikasi duela zehazten den arte, edo aurrez zehaztutako geldialdi irizpide batera iritsi arte. 41 DQN: Deep Q-Network (DQN) indartze ikaskuntzako algoritmo bat da, Qikaskuntza sare neuronal sakonekin konbinatzen duena, egoera espazio handi eta konplexuen bidez arazoak kudeatzearren (Mnih et al., 2015b). DQN, Q-ikaskuntza algoritmoa bezala, ekintza-espazio diskretuetan soilik funtzionatzen duen algoritmoa da.! DQN Q-ikaskuntzan oinarritzen da; eta, adierazi denez, Q-ikaskuntzaren helburua da politika optimo bat ikastea ekintza balioaren funtzioa Q(s,a) estimatuz. DQN algoritmoan, Q(s,a) balioak gordetzearren taula bat erabili beharrean, sare neuronal sakon bat erabiltzen da Q funtzioa hurbiltzeko (Argueta et al., 1992). Sare horrek sarrera gisa ss egoera hartzen du eta a ekintza posible guztietarako Q(s,a) balioak sortzen ditu. Neurona sare sakonei esker, DQNk egoera espazio handiak kudeatzen ditu. DQN algoritmoak hainbat estrategia gako erabiltzen ditu entrenamenduaren egonkortasuna eta eraginkortasuna hobetzeko. Estrategia horietako bat da errepikapen buffer-a (Dao & Lee, 2019), entrenamendu laginen arteko denborazko korrelazioa hausteko erabilia. DQNk agentearen esperientziak ((s,a,r,s′) trantsizioak) memoria buffer batean gordetzen ditu, eta laginak ausaz ateratzen dira sarea entrenatzeko, eta horrek prestakuntza egonkortzen laguntzen du. Beste estrategia bat da helburu sare bat erabiltzea (Argueta et al., 1992) Qikaskuntzako helburuak kalkulatzeko. Sare hori aldian aldian eguneratzen da entrenamendu sare nagusiko pisuak kopiatuz. Helburu sare bat erabiltzeak prestakuntza egonkortzen du, ikaskuntza helburua finkoago mantentzen baitu. DQN algoritmoan, sarearen eguneratzea denbora diferentziako errorea (TD errorea) minimizatzean oinarritzen da. Errore horrek Q funtziorako sarearen uneko iragarpenaren 42 eta funtzio horretarako kalkulatutako helburu balioaren arteko aldea adierazten du sare neuronalaren parametroak doitzeko, Q balioaren iragarpena xede baliotik ahalik eta hurbilen egon dadin. 2.4.5.2 Politikan oinarrituta SARSA: SARSA algoritmoa (State Action Reward State Action) indartze ikaskuntzako algoritmo bat da, politiketan oinarritua, eta erabakiak hartzeko ingurune sekuentzial batean sari metatua maximizatzen duen politika bat ikasi nahi du (Sutton & Barto, 2012). SARSA politikan oinarrituako algoritmo bat da, hau da, politika ikasten eta eguneratzen du agentearen uneko politikan oinarrituta hautatutako ekintzen arabera. Horrek bereizi egiten du Q-ikaskuntza bezalako politikaz kanpoko algoritmoetatik, azken horiek ingurunean benetan egiten ez diren ekintzetatik ikas baitezakete (Sutton, 1999). SARSA algoritmoa, Q-ikaskuntzako algoritmoa eta DQN bezala, ekintza espazio diskretuetan soilik funtzionatzen duen algoritmo bat da.!SARSAn Q-balioaren funtzioa eguneratzen da ikaskuntza prozesuko urrats bakoitzeko, uneko egoera, egindako ekintza, jasotako saria, hurrengo egoera eta hurrengo ekintza erabiliz. Urrats bakoitzean, uneko egoeran dagoen agenteak ekintza bat hautatzen du bere jokabide politikaren arabera; eta politika hori esplorazioa eta ustiapena orekatzeko ϵgreedy estrategia bat izan daiteke. Ondoren, agenteak rt+1 sari bat jasotzen du eta st+1 egoera berri batera igarotzen da, ekintza berri bat hautatzen du +1ean bere jokabide politikaren arabera, eta ekintza berri hori Q balio funtzioa eguneratzeko erabiltzen du. Prozesu hori errepikatzen da. agentea egoera terminal batera iritsi arte edo pasarte bat osatu arte. 49 ehunaren baldintzak alda daitezkeen interbentzioan zehar, eta sistemak azkar eta zehatz doitu behar ditu bere ekintzak. • Egonkortasuna eta zehaztasuna ikaskuntzan : Garun erretrakzioaren robotizazioan, egonkortasuna funtsezkoa da bat-bateko mugimenduak edo garun ehuna kaltetu dezaketen erabaki zehaztugabeak saihesteko. Policy-based algoritmoek, REINFORCEk bezala, bariantza handiko arazoak izan ohi dituzte (Andrychowicz et al., 2021; Sewak, 2019) eta horrek portaera ezegonkorra edo entrenamendu aldi askoren beharra eragin dezake politika optimoa lortzeko. Bestalde, Aktore Kritikoak algoritmoek balio seinale zehatzagoa ematen dute kritikoari esker, eta horrek aktorearen eguneratzeen bariantza murrizten du, kontrol egonkorragoa eta zehatzagoa eraginez. • Politikaren optimizazioa denbora errealean : Baldintzek aktore kritiko algoritmoak azkar aldatzea ahalbidetzen badute, politika denbora errealean eguneratzea ahalbidetzen dute, aktoreak ekintzak doitzen baititu kritikoak bere eraginkortasuna ebaluatzen duen bitartean (Silver et al., 2016). Politika eta balio funtzioa aldi berean ikasteko gaitasuna baliagarria izan daiteke prozedura medikoetarako, non atzeraelikadurak eta erabakiak berehala doitzeko gaitasunak pazientearen segurtasuna eta esku hartzearen eraginkortasuna hobetu baititzakete. • Bariantza murriztea sari seinaleetan : Garuneko erretrakzioan, sariak zehaztea eta zuzenean neurtzea zaila izan daiteke, ehun delikatuei kalterik ez egitearekin lotuta baitaude. Aktore kritiko algoritmoen abantaila da sari horien estimazioan bariantza murriztu daitekeela, kritikoak aktorearen ekintzen epe luzeko emaitzak 50 hobeto ebaluatzen laguntzen baitu (Kober et al., 2013). Hori bereziki baliagarria da zeregin kirurgikoetan, ekintza baten ondorioak berehalakoak izan ez arren prozeduraren arrakasta orokorrean eragina izan baitezakete. • Off-policy balioen/laginen aprobetxamendua : Lapurreta kirurgiko baten garapena hainbat urtetako prozesua da, eta hamar urtera irits daiteke. Ohikoa da sistemaren zehaztasuna hobetzeko simulazioak egitea. Aktore kritikoen algoritmoek (DDPG, esaterako) off-policy laginak erabiltzea ahalbidetzen dute, eta horrek esan nahi du simulazioetan edo aurreko probetan sortutako iraganeko esperientzietatik ikas dezaketela (Hwangbo et al., 2019). Horrek entrenamendu prozesua bizkortzen du eta egoera kritikoetan kontrola optimizatzen du, pazientea ingurune errealetan entrenamendu aldi luzeetan egoteko beharra murriztuz. 51 3 GARUNAREN ERRETRAKZIOA ROBOTIZATZEKO KONTROL ESTRATEGIEN DISEINUA ETA SIMULAZIOA Kapitulu honetan zehatz mehatz aurkezten dira garunaren erretrakzioa robotizatzeko berariaz diseinatu diren bi kontrolagailuak. Kontrolagailu horietako bakoitza planteamendu desberdinak erabiliz garatu da; planteamendu horiek dagozkien ataletan azaltzen dira. Lehenik eta behin, lehenengo azpiatalean, lehen kontrolagailuaren deskribapen zabala ematen da. Kontrolagailu hori kalkulu bariazionaleko tekniketan oinarritutako kontrol estrategia erabiliz diseinatu da. Teknika horren oinarrizko printzipioak azaltzen dira, bai eta garunaren erretrakzio robotikaren testuinguruan duen aplikazioa ere. Gainera, ikuspegi horri lortutako emaitzak aztertzen dira, bai eta kontrol mota honek praktikan dituen abantailak eta mugak ere. Bestalde, bigarren azpiatalean bigarren kontrolagailua sartzen da, zeinaren kontrol estrategia adimen artifizialeko tekniketan oinarritzen den. Atal horretan, kontrolagailua diseinatzeko erabiltzen diren adimen artifizialaren teknikak aztertzen dira, besteak beste ikaskuntza automatikoko algoritmoak eta neurona sareak. Zehaztuko da nola teknika horiek kontrolagailuari aukera ematen dioten baldintza bakoitzera egokitzeko eta bere errendimendua hobetzeko, garun robotikoaren erretrakzio zeregin espezifikoan. Era berean, ikuspegi horrekin lortutako emaitzak eztabaidatuko dira eta lehenengo kontrolagailuarenekin alderatuko dira, onurak eta hobekuntza arloak nabarmenduta. 52 Kapitulu honek, orotara, garun erretrakzioa robotizatzeko aztertu diren kontrol ikuspegien ikuspegi orokorra eskaintzen du, erabilitako teknikak eta sistemaren errendimenduan duten eragina ulertzeko oinarri sendoak eskainita. 3.1 SARRERA Lehenengo kapituluan ("Sarrera") deskribatzen denez, neurokirurgian, garun erretraktilak garun ehuna nahikoa atzeratuta mantentzen du lesioa dagoen eremura (tumorea, iktusa, etab.) sartu ahal izateko (Echeverry et al., 2020). Erretraktil horrek garuneko ehunean erretrazkioa egiten duenean, prozesu iskemikoak eragin ditzake (Andrews & Bringas, 1993; Laha et al., 1979; Roca & Ramorino, 2023; Waring et al., 1990; Zagzoog & Reddy, 2020; Zhong et al., 2003). Prozesu iskemiko horiek ebakuntza osteko defizit klinikoki esanguratsuak eta baita heriotza ere eragin ditzakete. Beraz, dokumentu honen lehen kapituluan azaltzen denez, erretrakzioa egiteko robot batean inplementatutako kontrol sistemak helburu hauek izan behar ditu: 1. Pazientearen segurtasuna eta ongizatea bermatzea. 2. Ebakuntza gelan lan egiten duten zirujauen eta gainerako medikuen segurtasuna eta ongizatea bermatzea. 3. Erretrakzioan nahi den posiziora iristea. 4. Egindako indarra eta erretrakzioaren iraupena murriztea. 3.2 KALKULU BARIAZIONALEKO TEKNIKETAN OINARRITUTAKO KONTROLAGAILUA 3.2.1 Arazoaren definizioa eta kontrol proposamena Lehen kontrol helburua zirujauak emandako posizio puntua lortzea da. Nahi den posizio horri x_desired izena jarri zaio. Garun erretraktilak garun ehuna x posiziora 53 itzuli behar du. Bigarren kontrol helburua da erretrakzioan garun erretraktilak aplikatzen duen F indarra ahalik eta txikiena mantentzea. Beso robotikoaren dinamika ez da garrantzitsutzat jo, erretrakzioan egin beharreko ibilbidearen abiadurak beso robotikoaren banda zabalera baino askoz txikiagoak baitira (KUKA AG, n.d.). Beso robotikoak ibilbide linealean egingo du lan, eta desplazamendua oso txikia izango da (0,1 metro, gehienez). Gainera, beso robotikoak bere kontrol unitate propioa du, abiaduraren konfigurazioa errore baztergarriarekin jarraitzeko gai dena. Azkenik, garun ehunaren indarrak ez dira nahikoa handiak kokapenean jarraipen errore garrantzitsu bat sortzeko; beraz, abiaduraren ezarpen puntua garun ehunaren benetako abiadura dela suposa daiteke. Beso robotikoaren dinamika (1) ekuazioaren bidez definitzen da. !" !#=% (1) Garun ehunak erreakzio indarra sortzen du garunaren erretrakzio maniobra egiten denean. Dokumentu honetako lehen kapituluko hipotesi atalean adierazi den bezala, Garunaren erreakzio indarra Ogden ereduaren erantzun hiperelastikoa erabiliaz modelatu da (Ogden, 1972), (Coats & Margulies, 2006)-n modelatua izan den eta hurrengo irudian erakusten den moduan. Badaude garun ehunaren deformazio indarra modelatzen duten beste eredu batzuk (Miller et al., 2010b), baina lan honetarako baztertu egin dira, kontrol aplikazioetan ezartzen konplexuak direlako. Normalean, kontrol aplikazioetako sistema ereduek sinpleak izan behar dute, kontrol laginaren denboran emaitzak emateko 54 Irudia 11: Ogden-en modeloa &="+(%&%'%() (%&%'%() (2) Garun erretraktilak aplikatzen duen indarra λ-ren eta denboraren araberakoa da. Mendekotasun horiek (Coats & Margulies, 2006; Gan et al., 2015) ataletan deskribatzen dira. Indarra garun erretraktilaren ukipen azalera (1 cm2-an ezarrita) eta presio maximoaren araberakoa dagehienez. Presio maximoa, hau da, (Miller et al., 2010b) atalean emandako balioetan hartu da. Lan honetan, parametro hori 500 Pa-n ezarri zen. Garun erretraktilek aplikatzen duten indarraren eta indar normalizatuaren arteko erlazioa (3) eta (4) ekuazioetan adierazten da. )=)*(+ ∙),-.*()%/('0((&,#) (3) )*(+ =./∙012345*(+ (4) 55 3.2.2 Kontrol proposamena Garunaren erretrakzioan iskemia eta bestelako kalteak saihesteko, kalkulu bariazionalean oinarritutako kontrol lege bat aplikatu da. Kontrol optimoko legeen zailtasun nagusia da kostu funtzional egokia ezartzea; hori dela eta, lehenengo azterketa hau egin da. 3.2.2.1 Kostu funtzionalaren proposamena Lan honetan proposatzen da posizio errorea kostu funtzional honetan sartzea. Kostu funtzionalari gehitu behar zaion beste aldagai bat garunak egiten duen indarra da. Indar hori (2)-(4) ekuazioetan definitu da. Azkenik, garunaren erretrakzioa egiten den abiadura funtzional honetan ere sartu beharra zehaztu zen. Hori dela eta, baldintza horiek guztiak kostu funtzionalaren proposamen honetan sartu ziren. Adierazpen honetan, λv da abiadura haztatzeko koefizientea. 6=∫81-2'("3−",)("))∙!# 4 !"# 5+:6∫";7∙!# 4 !"# 5////(5)/ Horrez gain, hainbat muga baldintza ezarri dira. Ezarritako lehen muga baldintzak ziurtatzen du garun erretraktil robotikoaren azken posizioa nahi dena dela. Ezarritako bigarren muga baldintzak zehazten du azken abiadurak zeroren berdina izan behar duela. Azkenik, ezarritako hirugarren muga baldintzak ezartzen du garun erretraktil robotikoaren hasierako posizioa zeroren berdina izatea. "(=*(+)="382%.83 (6) ";(=*(+)=0 (7) "(0)=0 (8) 56 Ondoren, Euler-Lagrange ekuazioa eta zeharkako baldintzak aplikatzen dira (6) ekuazioa bete dadin. Kontuan izan behar da Tmax ez dela balio konstantea. Alderdi horrek zeharkako baldintza bat ezartzen du. !=∫(%!"#$&'%&#'(&% −',*('),+.)'/*)∙12 +!"# , (9) !=∫3(','/)∙12 +!"# , (10) (5) ekuazioa optimizatzeko, Euler-Lagrange ekuazioa aplikatu behar da. (6) ekuazioa betetzeko, zeharkako baldintza bat proposatu da; ikus (12) ekuazioa. -.(0,02) -0 −% %$ 4-.(0,02) -025=0 (11) !(#,#%)−#% ∙!"($,$&) !$&)()*!"# = 0 (12) (11) eta (12) ekuazioak honela defini daitezke: -4 $%&' -0 −2.)'8 =0 (13) -4 $%&' -0 −'/∙2.)'/9$5+!"# =0 (14) Kontrol bidearen dinamika definitzeko erabili da (13) ekuazioa. (14) ekuazioak zeharkako baldintza definitzen du (ikus (6) ekuazioa). (15) ekuazioak erakusten du ibilbide optimoak ondorengo ekuazio diferentzial hau betetzen duela: '8 = 6 *7( -4 $%&' -0 (15) Kostu funtzionalak beste baldintza matematiko batzuk bete behar ditu. G kostu funtzioak zero izan behar du x hasierako posizioan dagoenean; izan ere, kasu horretan, beso robotikoak ez du inolako garuneko kalterik sortzen. Gainera, G funtzioak zero izan 57 behar du, x desired x -ean dagoenean, beso robotikoak garun erretraktila azken posizio horretara eraman behar duelako, nahiz eta garunak egiten duen indarra zero ez izan. %!"#$&'%&#'(&% −',*('),:050)*&+,*) =0 (16) %!"#$&'%&#'(&% −',*('),:05, =0 (17) Ezarritako bigarren muga baldintzak azken abiadurak zeroren berdina izan behar duela zehazten du. (14) ekuazioak inposatzen du -.9:;< -/ zeroren berdina izatea robotaren besoa azken posiziora iristen denean. -4 $%&' -0 9050)*&+,*) =0 (18) Lan honetan ondorengo fkostua funtzio hau proposatu izan da (16)-(18) ekuazioak bete daitezen. Kostu funtzioaren justifikazioa bete ahal izateko, helburu nagusi hauek hartu dira kontuan: Alde batetik, garun ehunaren behar adina erretrakzio egitea egongo litzateke, hau da, garun erretraktila irits dadila nahi den posiziora. Bestetik, kalte iskemikoa ekiditea edo ahal bezainbat gutxitzea, hau da, garun erretraktilarekin ahalik eta indar txikiena aplikatzea. Helburu horiek kontuan hartuta, kontsideratu da kostu funtzionalak kontrol legearen barnean sartu behar dituela posizio errorea, batetik, eta garunaren indarra eta garunaren erretrakzio abiadura, bestetik. Horrela definitutako funtzioak aplikatutako zeharkako baldintzak eta Euler-Lagrange ekuazioa betetzen ditu. 81-2' =λ=("3−")7∙)7(")+λ8..-. ("3−")7 (19) 58 3.2.2.2 Kontrol-legearen proposamena Egileek kontrol legetzat (20) ekuazioa proposatzen dute. Ekuazio hori (15) eta (19) ekuazioetatik abiatuta lor daiteke. '8 =(0)80) *7(;−2λ9∙**(')−2λ&(("( +2λ9('%−')∙*(')∙-9(0) -0 = (20) 20) ekuazioa bigarren mailako ekuazio diferentziala da, non posizioaren bigarren deribatua soilik x posizioaren araberakoa den. Beraz, dinamika horrek x aldagai independentea duen abiadura inposatzen du. (21) ekuazioak abiaduraren forma optimoa deskribatzen du. Ekuazio hori (20) ekuazioaren emaitza abiaduraz biderkatuz lortu da, bi aldeen integrazioa egin ondoren. )- *−). - *=∫(0)80) *7(;−2λ9∙**(')−2λ&(("( +2λ9('%−')∙*(')∙-9(0) -0 =∙1' 0 , (21) (20) ekuazioak x -ren abiadura-funtzio bat definitzen du , D ( x ) gisa definitua. Berriro ere ikusten dugu azken abiadurak zero izan behar duela eta, beraz, hasierako abiadurak G ( xd)- k definitzen duela. Baldintza horrek (ikus (22) ekuazioa) indarra ezaguna eta konstantea dela inplikatzen du. Hala ere, analisi xeheagoak (ikus (23) ekuazioa) erakusten du robota posizioaren eta indarraren araberakoa dela soilik; kontrol-sistemak bi aldagai horiek neur ditzake. @(")=A ("3−") 2:6C−2λ=∙)7(")−2λ8..-. +2λ=("3−")∙)(")∙D)(") D" E∙!" + 5 ! >(')=λ9('%−')***(')+λ&(("(('%−')* 2.) ! ! )- *−). - *=>(')→=). - *=>('%)!(22)! ! 65 garunaren erretrakzioa robotizatzea ahalbidetzen duen kontrol-sistema baten garapenaren fase honetan sortzen diren erronka zehatzei aurre egiteko. . 3.3.2 Kontrol-proposamena 2. kapituluan deskribatzen den bezala, Deep Deterministic algoritmoa hautatu da Politika Gradientea (DDPG) indartze sakoneko ikaskuntza algoritmo ezberdinen artean. DDPG algoritmoak material hiperelastikoen indarra kontrolatzeko hainbat abantaila eskaintzen ditu, indartzeko ikaskuntza beste metodo batzuen aldean aukera bihurtuz. DDPG algoritmoa bereziki egokia da ekintza-espazio jarraien problemetarako, aplikazio robotikoetan diskretuak baino ohikoagoak direnak. DDPG algoritmoa ekintzen jarraitasun izaera kontrolatzeko erabil daiteke diskretizazio beharrik gabe, eta hori askotan beharrezkoa da balioetan oinarritutako metodoetan. Eraginkortasun hori funtsezkoa da kontrol robotikoa bezalako aplikazioetan, non ekintzak (adibidez, indarra edo posizioaren doikuntzak) berez jarraiak diren (Plaat, 2022; Sewak, 2019). DDPG aktore-kritikoa algoritmo da, hau da, ez du ingurunearen dinamikaren eredurik behar. Honek abantaila argi bat suposatzen du aplikazioan, garunaren eredu mekaniko zehatza eta erretrakzioan duen portaera sortzea prozesu oso konplexua baita . DDPG algoritmoak zuzenean ikasten du politika bat, hau da, estatuetatik ekintzetarako mapaketa bat, balio funtzio batean oinarritu beharrean. Ezaugarri hau bereziki onuragarria da denbora errealeko aplikazioetarako, ekintza-emaitzak berehala lortzea ahalbidetzen baitu, kalkulu gehigarririk egin beharrik gabe, balio-funtzio baten mende dauden algoritmoetan gertatzen den bezala (Plaat, 2022; Scharf Fabianand Helfenstein, 2021). 66 3.3.2.1 Ingurunea Bigarren kapituluan esan bezala, errefortzu-ikaskuntzaren arloan , inguruneak aktoreari beharrezko informazioa ematen dio erabakiak hartzeko eta haietatik ikasteko. DDPG algoritmoaren eta deskribatutako ingurunearen testuinguruan, egoeraren behaketak inguruneak emandako sarrera kritikoak dira. Behaketa horiek garunaren erretrakzio tresnaren posizioa izan dezakete, kasu honetan koordenatu espazialak barne hartzen dituena. Gainera, deformazio-indarra funtsezko behaketa da, erretrakzioan aplikatzen den indarra adierazten duena, eta hori ezinbestekoa da aplikatutako indarrak hipoxiarik eragin ez dezan edo hala egiten badu, garuneko ehunean iskemia eragiteko nahikoa luzatzen ez dela ziurtatzeko. Saria inguruneak agenteari ematen dion seinalea da, egindako ekintzen kalitatea adierazteko. Garunaren erretrakzioan, aldez aurretik egindako ekintzaren balioa izan daiteke sariaren oinarria, ehunen kaltea gutxitzea, tresnaren doitasuna eta emandako denbora bezalako faktoreak kontuan hartuta. Sari honek feedback-seinale gisa jarduten du agentea bere ekintza hautatze politikaren etengabeko hobekuntza prozesuan gidatzeko. Helburu nagusia politika hori optimizatzea da, denboran zehar pilatutako sarien batura maximizatzeko. Modu honetan, agenteak bere ekintza-erabakiak doitzen ditu aurreko elkarrekintzetan lortutako sarien arabera, jarduten duen ingurunean epe luzerako errendimendua maximizatzen duen jokabide bat ikasteko helburuarekin. Optimizazio prozesu horri esker, agenteak nahi den errendimendua lortzen edo hurbiltzen den estrategia eraginkor bat garatzen du, edo etorkizuneko elkarrekintzetan. Agentearen eta ingurunearen arteko elkarrekintza-zikloak DDPG algoritmoan ondo definitutako eta egituratutako sekuentzia bati jarraitzen dio. Lehenik eta behin, 67 inguruneak agenteari hasierako egoera bat aurkezten dio, eta horrek une horretan sistemaren baldintzak deskribatzen ditu. Egoera horretatik, agenteak, bere aktore sarea erabiliz, ekintza bat aukeratzen du modu deterministikoan, jasotako uneko egoeraren arabera. Agenteak ekintza hori egiten duenean, inguruneak egoera berri bat sortuz eta sari bat emanez erantzuten du, egindako ekintzaren kalitatearen edo arrakastaren neurria adierazten duena. Informazio horrekin (hasierako egoeraz, exekutaturiko ekintzaz, lortutako saria eta egoera berriaz osatua), agenteak bere aktore sarea zein Kritiko sarea eguneratzen ditu. Eguneratze honen helburua bikoitza da: aktore sareak bere ekintza hautatzeko politika doitzen du, eta kritiko sareak, berriz, ekintza horien kalitatea ebaluatzen du haien balioak estimatuz , Q-balioaren funtzioak adierazita. Etengabeko ikaskuntzaprozesu horri esker, agenteak etorkizuneko elkarrekintzetan erabaki eraginkorragoak hartzeko gaitasuna pixkanaka hobetzen du. Elkarreragin-ziklo hau denbora-urrats bakoitzean errepikatzen da, agenteen errendimenduaren hobekuntza inkrementala bermatuz. Prozesua aurrera doa aurrez zehaztutako helburu bat lortu arte edo pasarte bat osatu arte, eta momentu horretan agenteak politika optimoa edo ia optimoa ikasi du denboran zehar pilatutako sariak maximizatzeko. Etengabeko ziklo horri esker, aktoreak bere erabakiak ikasi eta hobe ditzake ingurunearekin elkarreraginean jasotako esperientzian oinarrituta. Ziklo hau errepikatuz, agenteak bere estrategiak findu ditzake eta ingurunearen konplexutasunetara hobeto molda daitezke, zeregin konplexuetan errendimendu optimoa lortuz, hala nola garunaren erretrakzio tresnen manipulazio zehatza. 68 Ingurune hau sortzeko erabilitako kodea bi fase nagusitan egituratu da, bere ulermena eta exekuzioa errazteko. Lehenik eta behin, inguruneko behaketa eta ekintza posibleen kopurua hasieratzen da (ikus 1. algoritmoa xehetasunetarako). Etapa hau funtsezkoa da, agenteak ingurunearekin duen elkarrekintzan zehar erabiliko dituen sarreraeta irteera-aldagaiak definitzen baititu. Ondoren, simulatutako ingurunean egiten diren kalkuluetan parte hartzen duten beharrezko aldagai guztiei hasierako balioak esleitzen zaizkie. “Cleanstart" izeneko funtzio espezifiko bat garatu zen (ikus 2. algoritmoa) , eta horren helburua aldagai guztiak hasierako balio lehenetsietara berrezartzea da. Ezaugarri honek ziurtatzen du simulazio berri bat hasten denean, agentea beti oinarri-egoera beretik abiatzen dela, horrela simulazioetan koherentzia emanez. Berrezarri ahalmen hori ezinbestekoa da hainbat proba egiteko eta emaitzei aurreko simulazioetako hondarbaldintzek eraginik ez dutela ziurtatzeko. Honek agentearen errendimenduaren ebaluazio zehatza errazten du simulatutako ingurunearen barruan hainbat eszenatokitan, simulazio bakoitza hasierako baldintza berdinetan hasten dela ziurtatuz. Taula 3: 1 algoritmoa 1 Algoritmoa: ingurune bat sortu. 1. prozedura 2. Behaketaren informazioa ← Behaketen kantitatea = 2: indarra eta posizioa. 3. Ekintzaren informazioa ← Ekintzen kopurua = 1: Abiadura. 4. λ1 ← 0,9 // Sari-funtzioan deformazio indarraren garrantziaren kontrolaldagaia. 5. λ2 ← 0,2 // Sari-funtzioan abiaduraren garrantziaren kontrol-aldagaia. 6. λ3 ← 0,2 // Sari-funtzioan posizio-errorearen garrantziaren kontrol-aldagaia. 69 7. OgdenModelData ← load(' OgdenModelData ') 8. x desired ← 0,1 9. Ts ← 0,02 // Urrats denbora. 10. Λx ← 0,01 // Kokapen-erroreen atariak. 11. Penalizazioa ← −15 // Baldintza terminalengatik penalizazioa 12. env ← Sortu ingurunea Behaketa eta Ekintza informazioarekin. 13. env ← @cleanstart Taula 4: Berrezarpen funtzioa 2. algoritmoa : berrezarri funtzio bat sortu. 1. funtzioa cleanstart 2. x ← 0 3. F ← 0 4. xprev ← 0 5. ẋ ← 0 6. itzuli x, F, xant , ẋ Funtzio honetan, robotaren posizio erreala kalkulatzen da, baita elkarrekintzan sortzen den deformazio-indarrari dagokion balioa ere (ikus 3. Algoritmoa deskribapen xehatu baterako). Eragiketa horiez gain, funtzioak sari-funtzioaren kalkulua ere barne hartzen du. Funtzio horrek agentearen jarduna ebaluatzen du, egindako ekintzen arabera, eta ezarritako helburuei dagokienez ekintza bat hain ondo gauzatu dela adierazten duen puntuazioa ematen du. Agenteak atzeraelikadura hori erabiltzen du bere ekintza-politika doitzeko eta etorkizuneko iterazioetan jarduna hobetzeko. Beraz, sarifuntzioa funtsezkoa da agentearen ikaskuntza-prozesua gidatzeko. Halaber, egiaztapenak 70 egiten dira amaitzeko edo penalizatzeko baldintzak bete diren identifikatzeko. Baldintza horiek aukera ematen dute ataza arrakastaz osatu den edo gertakaria aldez aurretik amaitzea eskatzen duen errore esanguratsuren bat gertatu den zehazteko. Taula 5: Behaketak eta sariak 3. algoritmoa: behaketak eta sariak lortzen ditu agenteen erabileragatik. 1. funtzioa IngurumenFuntzioa (λ 1 , λ 2 , λ 3 , Penalizazioa, Λ x , OgdenModelData , T s , x prev , v, x desired ) 2. ẋ ← v 3. x ← x aurreko + ẋ * T s 4. F 0 ← Interpolazioa ( OgdenModelData , 0) 5. F ← Interpolazioa ( OgdenModelData , x) 6. 6. F ← F − F 0 7. [ egina ] ← baldintza-Terminalak( x desired , Λ x , x aurreko ) (Ikus 4. algoritmoa) 8. [saria] ← Saria (F, x, ẋ , xdesired , λ 1 , λ 2 , λ 3 , Penalizazioa) (Ikus 5. algoritmoa) 9. itzuli x, F, saria Taula 6: Baldintza terminalak 4. algoritmoa: Baldintza terminalak. 1. funtzioa Terminal-baldintzak ( xdesired , Λ x , x aurreko , x) 2. x > xdesired + λ x // Agenteak nahi baino gehiago irekitzen du garuna. 3. Eginda dago ← 1 4. elseif x < 0 // Posizioek balio negatiboak dituzte. 5. Eginda dago ← 1 6. elseif x − x prev < 0 // Garuna irekitzen ari den bitartean, robota berriro ixten hasten da. 71 7. Eginda dago ← 1 8. bestela 9. Eginda dago ← 0 10. endif 11. itzuli Eginda dago 5. algoritmoa: Sari-funtzioa. 1. funtzioa Sari-funtzioa (F, x, ẋ , x desired, λ1, λ2, λ3, Penalizaziora) 2. Eginda badago == 0 3. Saria ← Balioa (F, x, ẋ , x desired, λ1, λ2, λ3) 4. Bestela 5. Saria ← Balioa (F, x, ẋ , x desired, λ1, λ2, λ3, Penalizaziora) 6. endif 7. itzuli saria 3.3.2.2 Agentea DDPG algoritmoko agentea bi osagai nagusik osatzen dute: Aktoreak eta Kritikoak, biak ere sare neuronal sakon gisa inplementatuak. 3.3.2.2.1 Aktorea Aktoreari dagokion neurona sarea inplementatu du, aktoreari ekintzak modu eraginkorrean eta zehatzean hautatzeko gaitasuna emateko, ingurunearen egungo egoeraren arabera. Horretarako, Hautemate Geruza Anitzeko (MLP) sare neuronal artifizial bat eraiki da, ikaskuntza sakoneko arazoetan asko erabiltzen den eredua, malgutasunagatik eta funtzio konplexuak hurbiltzeko gaitasunagatik. 72 Sare neuronal honen diseinuak bi mota nagusitako txandakako geruzez osatutako egitura bati jarraitzen dio: • Erabat Konektatutako Geruzak (Fully Connected Layers): Geruza horiek ondoko geruzetako neurona guztiekin konexioak dituzten neuronek osatzen dituzte, bai aurrekoekin, bai ondorengoekin. Arkitektura mota horri esker, sareak informazioa modu integralean prozesatzen eta konbinatzen du, eta horrek ingurunearen egoeraren irudikapen konplexuak ikastea errazten du. Konexio trinko horiei esker, neurona sarea gai da informazio garrantzitsu guztia geruza batetik bestera transmititzeko, bere irudikapen-gaitasuna maximizatuz. • ReLU geruzak (Rectified Linear Units): Geruza horiek aktibazio-funtzio bat sartzen dute, saretik pasatzen diren datuei zuzenketa lineal bat aplikatzen diena, hau da, balioak zenbaki positiboetara mugatzen dituzte. Termino praktikoetan, horrek esan nahi du aurreko geruzek sortutako edozein balio negatibo zerora doitzen dela, eta horrek entrenamenduaren konbergentzia errazten du desagertu den gradientearen arazoa arintzean. ReLU funtzioa asko erabiltzen da ikaskuntza sakonean, sinplea eta eraginkorra delako, neurona-sareek azkarrago eta egonkortasun handiagoarekin ikas baitezakete. Aktorearen sarearen egituran erabat konektatutako geruzak eta ReLU geruzak konbinatzeak aukera ematen dio agenteari sarrerako datuak (inguruneko egoerak) eraginkortasunez prozesatzeko eta irteera gisa ekintza egokia sortzeko. Arkitektura horrek bermatzen du sarea nahikoa adierazkorra izatea inguruneko konplexutasunak atzemateko; aldi berean, nahiko erraza da konputazioaren ikuspegitik, eta hori erabakigarria da denbora errealeko aplikazioetarako. 73 Hauek dira neurona-sarearen egitura osatzen duten geruzak aktorean: • Sarrerako geruza (obs1) → 2 sarrera/behaketa ( x,F ) → 2 neurona; • Erabat konektatutako geruza (fc1) → 10 neurona; • ReLu Geruza (relu1 ); • Erabat konektatutako geruza (fc2) → 10 neurona; • ReLu Geruza (relu2 ); • Erabat konektatutako geruza (fc3) → 10 neurona; • ReLu Geruza (relu3 ); • Erabat Lotutako Geruza (act1) → neurona 1; • ReLu Layer (relu4) → irteerako geruza gisa funtzionatzen du → neurona 1. 3.3.2.2.2 Kritikoa Kritikoa sortu behar dugun bigarren eta azken neurona sarea da. Kritikoak aktoreak egindako ekintzak ebaluatzen ditu, egoera edo ekintza-pare bakoitzaren balioa edo kalitatea zenbatetsiz. Aktoreari atzeraelikadura ematen dio, eta aktorearen ekintzak egoera jakin batean zein onak edo txarrak diren balioesten du. Kritikoak jasotako esperientzietatik ikasten du eta bere balio-estimazioak eguneratzen ditu aktorea ekintza hobeagoetara bideratzeko. Kritikoaren neurona sarea eraikitzeko, geruza hauek erabili dira. Batean elkartzen diren bi lerro desberdinekin hasiko gara, kritikoak bi hartzen baititu sarrerak, ingurunetik eta aktoretik. • 1. lerroa: • Sarrerako geruza (obs2) → 2 sarrera/behaketa( x,F ) → 2 neurona; • Erabat konektatutako geruza (fc1) → 10 neurona; • ReLu Geruza (relu1 ); • Erabat konektatutako geruza (fc2) → 10 neurona. • 2. lerroa: • Sarrerako geruza (2. ekintza) → 1 sarrera/behaketa. → 1 neurona. • Erabat Konektatutako Geruza (gitatea) → 10 neurona. 74 • Konbergentzialerroa; • Geroago gehitzea → bi lerroak bakarrean gehitzen ditu ; • ReLu Geruza (relu2 ); • Erabat konektatutako geruza (fc3) → 10 neurona; • ReLu Geruza (relu3 ); 3.3.2.3 Baldintza terminalak Lan honetan terminal-baldintzak aipatzen direnean, simulazioak kudeatzerik ez dagoen egoera bat, errealitatean gauzaezina izan daitekeena, edo zeharkatu nahi ez den egoera bat (ikus 4. Algoritmoa) lortzen duen egoerak dira. Hona hemen kasu honetarako definitutako terminal-baldintzak: • Agenteak, garunaren erretrakzio prozesuan, behar baino indar handiagoa egiten badu, burmuinak jasandako erretrakzioa gehiegizkoa da. Egoera hori ez da batere desiragarria, presio handiegia eragiten baitu inguruko garunehunetan. • Posizioek balio negatiboak dituzte. Hau ezinezkoa da. • Robotak burmuineko erretrakzioa egiten duen bitartean, eta proposatutako helburua lortu gabe egiteari uzten dion bitartean. 3.3.2.4 Sari-funtzioa DDPG algoritmoan sari-funtzioa definitzeko inguruneko aldagai behagarriak eta inguruabar espezifiko hauek hartu dira kontuan: • Errorea ahalik eta gehien minimizatu behar da. • Garunak eragindako kontrako indarra ahalik eta txikiena izan behar da. • Abiadura ahalik eta mailarik baxuenean mantendu behar da. 81 gure berrabiarazte-funtzioa doitu dezakegu (Algoritmo 2), eta "xdesired" aldagaia sartu simulazio bat hastean aldatuko den ausazko aldagai gisa. 82 4 ONDORIOAK Kapitulu honetan, ikerketa honetan zehar lortutako garapenetik eta emaitzetatik ateratako ondorio orokorrak aurkezten dira. Ikerketaren helburu nagusia izan da garunaren erretrakzioa robotizatzeko kontrolagailu baten diseinua eta simulazioa, bai kontrol optimoko teknikak eta bai adimen artifizialean oinarritutako metodoak erabiliz. Lan honek bi helburu zehatz izan ditu ardatz: batetik, garunaren erretrakzioa zehatzmehatz egiteko gai den sistema robotizatu bat garatzea, garun-egituretan kalteak izateko arriskua gutxituta eta kontrol optimoko tekniken bidez ebakuntza-denborak optimizatuta; eta, bestetik, sistema robotikoari egoera kliniko bakoitza ikasteko eta egoera horietara egokitzeko gaitasuna emateko adimen artifiziala erabiltzen duen kontrolagailu bat diseinatu eta simulatzea. 4.1 ONDORIOAK Esan bezala (Gorelick, 2019), 2016an, 25 urte edo gehiagoko pertsonentzat iktusa izateko arrisku globala % 24,9koa zen; 1990ean, % 22,8koa baino gehiago. 2030erako, AEBko helduen ia % 4k trazu bat izango luke. Lotutako urteko mediku-kostuak 2012an 71.550 milioi dolar izatetik 183.130 milioi dolar izatera igaro ziren. Igoera hori biztanleria zaharragoa eta mediku-arreta hobea izateak eragin zuen. Iktusak jarraitzen du mundu osoan bigarren heriotza-kausa izaten, 2016an 5,5 milioi heriotza eragin baitzituen. Adinaren arabera egokitutako heriotza-tasa jaitsi eta eskualde gehienetan intzidentzia gutxitu arren, iktus-kasuen kopuru absolutua handitu egingo da populazioaren hazkundearen eta zahartzearen ondorioz. AEBn, iktus-kasuak 2050era arte handituko direla aurreikusten da . Testuinguru horretan, oso garrantzitsua da iktusaren 83 tratamenduan prebenitzea eta arreta medikoa hobetzea. Arlo horretan aurrerapen nabarmenak lortzeko, ezinbestekoa da iktusaren alorreko ikerketa sustatzea. Hain zuzen ere, marko horretan kokatzen da oraingo ikerketa. Lan honen helburu nagusia izan da garunaren erretrakzioa robotizatzeko kontrol-algoritmoak garatzea, esku-hartze kirurgikoetan pazienteari kalteak minimizatzen dizkion erretrakzio-teknika bat lortzeko. Hala ere, ikerketa lan guztietan bezala, ikerketa honek muga batzuk ditu. Lehenik eta behin, simulazioetan erabilitako garun-eredua soiltasun handikoa da, eta horrek ez du onartzen organoaren konplexutasun anatomiko eta fisiologikoaren irudikapen guztiz fidela. Gainera, orain arte, lana simulazio konputazionalean zentratu da soilik, benetako eszena klinikoetan aplikatu gabe. Muga horiek gorabehera, lortutako emaitzek lehen urrats garrantzitsu bat osatzen dute maniobra kirurgiko bat automatizatzeko, eta, bere forma tradizionalean, pazienteengan sekuentzia-kopuru esanguratsua sor dezake. 4.1.1 Kontrol optimoa, kalkulu bariazionaleko tekniken bidez Lehenik eta behin, azpimarratzekoa da kalkulu bariazionalean oinarritutako kontrol optimoa oso baliagarria izan daitekeela garunaren erretrakzioaren robotizazioan ibilbideak sortzearren, hipoxiatik eratorritako kalte iskemikoak gutxitzeko edo ezabatzeko helburuarekin. Aurkeztutako grafikoan ikus daitekeenez, esku-hartzearen lehen segundoan, 6 zentimetroko erretrakzioa egiten da; eta horrek, lehen begiratuan, gehiegizkoa dirudi, izan ere, ez baita ekintza intuitiboa mota horretako maniobra. Ulergarria da pentsatzea garuneko erretrakzio bat egiteko modurik kaltegarriena era oso motel eta kontrolatuan egitea dela. Izan ere, ponderazio-faktorea, lambda gisa adierazia, erretrakzio-abiadura erregulatzeko helburuarekin sartu zen; zeren eta Ekaitz 84 Zulueta doktoreak eta biok uste baikenuen abiadura gehiegizkoa izan zitekeela eta, ondorioz, gaixoarentzat kaltegarria izan zitekeela. Aldaketa hori ezarri zen, aurreko emaitzetan erretrakzio-abiadura are handiagoa zelako, ponderazio-faktore hori jatorrizko kontrol-legean sartu gabe zegoelako. Hala ere, planteamendu horrek parte hartu dudan neurokirurgia-interbentzioetan egindako behaketekin kontraesanean dago. Ebakuntza horietan, nire ustez oso azkarra den erretrakzio bat egiten dela ikusi dut, erretrakzio motelago batek konpresio-denbora luzatu eta inguruko ehunak kaltetzeko arriskua areagotu dezakeelako. Hori dela eta, ponderazio-faktorea garunaren erretrakzio-abiadura kontrolatzeko tresna bada ere, ezinbestekoa da haren magnitudea arretaz orekatzea, bai kalte mekanikoen arriskua bai hipoxia-arriskua gutxitzeko. Oreka hori ezinbestekoa da eskuhartzean pazientearen segurtasuna bermatzearren; eta kontrol optimoko tekniken erabilera tresna baliagarria da garunaren erretrakzioa bezain delikatuak diren prozedura kirurgikoen robotizaziorako bidean. 4.1.2 Adimen artifizialeko tekniketan oinarritutako kontrola Ingurune klinikoetan robotizaziorako DDPG algoritmoaren bideragarritasuna : Simulazioetan lortutako emaitzek erakutsi dute DDPG algoritmoa irtenbide egokia eta eraginkorra dela garunaren erretrakzioaren kontrol robotikorako. Prozedura mota hauek muturreko zehaztasuna eta mugimendu delikatu eta kontrolatuak egiteko gaitasuna eskatzen dute, edozein akats edo mugimendu desegokiek kalte konponezinak eragin ditzakeelako garuneko ehunean. DDPG algoritmoa ezaugarritzen duen etengabeko errefortzuaren ikaskuntzan oinarritutako ikuspegiari esker, agente robotikoari kontrol politika oso eraginkor eta eraginkorrak garatzea ahalbidetu zuen, ingurune kirurgikoaren 85 baldintza aldakorretara egokitzeko gaitasuna hobetuz. Ikaskuntza mota honi esker, agenteak denboran zehar bere errendimendua optimiza dezake, ingurunetik jasotzen duen feedbackaren bidez (hau da, gauzatutako ekintzen arabera lortutako sariak) modu autonomoan ikasiz. Horrela, sistema robotikoak ehun delikatuetan egiten den presioa minimizatzen duten erretrakzio-mugimenduak egiteko estrategiarik onenak identifikatu eta bereganatu ahal izan zituen, eta horrela ehunak kaltetzeko arriskua nabarmen murriztuz. Ikuspegi honen abantaila nagusietako bat da DDPG gai dela etengabeko ekintzaespazioetan kontrol-politikak ikasteko , eta hori ezinbestekoa da robotika kirurgikoa bezalako aplikazioetan. Ekintza-espazio diskretuetan lan egiten duten indartzeikaskuntzako beste algoritmo batzuek ez bezala, DDPG ezin hobeto egokitzen da kirurgia robotikoaren beharretara, non robotaren ekintzak (adibidez, erretrakzio mugimenduak, indarraren doikuntza eta tresnaren manipulazio zehatza) etengabeak eta leunak izan behar baitute. Ezaugarri hori funtsezkoa izan zen proiektuaren arrakastarako, robotari bere mugimenduak arinago doitzeko aukera eman baitzion, ingurune kirurgikoan ondorio kaltegarriak ekar ditzaketen bat-bateko mugimenduak saihestuz. Testuinguru honetan DDPGren bideragarritasunaren beste abantaila gako bat da algoritmoak prestakuntzan zehar ikusi gabeko egoerak orokortzeko duen gaitasuna. Ingurune klinikoan, zaila da benetako prozedura kirurgiko batean sor daitezkeen aldaera posible guztiak aurreikustea. Dena den, errefortzu-ikaskuntzan oinarritutako ikuspegia erabiltzeari esker, agente robotikoa dinamikoki moldatzen da operazioan sor daitezkeen egoera edo ustekabeko gertaera berrietara. 86 Agentearen egokitzapena Baldintza aldakorretara : Lan honetan inplementatutako DDPG algoritmoaren diseinuaren alderdirik aipagarrienetako bat baldintza eta eszenatoki ezberdinetara egokitzeko gaitasuna da, sistema robotikoaren aldakortasuna eta sendotasuna indartzen duena. Ingurune kliniko baten testuinguruan, garunaren erretrakzioarekin gertatzen den bezala, robotaren portaeran eragiten duten faktoreak nabarmen alda daitezke, paziente bakoitzak ezaugarri fisiologiko bereziak baititu eta ebakuntza batean kirurgia-baldintzak dinamikoki alda daitezkeelako. Simulatutako DDPG algoritmoak, etengabeko ekintza-politika ikasiz , aldaketetara egokitzeko aukera ematen du, bere ekintzak inguruneko egoera zehatzetara egokituz. Egokitzapen-mota hau oso garrantzitsua da kirurgia-prozedura batean, non pazientearen segurtasuna, beste faktore askoren artean, sistemak aldaketei, aurreikusitakoak edo ezustekoak izan, erreakzionatzeko duen gaitasunaren mende baitago. Egokitzeko gaitasunak garuneko ehunen baldintzen aldaketak ez ezik, ebakuntzan zehar ezusteko gertakariei aurre egiteko gaitasuna ere barne hartzen du, hala nola pazientearen mugimendu txikiak edo langile medikoek eragindako mugimenduak. Zuzeneko politikaren ikaskuntzaikuspegi honek erabakiak hartzeko prozesua motelduko luketen kalkulu gehigarrien beharra ezabatzeko abantaila ematen du, eta, aldi berean, sistema robotikoaren erantzun azkarrago eta leunagoa da. Sare neuronalen erabileraren bidezko optimizazioa : Aktore zein Kritiko egituretan sare neuronal sakonak ezartzea funtsezko osagaia izan da agenteak nahi dituen emaitzak eman dituen politika garatzen duela ziurtatzeko . Lehenik eta behin, Actor arkitekturan erabilitako Fully Connected Layerek ingurunearen behaketak prozesatzeko gaitasun handia eman zioten agenteari, hau da, garunaren egungo egoera eta erretrakzio indarrak 87 deskribatzen dituzten aldagai desberdinak. Geruza bakoitzeko neurona guztiak ondoko geruzetakoekin konektatuta daudenez, sarea ingurune-aldagaien arteko interakzio konplexuak irudikatzeko gai dela ziurtatzen da. Irudikapen-gaitasun hori funtsezkoa da maniobratan, hala nola garunaren erretrakzioan, non ingurunearen egoeraren aldakuntza txikiek doikuntza garrantzitsuak eska ditzakete robotaren ekintzetan. Bestalde, ReLU (Rectified Linear Unit) aktibazioek , balio negatiboak zerora mugatzen dituztenak, funtsezko eginkizuna izan zuten entrenamenduaren eraginkortasuna hobetzeko. ReLU aktibazio-funtzio gisa aukeratzeak ikaskuntzakonbergentzia errazten du, gradienteen desagerpena bezalako arazoak arintzeaz gain, sare neuronalak abiadura handiagoan ikasteko eta egonkortasuna eskainiz ere aukera ematen du. Abiadura eta egonkortasun hori ezinbestekoak dira denbora errealeko erabakiak behar dituzten inguruneetan , hala nola, prozedura kirurgikoan. ReLU erabiltzeak, beraz, sarearen gaitasuna hobetzen du ingurune kirurgikoko egoera aldakorretara egokitzeko eta robotaren funtzionamendurako beharrezkoak diren ekintza optimoak sortzeko. Etorkizuneko Aplikazio Klinikoetarako Potentziala : Lan honen esparrua ingurune simulatu batera mugatu bada ere, lortutako emaitzek adierazten dute DDPG algoritmoa aukera egokia dela benetako aplikazio klinikoetan inplementatzeko. Ikasteko eta egoera aldakorretara egokitzeko gaitasunak tresna itxaropentsu bihurtzen du doitasun handiko zeregin kirurgikoetarako, hala nola garunaren erretrakziorako. 88 5 ETORKIZUNEKO ILDOAK Ikerketa honetan, garun-uzkurduraren robotizazio-prozesuari buruzko ezagutzan aurrera egiteko aukera eman duten hainbat gai jorratu dira. Hala ere, edozein ikerketaproiektutan bezala, lortutako emaitzek ateak irekitzen dizkiete galdera eta erronka berriei, lan honetan guztiz landu ezin izan direnei. Kapitulu honen helburua etorkizuneko ikerketa-ildo posible batzuk planteatzea da, aurkeztutako aurkikuntzak osatzeko eta zabaltzeko. Etorkizuneko ikerketa horien garapenari esker, tesi honetan egindako ekarpenak sendotzeaz gain, garun-uzkurduraren robotizazio-prozesuaren ulermen integralago baterantz ere egin ahal izango da, eta, horrela, arlo horretako ezagutza zientifikoaren eboluzioan lagunduko da. 5.1.1 Simulatutako sistemaren ezarpena eta proba esperimentalak egitea Sistema diseinatu eta simulatu ondoren, hurrengo urrats naturala, edo gutxienez garrantzitsuenetako bat, aurretik simulatutako sistema ezartzea da. Inplementazio hori egiteko, funtsezko bi alderdi identifikatu dira: arkitekturaren diseinua eta ezarpena, eta laginketa-maiztasunaren zehaztapena. 5.1.1.1 Kontrol-arkitektura Kuka LBR Iiwa batean diseinatutako kontrol-sistema ezartzeko proposatutako arkitektura erakusten da. Hiru zati ezberdinetan banatuta dago, kontrol-sistem, ingurune erreala eta simulazioa nabarmenduta. • Ingurune errealean , beso robotikoak burmuinarekin elkarreragingo luke, eta haren kontrola Kukaren "Sunrise" izeneko software sistemaren bidez kudeatuko 89 litzateke, robotaren posizioeta indar-datuak jasoko lituzke eta haren mugimendurako aginduak bidaliko lituzke. • Simulazioan , Gazebo tresna erabiliko litzateke robotaren portaera ikusteko, eta Simulink eta ROS, berriz , simulatutako ingurune horretako ibilbideak eta indarrak kontrolatzeaz arduratzen lirateke. Simulazioak ibilbideak kalkulatzea eta robotaren gainean eragiten duten indarrak kudeatzea ahalbidetzen duten eredu zinematikoak eta kontaktuak biltzen ditu. • Kontrol-sistemak ROS eta C++ kontrolagailuak integratuko lituzke robotaren mugimendua eta indarrak kontrolatzen dituzten seinaleak prozesatzeko, nahi diren ibilbideak jarraitzen dituela eta bere ingurunearekiko elkarrekintzak behar bezala kudeatzen dituela ziurtatuta. Sistema horiek guztiak, bai simulazioan, bai ingurune errealean, konektatuko lirateke, komandoen eta datuen noranzko biko komunikazioa ahalbidetzen duten ROS nodoak izango baitziren, giltzadurak zein robotaren indarrak eta ibilbideak denbora errealean kudeatzeko. 90 Irudia 20: Proposaturiko kontrol arkitektura 5.1.2 Garunaren portaera mekanikoaren eredua Sarreran esan bezala, lan honetan Ogden eredua erabili da garunaren portaera mekanikoa simulatzeko, material hiperelastikoen portaera mekanikoa —batez ere deformazio handietan portaera ez-lineala erakusten dutenena, hala nola garuneko ehunarena— deskribatzeko erabiltzen den eredu matematikoa baita. 97 Antsaklis, P. J., Koutsoukos, X. D., & Dame, N. (2001). Hybrid Systems Control . 1–30. Arani, A., Min, H. K., Fattahi, N., Wetjen, N. M., Trzasko, J. D., Manduca, A., Jack, C. R., Lee, K. H., Ehman, R. L., & Huston, J. (2018). Acute pressure changes in the brain are correlated with MR elastography stiffness measurements: initial feasibility in an in vivo large animal model. Magnetic Resonance in Medicine , 79 (2), 1043–1051. https://doi.org/10.1002/mrm.26738 Argueta, C., Chow, A., & Lomeli, C. (1992). Deep Reinforcement Learning and Transfer Learning with FlappyBird. Machine Learning , 8 (4), 279–292. Baek, J., Jin, M., & Han, S. (2016). A new adaptive sliding-mode control scheme for application to robot manipulators. IEEE Transactions on Industrial Electronics , 63 (6), 3628–3637. Basilio, A. V, Zeng, D., Pichay, L. A., Maas, S. A., Sundaresh, S. N., Finan, J. D., Elkin, B. S., McKhann, G. M., Ateshian, G. A., & Morrison III, B. (2024). Region-Dependent Mechanical Properties of Human Brain Tissue Under Large Deformations Using Inverse Finite Element Modeling. Annals of Biomedical Engineering , 52 (3), 600–610. Beiranvand, A., Kalhor, A., & Masouleh, M. T. (2021). Modeling, identification and minimum length integral sliding mode control of a 3-DOF cartesian parallel robot by considering virtual flexible links. Mechanism and Machine Theory , 157 , 104183. 98 Bellemare, M. G., Naddaf, Y., Veness, J., & Bowling, M. (2013). The arcade learning environment: An evaluation platform for general agents. Journal of Artificial Intelligence Research , 47 , 253–279. Bellman, R. (1954). The theory of dynamic programming. Bulletin of the American Mathematical Society , 60 (6), 503–515. Bellman, R. (1966). Dynamic programming. Science , 153 (3731), 34–37. Bennett, M. H., Albin, M. S., Bunegin, L., Dujovny, M., Hellstrom, H., & Jannetta, P. J. (1977). Evoked potential changes during brain retraction in dogs. Stroke , 8 (4), 487–492. https://doi.org/10.1161/01.STR.8.4.487 Betts, J. T. (2010). Practical methods for optimal control and estimation using nonlinear programming . SIAM. Bien, Z., & Xu, J.-X. (2012). Iterative learning control: analysis, design, integration and applications . Springer Science \& Business Media. Bilston, L. E. (2011). Brain tissue mechanical properties. In Biomechanics of the Brain (pp. 69–89). Springer. Bryson, A. E. (2018). Applied optimal control: optimization, estimation and control . Routledge. Budday, S., Ovaert, T. C., Holzapfel, G. A., Steinmann, P., & Kuhl, E. (2019). Fifty Shades of Brain: A Review on the Mechanical Testing and Modeling of Brain Tissue. In Archives of Computational Methods in Engineering (Vol. 27, Issue 4). Springer Netherlands. https://doi.org/10.1007/s11831-019-09352-w 99 Budday, S., Ovaert, T. C., Holzapfel, G. A., Steinmann, P., & Kuhl, E. (2020). Fifty Shades of Brain: A Review on the Mechanical Testing and Modeling of Brain Tissue. Archives of Computational Methods in Engineering , 27 (4), 1187–1230. https://doi.org/10.1007/s11831-019-09352-w Calanca, A., Capisani, L., & Fiorini, P. (2014). Robust force control of series elastic actuators. Actuators , 3 (3), 182–204. https://doi.org/10.3390/act3030182 Cao, H., Chen, X., He, Y., & Zhao, X. (2019). Dynamic adaptive hybrid impedance control for dynamic contact force tracking in uncertain environments. IEEE Access , 7 , 83162–83174. Casalino, A., Mazzocca, E., Di Giorgio, M. G., Maria Zanchettin, A., & Rocco, P. (2019). Task scheduling for human-robot collaboration with uncertain duration of tasks: A fuzzy approach. 2019 IEEE 7th International Conference on Control, Mechatronics and Automation, ICCMA 2019 , 1 , 90–97. https://doi.org/10.1109/ICCMA46720.2019.8988735 Chambers, I. R., Martin, D., Clark, A., Nicklin, A., Mendelow, A. D., & Mitchell, P. (2008). The measurement of brain tissue stiffness in-vivo. In Acta Neurochirurgica Supplements (pp. 287–289). Springer. Clarke, F. (2013). Functional analysis, calculus of variations and optimal control (Vol. 264). Springer. Clemente, A. V., Castejón, H. N., & Chandra, A. (2017). Efficient Parallel Methods for Deep Reinforcement Learning . http://arxiv.org/abs/1705.04862 100 Coats, B., & Margulies, S. S. (2006). Material properties of porcine parietal cortex. Journal of Biomechanics , 39 (13), 2521–2525. Crowe, J., Chen, G. R., Ferdous, R., Greenwood, D. R., Grimble, M. J., Huang, H. P., Jeng, J. C., Johnson, M. A., Katebi, M. R., Kwong, S., & others. (2005). PID control: new identification and design methods . Springer. Dachang, Z., Baolin, D., Puchen, Z., & Shouyan, C. (2020). Constant Force PID Control for Robotic Manipulator Based on Fuzzy Neural Network Algorithm. Complexity , 2020 . Dao, G., & Lee, M. (2019). Relevant experiences in replay buffer. 2019 IEEE Symposium Series on Computational Intelligence (SSCI) , 94–101. Degris, T., Pilarski, P. M., & Sutton, R. S. (2012). Model-free reinforcement learning with continuous action in practice. American Control Conference (ACC) , 2177–2182. DeLorenzo, C., Papademetris, X., Staib, L. H., Vives, K. P., Spencer, D. D., & Duncan, J. S. (2012). Volumetric intraoperative brain deformation compensation: model development and phantom validation. IEEE Transactions on Medical Imaging , 31 (8), 1607–1619. Dewan, M. C., Rattani, A., Fieggen, G., Arraez, M. A., Servadei, F., Boop, F. A., Johnson, W. D., Warf, B. C., & Park, K. B. (2019). Global neurosurgery: The current capacity and deficit in the provision of essential neurosurgical care. Executive summary of the global neurosurgery initiative at the program 101 in global surgery and social change. Journal of Neurosurgery , 130 (4), 1055– 1064. https://doi.org/10.3171/2017.11.JNS171500 Diehl, M., Bock, H. G., & Schlöder, J. P. (2005). A real-time iteration scheme for nonlinear optimization in optimal feedback control. SIAM Journal on Control and Optimization , 43 (5), 1714–1736. Dujovny, M., Wackenhut, N., Kossovsky, N., Leff, L., Gomez, C., & Nelson, D. (1980). Biomechanics of vascular occlusion in neurosurgery. Acta Neurologica Latinoamericana , 26 (2), 123–127. Echeverry, N., Mansour, S., MacKinnon, G., Jaraki, J., Shapiro, S., & Snelling, B. (2020). Intracranial Tubular Retractor Systems: A Comparison and Review of the Literature of the BrainPathTM, VycorTM, and METRxTM Tubular Retractors in the Management of Deep Brain Lesions. World Neurosurgery . Fallah, A., Subramaniam, T., Phillips, H. W., Michalet, X., Vinters, H. V., Yong, W. H., Wu, J. Y., Salamon, N., Ellingson, B. M., Wang, A. C., Reyes, S. D., Ibrahim, G. M., Weil, A. G., Chang, J. W., Babayan, D., Nguyen, J. C., Behnke, E., Tseng, C. H., & Mathern, G. W. (2020). Novel tonometer device distinguishes brain stiffness in epilepsy surgery. Scientific Reports , 10 (1), 1– 11. https://doi.org/10.1038/s41598-020-77888-0 Fallenstein, G. T., Hulce, V. D., & Melvin, J. W. (1969). Dynamic mechanical properties of human brain tissue. In J. Eiomechanics (Vol. 2). Pergamon Press. 102 Fleming, W. H., & Rishel, R. W. (2012). Deterministic and stochastic optimal control (Vol. 1). Springer Science & Business Media. Fujimoto, S., Hoof, H., & Meger, D. (2018). Addressing function approximation error in actor-critic methods. International Conference on Machine Learning , 1587–1596. Fukamachi, A., Koizumi, H., & Nukui, H. (1985). Postoperative intracerebral hemorrhages: A survey of computed tomographic findings after 1074 intracranial operations. Surgical Neurology , 23 (6), 575–580. https://doi.org/10.1016/0090-3019(85)90006-0 Gan, L. S., Zareinia, K., Lama, S., Maddahi, Y., Yang, F. W., & Sutherland, G. R. (2015). Quantification of forces during a neurosurgical procedure: A pilot study. World Neurosurgery , 84 (2), 537–548. Gorelick, P. B. (2019). The global burden of stroke: persistent and disabling. The Lancet Neurology , 18 (5), 417–418. Goswami, N. K., & Padhy, P. K. (2018). Sliding mode controller design for trajectory tracking of a non-holonomic mobile robot with disturbance. Computers \& Electrical Engineering , 72 , 307–323. Gregory, J., Olivares, A., & Staffetti, E. (2012). Energy-optimal trajectory planning for robot manipulators with holonomic constraints. Systems & Control Letters , 61 (2), 279–291. 103 Gregory, J., Olivares, A., & Staffetti, E. (2013). Energy-optimal trajectory planning for the Pendubot and the Acrobot. Optimal Control Applications and Methods , 34 (3), 275–295. Gu, S., Holly, E., Lillicrap, T., & Levine, S. (2017). Deep reinforcement learning for robotic manipulation with asynchronous off-policy updates. 2017 IEEE International Conference on Robotics and Automation (ICRA) , 3389–3396. Guldner, J., & Utkin, V. I. (2000). The chattering problem in sliding mode systems. Fourteenth Intenational Symposium of Mathematical Theory of Networks and Systems, MTNS2000 . Hamedani, M. H., Sadeghian, H., Zekri, M., Sheikholeslam, F., & Keshmiri, M. (2021). Intelligent Impedance Control using Wavelet Neural Network for dynamic contact force tracking in unknown varying environments. Control Engineering Practice , 113 , 104840. Hartkens, T., Hill, D. L. G., Castellano-Smith, A. D., Hawkes, D. J., Maurer, C. R., Martin, A. J., Hall, W. A., Liu, H., & Truwit, C. L. (2003). Measurement and analysis of brain deformation during neurosurgery. IEEE Transactions on Medical Imaging , 22 (1), 82–92. https://doi.org/10.1109/TMI.2002.806596 Hogan, N. (1984). Impedance control: An approach to manipulation. 1984 American Control Conference , 304–313. Hogan, N. (1985). Impedance control: An approach to manipulation: Part IIimplementation. Journal of Dynamic Systems, Measurement and Control, Transactions of the ASME , 107 (1), 8–16. https://doi.org/10.1115/1.3140713 104 Hong, J., Wang, D., & others. (2017). Polishing of uneven surfaces using industrial robots based on neural network and genetic algorithm. The International Journal of Advanced Manufacturing Technology , 93 (1), 1463–1471. Hwangbo, J., Lee, J., Dosovitskiy, A., Bellicoso, D., Tsounis, V., Koltun, V., & Hutter, M. (2019). Learning agile and dynamic motor skills for legged robots. Science Robotics , 4 (26), eaau5872. Kalfas, I. H., & Little, J. R. (1988). Postoperative hemorrhage: a survey of 4992 intracranial procedures. Neurosurgery , 23 (3), 343–347. Kalman, R. E. (1963). The Theory of Optimal Control and the Calculus of Variations. Mathematical Optimization Techniques , 309. Kamel, M., Burri, M., & Siegwart, R. (2017). Linear vs nonlinear mpc for trajectory tracking applied to rotary wing micro aerial vehicles. IFACPapersOnLine , 50 (1), 3463–3469. Kasera, S., Kumar, A., & Prasad, L. B. (2017). Analysis of chattering free improved sliding mode control. 2017 International Conference on Innovations in Information, Embedded and Communication Systems (ICIIECS) , 1–6. Kashyap, A. K., Parhi, D. R., & Pandey, A. (2022). Multi-objective optimization technique for trajectory planning of multi-humanoid robots in cluttered terrain. ISA Transactions , 125 , 591–613. Kim, Y. L., Ahn, K. H., & Song, J. B. (2020). Reinforcement learning based on movement primitives for contact tasks. Robotics and Computer-Integrated 105 Manufacturing , 62 (December 2018), 101863. https://doi.org/10.1016/j.rcim.2019.101863 Kober, J., Bagnell, J. A., & Peters, J. (2013). Reinforcement learning in robotics: A survey. The International Journal of Robotics Research , 32 (11), 1238–1274. Kopp, R. E. (1962). Pontryagin maximum principle. In Mathematics in Science and Engineering (Vol. 5, pp. 255–279). Elsevier. Kren, J., Skambath, I., Kuppler, P., Buschschlüter, S., Detrez, N., Burhan, S., Huber, R., Brinkmann, R., & Bonsanto, M. M. (2024). Mechanical characteristics of glioblastoma and peritumoral tumor-free human brain tissue. Acta Neurochirurgica , 166 (1). https://doi.org/10.1007/s00701-02406009-x KUKA AG. (n.d.). LBR iiwa - Technical data . Https://Www.Kuka.Com/EnUs/Products/Robotics-Systems/Industrial-Robots/Lbr-Iiwa. Kyriacou, S. K., Mohamed, A., Miller, K., & Neff, S. (2002). Brain mechanics For neurosurgery: modeling issues. Biomechanics and Modeling in Mechanobiology , 1 (2), 151–164. https://doi.org/10.1007/s10237-002-0013-0 Laha, R. K., Dujovny, M., Rao, S., Barrionuevo, P. J., Bunegin, L., Hellstrom, H. R., Albin, M. S., & Taylor, F. H. (1979). Brain retraction injury. Surgical Neurology , 12 (3), 209–215. Lakshminarayanan, S., Kana, S., Mohan, D. M., Manyar, O. M., Then, D., & Campolo, D. (2021). An adaptive framework for robotic polishing based on 106 impedance control. International Journal of Advanced Manufacturing Technology , 112 (1–2), 401–417. https://doi.org/10.1007/s00170-020-06270-1 Leite, A. C., Cruz, F. L., & Lizarralde, F. (2020). Adaptive passivity-based hybrid pose/force control for uncertain robots. IFAC-PapersOnLine , 53 (2), 3854– 3860. Ligutan, D. D., Cruz, L. J. S., Del Rosario, M. C. D. P., Kudhal, J. N. S., Abad, A. C., & Dadios, E. P. (2018). Design and implementation of a fuzzy logicbased joint controller on a 6-DOF robot arm with machine vision feedback. Proceedings of Computing Conference 2017 , 2018-Janua (July), 249–257. https://doi.org/10.1109/SAI.2017.8252111 Lillicrap, T. P., Hunt, J. J., Pritzel, A., Heess, N., Erez, T., Tassa, Y., Silver, D., & Wierstra, D. (2015). Continuous control with deep reinforcement learning. Proccedings of International Conference on Learning Representations . Lin, G., Shan, B., Ma, Y., Tian, X., & Yu, J. (2021). Adaptive neural network command filtered backstepping impedance control for uncertain robotic manipulators with disturbance observer. Transactions of the Institute of Measurement and Control , 01423312211009376. Lin, H. I., & Dubey, V. (2019). Design of an adaptive force controlled robotic polishing system using adaptive fuzzy-pid. Advances in Intelligent Systems and Computing , 867 , 825–836. https://doi.org/10.1007/978-3-030-013707_64 113 Wang, Y., & Boyd, S. (2009). Fast model predictive control using online optimization. IEEE Transactions on Control Systems Technology , 18 (2), 267– 278. Warfield, S. K., Talos, F., Tei, A., Bharatha, A., Nabavi, A., Ferrant, M., Black, P. M. L., Jolesz, F. A., & Kikinis, R. (2002). Real-time registration of volumetric brainMRI by biomechanical simulation of deformation during image guided neurosurgery. Computing and Visualization in Science , 5 (1), 3– 11. https://doi.org/10.1007/s00791-002-0083-7 Waring, A. J., Housworth, C. M., Voorhies, R. M., Douglas, J. R., Walker, C. F., & Connolly, S. E. (1990). A prototype retractor system designed to minimize ischemic brain retractor injury: initial observations. Surgical Neurology , 34 (3), 139–143. Watkins, C. J. C. H., & Dayan, P. (1992). Q-Learning (Vol. 8). Weaver, J. B., Pattison, A. J., McGarry, M. D., Perreard, I. M., Swienckowski, J. G., Eskey, C. J., Lollis, S. S., & Paulsen, K. D. (2012). Brain mechanical property measurement using MRE with intrinsic activation. Physics in Medicine and Biology , 57 (22), 7275–7287. https://doi.org/10.1088/00319155/57/22/7275 Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning , 8 , 229–256. 114 Wu, X., Jin, P., Zou, T., Qi, Z., Xiao, H., & Lou, P. (2019). Backstepping trajectory tracking based on fuzzy sliding mode control for differential mobile robots. Journal of Intelligent \& Robotic Systems , 96 (1), 109–121. Xu, W., Cai, C., & Zou, Y. (2013). PD-based trajectory tracking control in automatic cell injection system. Journal of Control Theory and Applications , 11 (2), 207–214. Yang, X., Search, C., Yang, X., & Yang, X. (n.d.). Nature-Inspired Optimization Algorithms . Yen, J. (1999). Fuzzy logic - a modern perspective. IEEE Transactions on Knowledge and Data Engineering , 11 (1), 153–165. https://doi.org/10.1109/69.755624 Yokoh, A., Sugita, K., & Kobayashi, S. (1987). Clinical study of brain retraction in different approaches and diseases. Acta Neurochirurgica , 87 (3–4), 134–139. https://doi.org/10.1007/BF01476064 Zagzoog, N., & Reddy, K. K. (2020). Modern Brain Retractors and Surgical Brain Injury: A Review. World Neurosurgery . Zhang, D., & Wei, B. (2017). Design analysis and modelling of a hybrid controller for serial robotic manipulators. Robotica , 35 (9), 1888–1905. https://doi.org/10.1017/S0263574716000564 Zhang, W., Zhang, L., Wang, S., Ren, B., & Meng, S. (2019). Optimization of machining parameters of 2.25 Cr1Mo0. 25V steel based on response surface 115 method and genetic algorithm. International Journal on Interactive Design and Manufacturing (IJIDeM) , 13 (2), 809–819. Zhong, J., Dujovny, M., Perlin, A. R., Perez-Arjona, E., Park, H. K., & Diaz, F. G. (2003). Brain retraction injury. Neurological Research , 25 (8), 831–838. https://doi.org/10.1179/016164103771953925 Zorn, L., Nageotte, F., Zanne, P., Legner, A., Dallemagne, B., Marescaux, J., & De Mathelin, M. (2016). A Novel Telemanipulated Robotic Assistant for Surgical Endoscopy: Preclinical Application to ESD .