EUSKARAZKO AZPIDATZIAK SORTZEKO LAN-FLUXUEN KALITATEAREN EBALUAZIOA: PROZESU AUTOMATIKOEN, ERDI-AUTOMATIKOEN ETA ESKUZKOEN ARTEKO ALDERAKETA
Abstract
This poster describes a project that evaluated the quality of workflows for creating Basque subtitles—comparing manual, semi-automatic, and fully automatic processes. It found that while manual and semi-automatic methods meet accuracy standards, fully automatic workflows fall short, highlighting the need for human intervention and improved language technologies for minority languages. The poster was presented at the fourth CLARIAH-EUS workshop, on November 28, 2025 in Vitoria-Gasteiz.
Full text
EUSKARAZKO AZPIDATZIAK SORTZEKO LAN-FLUXUEN KALITATEAREN EBALUAZIOA: PROZESU AUTOMATIKOEN, ERDI-AUTOMATIKOEN ETA ESKUZKOEN ARTEKO ALDERAKETA KLARA CEBERIO, ELIZABETE MANTEROLA, ZURIÑE SANZ, ANA TAMAYO ETA NAROA ZUBILLAGA (ELHUYAR ETA EHU) PROIEKTUAREN AURKEZPENA Euskarazko ikus-entzunezko itzulpenaren testuinguruan, kopuru aldetik gehien nabarmentzen den modalitatea azpidazketarena da (Agirre-Miguelez et al., 2023); hain zuzen ere, izugarrizko eraldaketa teknologikoa bizi duena, gero eta aplikazio informatiko gehiago erabiltzen baitira azpidatziak sortzeko prozesua automatizatzeko. Aurkeztuko dugun proiektua Elhuyarren eta Tralima/Itzulik (UPV/EHU) ikerketa taldearen arteko lankidetzaren emaitza da, eta gaztelaniatik euskararako azpidatziak sortzeko lanfluxuen alderaketa egitea izan du helburu. EMAITZA KUANTITATIBOAK 1Emaitzarik onena eskuzkoa (1M_B); hau da, prozesua automatizatzeko hizkuntza-teknologiarik gabekoa. 2Eskuzko prozesu horrek eta aztertutako 3 modu erdi-automatikoek (2M, 3M, 4M) NTR ereduak ezartzen duen % 98ko langa gainditzen dute; horrek esan nahi du gutxieneko doitasun mailara heltzen direla. 3Prozesu automatikoak (5M), gaur gaurkoz, ezin du gaztelaniatik euskararako kalitatezko azpidatzirik sortu. 5 lan-fluxu aztertu dira: 1M: Eskuzko prozesua 2M: ASR + azpidatzien zuzenketa + giza itzulpena 3M: ASR + azpidatzien zuzenketa + IA + berrikusketa 4M: ASR + IA+ berrikusketa 5M: Prozesu automatikoa Albistegietako 2 bideo labur (3 minutu ingurukoak) izan dira itzulgaiak: 8 itzultzaile profesionalek Aditu plataforma erabili dute jardunbide automatiko eta erdi-automatikoetan. EMAITZA KUALITATIBOAK 1. galdetegia: datu demografikoak / lan esperientzia ONDORIOAK Lankidetzan egindako proiektua: akademia + kultura eta sormen industria + itzultzaile profesionalak Emaitzei erreparatuta: 1M: emaitzarik onena 5M: gaur gaurkoz ez du berme nahikoa eskaintzen Prozesu erdi-automatikoak: doitasunari dagokionez, emaitza onargarriak, baina itzultzaileak, oro har, ez dira gustura agertu jardunbide honetan, batez ere B bideoan (3Mk eta 4Mk jaso dituzte notarik txarrenak) Etorkizunean: azterketa gehiago, itzultzaile gehiagoren partaidetzarekin; ikusleen iritzia ere kontuan izatea azpidatzien kalitatea neurtzeko Albistegiak (A) Kaleko elkarrizketa (B) METODOLOGIA Bideo eta modu bakoitzerako 2 itzultzaile ezberdinek sortutako azpidatziak ditugu: NTR eredua erabili dugu euskarazko azpidatzien doitasuna neurtzeko (emaitza kuantitatiboak), eta emaitza kualitatiboak itzultzaileek erantzundako galdetegietatik lortu ditugu: A bideoa B bideoa 2. galdetegia: itzulpen prozesua 3 emakumezko, 5 gizonezko 7k lehen hizkuntzak: EU +ES; 1ek: ES Prestakuntza maila altua Ikus-entzunezko itzulpenean trebakuntza Itzultzaile gisa lan esperientzia: guztiek, batek izan ezik, 5 urtetik gora Posteditatzeko gaitasuna: 2k nota kaskarra ematen diote beren buruari (3 eta 5) Teknologiaren erabilera: transkribapenerako baliagarria izan daiteke, «baina automatizazioa itzulpen-mailan erabiltzen hasten badira, itzulpen okerrak eta desegokiak izango dira ondorio» (ikerketako partaide anonimoa) Transkripzio automatikoa 1M: jardunbide honetan ez dute erabili, baina erabiliz gero lagungarri izan zitekeen galdetuta, mesfidantza da nagusi 2M + 3M: A bideoari zegokion zereginean lagungarriagoa iruditu zaie. Denbora apur bat aurrezteko balio izan die, baina azpidatzi asko egokitu eta zuzendu behar izan dituzte Itzulpen automatikoa 1M: oro har, nahiago dute itzulpenak hutsetik egin IAk emandakoa zuzentzen ibili baino 3M + 4M: balorazioa, oro har, ez da ona. Bai alderdi teknikotik bai itzulpenaren aldetik egokitzapen asko egin behar izan dituzte edo hutsetik sortu behar izan dituzte azpidatziak Bibliografia: Agirre-Miguelez, K. et al. (2023). Monitoring language diversity and accessibility of streaming platforms in the EU. The Greens / EFA in the European Parliament.