KORPUSDA ANNOTATSIYA: GRAMMATIK ANNOTATSIYA XUSUSIYATLARI
Abstract
Korpus elektron matnlar majmuini qamrab olgan qidiruv bazasi bo‘lib, uning samaradorligi qo‘shimcha izohga egaligiga bog‘liq. Qo‘shimcha ma’lumotlar annotatsiya deb yuritilib, o‘zbek tili milliy korpusida annotatsiyaning morfologik, anaforik, prosodik, sintaktik, semantik teg kabi turlari mavjud. Maqolada korpus annotatsiyasi, ularning vazifasi, til korpuslarining foydalanilishida bugungi kunda muhim bo‘lgan grammatik annotatsiya yaratish xususida so‘z yuritiladi.
Full text
“INTERNATIONAL CONFERENCE ON INNOVATIVE DEVELOPMENT OF EDUCATION” 2025/1 216 DOI: https://10.5281/zenodo.17522280 KORPUSDA ANNOTATSIYA: GRAMMATIK ANNOTATSIYA XUSUSIYATLARI Mamadiyeva Yulduz Choriyevna Surxondaryo viloyati Angor tumani 2-maktab Ona tili va adabiyot fani o‘qituvchisi ANNOTATSIYA Korpus elektron matnlar majmuini qamrab olgan qidiruv bazasi bo‘lib, uning samaradorligi qo‘shimcha izohga egaligiga bog‘liq. Qo‘shimcha ma’lumotlar annotatsiya deb yuritilib, o‘zbek tili milliy korpusida annotatsiyaning morfologik, anaforik, prosodik, sintaktik, semantik teg kabi turlari mavjud. Maqolada korpus annotatsiyasi, ularning vazifasi, til korpuslarining foydalanilishida bugungi kunda muhim bo‘lgan grammatik annotatsiya yaratish xususida so‘z yuritiladi. Kalit so‘zlar. Korpus, teg, annotatsiya, matnlar majmui, grammatik annotatsiya, morfologik annotatsiya. Til korpusi ma’lum bir tildagi elektron shaklda saqlanuvchi qidiruv tizimiga joylangan matnlar majmuidir. Til korpusi hajm jihatidan katta bo‘lishi, 100millionlab so‘zlarning qo‘llanilish holatini qamrab olish xususiyatiga ega. Uning elektron kutubxonadan farqi ham shunda. Shu sababli olimlar til korpusiga "til modelining kichraytirilgan ko‘rinishi"dir deya ta’rif beradilar. "Korpus yordamida bajariladigan amallarning samaradorligini oshirish maqsadida uning qidiruv tizimiga to‘liq konkordans ro‘yhatini tuzish, alohida so‘z, murakkab birlik qidiruvini amalga oshirish; qidiruv natijasini bir necha mezon asosida saralash; foydalanuvchiga qidirilgan so‘zshaklini kengaytirilgan ko‘rinishda taqdim etish; korpusning har bir elementi haqida statistik axborot berish; lemmalarni aks ettirish; so‘zshaklining morfologik xususiyati haqida axborot berish kabi umumiy talabalar qo‘yiladi". [1;37]
“INTERNATIONAL CONFERENCE ON INNOVATIVE DEVELOPMENT OF EDUCATION” 2025/1 217 Bundan kelib chiqadiki, korpus tabiiy til matnlariga oid statistikani jamlash uchun ishlatiladigan tabiiy til matnining katta bir qismi bo‘lib, u qo‘shimcha ma’lumotlarni ya’ni grammatik annotatsiyani o‘z ichiga qamrab olishi mumkin. Turli lingvistik topshiriq/amalni bajarish uchun matnga lingvistik va ekstralingvistik qo‘shimcha ma’lumot bilan ishlov berilgan bo‘lishi lozim. Buning uchun matn annotatsiyasi mavjud, matn, uning komponentlariga maxsus izoh (masalan, so‘z turkumi haqida ma’lumot) berilishi lozim. Bu izoh matn tegi (belgi, ishora) yoki annotatsiya deb ataladi. Mukammal annotatsiya tadqiqotchiga qidirilayotgan so‘z, so‘zshakl va kontruksiyani topishni osonlashtiradi. Chunki oddiy elektron matnda uning xarakterini ochuvchi alohida ma’lumot (annotatsiya) mavjud emas. Bizga shunchaki so‘z kerak bo‘lsa, buni odatiy matn muharriri ham topib bera oladi. Lekin so‘zning grammatik ma’nosi, tuzilishini “tushunadigan” matn bilan ishlash juda ko‘p afzallik va qulaylikka ega bo‘ladi. Faqat leksemani emas, balki so‘zshaklni qidirish kerak bo‘lsa, bunday dasturiy ta’minot − korpus tadqiqotchi yoki foydalanuvchiga juda katta yordam berishi mumkin. Korpusda qo‘shimcha izoh mavjudligiga ko‘ra annotatsiyalangan va annotatsiyalanmagan korpuslar farqlanadi. Annotatsiyalangan korpusda teg xarakteridan kelib chiqqan holda so‘z hamda gapga morfologik, sintaktik, semantik, prosodik teglar qo‘shilgan holda bo‘ladi. Korpusni teglash (annotatsiyalash) dasturlashtirilgan yo‘llar bilan amalga oshiriladi. Bunda, avvalo, vaqtni tejash, mehnatni kamaytirish nazarda tutilsa, ikkinchidin, matnga avtomatik ishlov berish muammosiga yechim topiladi. Korpusda grammatik annotatsiya — bu matnlar toʻplami bo‘lib, unda har bir so‘z yoki ibora uchun grammatik ma’lumotlar belgilanadi. "Ma’lumki, korpusning qiymati uning ichidagi matnlarning ma’lum darajada teglangan, ya’ni lingvistik belgi qo‘yilgan bo‘lishida namoyon bo‘ladi. B. Elov va Sh.Hamroyeva ilmiy hamkorlikda o‘zbek tilining nutq qismlarini belgilash (Pos tagging ) uchun maxsus teglar tizimini ishlab chiqdilar". [2;172] Belgilanish turiga qarab bu ma’lumotlar quyidagicha bo‘lishi mumkin: 1.Turkum teglar: so‘zning qisqacha turini belgilash (ot, fe’l, sifat, son h.k.). 2.- Lemma (asosiy shakl): har bir so‘zning lug‘iy asosiy shakli.
“INTERNATIONAL CONFERENCE ON INNOVATIVE DEVELOPMENT OF EDUCATION” 2025/1 218 Morfologik annotatsiya: fe’lning zamoni, fe’lning shakli, son, holda qo‘shimchalar, otning kishi/soni, h.k. (lemma ham qo‘yilishi mumkin). 3.Sintaktik annotatsiya: ibora yoki gaplarning tuzilishi (konstitutsiya daraxti) yoki so‘zlar orasidagi bog‘lanishlar (dependency tree). 4. Semantik (ba’zi korpuslarda): fe’llarning semantik rollari, predikatlar, argumentlar. O‘zbek tili milliy korpusida grammatik annotasiya quyidagi vazifalarni bajraishda muhim o‘rin tutadi: • Tilni avtomatik tahlil qilish, parserlar va lingvistika tadqiqotlari uchun asosiy o‘rganish materiali. • Til o‘rgatish xatoliklarini aniqlash, grammik qoidalarni o‘rganish. • So‘z turlarini aniqlash, sintaktik bog‘lanishlarni o‘rganish. • Til modellari (NLP) uchun trening ma’lumotlari sifatida ishlatiladi. "Hozirgi kunda korpus matnlarining asosiy qismi morfologik teglashdan o‘tkazilgan va foydalanuvchi so‘zlarni so‘z turkumi, grammatik kategoriyalari bo‘yicha filtrlab qidirishi mumkin" [2;172]. Korpusda grammatik annotatsishni tuzish avvalo, matn to‘plami ya’ni korpusni tanlashdan boshlanadi. Keyingi bosqichda annotatsiya bo‘yicha yo‘riqnomalar ishlab chiqiladi. Tilni tanlash va matnlarni bo‘laklarga bo‘yicha tokenizatsiya qilinadi. Inson annotatorlari tomonidan belgilanishi yoki yarim avtomatik yondashuv bilan amalga oshiriladi. Sifat nazorati sifatida interannotator agreement tekshiriladi, kerak bo‘lsa tuzatishlar kiritiladi. 1.Jumla: “Men kitobni o‘qiyapman.” 2.Tuzilma: Men (subj) — o‘qiyapman (predikat) — kitobni (obj). 3. Belgilanishlar: Men – PRON, kitobni – NOUN+CASE=ACC, o‘qiyapman – VERB+Tense=Pres+Aspect=Prog (faqat misol uchun). Xulosa sifatida aytusg mumkinki, grammatik annotatsiya so‘zning barcha morfologik va sintaktik xususiyatlari va undan foydalanishdagi ayrim noaniqliklar haqidagi ma’lumotlarni taqdim etadi. Grammatik ma’lumotlar maxsus protsedurada ishlaydi. Korpusda grammatik annotatsiya o‘zbek tilining quyidagi grammatik xususiyatlariga tayangan parametrlardan iborat bo‘lishi mumkin:
“INTERNATIONAL CONFERENCE ON INNOVATIVE DEVELOPMENT OF EDUCATION” 2025/1 219 1. So‘z turkumlari tasniflangan annotatsiyada ot, sifat, son, olmosh, ravish, fe’l, yuklama, bog‘lovchi, ko‘makchi, taqlid so‘zlar, modal so‘zlar, oraliq so‘zlar. 2. Atoqli otlar (familiya, ism, sharif) 3. Kelishik (bosh kelishik, qaratqich kelishigi, tushum kelishigi, jo‘nalish kelishigi, chiqish kelishigi, o‘rin-payt kelishigi 4. Mayl (habar, buyruq-istak, shart) 5. Nisbat ( aniq, orttirma, o‘zlik, majhul, birgalik nisbati) 6. Son ( birlik, ko‘plik) 7. Shaxs-son ( I shaxs, II shaxs, III shaxs) 8. Zamon (o‘tgan, hozirgi, kelasi) 9. Bo‘lishlibo‘lishsizlik 10. O‘timli - o‘timsizlik. FOYDALANILGAN ADABIYOTLAR RO‘YXATI: (REFERENCES) 1. Xoliyorov O‘. O‘zbek tili ta’limiy korpusini tuzishning lingvistik asoslari. Fil.f.f.d. (PhD) dissertatsiyasi. Termiz shahri, 2021. 2. Qarshiyev A, Karimov S, Tursunov M. O‘zbek tili milliy korpuslarining dasturiy ta’minot strukturasi va vazifalari. Maqola. "Kompyuter lingvistikasi: muammolar, yechimlar, istiqbollar". Xalqaro ilmiy-amaliy konferensiya. Alisher Navoit nomidagi Toshkent davlat o‘zbek tili va adabiyoti universiteti, Vol 1. N-1.2022. 4.Kaxorova N. Corpus linguistics. Academic research in modern science. International scientific - online conference. USA. 5. Sobirova N. Korpus lingvistikasi va parallel korpuslar tavsifi. Maqola. Academic research in educational Sciences. Volume 3. Issue 5. May, 2022.