ORIENTAL UNIVERSITETIQidiruvПоискSearch
Oriental universiteti nashriyotiIlmiy jurnallar platformasiПлатформа научных журналовScholarly journals platform

Toʻliq matnПолный текстFull text

O‘zbek tilidagi matnlarni avtomatik tahlil qilish muammolari

Olimjanova Feruza Sanjar qizi

Matn PDF dan avtomatik ajratilgan: ekran oʻqiydigan dasturlar, telefon va qidiruv uchun. Rasmiy nusxa — PDF.Текст извлечён из PDF автоматически — для программ чтения с экрана, телефонов и поиска. Официальная версия — PDF.Text was extracted from the PDF automatically for screen readers, phones and search. The PDF remains the version of record.

PDF ni oʻqishЧитать PDFRead the PDF → Nashr kartasiКарточка изданияRecord

OʻZBEK TILIDAGI MATNLARNI AVTOMATIK TAHLIL
QILISH MUAMMOLARI

Olimjanova Feruza Sanjar qizi
Magistrant ToshDOʻTAU

Annotatsiya. Maqolada oʻzbek tili matnlarini avtomatik tahlil qilishdagi (NLP) grafikimlo xilma-xilligi, resurslar tanqisligi va norasmiy nutq konstruksiyalari bilan bogʻliq
muammolar tizimlashtirilgan. Alifbolar parallelizmi va oʻ, gʻ harflarining
unifikatsiyalanmaganligi tokenizatsiya jarayoniga salbiy ta’siri asoslab berilgan. Oʻzbek tilining
kam resursli (low-resource) holati va sifatli annotatsiya qilingan korpuslar yetishmasligi asosiy
toʻsiq sifatida koʻrsatilgan. Muammolarni bartaraf etish uchun hibrid modellar va yagona
raqamli standartlarni joriy etish taklif qilingan.

Kalit soʻzlar: NLP, oʻzbek tili korpusi, grafik unifikatsiya, tokenizatsiya, low-resource
languages, annotatsiya, elliptik konstruksiya, dataset.

Abstract. The article systematizes problems related to graphic-orthographic diversity,
resource scarcity, and informal speech constructions in Uzbek Natural Language Processing
(NLP). The negative impact of alphabet parallelism and the lack of unification for the characters
"oʻ" and "gʻ" on the tokenization process is substantiated. The low-resource status of the Uzbek
language and the shortage of high-quality annotated corpora are identified as primary
obstacles. To address these issues, the implementation of hybrid models and unified digital
standards is proposed.

Keywords: NLP, Uzbek language corpus, graphic unification, tokenization, low-resource
languages, annotation, elliptical construction, dataset.

Аннотация. В статье систематизированы проблемы, связанные с графикоорфографическим разнообразием, дефицитом ресурсов и конструкциями неформальной
речи в автоматическом анализе текстов узбекского языка (NLP). Обосновано негативное
влияние параллелизма алфавитов и отсутствия унификации букв «oʻ» и «gʻ» на процесс
токенизации. В качестве основных препятствий указаны статус узбекского языка как
малоресурсного (low-resource) и нехватка качественно аннотированных корпусов. Для
решения данных проблем предложено внедрение гибридных моделей и единых цифровых
стандартов.

Ключевые слова: NLP, корпус узбекского языка, графическая унификация,
токенизация, малоресурсные языки, аннотация, эллиптическая конструкция, датасет.

KIRISH
Bugungi kunda tabiiy tillarni qayta ishlash (NLP) tizimlarini takomillashtirish global
axborot jamiyatining ustuvor vazifalaridan biri hisoblanadi. Oʻzbek tili jahon tillari ichida
oʻzining boy morfologik va sintaktik qurilishi bilan ajralib tursa-da, uni raqamli transformatsiya
qilish jarayonida qator tizimli muammolar kuzatilmoqda.
Oʻzbek kompyuter lingvistikasining nazariy asoslarini yaratgan olimlardan biri B.Elov
ta’kidlaganidek, oʻzbek tili matnlarini avtomatik tahlil qilishda tillarning tipologik
xususiyatlarini hisobga oluvchi formal modellarni yaratish dolzarb hisoblanadi [1]. Ayniqsa,

matnlarni tokenizatsiya qilish va ulardagi grafika xilma-xilligini (lotin va kirill) bartaraf etish

fundamental bosqichdir. Tadqiqotchi A.Abdullayev oʻz ishlarida oʻzbek tili matnlarining korpus

bazasini yaratishda lingvistik resurslarning yetishmasligi va mavjud ma’lumotlarning

standartlashtirilmaganligi asosiy toʻsiq boʻlib qolayotganini qayd etadi [2].

Shuningdek, oʻzbek tilidagi matnlarni avtomatik tahlil qilishda semantik va pragmatik

sathdagi noaniqliklarni (ambiguity) bartaraf etish masalasi ham muhimdir. M.Suyunova oʻz

tadqiqotlarida ta’kidlaganidek, milliy korpusning lingvistik ta’minotini yaratishda nafaqat

grammatik, balki leksik-semantik belgilashlar tizimini yoʻlga qoʻyish matn tahlilining aniqligini

oshiradi [3]. Biroq, hozirgi kunda ochiq ma’lumotlar toʻplamining (Open Datasets) kamligi va

matnlarga avtomatik ishlov beruvchi yagona unifikatsiyalashgan platformaning mavjud emasligi

soha rivojiga salbiy ta’sir koʻrsatmoqda.

Ushbu tezisda oʻzbek tilidagi matnlarni avtomatik tahlil qilishdagi umumiy muammolar –

grafik-imlo xilma-xilligi, resurslar tanqisligi va kontekstual tahlil murakkabliklari mavjud ilmiy

tajribalar asosida koʻrib chiqiladi.

ASOSIY QISM

1. Grafika va imlo unifikatsiyasi muammosi

Oʻzbek tili matnlarini avtomatik tahlil qilishdagi birinchi darajali toʻsiq – yagona grafik

standartning mavjud emasligidir. B.Elov tadqiqotlarida ta’kidlanganidek, lotin va kirill

alifbolarining barobar qoʻllanilishi tabiiy tilni qayta ishlash algoritmlari uchun "shovqin" (noise)

hosil qiladi [1]. Ayniqsa, lotin yozuvidagi oʻ va gʻ harflarini ifodalashda turli xil apostrof va

tirnoqlardan foydalanilishi (masalan: oʻ, oʻ, oʻ, oʻ) bitta soʻzning oʻnlab variantlarda paydo

boʻlishiga olib keladi. Bu esa oʻz navbatida lugʻat bazasini sun’iy ravishda kengaytirib yuboradi

va tokenizatsiya jarayonining aniqligini kamaytiradi.

2. Lingvistik resurslar va sifatli ma’lumotlar tanqisligi

NLP modellarini oʻqitish uchun zarur boʻlgan annotatsiya qilingan (belgilangan) korpuslarning

yetishmasligi oʻzbek tilining raqamli dunyodagi oʻrnini cheklab qoʻymoqda. M.Suyunova oʻz

ishlarida ta’kidlashicha, milliy korpus faqatgina matnlar jamlanmasi emas, balki lingvistik meta-

ma’lumotlar bilan boyitilgan tizim boʻlishi shart [2]. Hozirgi kunda oʻzbek tili uchun ochiq

foydalanish mumkin boʻlgan semantik teglangan korpuslar va WordNet kabi leksik-semantik

tarmoqlarning toʻlaqonli shakllanmaganligi matnlarning semantik tahlilini (masalan, soʻz

ma’nolarini farqlashni) imkonsiz qilmoqda.

3. Norasmiy nutq va segmentatsiya qiyinchiliklari

Ijtimoiy tarmoqlar (xususan, Telegram) matnlari avtomatik tahlil uchun eng murakkab material

hisoblanadi. A.Abdullayev qayd etganidek, elektron muloqotda punktuatsiya qoidalariga rioya

qilmaslik, fikrni bir necha qisqa xabarlarga boʻlib yuborish yoki kesimi tushib qolgan elliptik

konstruksiyalardan foydalanish an’anaviy sintaktik analizatorlarning ishlashiga toʻsqinlik qiladi

[3]. Bunday matnlarni segmentatsiya qilish va ulardagi mantiqiy bogʻliqlikni tiklash uchun

mavjud algoritmlar oʻzbek tili sintaktik xususiyatlariga toʻla moslashtirilmagan.

1-jadval. Oʻzbek tili matnlarini avtomatik tahlil qilish jarayonidagi tizimli toʻsiqlar va ularning

NLP modellariga ta’siri.

Muammo sohasi Asosiy toʻsiqlar NLP tizimlariga ta'siri

Grafika va Imlo Lotin/Kirill parallelizmi, oʻ, Soʻz shakllari redundansiyasi
gʻ simvollari xilma-xilligi (koʻpayib ketishi), notoʻgʻri
tokenizatsiya

Resurslar (Data) Belgilangan (annotated) Modellarni oʻqitishda

Leksik-Semantik korpuslar va parallel matnlar (training) sifatning pastligi,
Sintaktik tanqisligi aniqlik darajasi kamligi
WordNet semantik Polisemantik (koʻp ma'noli)
tarmogʻining toʻliq soʻzlarni kontekstda
shakllanmaganligi tushunmaslik
Norasmiy nutq, elliptik Segmentatsiya xatoligi,
konstruksiyalar, gapning mantiqiy bogʻliqlikning
boʻlib yuborilishi uzilishi

Ushbu jadvalda oʻzbek tili matnlarini raqamli qayta ishlashda yuzaga keladigan
muammolar toʻrt asosiy yoʻnalishga (grafik, resurs, leksik va sintaktik) boʻlingan holda
tizimlashtirildi. Ushbu tasnif oʻzbek tili uchun moʻljallangan korpus tahlili va avtomatik
analizatorlarni yaratishda qaysi bosqichlarga koʻproq e’tibor qaratish lozimligini belgilab beradi.

4. Hisoblash modellarining moslashuvi
Bugungi kunda oʻzbek tili uchun qoʻllanilayotgan aksariyat NLP texnologiyalari koʻp tilli
(multilingual) modellarga (masalan, mBERT, XLM-R) asoslangan. Biroq, bu modellar oʻzbek
tilining agglyutinativ tabiatini va oʻziga xos lingvistik qonuniyatlarini toʻliq qamrab olmaydi.
Tadqiqotchilarning fikriga koʻra, oʻzbek tili uchun xoslangan (monolingual) katta tilli modellarni
yaratish uchun nafaqat hisoblash quvvati, balki oʻzbek tili grammatikasini matematik modellarda
aniq ifodalovchi qoidalar tizimi ham yetarli darajada integratsiya qilinmagan.

1-rasm. Oʻzbek tili NLP tizimi arxitekturasidagi muammolar zanjiri
Ushbu vizual sxema Oʻzbek tili tabiiy tillarni qayta ishlash (NLP) tizimlarining
arxitekturasidagi asosiy muammolarni va ularning yechimlarini tushuntirishga yordam beradi.
Sxema toʻrt qismga boʻlingan:
Kiritish (Input): Turli formatdagi (Lotin/Kirill) va imlo xatoli matnlar tizimga kiritiladi.
Tozalash (Preprocessing): "Gʻoʻza" soʻzining besh xil koʻrinishda uchrashi natijasida tizim
chalkashib ketadi.
Asosiy tahlil (Core NLP Engine): Semantik baza (WordNet) yoʻqligi sababli tahlil toʻxtab
qoladi.
Natija (Output): Muammolar tufayli tahlil aniqligi past (Accuracy) boʻladi.

XULOSA
Oʻzbek tilidagi matnlarni avtomatik tahlil qilish masalasi bugungi kunda nafaqat
filologik, balki milliy texnologik suverenitet darajasidagi strategik vazifadir. Olib borilgan
tahlillar va soha olimlarining (B.Elov, M.Suyunova, A.Abdullayev) ilmiy qarashlari asosida
quyidagi yakuniy xulosalarga kelindi:
Standartlashtirish zarurati: Oʻzbek tili NLP tizimlarining samaradorligini oshirish uchun birinchi
navbatda lotin alifbosidagi simvollar (ayniqsa, oʻ va gʻ) xilma-xilligini yagona raqamli
standartga keltirish lozim. Bu matnni qayta ishlashning dastlabki bosqichidagi "shovqinlarni"
bartaraf etadi.
Resurs bazasini boyitish: Oʻzbek tilini "kam resursli" tillar qatoridan chiqarish uchun
ochiq va sifatli belgilangan (annotated) korpuslarni yaratish, shuningdek, parallel korpuslar
bazasini kengaytirish talab etiladi. Bu oʻz navbatida mashina tarjimasi va sentiment tahlili kabi
yoʻnalishlarning aniqlik darajasini oshiradi.
Linguistik va texnik integratsiya: Sof matematik modellardan koʻra, oʻzbek tilining
agglyutinativ tabiati, elliptik konstruksiyalari va norasmiy nutqiy xususiyatlarini hisobga oluvchi
hibrid (qoidalarga asoslangan va neyron tarmoqli) modellar ustida ishlash kutilgan natijani
beradi.
Amaliy ahamiyat: Taklif etilayotgan yechimlar nafaqat ilmiy tadqiqotlar uchun, balki
davlat boshqaruvi, ta’lim tizimi (masalan, maktab darsliklaridagi soʻz turkumlarini oʻrgatuvchi
korpuslar) va biznes kommunikatsiyalarida oʻzbek tilining raqamli imkoniyatlarini
kengaytirishga xizmat qiladi.
Xulosa qilib aytganda, oʻzbek tilidagi matnlarni avtomatik tahlil qilishdagi muammolarni
bartaraf etish — tilimizning sun’iy intellekt va katta tilli modellar (LLM) davrida
raqobatbardoshligini ta’minlashning yagona yoʻlidir.

FOYDALANILGAN ADABIYOTLAR ROʻYXATI
1. Abdullayev A.Q. Korpus lingvistikasida matnlarni avtomatik segmentatsiyalash

muammolari. Oʻzbekistonda xorijiy tillar. – Toshkent, 2022. – №3 (44). – B. 15–28.
2. Abdullayev A.Q. Oʻzbek tili korpus lingvistikasining shakllanishi va rivojlanish istiqbollari.

Filologiya masalalari. – Toshkent, 2023. – №2. – B. 40–52.
3. Elov B.B. Oʻzbek tili kompyuter lingvistikasining nazariy va amaliy asoslari: Monografiya.

– Toshkent: Fan va texnologiya, 2021. – 210 b.
4. Elov B.B., Hamroeva SH.M. Oʻzbek tili korpusining soʻz shakllari tahlili va uning

matematik modellari. Informatika va energetika muammolari. – Toshkent, 2020. – №4. – B.
12–19.
5. Suyunova M.O. Oʻzbek tili milliy korpusini yaratishning lingvistik asoslari: Filologiya
fanlari boʻyicha falsafa doktori (PhD) diss. avtoreferati. – Toshkent, 2020. – 54 b.
6. Suyunova M.O. Oʻzbek tili milliy korpusining lingvistik ta’minoti: muammo va yechimlar.
Filologiya masalalari. – Toshkent, 2021. – №1. – B. 88–95.