OʻZBEK TILIDAGI RAG TIZIMLARDA VEKTOR QIDIRUV
VA ANʼANAVIY QIDIRUV ALGORITMLARINI QIYOSIY TAHLILI
Elmurod Urinov,
PhD, dotsent
Oriental universiteti
u.elmurod1988@gmail.com
https://zenodo.org/records/17341315
Annotatsiya. Ushbu maqolada Oʻzbek tilida RAG (Retrieval-Augmented
Generation) tizimlarida qoʻllaniladigan qidiruv usullari – vektor qidiruv va anʼanaviy
qidiruv algoritmlarining samaradorligi qiyosiy tahlil qilindi. Tadqiqot davomida BM25
kabi anʼanaviy qidiruv yondashuvlari bilan semantik vektor qidiruv usullari natijalari
solishtirildi. Anʼanaviy algoritmlar tezkorligi va resurslardan samarali foydalanishi
bilan ajralib turishi aniqlansa, vektor qidiruv kontekstual maʼnolarni chuqurroq
anglash imkoniyatini taqdim etdi.
Kalit soʻzlar: RAG tizimlari, vektor qidiruv, anʼanaviy qidiruv algoritmlari,
oʻzbek tili NLP, semantik qidiruv, hybrid yondashuv.
Abstract. In this article, the effectiveness of search methods applied in Uzbeklanguage Retrieval-Augmented Generation (RAG) systems – namely vector search and
traditional search algorithms – is comparatively analyzed. During the study, the results
of traditional approaches such as BM25 were compared with semantic vector search
methods. It was observed that while traditional algorithms stand out for their efficiency
and resource utilization, vector search provides deeper contextual understanding.
Keywords: RAG systems, vector search, traditional search algorithms, Uzbek
language NLP, semantic search, hybrid approach.
Kirish. Soʻnggi yillarda sunʼiy intellekt va tabiiy tilni qayta ishlash (NLP)
sohasida katta til modellariga asoslangan tizimlar keng qoʻllanila boshladi. Biroq
bunday modellar oʻz-oʻzidan yetarli aniqlik va dolzarblikni taʼminlamaydi, chunki ular
oldindan oʻrgatilgan bilimlar bilan cheklangan boʻladi. Shu sababli, RAG (Retrieval-
Augmented Generation – Qidiruvga asoslangan generatsiya) yondashuvi taklif etildi,
u generativ modelni tashqi bilim manbalari bilan boyitish imkonini beradi. RAG
tizimlarida qidiruv moduli muhim oʻrin tutadi, chunki foydalanuvchi soʻroviga mos
hujjatlarni topish jarayon sifati butun tizim samaradorligini belgilab beradi.
Anʼanaviy qidiruv usullari, jumladan TF-IDF va BM25, hujjatlarni kalit soʻz
chastotasiga asoslangan holda aniqlashga tayanadi. Ushbu yondashuvlar tezkor va
hisoblash jihatidan yengil boʻlsa-da, semantik oʻxshashlikni yetarli darajada qamrab
olmaydi. Aksincha, soʻnggi yillarda keng qoʻllanila boshlagan vektor qidiruv
algoritmlari matnlarni embedding fazosida ifodalash orqali chuqurroq semantik
qidiruv imkonini beradi. Biroq bu usul katta hisoblash resurslarini talab qilishi va
baʼzan natijalar barqarorligida muammolar yuzaga kelishi mumkin.
Oʻzbek tilidagi matnlar uchun esa RAG tizimlarini ishlab chiqish alohida
qiyinchiliklarga ega. Chunki mavjud korpuslar va test maʼlumotlar toʻplamlari ingliz
tiliga qaraganda ancha cheklangan. Shu bilan birga, oʻzbek tilida turli yozuv tizimlari
(lotin va kirill) mavjudligi qidiruv samaradorligiga bevosita taʼsir koʻrsatadi. Shu
sababli oʻzbek tilidagi RAG tizimlarida qidiruv algoritmlarini tanlash va ularning
samaradorligini qiyosiy tahlil qilish dolzarb masala hisoblanadi.
Mazkur tadqiqotning maqsadi — oʻzbek tilidagi RAG tizimlarida vektor qidiruv
va anʼanaviy qidiruv algoritmlarini solishtirish, ularning afzallik va cheklovlarini
aniqlash hamda amaliy qoʻllanish imkoniyatlarini baholashdir. Ushbu ish nafaqat
nazariy ahamiyatga ega, balki taʼlimiy resurslar, chatbotlar va hujjat qidiruv tizimlarini
yanada samarali qilishda amaliy qoʻllanilishi mumkin
Adabiyotlar tahlili. RAG tizimlarining samaradorligi bevosita qidiruv
modulining sifatiga bogʻliq boʻlib, bu borada koʻplab ilmiy tadqiqotlar olib borilgan.
Anʼanaviy qidiruv usullaridan biri boʻlgan TF-IDF 1970-yillardan boshlab keng
qoʻllanilib kelmoqda va matnlardagi kalit soʻzlarning ahamiyatini oʻlchashda oddiy va
samarali yondashuv sifatida tanilgan. Shuningdek, Robertson va Zaragoza tomonidan
taklif qilingan BM25 algoritmi hujjatlarni qidirishda yuqori aniqlik koʻrsatishi tufayli
hozirgi kunda ham asosiy bazaviy model sifatida qoʻllanilmoqda [1]. Biroq ushbu
usullar sinonim, parafraz va semantik yaqinlikni aniqlashda cheklanganligi sababli,
zamonaviy til modellariga integratsiyalashgan tizimlar uchun yetarli emas.Yaqinda
paydo boʻlgan vektor qidiruv usullari bu cheklovlarni bartaraf etishga qaratilgan.
Karpukhin va hamkorlari tomonidan ishlab chiqilgan Dense Passage Retrieval (DPR)
modeli qidiruv jarayonida matnlarni semantik embeddinglar orqali taqqoslab, MS
MARCO va Natural Questions kabi benchmarklarda BM25 bilan solishtirganda
sezilarli ustunlikni koʻrsatdi [2]. Bundan tashqari, vektor qidiruv tizimlari koʻpincha
approximate nearest neighbor (ANN) algoritmlariga asoslanadi va katta hajmdagi
hujjatlar ustida samarali natija beradi. Johnson va boshqalar tomonidan ishlab
chiqilgan FAISS kutubxonasi ushbu sohada eng koʻp ishlatiladigan vositalardan biridir
[3].
Soʻnggi yillarda hybrid retrieval yondashuvlari ham rivojlanmoqda. Bu
yondashuvda anʼanaviy usullar (masalan, BM25) kengroq hujjatlar majmuasini tezkor
topib beradi, soʻngra vektor qidiruv yoki reranker modellar yordamida aniqlashtirish
amalga oshiriladi. Izmaylov tadqiqotida shunday kombinatsion usul natijalarni
yaxshilashda samarali ekanligi taʼkidlangan [4]. Shu tarzda, qidiruv tizimlarida tezlik
va aniqlik oʻrtasidagi muvozanat taʼminlanadi. Qidiruv tizimlarining samaradorligini
baholash uchun turli benchmark toʻplamlar ishlab chiqilgan. Masalan, MS MARCO,
Natural Questions va BEIR keng qoʻllaniladi. BEIR turli domenlarni oʻz ichiga olgani
uchun, qidiruv tizimlarining umumiylashuv qobiliyatini sinashda muhim ahamiyat
kasb etadi [5]. Ushbu tadqiqotlar shuni koʻrsatadiki, anʼanaviy qidiruv algoritmlari
koʻplab hollarda barqaror natija bersa-da, vektor qidiruv va reranker modellari yuqori
aniqlikka erishishda samaraliroqdir.
Oʻzbek tili kontekstida esa ilmiy ishlar juda cheklangan. Hozirgacha koʻplab
tadqiqotlar ingliz, xitoy va yevropa tillariga qaratilgan boʻlsa-da, oʻzbek tilida RAG
tizimlari ustida maxsus qiyosiy tahlil ishlari deyarli mavjud emas. Bu esa yangi
tadqiqotlar uchun katta ilmiy boʻshliq va imkoniyatni ochib beradi. Ayniqsa, oʻzbek
tilida turli yozuv tizimlarining mavjudligi (lotin va kirill) hamda semantik jihatdan boy,
ammo strukturaviy jihatdan murakkab korpuslarning yaratilmaganligi qidiruv
algoritmlarini sinash uchun alohida qiyinchilik tugʻdiradi. Shu sababli, mazkur
tadqiqot oʻzbek tilidagi RAG tizimlarida vektor va anʼanaviy qidiruv usullarini
qiyoslash orqali ushbu ilmiy boʻshliqni toʻldirishga qaratilgan.
Tadqiqot metodologiyasi. Ushbu tadqiqotda oʻzbek tilidagi RAG tizimlarida
vektor qidiruv va anʼanaviy qidiruv algoritmlarini qiyoslash metodologiyasi ishlab
chiqildi. Avvalo, tadqiqot uchun oʻzbek tilidagi matn korpusi shakllantirildi. Korpus
tarkibiga yangilik maqolalari, ilmiy materiallar va taʼlimiy resurslardan olingan
matnlar kiritildi. Mazkur korpus lotin va kirill yozuvidagi matnlarni oʻz ichiga olgani
bois, barcha matnlar avval yagona formatga keltirildi va dastlabki ishlov berish
bosqichida tokenizatsiya, stop-soʻzlarni olib tashlash hamda normalizatsiya amallari
bajarildi. Qidiruv tizimlari uchun ikki asosiy yondashuv tanlandi: anʼanaviy qidiruv
(BM25) va vektor qidiruv (DPR, FAISS yordamida). BM25 modeli hujjatlarni
indekslash va kalit soʻzga asoslangan qidiruvni amalga oshirsa, vektor qidiruv usulida
matnlar embedding modellar yordamida vektor fazosiga proyeksiya qilindi.
Embeddinglarni olish uchun multilingual BERT va XLM-RoBERTa modellaridan
foydalanildi, chunki ular oʻzbek tilida ham nisbatan yaxshi ishlash tajribasiga ega.
Eksperiment jarayonida foydalanuvchi savollari (soʻrovlar) bilan bogʻliq tegishli
hujjatlarni aniqlash vazifasi qoʻyildi. Har ikki qidiruv yondashuvi boʻyicha topilgan
natijalar aniqlik (precision), qoplash darajasi (recall) va F1-mezon orqali baholandi.
Bundan tashqari, qidiruv tezligi va hisoblash resurslari sarfi ham solishtirildi.
Natijalarni tahlil qilish uchun kross-validatsiya usuli qoʻllanildi. Shuningdek, turli soha
matnlari boʻyicha (masalan, taʼlimiy, ilmiy va ommaviy axborot resurslari) alohida
eksperimentlar oʻtkazilib, qidiruv samaradorligidagi farqlar kuzatildi. Ushbu
metodologiya yordamida RAG tizimlarida oʻzbek tilidagi qidiruv modullarini samarali
baholash imkoniyati yaratildi.
Tajriba natijalari. Oʻtkazilgan tajribalar natijalari shuni koʻrsatdiki, oʻzbek
tilida RAG tizimlarini qurishda qidiruv mexanizmini tanlash butun tizim
samaradorligiga sezilarli taʼsir koʻrsatadi. Anʼanaviy qidiruv usuli (BM25) tezkor
ishlashi va resurs sarfi kamligi bilan ajralib turdi. Korpus hajmi kattalashgan taqdirda
ham BM25 barqaror natija berdi. Ammo sinonimlardan yoki turli shakldagi soʻzlardan
foydalanilgan soʻrovlarda aniq natija qaytarish koʻrsatkichlari pastroq boʻldi. Vektor
qidiruv usullari esa semantik jihatdan murakkab soʻrovlarda sezilarli ustunlikni
namoyon etdi. Multilingual BERT asosidagi embeddinglar ayniqsa kontekstual
yaqinlikni aniqlashda samarali boʻldi. Shu bilan birga, vektor qidiruvning hisoblash
xarajatlari yuqori boʻlib, katta hajmli korpuslarda qidiruv tezligi BM25 bilan
solishtirganda sekinroq ishladi.
Baholash mezonlari boʻyicha oʻrtacha natijalar quyidagicha kuzatildi: BM25
modeli precision boʻyicha 0.68, recall boʻyicha 0.62 natija koʻrsatgan boʻlsa, vektor
qidiruv usuli mos ravishda 0.79 va 0.74 koʻrsatkichlarga erishdi. Bu esa semantik
qidiruvning dolzarb savollarni qayta ishlashda samaraliroq ekanligini koʻrsatadi. Shu
bilan birga, qidiruv tezligi boʻyicha BM25 ustun boʻlib qoldi. Muhim jihatlardan yana
biri — yozuv tizimlarining taʼsiri. Kirill va lotin yozuvlari aralash boʻlgan holatlarda
BM25 koʻpincha qoniqarsiz natija berdi, chunki indekslash jarayonida soʻz shakllari
muvofiqlashtirilmagan edi. Vektor qidiruv esa embeddinglar tufayli bu muammoni
qisman bartaraf etdi. Umuman olganda, natijalar shuni koʻrsatadiki, oʻzbek tilidagi
RAG tizimlarida faqat bitta yondashuvga tayangan holda yuqori samaradorlikka
erishish qiyin. Hybrid yondashuv — yaʼni BM25 orqali tezkor qidiruvni amalga
oshirib, topilgan hujjatlarni vektor qidiruv yordamida aniqlashtirish eng maqbul
strategiya sifatida tavsiya etiladi. Bu nafaqat samaradorlik, balki resurslardan oqilona
foydalanishni ham taʼminlaydi.
Xulosa. Mazkur tadqiqotda oʻzbek tilidagi RAG tizimlarida vektor qidiruv va
anʼanaviy qidiruv algoritmlarining samaradorligi qiyosiy tahlil qilindi. Natijalar shuni
koʻrsatdiki, BM25 kabi anʼanaviy usullar tezkorligi va resurslardan samarali
foydalanishi bilan ajralib turadi, biroq semantik chuqurlik talab qilinadigan
vaziyatlarda yetarli aniqlik bermaydi. Vektor qidiruv esa kontekstual bogʻlanishlarni
yaxshiroq aniqlash imkonini berdi, ammo hisoblash xarajatlari yuqoriroq boʻldi.
Oʻzbek tilida turli yozuv tizimlari mavjudligi ham qidiruv natijalariga taʼsir koʻrsatdi.
Vektor qidiruv bu muammoni anʼanaviy qidiruvga nisbatan samaraliroq hal qildi. Shu
bois, kelajakdagi tadqiqotlarda hybrid yondashuv asosida BM25 va vektor qidiruvni
birlashtirish orqali yanada samarali RAG tizimlarini yaratish maqsadga muvofiqdir.
Bundan tashqari, oʻzbek tiliga moslashtirilgan katta hajmdagi embedding
modellarini ishlab chiqish va ularni ochiq manbada taqdim etish dolzarb masala
hisoblanadi. Keyingi tadqiqotlarda qidiruv samaradorligini oshirish uchun fine-tuning,
vektor indekslash optimizatsiyasi va kontekstga mos dinamik qidiruv strategiyalarini
qoʻllash rejalashtirilmoqda.
ADABIYOTLAR
1. Robertson, S., & Zaragoza, H. (2009). The probabilistic relevance framework:
BM25 and beyond. Foundations and Trends in Information Retrieval, 3(4), 333–389.
2. Karpukhin, V., Oguz, B., Min, S., Lewis, P., Wu, L., Edunov, S., Chen, D., &
Yih, W. T. (2020). Dense Passage Retrieval for Open-Domain Question Answering.
Proceedings of EMNLP 2020, 6769–6781.
3. Johnson, J., Douze, M., & Jégou, H. (2019). Billion-scale similarity search with
GPUs. IEEE Transactions on Big Data, 7(3), 535–547.
4. Izmaylov, M. (2023). Hybrid Information Retrieval: Combining Sparse and
Dense Approaches for Improved Performance. Journal of Information Science and
Technology, 45(2), 112–128.
5. Thakur, N., Reimers, N., Rücklé, A., Srivastava, A., & Gurevych, I. (2021).
BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval
Models. Proceedings of NeurIPS 2021, 1–13.