Barcha ishlar
Keys
O‘zbek tilidagi hujjatlarni oflayn tahlil qilish
O‘zbek tilidagi uzun PDF’lar uchun to‘liq lokal RAG tizimi — lotin yoki kirill, skanlar ham — savollarga sahifa havolalari bilan javob beradi va xulosalar chiqaradi, ma’lumotning birorta bayti ham kompyuterdan chiqmaydi.
- Mijoz
- Maxfiy hujjatlar bilan ishlash (R&D prototip)
- Rol
- Tadqiqot va ishlab chiqish — model tanlash, pipeline, sifatni baholash, interfeys
- Muddat
- Tadqiqot → ishlaydigan prototip
- Stek
- PythonFastAPIDoclingTesseract OCRBGE-M3QdrantLocal LLMReactTypeScript
Muammo
O‘zbek tili — resurslari kam til: hujjatlarda lotin va kirill aralash, apostroflar izchil emas, ko‘p fayllar skan. Tayyor RAG vositalari ular bo‘yicha yomon qidiradi, maxfiy hujjatlar uchun esa bulut modellari mos kelmasdi.
Yondashuv va arxitektura
- Avval tadqiqot: model tanlash, o‘zbek tilini qo‘llab-quvvatlash, yuklash va qidiruv bo‘yicha sakkizta xulosa hujjati hamda lokal modellarni jonli taqqoslash.
- Hujjat tuzilmasini hisobga oladigan yuklash va skanlar uchun OCR, so‘ng o‘zbek matnini normallashtirish — apostroflarni tuzatish, Unicode normalizatsiyasi va kirilldan lotinga transliteratsiya.
- Ranglarni birlashtirish va qayta saralash bilan gibrid zich va siyrak qidiruv; mavzu filtri hujjatda javobi yo‘q savollarni rad etadi; aniqlashtiruvchi savollar mustaqil so‘rovlarga qayta yoziladi.
- Hammasi oldindan hisoblangan xotira byudjeti doirasida bitta noutbukda ishlaydi: kvantlangan lokal LLM, konteynerdagi vektor ombori va javob yonida PDF ko‘rsatkichli React interfeysi.
Natija
- O‘zbek tilidagi 30 ta savoldan iborat etalon to‘plamda hit@10 = 0,96.
- Sahifa havolalari bilan oqimli javoblar, har bir hujjat bo‘yicha qisqacha mazmun va xulosalar hamda barcha hujjatlar bo‘yicha qidiruv uchun kutubxona rejimi.
Uni nima mustahkam qildi
- Modellarni taqqoslash hisobotlari saqlanadigan etalon va aniqlashtiruvchi savollar to‘plamlari — modelni almashtirish taxmin qilinmaydi, o‘lchanadi.
- Bosqichlar, xotira byudjeti va xavflar reyestri bilan amalga oshirish rejasi; 0–5 bosqichlar yakunlangan.
- Normallashtirish, qidiruv va API bo‘yicha avtomatik testlar.
Shunga o‘xshash vazifa bormi?
Menga yozing — ko‘lam, yondashuv va birinchi bosqich qanday bo‘lishi haqida ochiq fikrimni aytaman.