Hệ thống Hỏi-Đáp Tài liệu Nội bộ

Bài toán

Phòng pháp chế và CSKH phải tra cứu hơn 50.000 trang tài liệu nội bộ phân mảnh trên nhiều thư mục NAS. Trung bình 12 phút/lượt tra cứu, nhân viên trả lời sai vì đọc sót phiên bản cũ. SLA hỗ trợ khách hàng bị ảnh hưởng.

Kiến trúc

PDF/DOCX → unstructured parser → chunk overlap 200 token → embedding bge-m3 → Qdrant collection → BGE Reranker top-20→top-3 → LLM 4o-mini với system prompt cite-source. UI Next.js 15 với streaming response và link mở trực tiếp đoạn nguồn.

Stack & lý do

• bge-m3 (multilingual): tiếng Việt domain pháp chế kết quả tốt hơn ada-002.
• Qdrant self-host: kiểm soát PII, không gửi data ra ngoài.
• Reranker BGE: tăng precision từ 0.71 → 0.89 trên test set 200 câu.

Kết quả

Bài học

Reranker quan trọng hơn embedding model "to". Chunking strategy theo heading > theo size cứng cho tài liệu pháp chế.