Hệ thống Hỏi-Đáp Tài liệu Nội bộ
Internal Document Q&A Engine
RAG riêng cho doanh nghiệp: tìm đúng đoạn văn bản trong 50.000+ trang quy trình, sổ tay, hợp đồng nội bộ — phản hồi <2s.
Bài toán
Phòng pháp chế và CSKH phải tra cứu hơn 50.000 trang tài liệu nội bộ phân mảnh trên nhiều thư mục NAS. Trung bình 12 phút/lượt tra cứu, nhân viên trả lời sai vì đọc sót phiên bản cũ. SLA hỗ trợ khách hàng bị ảnh hưởng.
Kiến trúc
PDF/DOCX → unstructured parser → chunk overlap 200 token → embedding bge-m3 → Qdrant collection → BGE Reranker top-20→top-3 → LLM 4o-mini với system prompt cite-source. UI Next.js 15 với streaming response và link mở trực tiếp đoạn nguồn.
Stack & lý do
- bge-m3 (multilingual): tiếng Việt domain pháp chế kết quả tốt hơn ada-002.
- Qdrant self-host: kiểm soát PII, không gửi data ra ngoài.
- Reranker BGE: tăng precision từ 0.71 → 0.89 trên test set 200 câu.
Kết quả
| Metric | Trước | Sau |
|---|---|---|
| Thời gian tra cứu TB | 12 phút | 40 giây |
| Tỷ lệ trả lời đúng phiên bản | 64% | 96% |
| Tickets hỗ trợ về sai sót giảm | — | −43% |
Bài học
Reranker quan trọng hơn embedding model "to". Chunking strategy theo heading > theo size cứng cho tài liệu pháp chế.