Phân loại Khiếu nại Khách hàng
Customer Complaint Classifier
Auto-route 8.000 ticket/tháng vào 18 nhánh xử lý đúng phòng ban — F1 0.91 trên tập validation tiếng Việt.
Bài toán
Trung tâm CSKH nhận 8.000 ticket/tháng chia thủ công cho 18 nhánh nghiệp vụ. Sai-lệch route gây SLA breach, KH chuyển nhiều lần qua các phòng. Đội triage 4 người không kịp peak hours.
Kiến trúc
Webhook ticketing → FastAPI inference → PhoBERT-base fine-tune → confidence gate → rule fallback (regex từ khóa hiếm) → push back assignee. Mislabel tự động vào review queue, không silent.
Stack & lý do
- PhoBERT-base (RoBERTa Vietnamese): tốt hơn mBERT/XLM-R cho ticket tiếng Việt thuần.
- Dataset 24.000 ticket đã anonymize, augment với back-translation EN↔VI.
- Confidence threshold 0.78: dưới ngưỡng → human review (giữ recall cao).
Kết quả
| Metric | Trước | Sau |
|---|---|---|
| F1 macro 18 nhánh | — | 0.91 |
| Auto-route hit rate | 0% | 87% |
| Triage headcount | 4 | 1.5 |
| Avg time to assign | 22 phút | 2 phút |
Bài học
Fine-tune trên domain-specific labeled data ăn đứt prompt LLM zero-shot cho task closed-set. Review queue cho mislabel quan trọng để model tự cải thiện qua thời gian.