Giới thiệu Trong nhiều dự án thực tế, nhãn dữ liệu thường khan hiếm hoặc tốn kém. Kết hợp Transformer mạnh mẽ với quy trình Active Learning giúp giảm thiểu lượng dữ liệu cần gán nhãn thủ công mà vẫn đạt độ chính xác cao. Chuẩn bị dữ liệu - Thu thập corpus thô từ nhiều nguồn (email, ticket hỗ trợ, bình luận mạng xã hội). - Làm sạch: loại bỏ ký tự đặc biệt, chuẩn hóa unicode, tách câu. - Chia tập: 70% train, 15% validation, 15% test. Giữ một pool "unlabeled" lớn (khoảng 80% tổng dữ liệu). Chọn mô hình nền tảng - Sử dụng Phoenix‑BERT hoặc ViT5‑base đã pre‑train trên tiếng Việt. - Fine‑tune ban đầu trên 5% dữ liệu đã gán nhãn (random sampling) để có baseline. - Đánh giá bằng F1‑macro trên validation. Vòng lặp Active Learning 1. Dự đoán xác suất cho toàn bộ pool unlabeled. 2. Chọn top‑K mẫu có entropy cao nhất (uncertainty sampling) hoặc dùng BADGE để đa dạng hóa. 3. Gửi mẫu cho annotator (có thể là công cụ Label Studio). 4. Cập nhật tập train, fine‑tune tiếp với learning rate nhỏ (1e‑5) trong 1‑2 epoch. 5. Lặp lại cho đến khi F1 trên validation không tăng thêm >0.5% sau 2 vòng. Triển khai sản xuất - Export model sang ONNX, quantize INT8 để giảm latency. - Serve qua FastAPI + Triton Inference Server, bật batching động. - Theo dõi drift: lưu distribution của confidence scores hàng ngày, cảnh báo khi shift >10%. Lời khuyên thực chiến - Bắt đầu với pool unlabeled nhỏ (10k mẫu) để kiểm tra chi phí gán nhãn. - Sử dụng mixed‑precision (fp16) khi fine‑tune để tiết kiệm GPU memory. - Lưu checkpoint sau mỗi vòng Active Learning để rollback nếu overfitting. - Kết hợp human‑in‑the‑loop cho các nhãn nhạy cảm (spam, toxic) để đảm bảo tuân thủ pháp lý. Kết luận Kết hợp Transformer và Active Learning tạo ra quy trình phân loại văn bản tự động, tiết kiệm chi phí gán nhãn và duy trì chất lượng mô hình trong production.