1. 07:23 06/08/2026
Trong nhiều dự án Machine Learning, nhóm phát triển dành nhiều thời gian chọn thuật toán, chỉnh hyperparameter hoặc thử mô hình lớn hơn, nhưng lại kiểm tra dữ liệu khá sơ sài. Đây là một sai lầm tốn kém: mô hình chỉ học được từ những gì dữ liệu thể hiện. Nếu dữ liệu sai, lệch, thiếu hoặc không nhất quán, việc đổi mô hình thường chỉ giúp che giấu vấn đề trong thời gian ngắn.
Một quy trình kiểm tra chất lượng dữ liệu không cần quá phức tạp, nhưng nên được thực hiện có hệ thống trước mỗi lần huấn luyện quan trọng.
Trước hết, hãy kiểm tra cấu trúc dữ liệu. Các cột có đúng kiểu dữ liệu không? Trường ngày tháng có bị lẫn nhiều định dạng không? Giá trị phân loại có xuất hiện các biến thể như “HCM”, “TP.HCM”, “Ho Chi Minh” hay không? Với dữ liệu văn bản, cần xem có lỗi mã hóa, chuỗi rỗng, nội dung trùng lặp hoặc bản ghi bị cắt cụt không. Đây là những lỗi rất đời thường nhưng có thể làm mô hình học ra quan hệ giả.
Tiếp theo là kiểm tra phân phối. Ví dụ, nếu xây dựng mô hình dự đoán khách hàng rời bỏ dịch vụ, hãy xem tỷ lệ rời bỏ trong tập huấn luyện, validation và test có tương đồng không. Nếu tập test chủ yếu là khách hàng ở một khu vực hoặc một giai đoạn khuyến mãi đặc biệt, kết quả đánh giá sẽ không đại diện cho thực tế. Với bài toán phân loại nhiều nhãn, cần kiểm tra nhãn hiếm vì mô hình thường bỏ qua nhóm này nếu không có chiến lược xử lý phù hợp.
Một bước quan trọng khác là tìm dữ liệu bất thường. Không phải ngoại lệ nào cũng là lỗi, nhưng nên đặt câu hỏi. Tuổi khách hàng bằng 180, giá trị đơn hàng âm, thời gian xử lý bằng 0 giây, hoặc số lần đăng nhập quá cao có thể là tín hiệu lỗi hệ thống, bot, gian lận hoặc quy ước nhập liệu đặc biệt. Cách xử lý nên được ghi lại rõ ràng: loại bỏ, sửa theo quy tắc, đưa vào nhóm riêng hay giữ nguyên.
Với dữ liệu có nhãn, cần kiểm tra chất lượng nhãn. Một mẹo thực tế là lấy mẫu ngẫu nhiên vài chục đến vài trăm bản ghi để con người đọc lại. Nếu ngay cả người trong nhóm cũng không thống nhất nhãn đúng là gì, mô hình khó có thể học ổn định. Với bài toán LLM như phân loại phản hồi khách hàng, phát hiện nội dung độc hại hoặc chấm điểm câu trả lời, nên có hướng dẫn gán nhãn cụ thể kèm ví dụ đúng sai.
Một checklist đơn giản có thể áp dụng:
- Số lượng bản ghi có thay đổi bất thường so với lần trước không?
- Tỷ lệ giá trị thiếu của từng trường là bao nhiêu?
- Có bản ghi trùng lặp hoặc gần trùng lặp không?
- Phân phối nhãn có bị lệch mạnh không?
- Train, validation và test có bị trùng người dùng, trùng phiên hoặc trùng nội dung không?
- Có cột nào chứa thông tin chỉ xuất hiện sau thời điểm dự đoán không?
- Các quy tắc tiền xử lý có giống giữa huấn luyện và triển khai không?
Lời khuyên thực tế là hãy tự động hóa các kiểm tra này thành một bước trong pipeline. Nếu tỷ lệ dữ liệu thiếu vượt ngưỡng, phân phối nhãn thay đổi mạnh hoặc phát hiện trùng lặp giữa train và test, pipeline nên cảnh báo hoặc dừng lại. Không nhất thiết phải dùng công cụ phức tạp ngay từ đầu; một notebook có checklist rõ ràng, sau đó chuyển dần thành script kiểm tra định kỳ, đã là cải thiện lớn.
Cuối cùng, nên lưu lại báo cáo dữ liệu cho mỗi phiên bản huấn luyện: dữ liệu lấy từ đâu, trong khoảng thời gian nào, đã lọc gì, số lượng mẫu từng lớp ra sao, có vấn đề nào được chấp nhận tạm thời. Khi mô hình hoạt động kém ngoài thực tế, những ghi chú này giúp truy ngược nguyên nhân nhanh hơn rất nhiều.
Chất lượng dữ liệu không phải công việc hào nhoáng, nhưng là nền móng của hệ thống AI đáng tin cậy. Trước khi hỏi “có nên dùng mô hình lớn hơn không?”, hãy hỏi “dữ liệu hiện tại có đủ sạch, đúng và đại diện cho bài toán chưa?”.