Trong nhiều bài toán Machine Learning, accuracy là chỉ số đầu tiên được nhìn vào nhưng không phải lúc nào cũng phản ánh chất lượng thực tế. Nếu 99% giao dịch là bình thường và chỉ 1% có gian lận, một mô hình luôn dự đoán “không gian lận” vẫn đạt 99% accuracy nhưng hoàn toàn không có giá trị vận hành. Vì vậy, khi xây dựng mô hình phân loại, đặc biệt với dữ liệu mất cân bằng như phát hiện gian lận, cảnh báo lỗi thiết bị hoặc sàng lọc hồ sơ rủi ro, cần bắt đầu từ chi phí của từng loại sai lầm. 1. Đọc confusion matrix trước khi chọn chỉ số Confusion matrix gồm bốn nhóm kết quả: - True Positive: mẫu dương tính được dự đoán đúng. - True Negative: mẫu âm tính được dự đoán đúng. - False Positive: hệ thống cảnh báo nhầm. - False Negative: hệ thống bỏ sót trường hợp cần phát hiện. Hai chỉ số thường quan trọng hơn accuracy là precision và recall. Precision trả lời câu hỏi: trong các mẫu bị gắn nhãn dương tính, có bao nhiêu mẫu thực sự đúng? Recall trả lời: trong toàn bộ mẫu dương tính thật, mô hình phát hiện được bao nhiêu? Ví dụ, trong hệ thống cảnh báo giao dịch đáng ngờ, recall thấp có thể khiến nhiều giao dịch gian lận lọt qua. Ngược lại, precision thấp có thể khiến đội kiểm duyệt phải xử lý quá nhiều cảnh báo giả. Không có ngưỡng tối ưu chung cho mọi doanh nghiệp; lựa chọn phải dựa trên hậu quả của từng loại lỗi. 2. Đừng chỉ nhìn ROC-AUC ROC-AUC hữu ích để so sánh khả năng xếp hạng của mô hình trên nhiều ngưỡng, nhưng có thể tạo cảm giác quá lạc quan khi lớp dương tính rất hiếm. Trong trường hợp này, hãy xem thêm đường cong Precision-Recall và PR-AUC. Các chỉ số này tập trung hơn vào chất lượng nhận diện lớp dương tính. Tuy nhiên, một điểm PR-AUC tốt vẫn chưa cho biết mô hình sẽ hoạt động ra sao ở ngưỡng được dùng trong sản phẩm. Do đó, cần báo cáo confusion matrix, precision, recall và số lượng cảnh báo ở một hoặc vài ngưỡng cụ thể. 3. Chọn threshold theo chi phí vận hành Nhiều mô hình phân loại không trực tiếp trả về nhãn mà trả về xác suất hoặc điểm số. Ngưỡng 0,5 chỉ là một quy ước thuận tiện, không phải chân lý. Có thể thử nhiều ngưỡng trên tập validation rồi tính: - Chi phí của false positive: thời gian kiểm tra, trải nghiệm khách hàng hoặc chi phí vận hành. - Chi phí của false negative: tổn thất tài chính, rủi ro an toàn hoặc cơ hội bị bỏ lỡ. - Giới hạn năng lực xử lý: mỗi ngày đội vận hành chỉ có thể kiểm tra một số lượng cảnh báo nhất định. Một cách thực tế là lập bảng kết quả theo từng ngưỡng, gồm precision, recall, số cảnh báo và chi phí ước tính. Sau đó chọn ngưỡng đáp ứng mục tiêu kinh doanh, thay vì chọn ngưỡng tạo ra một con số đẹp trên báo cáo. 4. Chia dữ liệu đúng trước khi đánh giá Nếu dữ liệu có yếu tố thời gian, nên cân nhắc chia tập huấn luyện, validation và kiểm tra theo thứ tự thời gian. Cách này gần với tình huống mô hình được huấn luyện bằng dữ liệu quá khứ rồi dự đoán dữ liệu tương lai. Chia ngẫu nhiên có thể làm các mẫu rất giống nhau xuất hiện ở cả hai phía, khiến kết quả cao hơn thực tế. Ngoài ra, tập kiểm tra cuối cùng nên được giữ kín cho đến khi các quyết định về đặc trưng, mô hình và threshold đã hoàn tất. Nếu liên tục điều chỉnh theo tập kiểm tra, tập này dần trở thành một phần của quá trình huấn luyện và không còn phản ánh khả năng tổng quát hóa. 5. Đánh giá theo từng nhóm dữ liệu Một mô hình có thể đạt chỉ số tổng thể tốt nhưng hoạt động kém trên một khu vực, loại khách hàng, thiết bị hoặc khoảng thời gian cụ thể. Vì vậy, hãy tính các chỉ số theo từng phân khúc quan trọng. Cần chú ý cả kích thước mẫu: một nhóm rất nhỏ có thể tạo ra chỉ số dao động mạnh. Khi triển khai, nên lưu lại dự đoán, nhãn thực tế đến muộn và threshold đang sử dụng. Theo dõi định kỳ giúp phát hiện khi precision hoặc recall giảm, đồng thời cung cấp dữ liệu để điều chỉnh mô hình và quy trình kiểm duyệt. Tóm lại, đánh giá mô hình phân loại không phải là cuộc thi tìm accuracy cao nhất. Quy trình đáng tin cậy cần kết nối confusion matrix với chi phí thực tế, xem xét nhiều threshold, chia dữ liệu phù hợp với thời gian và kiểm tra hiệu năng trên từng nhóm. Khi các quyết định này được ghi lại rõ ràng, mô hình sẽ dễ kiểm thử, dễ giải thích và hữu ích hơn trong môi trường sản xuất.