Một mô hình phân loại thường trả về một điểm số hoặc xác suất, nhưng sản phẩm cuối cùng lại cần đưa ra hành động cụ thể: duyệt, từ chối, cảnh báo hay chuyển cho con người kiểm tra. Khoảng cách giữa “mô hình dự đoán” và “hệ thống ra quyết định” thường nằm ở ngưỡng phân loại. Chọn ngưỡng mặc định 0,5 mà không phân tích bối cảnh có thể khiến hệ thống bỏ sót nhiều trường hợp quan trọng hoặc tạo ra quá nhiều cảnh báo giả. 1. Phân biệt điểm số và xác suất Không phải điểm số nào từ mô hình cũng là xác suất đáng tin cậy. Chẳng hạn, mô hình có thể trả về 0,8 cho hai nhóm dữ liệu khác nhau, nhưng trong thực tế chỉ 60% trường hợp là dương tính. Vì vậy, trước khi dùng điểm số để kích hoạt hành động, hãy kiểm tra khả năng hiệu chỉnh xác suất trên một tập validation riêng. Có thể sử dụng biểu đồ reliability hoặc chia các dự đoán thành nhiều khoảng điểm để so sánh xác suất dự đoán với tỷ lệ đúng thực tế. Nếu cần, các phương pháp như Platt scaling hoặc isotonic regression có thể giúp hiệu chỉnh, nhưng phải đánh giá trên dữ liệu chưa được dùng để huấn luyện mô hình. 2. Chọn ngưỡng theo chi phí sai lầm Giả sử một hệ thống phát hiện giao dịch đáng ngờ. Bỏ sót một giao dịch gian lận có thể gây thiệt hại lớn, trong khi cảnh báo nhầm chỉ làm tăng số ca cần nhân viên xem xét. Khi đó, ngưỡng thấp hơn có thể hợp lý để ưu tiên độ bao phủ, dù precision giảm. Ngược lại, nếu mô hình tự động khóa tài khoản, cảnh báo nhầm có thể gây ảnh hưởng nghiêm trọng đến người dùng. Hệ thống nên dùng ngưỡng cao hơn hoặc thiết kế ba vùng quyết định: • Điểm thấp: tự động chấp nhận. • Điểm cao: tự động từ chối hoặc chặn. • Khoảng giữa: chuyển sang con người kiểm tra. Cách này thường thực tế hơn việc ép mọi trường hợp vào hai nhãn đúng hoặc sai. 3. Đánh giá nhiều ngưỡng thay vì chỉ một kết quả Hãy thử một dải ngưỡng trên tập validation và ghi lại precision, recall, số lượng mẫu bị chuyển sang kiểm tra thủ công, cùng chi phí ước tính của từng loại sai lầm. Với bài toán có hạn chế vận hành, cần xem thêm độ trễ xử lý và năng lực của đội ngũ đánh giá. Đừng tối ưu ngưỡng trực tiếp trên tập test. Tập test nên được giữ lại để ước lượng chất lượng cuối cùng sau khi đã cố định mô hình và ngưỡng. Nếu dữ liệu thay đổi theo thời gian, nên đánh giá thêm trên các giai đoạn khác nhau thay vì chỉ xáo trộn ngẫu nhiên toàn bộ dữ liệu. 4. Đưa ngưỡng vào quy trình vận hành Ngưỡng không nên là một con số bị chôn trong mã nguồn. Hãy lưu nó trong cấu hình có phiên bản, ghi lại lý do thay đổi và liên kết với phiên bản mô hình, tập validation तथा quy tắc nghiệp vụ tương ứng. Khi triển khai, cần theo dõi phân phối điểm số, tỷ lệ vượt ngưỡng và tỷ lệ sai theo từng nhóm người dùng hoặc loại dữ liệu. Nếu tỷ lệ cảnh báo tăng đột biến, nguyên nhân có thể là dữ liệu đầu vào thay đổi chứ không nhất thiết do mô hình hỏng. Khi đó, đội ngũ có thể tạm điều chỉnh quy trình xử lý, lấy mẫu để đánh giá lại và chỉ thay đổi ngưỡng sau khi có bằng chứng rõ ràng. Một mô hình tốt không chỉ là mô hình có metric cao trên báo cáo. Nó phải tạo ra quyết định phù hợp với chi phí sai lầm, năng lực vận hành và mức độ rủi ro của sản phẩm. Vì thế, phân tích và quản lý ngưỡng là một phần thiết yếu của việc đưa Machine Learning vào thực tế.