Trong nhiều bài toán Machine Learning, mô hình không chỉ cần dự đoán đúng nhãn mà còn phải cho biết mức độ chắc chắn của dự đoán. Một hệ thống phát hiện giao dịch đáng ngờ chẳng hạn có thể trả về xác suất 0,9. Con số này thường được hiểu là trong những trường hợp có cùng mức dự đoán, khoảng 90% sẽ thực sự là giao dịch gian lận. Nếu xác suất chỉ là một điểm số chưa được hiệu chỉnh, cách diễn giải đó có thể sai và dẫn đến quyết định vận hành không phù hợp. Hiệu chỉnh xác suất là quá trình làm cho xác suất dự đoán phản ánh sát hơn tần suất xảy ra thực tế. Mô hình có thể đạt độ chính xác tốt nhưng vẫn quá tự tin hoặc quá dè dặt. Điều này đặc biệt quan trọng khi sản phẩm dùng xác suất để xếp hàng xử lý, ước tính rủi ro, phân bổ nhân sự hoặc quyết định có cần con người kiểm tra hay không. Một quy trình thực tế có thể triển khai như sau: 1. Đo trước khi hiệu chỉnh Không nên chỉ nhìn vào accuracy hoặc F1-score. Hãy so sánh các nhóm dự đoán theo khoảng xác suất, chẳng hạn 0,0–0,1, 0,1–0,2 và tiếp tục như vậy. Với mỗi nhóm, tính tỷ lệ nhãn dương thực tế. Nếu nhóm dự đoán quanh 0,8 chỉ có tỷ lệ dương khoảng 0,55, mô hình đang quá tự tin. Có thể sử dụng reliability diagram để quan sát trực quan. Brier score cũng hữu ích vì đánh giá sai số giữa xác suất dự đoán và kết quả thực tế, nhưng cần đọc cùng các chỉ số khác thay vì xem đó là tiêu chuẩn duy nhất. 2. Tách riêng dữ liệu hiệu chỉnh Sau khi huấn luyện mô hình, dùng một tập dữ liệu độc lập để học cách biến đổi điểm số thành xác suất. Không nên hiệu chỉnh trên chính dữ liệu huấn luyện, vì mô hình có thể ghi nhớ dữ liệu và tạo ra đánh giá quá lạc quan. Với dữ liệu theo thời gian, tập hiệu chỉnh nên mô phỏng tình huống triển khai: dùng các mẫu xảy ra sau giai đoạn huấn luyện và trước giai đoạn kiểm thử. Hai phương pháp phổ biến là Platt scaling và isotonic regression. Platt scaling phù hợp khi cần một biến đổi đơn giản, ổn định. Isotonic regression linh hoạt hơn nhưng có thể dễ quá khớp nếu tập hiệu chỉnh nhỏ. Việc chọn phương pháp nên dựa trên dữ liệu và kiểm thử ngoài mẫu, không nên mặc định rằng phương pháp phức tạp hơn luôn tốt hơn. 3. Kiểm tra theo từng nhóm người dùng và bối cảnh Một xác suất có thể được hiệu chỉnh tốt trên toàn bộ dữ liệu nhưng lệch đáng kể ở một phân khúc nhỏ. Hãy kiểm tra theo loại sản phẩm, khu vực, thiết bị, thời điểm hoặc mức độ phổ biến của lớp mục tiêu. Nếu phân phối dữ liệu thay đổi, cần đánh giá lại vì quan hệ giữa điểm số và xác suất thực tế cũng có thể thay đổi. 4. Gắn xác suất với hành động cụ thể Đừng dừng ở việc tạo ra con số đẹp trên báo cáo. Hãy quy định rõ các khoảng xác suất sẽ dẫn đến hành động nào. Ví dụ, yêu cầu kiểm tra thủ công khi xác suất rủi ro nằm trong vùng chưa chắc chắn; tự động phê duyệt khi rủi ro thấp; và chuyển sang quy trình chuyên biệt khi rủi ro cao. Các ngưỡng này vẫn cần được đánh giá theo chi phí sai lầm, năng lực xử lý và mức độ ảnh hưởng đến người dùng. Sau khi đưa vào vận hành, nên theo dõi phân phối xác suất, tỷ lệ kết quả thực tế và độ trễ của nhãn. Vì nhãn thường xuất hiện muộn, hệ thống có thể cần một báo cáo định kỳ thay vì cảnh báo tức thời. Khi phát hiện mô hình trở nên quá tự tin hoặc quá dè dặt, có thể hiệu chỉnh lại trên dữ liệu mới mà chưa nhất thiết phải huấn luyện lại toàn bộ mô hình. Hiệu chỉnh xác suất không biến mô hình thành một hệ thống chắc chắn tuyệt đối. Nó chỉ giúp thông tin về mức độ tin cậy gần với thực tế hơn, từ đó làm cho các quyết định tự động minh bạch và dễ kiểm soát hơn. Đây là một bước nhỏ trong quy trình ML nhưng thường tạo khác biệt lớn khi mô hình phải hỗ trợ quyết định ngoài môi trường thử nghiệm.