Trong nhiều dự án Machine Learning, chúng ta không chỉ cần mô hình dự đoán đúng nhãn, mà còn cần biết mô hình tự tin đến mức nào. Ví dụ: hệ thống phát hiện giao dịch gian lận trả về xác suất 0.92, bộ phân loại email báo một thư có 0.80 khả năng là spam, hoặc mô hình chấm điểm khách hàng dự đoán 0.65 khả năng rời bỏ dịch vụ. Những con số này rất dễ được hiểu là “xác suất thật”. Nhưng trong thực tế, điểm số mà mô hình trả về không phải lúc nào cũng được hiệu chỉnh tốt. Một mô hình có thể đạt accuracy cao nhưng vẫn quá tự tin. Chẳng hạn, trong 1.000 trường hợp mà mô hình dự đoán xác suất 90%, nếu chỉ khoảng 700 trường hợp thật sự đúng, thì xác suất 90% đó đang gây hiểu nhầm. Khi dùng các điểm số này để ra quyết định kinh doanh, thiết kế fallback, ưu tiên kiểm duyệt thủ công hoặc cảnh báo rủi ro, việc xác suất bị lệch có thể dẫn đến chi phí rất lớn. Hiệu chỉnh xác suất là gì? Hiệu chỉnh xác suất, hay calibration, là quá trình làm cho xác suất dự đoán của mô hình phản ánh gần hơn với tần suất đúng trong thực tế. Nói đơn giản: nếu mô hình nói “nhóm này có xác suất 80%”, thì trong dài hạn, khoảng 80% mẫu thuộc nhóm đó nên thật sự đúng. Calibration không nhất thiết làm mô hình phân loại nhiều trường hợp đúng hơn. Nó giúp điểm tin cậy trở nên đáng dùng hơn. Đây là điểm rất quan trọng: một mô hình có AUC tốt vẫn có thể calibration kém; ngược lại, một mô hình được calibration tốt chưa chắc có độ chính xác phân loại cao nhất. Ví dụ thực tế: duyệt đơn vay Giả sử bạn xây dựng mô hình dự đoán rủi ro vỡ nợ cho hồ sơ vay. Mô hình trả về điểm rủi ro từ 0 đến 1. Đội vận hành đặt quy tắc: - Rủi ro dưới 0.30: duyệt tự động. - Rủi ro từ 0.30 đến 0.70: chuyển nhân viên thẩm định. - Rủi ro trên 0.70: từ chối hoặc yêu cầu thêm giấy tờ. Nếu mô hình thường xuyên đánh giá quá thấp rủi ro, nhiều hồ sơ nguy hiểm sẽ được duyệt tự động. Nếu mô hình quá tự tin theo hướng ngược lại, nhiều khách hàng tốt bị làm khó, gây mất doanh thu và trải nghiệm xấu. Trong trường hợp này, calibration ảnh hưởng trực tiếp đến chính sách vận hành, không chỉ là chỉ số kỹ thuật. Cách kiểm tra mô hình có được hiệu chỉnh tốt không Một cách trực quan là chia các dự đoán thành nhiều nhóm theo xác suất. Ví dụ: 0.0–0.1, 0.1–0.2, ..., 0.9–1.0. Với mỗi nhóm, so sánh: - Xác suất trung bình mô hình dự đoán. - Tỷ lệ đúng thực tế trong nhóm đó. Nếu nhóm có xác suất trung bình 0.8 nhưng tỷ lệ đúng thực tế chỉ 0.6, mô hình đang quá tự tin. Nếu nhóm 0.8 nhưng tỷ lệ đúng thực tế là 0.9, mô hình đang quá dè dặt. Biểu đồ thường dùng cho việc này là reliability diagram. Ngoài ra, có thể theo dõi các chỉ số như Brier score hoặc log loss. Tuy nhiên, đừng chỉ nhìn một con số tổng hợp. Với ứng dụng thực tế, nên kiểm tra riêng các vùng quyết định quan trọng, ví dụ vùng quanh ngưỡng 0.7 nếu đó là ngưỡng từ chối hồ sơ. Một số phương pháp hiệu chỉnh phổ biến 1. Platt scaling Phương pháp này học một hàm logistic để biến điểm đầu ra của mô hình thành xác suất hợp lý hơn. Nó thường phù hợp khi tập validation không quá lớn và mô hình có xu hướng lệch theo một dạng tương đối đơn giản. 2. Isotonic regression Đây là phương pháp linh hoạt hơn, không giả định dạng đường cong cụ thể. Nó có thể hiệu chỉnh tốt khi có đủ dữ liệu validation, nhưng dễ overfit nếu dữ liệu ít. 3. Temperature scaling Phương pháp này hay được nhắc đến trong deep learning, đặc biệt với bài toán phân loại nhiều lớp. Nó điều chỉnh độ “sắc” của phân phối xác suất softmax. Khi mô hình quá tự tin, temperature scaling có thể làm xác suất bớt cực đoan hơn. Lưu ý quan trọng: dữ liệu dùng để hiệu chỉnh nên tách khỏi dữ liệu train. Nếu dùng lại tập train để calibration, bạn có thể có cảm giác xác suất rất đẹp nhưng khi ra thực tế lại lệch. Calibration trong ứng dụng LLM có liên quan không? Có, nhưng cần cẩn thận. Với mô hình ngôn ngữ lớn, “độ tự tin” không luôn được trả về dưới dạng xác suất đáng diễn giải. Việc mô hình nói “tôi chắc chắn” không có nghĩa là nó thật sự đúng. Nếu xây dựng ứng dụng hỏi đáp, phân loại ý định, trích xuất thông tin hoặc agent ra quyết định, bạn nên thiết kế điểm tin cậy ở tầng hệ thống thay vì chỉ tin vào lời tự đánh giá của mô hình. Ví dụ, điểm tin cậy có thể kết hợp từ nhiều tín hiệu: - Kết quả truy xuất tài liệu có đủ gần và đủ liên quan không. - Câu trả lời có trích được bằng chứng từ nguồn nội bộ không. - Nhiều lần chạy hoặc nhiều mô hình có đồng thuận không. - Bộ kiểm tra quy tắc có phát hiện thiếu trường, sai định dạng hoặc mâu thuẫn không. - Câu hỏi có nằm ngoài phạm vi hỗ trợ đã định nghĩa không. Sau đó, hệ thống có thể đặt ngưỡng để quyết định: trả lời tự động, hỏi lại người dùng, chuyển nhân viên xử lý, hoặc từ chối trả lời. Lời khuyên khi áp dụng vào dự án - Đừng xem điểm xác suất mặc định của mô hình là sự thật. Hãy kiểm tra calibration trước khi dùng nó cho quyết định quan trọng. - Luôn giữ một tập validation hoặc calibration riêng, phản ánh dữ liệu thực tế càng tốt càng tốt. - Đánh giá theo từng phân khúc quan trọng: khách hàng mới/cũ, khu vực, loại sản phẩm, nguồn dữ liệu, thiết bị, kênh tiếp nhận. - Kiểm tra calibration định kỳ sau khi triển khai, vì phân phối dữ liệu có thể thay đổi theo mùa vụ, chiến dịch marketing hoặc hành vi người dùng. - Khi đặt ngưỡng hành động, hãy tính đến chi phí sai lầm. Sai dương và sai âm thường không có giá như nhau. - Với LLM, đừng chỉ hỏi mô hình “bạn có chắc không?”. Hãy xây dựng cơ chế đánh giá độc lập ở tầng ứng dụng. Kết luận Một mô hình tốt không chỉ cần dự đoán đúng, mà còn cần biết “mình chắc đến đâu” một cách đáng tin. Calibration giúp biến điểm số của mô hình thành tín hiệu hữu ích cho vận hành: khi nào tự động hóa, khi nào cần con người kiểm tra, khi nào nên hỏi thêm thông tin. Trong các hệ thống AI thực tế, đây là bước không hào nhoáng nhưng rất đáng làm, đặc biệt khi dự đoán của mô hình ảnh hưởng đến tiền bạc, rủi ro hoặc trải nghiệm người dùng.