Rò rỉ dữ liệu trong Machine Learning: nhận diện và ngăn chặn từ lúc tạo tập huấn luyện

Một mô hình có điểm số rất cao chưa chắc đã thông minh. Đôi khi nguyên nhân là dữ liệu huấn luyện đã vô tình chứa thông tin chỉ xuất hiện sau thời điểm dự đoán. Hiện tượng này gọi là rò rỉ dữ liệu, và nó thường khiến mô hình thất bại khi đưa vào vận hành. ## Ba dạng rò rỉ thường gặp 1. Rò rỉ từ biến mục tiêu Một biến đầu vào có thể được tạo ra dựa trên nhãn cần dự đoán. Ví dụ, khi xây dựng mô hình dự đoán khách hàng rời bỏ dịch vụ, trường trạng thái đóng tài khoản hoặc số ngày kể từ lần hủy cuối cùng không được dùng nếu chúng chỉ xuất hiện sau khi khách hàng đã rời đi. 2. Rò rỉ do chia dữ liệu sai cách Với dữ liệu giao dịch theo thời gian, chia ngẫu nhiên toàn bộ bản ghi thành tập huấn luyện và kiểm thử có thể khiến các sự kiện tương lai lọt vào tập huấn luyện. Mô hình khi đó học được những mẫu không thể biết tại thời điểm dự đoán. Cách an toàn hơn là dùng dữ liệu cũ để huấn luyện và một khoảng thời gian mới hơn để kiểm thử. Dữ liệu có nhiều bản ghi của cùng một người, thiết bị hoặc công ty cũng cần chia theo nhóm. Nếu một khách hàng xuất hiện ở cả hai tập, mô hình có thể ghi nhớ đặc điểm cá nhân thay vì học quy luật tổng quát. 3. Rò rỉ trong bước tiền xử lý Chuẩn hóa, điền giá trị thiếu, chọn đặc trưng hoặc giảm chiều trên toàn bộ dữ liệu trước khi chia tập đều có thể làm thông tin của tập kiểm thử ảnh hưởng đến quá trình huấn luyện. Hãy chia dữ liệu trước, sau đó chỉ thực hiện việc học tham số tiền xử lý trên tập huấn luyện. Trong các thư viện phổ biến, nên đóng gói tiền xử lý và mô hình trong cùng một pipeline để giảm lỗi thao tác. ## Một quy trình kiểm tra thực tế Trước khi huấn luyện, hãy ghi rõ thời điểm mô hình tạo dự đoán và thời điểm từng trường dữ liệu trở nên khả dụng. Với mỗi đặc trưng, đặt câu hỏi: tại thời điểm ra quyết định, hệ thống có thật sự biết giá trị này không? Tiếp theo, xây dựng một bộ kiểm thử theo thời gian hoặc theo nhóm phù hợp với cách mô hình sẽ được sử dụng. So sánh kết quả giữa cách chia ngẫu nhiên và cách chia thực tế. Nếu điểm số giảm mạnh ở cách chia thực tế, đó là tín hiệu cần điều tra, không phải lý do để chọn điểm số cao hơn. Có thể thực hiện thêm các phép thử đơn giản: - Huấn luyện mô hình chỉ với một đặc trưng nghi ngờ. Nếu kết quả bất thường, hãy truy tìm nguồn tạo ra đặc trưng đó. - Xáo trộn nhãn hoặc thay thế các trường có khả năng chứa thông tin tương lai. Mô hình vẫn đạt điểm quá cao là dấu hiệu quy trình đánh giá có vấn đề. - Kiểm tra thời gian tạo, thời gian cập nhật và người tạo của từng trường dữ liệu, không chỉ kiểm tra tên cột. - So sánh phân phối dữ liệu giữa lúc huấn luyện và lúc suy luận để phát hiện các trường chỉ tồn tại trong dữ liệu lịch sử. ## Cách phòng ngừa lâu dài Tài liệu của mỗi đặc trưng nên ghi rõ định nghĩa, nguồn dữ liệu, thời điểm khả dụng và cách tính. Pipeline huấn luyện cần cố định quy tắc chia tập, đồng thời có kiểm thử tự động để phát hiện việc sử dụng cột bị cấm hoặc dữ liệu được cập nhật sau thời điểm dự đoán. Khi nghi ngờ có rò rỉ, đừng chỉ xóa một cột rồi huấn luyện lại. Hãy truy ngược toàn bộ lineage của nó: cột được tạo từ bảng nào, bảng đó cập nhật khi nào và có dùng nhãn tương lai hay không. Một mô hình có điểm số vừa phải nhưng đánh giá đúng thực tế luôn đáng tin cậy hơn mô hình đạt kết quả xuất sắc nhờ thông tin mà nó không thể có trong môi trường sản xuất.