Trong nhiều dự án Machine Learning, mọi người thường hào hứng với việc chọn thuật toán, tinh chỉnh mô hình hoặc thử các mô hình ngôn ngữ lớn. Nhưng trên thực tế, chất lượng pipeline dữ liệu mới là yếu tố quyết định mô hình có thể dùng ổn định hay không. Một mô hình tốt trên notebook nhưng nhận dữ liệu sai định dạng, thiếu cột hoặc lệch phân phối khi chạy thật thì vẫn có thể cho kết quả rất tệ. Pipeline dữ liệu là gì? Hiểu đơn giản, pipeline dữ liệu là chuỗi bước đưa dữ liệu từ nguồn ban đầu đến dạng sẵn sàng cho mô hình. Chuỗi này có thể gồm: thu thập dữ liệu, làm sạch, chuẩn hóa, tạo đặc trưng, chia tập train/test, lưu phiên bản dữ liệu và kiểm tra chất lượng trước khi huấn luyện hoặc suy luận. Ví dụ thực tế: dự đoán khách hàng có rời bỏ dịch vụ hay không Giả sử bạn xây dựng mô hình dự đoán churn cho một ứng dụng thuê bao. Dữ liệu có thể đến từ nhiều nguồn: - Bảng thông tin người dùng: ngày đăng ký, gói dịch vụ, khu vực. - Bảng hành vi: số lần đăng nhập, số tính năng đã dùng, thời gian sử dụng gần nhất. - Bảng thanh toán: số lần trễ hạn, phương thức thanh toán, lịch sử gia hạn. Nếu chỉ nối các bảng này một lần trong notebook, mô hình có thể chạy được ở giai đoạn thử nghiệm. Nhưng khi đưa vào vận hành, câu hỏi quan trọng là: mỗi ngày dữ liệu được lấy như thế nào, có thiếu bản ghi không, các cột có còn cùng ý nghĩa không, dữ liệu hành vi có bị trễ cập nhật không? Những lỗi pipeline dữ liệu thường gặp 1. Xử lý train và inference không giống nhau Một lỗi phổ biến là khi huấn luyện, bạn chuẩn hóa dữ liệu theo một cách; khi triển khai, dữ liệu đầu vào lại được xử lý bằng đoạn code khác. Ví dụ, lúc train bạn biến đổi cột “gói dịch vụ” bằng one-hot encoding với các giá trị A, B, C. Sau đó hệ thống thật xuất hiện thêm gói D, khiến mô hình không biết xử lý ra sao. Lời khuyên: hãy đóng gói bước tiền xử lý thành một thành phần dùng chung cho cả huấn luyện và suy luận. Với scikit-learn, có thể dùng Pipeline hoặc ColumnTransformer. Với hệ thống lớn hơn, nên tách rõ module xử lý dữ liệu và có kiểm thử riêng. 2. Không kiểm tra schema dữ liệu Schema là cấu trúc dữ liệu: tên cột, kiểu dữ liệu, phạm vi giá trị, tỷ lệ thiếu, quy ước đơn vị. Nếu cột “age” đột nhiên chuyển từ số sang chuỗi, hoặc cột “amount” đổi từ VND sang nghìn VND, mô hình có thể vẫn chạy nhưng kết quả sai lệch. Lời khuyên: trước khi train hoặc predict, nên có bước kiểm tra dữ liệu. Tối thiểu hãy kiểm tra: cột bắt buộc có tồn tại không, kiểu dữ liệu có đúng không, tỷ lệ giá trị thiếu có vượt ngưỡng không, các giá trị phân loại có nằm trong danh sách chấp nhận được không. 3. Không lưu phiên bản dữ liệu Khi mô hình tháng này tốt hơn tháng trước, bạn cần biết nó được huấn luyện trên dữ liệu nào, trong khoảng thời gian nào, với cách xử lý nào. Nếu không lưu phiên bản, rất khó tái lập kết quả hoặc điều tra khi mô hình gặp lỗi. Lời khuyên: luôn ghi lại ít nhất các thông tin: thời gian trích xuất dữ liệu, câu truy vấn hoặc logic tạo dữ liệu, phiên bản code tiền xử lý, danh sách đặc trưng, tham số chia train/validation/test. Không nhất thiết phải có hệ thống phức tạp ngay từ đầu; một file cấu hình rõ ràng và quy ước lưu thư mục tốt đã giúp ích rất nhiều. 4. Bỏ qua dữ liệu bị lệch theo thời gian Trong nhiều bài toán thực tế, dữ liệu thay đổi theo mùa, chiến dịch marketing, hành vi người dùng hoặc chính sách sản phẩm. Nếu chia train/test ngẫu nhiên, bạn có thể đánh giá quá lạc quan. Ví dụ, mô hình dự đoán nhu cầu mua hàng được train và test trộn lẫn dữ liệu trước và sau một chương trình khuyến mãi lớn sẽ không phản ánh đúng tình huống tương lai. Lời khuyên: với dữ liệu có yếu tố thời gian, hãy cân nhắc chia tập theo mốc thời gian. Train trên quá khứ, validation trên giai đoạn gần hơn, test trên giai đoạn mới nhất. Cách này thường sát thực tế hơn. Một pipeline dữ liệu tối thiểu nên có gì? Nếu bạn đang bắt đầu một dự án ML nhỏ, có thể xây dựng pipeline theo cấu trúc sau: - Bước 1: Lấy dữ liệu thô từ nguồn chính thức. - Bước 2: Kiểm tra schema và các điều kiện chất lượng cơ bản. - Bước 3: Làm sạch dữ liệu: xử lý thiếu, loại bản ghi bất thường, chuẩn hóa kiểu dữ liệu. - Bước 4: Tạo đặc trưng theo logic rõ ràng, có thể tái sử dụng. - Bước 5: Chia dữ liệu train/validation/test một cách có chủ đích. - Bước 6: Lưu dữ liệu đã xử lý kèm thông tin phiên bản. - Bước 7: Dùng cùng logic tiền xử lý khi mô hình chạy inference. Kết luận Một pipeline dữ liệu tốt không nhất thiết phải phức tạp, nhưng phải rõ ràng, kiểm soát được và có khả năng lặp lại. Khi dự án còn nhỏ, việc ghi chép cẩn thận và kiểm tra dữ liệu đơn giản đã tạo ra khác biệt lớn. Khi dự án lớn hơn, bạn có thể bổ sung công cụ tự động hóa, kiểm thử dữ liệu và giám sát dữ liệu đầu vào. Trong Machine Learning, mô hình chỉ là một phần của hệ thống. Nếu dữ liệu đi vào không đáng tin cậy, đầu ra cũng khó đáng tin cậy. Vì vậy, trước khi dành thêm nhiều giờ để thử thuật toán mới, hãy kiểm tra lại pipeline dữ liệu của bạn: nó có ổn định, nhất quán và tái lập được không?