## Giới thiệu Khi mô hình học máy được triển khai, hiệu suất thường giảm dần do sự thay đổi của dữ liệu đầu vào (data drift) hoặc mối quan hệ giữa đặc trưng và nhãn (concept drift). Việc phát hiện sớm các hiện tượng này giúp đội ngũ retrain kịp thời, tránh tổn thất doanh thu. ## Các thành phần cốt lõi - **Thu thập thống kê tham chiếu**: Lưu phân phối của từng feature (mean, std, histogram) trên tập huấn luyện. - **Cửa sổ trượt (sliding window)**: Tính toán cùng các thống kê trên dữ liệu sản xuất trong khoảng thời gian cố định (ví dụ 1 ngày, 1 tuần). - **Chỉ số phát hiện drift**: Sử dụng Population Stability Index (PSI), Kolmogorov‑Smirnov (KS) cho feature số; Chi‑square cho feature phân loại. - **Giám sát hiệu suất mô hình**: Theo dõi accuracy, F1, AUC theo thời gian thực thông qua nhãn ground‑truth (nếu có) hoặc proxy metrics. - **Cảnh báo tự động**: Cấu hình ngưỡng PSI > 0.2 hoặc KS p‑value < 0.05 để gửi alert qua Slack, PagerDuty. ## Quy trình triển khai thực tế 1. **Baseline pipeline**: Sau khi train xong, xuất file JSON chứa thống kê tham chiếu và lưu vào artifact store (MLflow, DVC). 2. **Streaming/ batch job**: Mỗi ngày chạy Spark/Flink job đọc log inference, tính toán thống kê cửa sổ, so sánh với baseline. 3. **Dashboard**: Vẽ biểu đồ PSI/KS theo thời gian trên Grafana hoặc Superset để team quan sát xu hướng. 4. **Retrain trigger**: Khi drift vượt ngưỡng, tự động kích hoạt pipeline CI/CD (Airflow, Kubeflow) để retrain với dữ liệu mới. 5. **Feedback loop**: Sau retrain, cập nhật baseline mới và lặp lại quy trình. ## Lời khuyên áp dụng ngay - Bắt đầu với tập feature quan trọng nhất (top‑10 theo importance) để giảm chi phí tính toán. - Log đầy đủ input features cùng prediction để có thể tái tạo phân phối sau này. - Kết hợp data drift với concept drift: nếu chỉ data drift mà performance ổn định, có thể chỉ cần cập nhật feature engineering thay vì full retrain. - Tự động hóa việc so sánh baseline bằng cách version hóa artifact (DVC) và dùng GitOps cho pipeline. Với cách tiếp cận này, nhóm MLOps có thể giữ mô hình luôn “sống” và tin cậy mà không cần can thiệp thủ công liên tục.