1. 09:16 12/10/2026
Feature store là lớp trung gian giúp nhóm dữ liệu, huấn luyện và phục vụ mô hình chia sẻ đặc trưng (feature) một cách nhất quán. Dưới đây là quy trình 6 bước thực tế để xây dựng feature store có thể mở rộng.
1. Xác định yêu cầu nghiệp vụ và đặc trưng cốt lõi
- Phỏng vấn các stakeholder để liệt kê các tín hiệu quan trọng (ví dụ: lịch sử giao dịch, hành vi người dùng, thuộc tính sản phẩm).
- Phân loại đặc trưng thành batch (tính toán định kỳ) và real‑time (cập nhật theo sự kiện).
2. Thiết kế schema và versioning
- Sử dụng định dạng như Parquet hoặc Avro để lưu trữ đặc trưng cùng metadata (tên, phiên bản, thời gian tạo, chủ sở hữu).
- Áp dụng semantic versioning (v1.0, v1.1) để dễ dàng rollback khi phát hiện drift.
3. Xây dựng pipeline ingestion
- Batch: dùng Airflow hoặc Dagster để chạy job Spark/Flink hàng ngày, ghi vào data lake (S3, GCS) và đăng ký vào catalog (Hive Metastore, Unity Catalog).
- Real‑time: dùng Kafka + Flink/ksqlDB để tính toán feature on‑the‑fly và đẩy vào low‑latency store (Redis, Cassandra, hoặc online feature server như Feast).
4. Triển khai feature serving layer
- Online store phục vụ inference với latency < 10 ms.
- Offline store phục vụ training với khả năng point‑in‑time join chính xác.
- Cung cấp API gRPC/REST thống nhất cho cả hai chế độ.
5. Giám sát chất lượng và drift
- Tự động tính thống kê (missing rate, distribution shift) mỗi chu kỳ.
- Cảnh báo qua Prometheus/Grafana hoặc công cụ chuyên dụng (Evidently, WhyLogs).
6. Quản trị truy cập và tài liệu hóa
- RBAC theo nhóm (data engineer, ML engineer, analyst).
- Tự động sinh data dictionary từ metadata để giảm thiểu hiểu lầm.
Lời khuyên áp dụng ngay:
- Bắt đầu với một tập đặc trưng nhỏ, đo lường latency và độ chính xác trước khi mở rộng.
- Sử dụng feature store open‑source (Feast, Tecton) để tránh vendor lock‑in.
- Tích hợp CI/CD cho pipeline feature để mọi thay đổi schema đều được test tự động.