1. Tại sao cần quản lý prompt Khi mô hình ngôn ngữ lớn (LLM) được đưa vào sản xuất, prompt đóng vai trò giống như mã nguồn: một thay đổi nhỏ có thể làm thay đổi hoàn toàn hành vi của hệ thống. Nếu không có quy trình quản lý, nhóm dễ rơi vào tình trạng "prompt sprawl" – hàng trăm phiên bản prompt rải rác trong notebook, script hoặc file config, khiến việc tái hiện kết quả hay rollback gần như không thể. 2. Cấu trúc kho prompt (Prompt Registry) - Lưu trữ mỗi prompt như một bản ghi độc lập: id, phiên bản, mô tả mục đích, biến đầu vào (template variables), và metadata (tác giả, ngày tạo, tag). - Sử dụng định dạng JSON hoặc YAML để dễ dàng parse bởi pipeline CI/CD. - Ví dụ cấu trúc tối thiểu: { "id": "customer-support-v1", "version": 3, "template": "Bạn là trợ lý hỗ trợ khách hàng. Khách hỏi: {{question}}. Trả lời ngắn gọn, thân thiện.", "tags": ["support", "vi"], "author": "team-nlp", "created_at": "2024-01-15" } 3. Quy trình versioning và review - Mọi thay đổi prompt phải qua pull request, có ít nhất một reviewer am hiểu domain. - Tự động chạy bộ test đơn vị (unit test) trên tập dữ liệu golden set để đảm bảo không giảm hiệu năng. - Gắn tag semantic version (major.minor.patch) để dễ dàng rollback. 4. Thiết lập thử nghiệm A/B trong sản xuất - Chia traffic theo tỷ lệ (ví dụ 90/10) giữa prompt hiện tại (control) và prompt mới (treatment). - Đánh giá các chỉ số: latency, token usage, tỷ lệ phản hồi hợp lệ (valid response rate), và chỉ số nghiệp vụ (CSAT, conversion). - Sử dụng feature flag để bật/tắt nhanh mà không cần deploy lại code. 5. Giám sát, ghi log và lặp lại - Ghi log đầy đủ: prompt id, version, input hash, output, latency, error code. - Đặt alert khi tỷ lệ lỗi hoặc latency vượt ngưỡng. - Định kỳ (hàng tuần) review dashboard, chọn phiên bản tốt nhất để promote làm default. Lời khuyên thực tế - Bắt đầu nhỏ: chỉ quản lý 3‑5 prompt quan trọng nhất, sau đó mở rộng. - Tích hợp prompt registry vào CI/CD hiện có (GitHub Actions, GitLab CI) để tận dụng quy trình review đã quen. - Đừng quên versioning cho few‑shot examples – chúng cũng ảnh hưởng lớn đến kết quả. - Tài liệu hóa quy trình trong wiki nội bộ để thành viên mới dễ dàng onboarding.