Khi bắt đầu xây dựng ứng dụng dựa trên mô hình ngôn ngữ lớn, nhiều người thường tập trung vào việc chọn mô hình, tinh chỉnh prompt hay tối ưu chi phí. Nhưng có một thứ quan trọng hơn và thường bị bỏ qua: bộ dữ liệu đánh giá của chính bạn. Không có nó, bạn gần như đang bay trong sương mù. Vì sao cần bộ dữ liệu đánh giá riêng? Các benchmark công khai như MMLU hay HumanEval chỉ đo năng lực tổng quát của mô hình, không phản ánh đúng bài toán thực tế của bạn. Một mô hình trả lời xuất sắc câu hỏi tri thức tổng hợp có thể vẫn thất bại với dữ liệu nội bộ, thuật ngữ chuyên ngành hay định dạng đầu ra riêng. Bộ dữ liệu đánh giá riêng giúp bạn trả lời ba câu hỏi: mô hình có làm đúng việc được giao không, có lỗi hồi quy sau mỗi lần thay đổi không, và phiên bản nào thực sự tốt hơn. Cách xây dựng hiệu quả Bắt đầu nhỏ nhưng có chủ đích. Hãy thu thập từ 50 đến 100 mẫu đầu tiên từ chính dữ liệu thực tế của người dùng, không phải mẫu do bạn tự nghĩ ra. Ghi chép lại hội thoại thực, câu hỏi khó, trường hợp biên. Mỗi mẫu cần có đầu vào rõ ràng và đầu ra mong muốn. Nếu bạn chưa chắc đầu ra đúng là gì, hãy nhờ đồng nghiệp hoặc chuyên gia trong lĩnh vực góp ý. Phân loại mẫu theo độ khó và loại lỗi. Ví dụ, một nhóm mẫu kiểm tra khả năng trích xuất thông tin đúng từ tài liệu, nhóm khác kiểm tra việc tuân thủ định dạng JSON, nhóm khác nữa kiểm tra thái độ khi gặp câu hỏi ngoài phạm vi. Việc phân loại này giúp bạn biết chính xác mô hình yếu ở đâu thay vì chỉ biết điểm tổng. Đừng quên cập nhật định kỳ. Dữ liệu thực tế thay đổi, lỗi mới xuất hiện. Mỗi khi phát hiện một lỗi nghiêm trọng trong sản phẩm, hãy thêm nó vào bộ đánh giá ngay. Đây là cách tốt nhất để ngăn lỗi đó tái diễn trong tương lai. Lời khuyên áp dụng thực tế Thứ nhất, đừng cố xây bộ dữ liệu hoàn hảo ngay từ đầu. Một bộ 30 mẫu tốt còn giá trị hơn 300 mẫu cẩu thả. Thứ hai, kết hợp đánh giá tự động bằng script với đánh giá thủ công của con người. Script nhanh nhưng không bắt được sắc thái; con người chậm nhưng hiểu ngữ cảnh. Thứ ba, lưu lại lịch sử điểm số theo từng phiên bản mô hình và prompt để nhìn thấy xu hướng tiến bộ hoặc suy giảm. Cuối cùng, hãy coi bộ dữ liệu đánh giá như một sản phẩm thực sự, có chủ sở hữu, có quy trình cập nhật, có tiêu chuẩn chất lượng. Nó không phải việc làm một lần rồi thôi. Đầu tư vào nó chính là đầu tư vào sự tin cậy của toàn bộ ứng dụng AI của bạn. Khi mọi thứ thay đổi nhanh như hiện nay, thứ duy nhất giúp bạn giữ vững phương hướng chính là khả năng đo lường trung thực và liên tục.