Retrieval-Augmented Generation, thường gọi là RAG, giúp mô hình ngôn ngữ lớn trả lời dựa trên tài liệu riêng thay vì chỉ dựa vào kiến thức đã học. Tuy nhiên, việc nối một mô hình với kho văn bản chưa đủ để tạo ra ứng dụng đáng tin cậy. Phần lớn lỗi thực tế xuất phát từ khâu tìm kiếm, xử lý tài liệu và kiểm soát câu trả lời. 1. Bắt đầu từ phạm vi câu hỏi Trước khi chọn vector database hay mô hình embedding, hãy liệt kê các loại câu hỏi người dùng thường đặt ra. Câu hỏi về quy trình nội bộ, tra cứu chính sách và so sánh nhiều tài liệu có thể cần cách truy xuất khác nhau. Nếu hệ thống không được thiết kế cho một phạm vi rõ ràng, việc đánh giá chất lượng sẽ trở nên mơ hồ. 2. Chia tài liệu theo ngữ nghĩa Chia văn bản thành các đoạn quá dài khiến kết quả tìm kiếm chứa nhiều nội dung thừa; chia quá ngắn lại làm mất ngữ cảnh. Một cách thực tế là ưu tiên ranh giới tự nhiên như tiêu đề, mục, đoạn văn hoặc bước trong quy trình. Mỗi đoạn nên giữ lại các thông tin nhận diện như tên tài liệu, phiên bản, ngày hiệu lực và quyền truy cập. Với tài liệu dạng bảng, biểu mẫu hoặc hướng dẫn nhiều bước, không nên chỉ chuyển toàn bộ nội dung thành văn bản phẳng. Có thể lưu thêm mô tả cấu trúc, tiêu đề cột và số thứ tự bước để hệ thống dễ truy xuất hơn. 3. Kết hợp nhiều phương pháp tìm kiếm Tìm kiếm ngữ nghĩa hữu ích khi câu hỏi dùng từ khác với tài liệu. Ngược lại, tìm kiếm theo từ khóa phù hợp với mã sản phẩm, tên chính sách hoặc số hiệu văn bản. Trong nhiều ứng dụng, nên kết hợp hai phương pháp, sau đó dùng mô hình reranker để sắp xếp lại các đoạn phù hợp nhất. Đừng mặc định rằng càng đưa nhiều đoạn vào prompt thì câu trả lời càng tốt. Hãy giới hạn số lượng kết quả, loại bỏ đoạn trùng lặp và ưu tiên thông tin có liên quan trực tiếp đến câu hỏi. 4. Buộc mô hình bám vào bằng chứng Prompt nên nêu rõ nguồn được phép sử dụng, cách xử lý khi không đủ thông tin và yêu cầu nêu mã tài liệu hoặc vị trí đoạn trích. Quan trọng hơn, ứng dụng cần cho phép mô hình từ chối trả lời khi không tìm thấy bằng chứng phù hợp. Một câu trả lời ngắn gọn rằng chưa đủ dữ liệu thường an toàn hơn một câu trả lời nghe hợp lý nhưng không có căn cứ. 5. Đánh giá cả truy xuất lẫn sinh câu trả lời Hãy xây dựng bộ câu hỏi đại diện, gồm câu hỏi dễ, câu hỏi nhiều bước, câu hỏi dùng từ đồng nghĩa và trường hợp không có đáp án trong kho tài liệu. Với mỗi câu hỏi, kiểm tra ít nhất ba điểm: - Đoạn tài liệu được truy xuất có chứa thông tin cần thiết không? - Câu trả lời có trung thành với đoạn tài liệu hay tự suy diễn thêm? - Nguồn được hiển thị có giúp người dùng kiểm tra lại không? Khi cập nhật cách chia đoạn, embedding hoặc prompt, chạy lại toàn bộ bộ kiểm thử để phát hiện thay đổi ngoài ý muốn. Có thể ghi nhận riêng lỗi truy xuất và lỗi diễn đạt, vì hai nhóm lỗi này cần cách sửa khác nhau. 6. Đừng bỏ qua quyền truy cập và dữ liệu cũ Nếu kho tài liệu có thông tin phân quyền, bộ lọc quyền phải được áp dụng trước hoặc trong quá trình truy xuất, không chỉ dựa vào lời nhắc dành cho mô hình. Đồng thời, tài liệu hết hiệu lực cần được gắn trạng thái hoặc loại khỏi kết quả mặc định. Đây là chi tiết vận hành nhưng có thể quyết định mức độ an toàn của toàn bộ hệ thống. Một RAG tốt không được đo bằng vài câu trả lời trình diễn. Nó cần quy trình quản lý tài liệu, kiểm thử truy xuất, cơ chế hiển thị bằng chứng và đường lui khi thiếu thông tin. Làm chắc từng lớp như vậy thường hiệu quả hơn việc chỉ thay đổi mô hình ngôn ngữ lớn.