1. Tổng quan Khi đưa mô hình ngôn ngữ lớn (LLM) vào sản xuất, độ trễ và chi phí inference thường là rào cản lớn. Hai kỹ thuật phổ biến giúp giải quyết vấn đề này là quantization (lượng tử hóa) và speculative decoding (giải mã suy đoán). Bài viết này tóm tắt quy trình áp dụng chúng trên GPU tiêu dùng và CPU, kèm theo các lưu ý thực tế. 2. Các kỹ thuật chính - Quantization: chuyển đổi trọng số từ FP16/BF16 sang INT8 hoặc INT4. Giảm dung lượng mô hình 2‑4 lần và tăng throughput nhờ tính toán nguyên số nhanh hơn. - Speculative Decoding: sử dụng một mô hình nhỏ (draft model) để dự đoán nhiều token tiếp theo, sau đó mô hình lớn (target model) xác nhận hoặc sửa đổi. Giảm số lần forward pass của mô hình lớn. - Kết hợp cả hai: quantize cả draft và target model để tối ưu hóa bộ nhớ và tốc độ đồng thời. 3. Quy trình thực hiện - Bước 1: Chuẩn bị mô hình gốc (ví dụ LLaMA‑2‑7B) và draft model (ví dụ LLaMA‑2‑700M). - Bước 2: Áp dụng post‑training quantization với GPTQ hoặc AWQ cho target model; dùng bitsandbytes để quantize draft model sang INT8. - Bước 3: Cài đặt thư viện hỗ trợ speculative decoding như Hugging Face Text Generation Inference (TGI) hoặc vLLM với chế độ "speculative". - Bước 4: Chạy benchmark: đo latency trung bình, throughput (token/giây) và chất lượng sinh (perplexity, human eval). - Bước 5: Điều chỉnh số token draft (num_speculative_tokens) và ngưỡng chấp nhận (acceptance threshold) để cân bằng tốc độ và chất lượng. 4. Lưu ý và best practices - Kiểm tra degradation chất lượng sau quantization; nếu giảm quá nhiều, thử quantization‑aware training (QAT) hoặc giữ layer quan trọng ở FP16. - Draft model nên có kiến trúc tương tự target model để tỷ lệ chấp nhận cao. - Trên CPU, ưu tiên INT4 quantization và giảm batch size để tránh OOM. - Giám sát GPU memory usage và temperature khi chạy liên tục; cấu hình auto‑scaling cho inference service. - Lưu lại cấu hình quantization và speculative parameters trong model card để tái hiện dễ dàng. Kết luận: Kết hợp quantization và speculative decoding có thể giảm latency 2‑3 lần mà vẫn giữ chất lượng sinh gần như không đổi, phù hợp cho các ứng dụng real‑time như chatbot, code assistant hay tóm tắt văn bản.