## 1. Tại sao chọn LoRA? Low‑Rank Adaptation (LoRA) cho phép điều chỉnh mô hình ngôn ngữ lớn (LLM) chỉ bằng cách huấn luyện một tập hợp ma trận thấp cấp, giảm đáng kể bộ nhớ GPU và thời gian train so với full‑fine‑tune. Với GPU tiêu dùng (RTX 3060 12 GB, RTX 4060 8 GB…) bạn vẫn có thể chạy các mô hình 7B‑13B nếu kết hợp quantization 4‑bit và gradient checkpointing. ## 2. Chuẩn bị môi trường - **Python 3.10+**, cài đặt `torch`, `transformers`, `peft`, `bitsandbytes`, `accelerate`. - Sử dụng `conda` hoặc `venv` để cô lập phụ thuộc. - Kiểm tra driver CUDA khớp với phiên bản PyTorch (`nvidia-smi`). ## 3. Tải mô hình và áp dụng quantization ```python from transformers import AutoModelForCausalLM, AutoTokenizer import bitsandbytes as bnb model_id = "meta-llama/Llama-2-7b-hf" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained( model_id, load_in_4bit=True, device_map="auto", quantization_config=bnb.BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_compute_dtype=torch.float16 ) ) ``` Quantization 4‑bit giảm VRAM từ ~14 GB xuống ~5 GB cho Llama‑2‑7B. ## 4. Cấu hình LoRA ```python from peft import LoraConfig, get_peft_model lora_cfg = LoraConfig( r=8, # rank thấp lora_alpha=16, target_modules=["q_proj", "v_proj"], lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, lora_cfg) model.print_trainable_parameters() ``` Chỉ ~0.5 % tham số được train, phù hợp GPU 8‑12 GB. ## 5. Huấn luyện với gradient accumulation & mixed precision - **Batch size** = 1 (do VRAM hạn chế). - **Gradient accumulation steps** = 8‑16 để mô phỏng batch lớn hơn. - Bật `fp16` hoặc `bf16` (nếu GPU hỗ trợ) trong `TrainingArguments`. - Sử dụng `gradient_checkpointing=True` để tiết kiệm activation memory. ## 6. Lưu và triển khai - Chỉ lưu adapter (`model.save_pretrained("./lora-adapter")`). - Khi inference, load base model 4‑bit rồi `PeftModel.from_pretrained(base, "./lora-adapter")`. - Kết hợp với `vLLM` hoặc `text-generation-inference` để serving tốc độ cao. ## 7. Mẹo thực chiến - **Learning rate**: 1e‑4 – 3e‑4 cho LoRA, dùng scheduler cosine với warmup 0.03. - **Early stopping** dựa trên validation loss để tránh overfit trên dataset nhỏ. - **Data cleaning**: loại bỏ mẫu trùng lặp, quá ngắn hoặc chứa PII trước khi train. - **Logging**: tích hợp `wandb` hoặc `tensorboard` để theo dõi loss, GPU memory, throughput. - **Test nhanh**: sau mỗi epoch, sinh vài câu với `temperature=0.7` để kiểm tra chất lượng ngôn ngữ. ## 8. Kết luận LoRA + quantization 4‑bit + gradient accumulation biến GPU tiêu dùng thành máy chủ fine‑tune LLM khả thi. Quy trình trên đã được áp dụng thành công trên nhiều dự án nội bộ (chatbot hỗ trợ, tóm tắt tài liệu) với chi phí phần cứng thấp và thời gian triển khai chỉ vài giờ. Hãy thử áp dụng ngay hôm nay và điều chỉnh hyper‑parameter cho phù hợp dữ liệu của bạn.