9.9 《1/10成本实现GPT-3.5级表现！ChatGLM3-6B QLoRA微调实战：4bit量化+低秩适配全解析》

1/10成本实现GPT-3.5级表现！ChatGLM3-6B QLoRA微调实战：4bit量化+低秩适配全解析

ChatGLM3-6B 微调入门实战：QLoRA 量化低秩适配技术

▲ ChatGLM3-6B采用GLM架构改进版，支持32K上下文长度和代码生成能力

一、QLoRA 技术原理精要

QLoRA（Quantized Low-Rank Adaptation）是当前大模型微调领域最前沿的技术方案，其核心技术突破体现在三方面：

1. 4-bit量化存储
   采用NormalFloat4（NF4）量化算法，将模型权重压缩至4-bit精度存储，相比FP16节省75%显存：

   model = AutoModelForCausalLM.from_pretrained(
       model_name, 
       load_in_4bit=