微调 2-Bit Qwen3 模型

QLoRA 是一种广泛采用的量化大型语言模型（LLMs）微调方法。该方法不更新完整模型，而是冻结基础模型的权重，并训练一个轻量级适配器——即插入自注意力和 MLP 层等关键组件中的少量额外参数。这种方案能以最小的内存和计算开销实现高效微调。

该技术最常与 bitsandbytes 的 4 位量化方案配合使用，实践证明其能产生稳定且精度尚可的结果。bitsandbytes 并非 QLoRA 的最佳选择：相比当前最先进的量化方法，它在精度和效率方面都存在不足。

得益于优化的 CUDA 内核，现代替代方案不仅能提供更高的精度，还能实现更快的微调。这些新技术还支持更低比特位的量化，包括 2 比特和 3 比特格式。尽管如此，低比特位模型的微调仍具挑战性。这类模型往往存在显著的精度下降问题，导致难以可靠训练。不过，仅微调适配器而非整个模型，可以作为一种针对性"修复"手段，同时提升模型在特定任务上的表现。

本文将探讨低比特位模型适配器微调的主要挑战。在极端压缩级别下，模型的初始精度可能低至无法恢复，或训练过程变得不稳定——即使微小的学习率也可能引发梯度爆炸。采用正确的适配器初始化方法（例如 EoRA）有助于缓解这些问题，既能加速收敛，又能提升最终性能。

我们将逐步演示如何在单块 24GB 显存的 RTX 4090 显卡上，使用 Transformers 和 TRL 为 2 比特 Qwen3-14B 模型微调 LoRA 适配器。

2-Bit LLMs 的 QLoRA 微调基础