在预算有限的 GPU 上微调 Meta 的 Llama 3.2 1B 和 3B 模型

Meta 在发布 Llama 3.2 Vision 的同时，还推出了全新的 10 亿参数和 30 亿参数模型。这些模型是通过蒸馏 Llama 3.1 80 亿参数模型而创建的，在其规模类别中展现出顶尖性能表现。更重要的是，这些紧凑型模型特别适合 GPU 资源有限的平价配置。例如 30 亿参数模型可装载在 8GB 显存的 GPU 上运行，而 10 亿参数版本仅需 4GB 显存即可部署。其小巧的体积甚至允许用户在 24GB 显存的消费级 GPU 上完成完整微调。

本文将首先回顾 Meta 开发 Llama 3.2 十亿和三十亿参数模型的技术路径，随后我们将针对 Llama 3.2 实现 QLoRA、LoRA 以及完整微调方案，通过对比这些微调方法的内存占用量，最终确定微调 Llama 3.2 十亿与三十亿参数模型所需的 GPU 配置需求。

Llama 3.2 1B 与 3B：Meta 为 Llama 3.1 8B 打造的迷你版？

为创建更小巧但性能强劲的 Llama 模型（特别是 1B 和 3B 版本），Meta 采用了两种关键技术：模型剪枝和知识蒸馏。这与 NVID