如何在多 GPU 配置上运行 Unsloth：数据并行或模型并行

为了高效训练 LLMs，Unsloth 已成为首选库：它比大多数其他微调框架快得多，同时内存效率极高，尤其在处理长序列训练时表现突出。Unsloth 最初为单 GPU 训练设计。虽然框架开发者仍在完善对多 GPU 训练的优化支持，但目前已能启用多 GPU 训练功能——尽管明显尚未达到最佳优化状态。

在多 GPU 上微调 LLMs 看似简单，但若尝试将 Unsloth 与 Hugging Face 的 Accelerate 或 PyTorch 的 torchrun 结合使用，很可能会遭遇技术障碍。

让我们厘清概念，明确说明如何通过模型并行（将模型拆分到多个 GPU）或数据并行（在每个 GPU 上复制模型）来跨多 GPU 运行 Unsloth。这两种方式都可行。

陷阱：混用 device_map="balanced" 与 DDP

截至 2025 年 8 月 8 日，Unsloth 的文档存在些许令人困惑之处。当前文档建议：