Unsloth：让GPT-OSS、DeepSeek等大模型训练提速2倍且显存占用骤降70%的革命性工具
项目地址: https://ai.gitcode.com/hf_mirrors/unsloth/gemma-3-270m-unsloth-bnb-4bit 在人工智能大模型训练领域，开发者们长期面临着训练速度慢、显存占用高的痛点。而现在，一款名为Unsloth的工具横空出世，它能够让GPT-OSS、DeepSeek、Gemma、Qwen以及Llama等主流大模型的训练速度提升2倍，同时显存占用减少70%，为大模型训练带来了新的曙光。
如上图所示，这是Unsloth的品牌logo，绿色圆形背景给人一种充满活力的感觉，卡通树懒形象则巧妙地暗示了该工具虽然名字中有“sloth”（树懒），但实际功能却能让模型训练“快”起来，黑色的“unsloth”文字清晰明了。这一品牌标识充分体现了Unsloth在大模型训练工具领域的独特定位，为广大开发者提供了一种高效、便捷的模型训练解决方案的直观印象。
Unsloth提供的免费训练笔记本对初学者极为友好。开发者只需阅读相应的指南，添加数据集，运行程序，随后就能将训练好的模型导出为GGUF、Ollama、vLLM或Hugging Face等多种格式，整个流程简单易懂，大大降低了大模型训练的门槛。
以Gemma 3（270M）模型为例，通过Unsloth进行训练，不仅能实现1.7倍的训练加速，还能减少60%的显存使用，性能表现十分出色。除了Gemma 3，Unsloth还为Kaggle、GRPO、TTS以及Vision等多种场景和任务提供了丰富的笔记本，同时也支持众多模型，开发者可以根据自己的需求选择合适的模型和笔记本进行训练。
对于不同的操作系统和硬件环境，Unsloth都提供了便捷的安装方式。在Linux或WSL系统下，只需执行“pip install unsloth”命令即可完成安装。而Windows系统用户，若已安装Pytorch，同样可以通过“pip install unsloth”进行安装，具体可参考Unsloth的Windows指南。此外，Unsloth还提供了官方的Docker镜像“unsloth/unsloth container”，方便开发者在Docker环境中使用，相关细节可查阅Docker指南。针对RTX 50x、B200、6000等系列GPU，如Blackwell和DGX Spark，也只需执行“pip install unsloth”，并参考对应的Blackwell Guide和DGX Spark Guide获取更多详细信息。
Unsloth在不断发展壮大，近期也有不少重要的新闻动态。Google推出的Gemma 3n模型，Unsloth已上传了对应的GGUFs和4-bit模型。同时，Unsloth现在已支持文本转语音（TTS）功能，包括sesame/csm-1b和STT openai/whisper-large-v3等模型。更值得一提的是，Unsloth如今也开始支持视觉模型了，像Llama 3.2 Vision（11B）、Qwen 2.5 VL（7B）以及Pixtral（12B）2409等主流视觉模型都能在Unsloth上顺畅运行。
Unsloth之所以能在大模型训练领域脱颖而出，得益于其强大的关键特性。它支持全量微调、预训练，以及4位、16位和8位训练，能满足不同场景下的训练需求。而且，Unsloth的兼容性极强，支持包括TTS、多模态、BERT等在内的所有模型，任何能在transformers中运行的模型，都能在Unsloth中正常工作。在强化学习（RL）方面，Unsloth是最高效的库之一，能减少80%的显存占用，并且支持GRPO、GSPO、DrGRPO、DAPO等多种算法。最令人称道的是，Unsloth在实现高效训练的同时，保证了0%的精度损失，不采用任何近似方法，所有计算都是精确的。此外，Unsloth还支持NVIDIA（2018年以来的型号）、AMD和Intel的GPU，最低要求CUDA Capability 7.0（如V100、T4、Titan V、RTX 20、30、40x、A100、H100、L40等），并且能在Linux、WSL和Windows系统上运行。其所有内核均采用OpenAI的Triton语言编写，并配备了手动反向传播引擎，确保了训练的高效与稳定。
为了方便开发者更好地使用Unsloth，官方提供了详尽的文档和丰富的资源。开发者可以阅读文档和Wiki来深入了解Unsloth的功能和使用方法，通过Pip和Docker进行安装，在Unsloth Catalog中浏览各种模型，还能阅读博客获取最新的动态和技术分享。
综上所述，Unsloth凭借其显著的训练加速效果、极低的显存占用、广泛的模型支持以及便捷的使用方式，为大模型训练领域带来了革命性的变化。它不仅解决了开发者在模型训练过程中的速度和显存难题，还降低了大模型训练的门槛，让更多开发者能够参与到大模型的研发和应用中来。未来，随着Unsloth的不断迭代和优化，相信它将在大模型训练领域发挥更加重要的作用，推动人工智能技术的进一步发展和普及。开发者们不妨尝试使用Unsloth，体验高效、便捷的大模型训练之旅。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
