不用WSL也能在Windows上直接使用Unsloth微调大模型了！

python_知世

于 2025-03-12 10:43:11 发布

阅读量663

点赞数 19

文章标签： windows 人工智能大语言模型大模型技术 WSL Unsloth 大模型微调

本文链接：https://blog.youkuaiyun.com/zhishi0000/article/details/146198820

版权

Unsloth 现在可以在 Windows 上运行！🦥

无需 Linux 或 WSL，即可在 Windows 上本地微调 LLM。

注意现在不支持 Python 3.13，推荐使用 3.12、3.11 或 3.10。

1. 安装 NVIDIA 驱动程序

直接安装最新版本的 GPU 驱动程序。

https://www.nvidia.com/Download/index.aspx

2. 安装 Visual Studio C++

默认情况下，C++ 不会随 Visual Studio 一起安装，因此请确保选择所有 C++ 选项。还要选择适用于 Windows 10/11 SDK 的选项。

Visual Studio 社区版下载地址：

https://visualstudio.microsoft.com/vs/community/

在安装程序中，导航到各个组件并选择此处列出的所有选项：

.NET Framework 4.8 SDK
.NET Framework 4.7.2 目标包
C# 和 Visual Basic Roslyn 编译器
MSBuild
MSVC v143 - VS 2022 C++ x64/x86 构建工具
C++ 2022 可再发行更新
适用于 Windows 的 C++ CMake 工具
C++/CLI 支持 v143 构建工具（最新）
MSBuild 支持 LLVM (clang-cl) 工具集
适用于 Windows 的 C++ Clang 编译器 (19.1.1)
Windows 11 SDK (10.0.22621.0)
Windows 通用 CRT SDK
C++ 2022 可再发行 MSM

或者你可以按 Win + R 快捷键搜索 PowerShell，回车打开 PowerShell：

将下面的指令粘贴到 PowerShell 并运行（–installPath 填你的 Visual Studio 安装路径）：

"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vs_installer.exe" modify ^
--installPath "C:\Program Files\Microsoft Visual Studio\2022\Community" ^
--add Microsoft.Net.Component.4.8.SDK ^
--add Microsoft.Net.Component.4.7.2.TargetingPack ^
--add Microsoft.VisualStudio.Component.Roslyn.Compiler ^
--add Microsoft.Component.MSBuild ^
--add Microsoft.VisualStudio.Component.VC.Tools.x86.x64 ^
--add Microsoft.VisualStudio.Component.VC.Redist.14.Latest ^
--add Microsoft.VisualStudio.Component.VC.CMake.Project ^
--add Microsoft.VisualStudio.Component.VC.CLI.Support ^
--add Microsoft.VisualStudio.Component.VC.Llvm.Clang ^
--add Microsoft.VisualStudio.ComponentGroup.ClangCL ^
--add Microsoft.VisualStudio.Component.Windows11SDK.22621 ^
--add Microsoft.VisualStudio.Component.Windows10SDK.19041 ^
--add Microsoft.VisualStudio.Component.UniversalCRT.SDK ^
--add Microsoft.VisualStudio.Component.VC.Redist.MSM

3. 安装 Python 和 CUDA 工具包

按照说明安装 CUDA 工具包：

https://developer.nvidia.com/cuda-toolkit-archive

然后在此处安装 Miniconda：

https://www.anaconda.com/docs/getting-started/miniconda/install

4. 安装 PyTorch

安装 CUDA 驱动程序兼容的正确版本的 PyTorch：

https://pytorch.org/get-started/locally/

5. 安装 Unsloth

pip install "unsloth[windows] @ git+https://github.com/unslothai/unsloth.git"

如果你正在使用 GRPO 或计划使用 vLLM，目前 vLLM 不直接支持 Windows，而仅通过 WSL 或 Linux 支持。

注意

要在 Windows 上直接运行 Unsloth：

从下面的 Windows 分支安装 Triton 并按照此处的说明操作（请注意，Windows 分支需要 PyTorch >= 2.4 和 CUDA 12）

https://github.com/woct0rdho/triton-windows
在 SFTTrainer 中，设置 dataset_num_proc=1 以避免崩溃问题：

trainer = SFTTrainer(
dataset_num_proc=1,
...
)

如果你在安装过程中看到奇怪的错误：

安装 torch 和 triton。转到 https://pytorch.org 进行安装。例如 pip install torch torchvision torchaudio triton
确认 CUDA 是否安装正确。尝试 nvcc。如果失败，则需要安装 cudatoolkit 或 CUDA 驱动程序。
手动安装 xformers。你可以尝试安装 vllm 并查看 vllm 是否成功。使用 python -m xformers.info 检查 xformers 是否成功转到 https://github.com/facebookresearch/xformers。另一个选择是为 Ampere GPU 安装 flash-attn。
仔细检查你的 Python、CUDA、CUDNN、torch、triton 和 xformers 版本是否相互兼容。PyTorch 兼容性矩阵可能会有用。
最后，安装 bitsandbytes 并使用 python -m bitsandbytes 检查。