在 Windows 中为语言模型和稳定扩散模型启用 CUDA 的 WSL2

在 Windows 中为语言模型和稳定扩散模型启用 CUDA 的 WSL2

在最近的技术发展中，使用图形处理单元（GPU）加速的计算已经成为许多机器学习和人工智能任务的标准。如果你在 Windows 操作系统上进行 AI 模型的开发和训练，并且希望充分利用 GPU 的性能，那么在启用 CUDA 的 Windows Subsystem for Linux 2 (WSL2) 中运行模型是一个很好的选择。本文将指导你在 Windows 中为语言模型（LLM）和稳定扩散模型设置支持 CUDA 的 WSL2，以便你可以在不牺牲性能的情况下进行 AI 工作。

1. 安装 WSL2 和 CUDA 支持

首先，你需要确保在 Windows 上安装了 WSL2，并且已经配置了一个适用于你的用例的 Linux 发行版。可以参考 Microsoft 的文档来完成这些步骤。

接下来，你需要在 WSL2 中安装 NVIDIA 驱动程序和 CUDA 工具包。打开 WSL2 终端，并按照以下步骤进行操作：

1.1 添加 NVIDIA 驱动程序源

sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/7fa2af80.pub
sudo sh