Windows系统配置LLamaFactory大模型微调环境_windows离线部署llamafactory-优快云博客

Windows系统配置微调环境

一、Windows系统配置微调环境的建议

优先选择Linux系统进行相关操作，因为企业中多使用Linux系统，Windows系统存在安装环境差异大、版本冲突和路径配置繁琐等问题。若只有Windows系统，可选择租赁服务器进行微调尝试。

二、租赁服务器及登录操作

服务器租赁平台使用：可通过https://www.compshare.cn/ 进入租赁平台，无账号时进行普通注册，按要求填写邮箱、手机号获取验证码完成注册，注册后需在邮箱完成绑定。实名认证通过微信扫脸完成，认证后可进行服务器租赁。
创建实例：登录平台后，在创建实例时，镜像选择Windows系统，根据需求选择磁盘大小（如200g，每小时100g约五分钱）。计费方式有包时和按量计费两种，包时关机仍扣费，需手动删除资源才停止计费；按量计费需预充100元，但关机不扣费。新注册实名制用户有20元体验金。
登录方式
- 直接登录：创建实例后，记住密码和用户名。点击登录，粘贴认证密码和用户名即可进入Windows系统界面。
- VNC登录：若选择VNC登录，可能遇到屏幕锁住或黑屏问题，可通过点击重启按钮（或在平台界面操作）解决，重启后输入密码可进入系统。
- 远程连接（适用于性能较弱电脑）：对于Windows系统，按Win+R键，输入“mstsc”打开远程连接窗口，输入服务器外部IP，点击确认。若无法连接，点击“更多选项”，输入默认用户名和密码后连接。对于Mac电脑，通过专门的Windows APP远程链接地址下载安装包，安装完成后打开APP，添加电脑并输入远程IP，双击新建项，输入默认用户名和密码后连接。

三、安装LLama_factory及相关配置

创建conda环境：默认已安装conda，打开conda界面（如Anaconda Prompt），创建名为“llama_factory”（或其他自定义名称，如“ll5” ）的环境，指定Python版本为3.11，命令为“conda create -n llama_factory python=3.11” 。创建完成后，使用“conda activate llama_factory”（或对应环境名）激活环境。
下载LLama_factory：从LLama_factory的GitHub页面下载，可指定下载路径（如在download文件夹下创建“muyan”文件夹），下载后解压并可根据习惯重命名。
安装PyTorch及相关包：在激活的conda环境中，安装PyTorch及其相关包，推荐安装版本为“pytorch2.4.0 torchvision0.19.0 torchaudio2.4.0 pytorch - cuda=12.1”，安装命令为“conda install pytorch2.4.0 torchvision0.19.0 torchaudio2.4.0 pytorch - cuda=12.1 -c pytorch -c nvidia” 。安装完成后，通过“python -c “import torch; print(torch.cuda.is_available())””命令验证是否成功安装GPU版本的PyTorch。若安装出现异常，可能是CUDA版本或驱动问题。
解决CUDA及驱动问题
- CUDA版本问题：若验证时出现找不到指定模块等错误，需查看CUDA Toolkit版本，使用“nvcc --version”命令查看。确保CUDA Toolkit版本大于等于安装的CUDA 12.1，若版本过低，可前往NVIDIA官网下载对应系统版本的CUDA Toolkit（如Windows 10 64位系统）。
- 驱动驱动问题：若驱动版本过低也会导致异常，需下载对应显卡的驱动版本（如RTX4090对应的驱动版本型号为555.99 ）。下载前可通过“控制面板 - 系统和安全 - 系统”或按下Win+R键输入“msinfo32”查看系统信息。下载完成后，安装前需卸载历史驱动。卸载后先安装新驱动，再安装CUDA Toolkit，安装完成后配置环境变量，将CUDA的“bin”和“libnvvp”路径添加到系统环境变量的“Path”中。再次执行“nvcc --version”检查版本是否更新，若之前安装PyTorch报错，此时再次执行验证命令，若显示“True”则表示安装成功。若电脑不支持CUDA 12.2，可在NVIDIA官网选择适合自己电脑的CUDA版本（如11.8 ），选择conda方式或直接安装方式进行安装。
- 驱动卸载问题在设备管理器中找到“显示适配器”，卸载其中的相关驱动（如NVIDIA GeForce相关驱动）。
四、关注该点减少踩雷