- 博客(2)
- 收藏
- 关注
RSS订阅原创 Llamafactory指定GPU实现多卡运行
也可以多卡，如两张卡 ，设备个数FORCE_TORCHRUN改为2，GPU序号CUDA_VISIBLE_DEVICES用逗号隔开。在LLaMA-Factory文件夹下运行以下命令可指定GPU启动webui，例如：有三张卡指定只用第三张卡这一张卡。一机多卡成功指定设备数量。
2025-04-19 22:57:21
2889
原创 Ollama 在 指定GPU 中运行
运行脚本后，按照提示输入 GPU 编号，即可指定 Ollama 使用的 GPU。运行ollama时多卡需要指定GPU中运行，使用CUDA_VISIBLE_DEVICES直接指定失效。1.创建 ollama_gpu_selector.sh 脚本文件。运行指令后，查看 Ollama 服务文件，确认。3.重启 Ollama 服务。如果已经更新，则会新增例如。2.为脚本文件添加执行权限。
2025-04-19 16:15:01
1168
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人