在Linux上
对于Nvidia GPU,Ollama可以在Docker容器内通过GPU加速运行。
要开始使用Docker镜像,请使用以下命令。
仅使用CPU
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Nvidia GPU
安装Nvidia容器工具包。
在Docker容器内运行Ollama
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
运行模型
现在你可以在容器内运行像deepseek-r1:1.5b这样的模型。
docker exec -it ollama ollama run deepseek-r1:1.5b
结尾:样例小程序二维码,我自己做的一个免费好用的【随机选择决定转盘工具】小程序,欢迎扫码体验呦!
谢谢阅读!~~