今天在服务器上用ollama(用docker部署的)跑qwen2.5:7b-instruct,上午下午跑的好好的,速度还可以,晚上6、7点突然好慢好慢,nvidia-smi查了一下,压根没用到GPU(4/23028MiB),也搞不懂为啥。后来把ollama关了再打开又好了,好神奇啊。有没有大佬帮忙解释一下哩?
docker stop ollama
docker start ollama
过两天把安docker,部署ollama,怎么让ollama用到gpu记录一下
今天在服务器上用ollama(用docker部署的)跑qwen2.5:7b-instruct,上午下午跑的好好的,速度还可以,晚上6、7点突然好慢好慢,nvidia-smi查了一下,压根没用到GPU(4/23028MiB),也搞不懂为啥。后来把ollama关了再打开又好了,好神奇啊。有没有大佬帮忙解释一下哩?
docker stop ollama
docker start ollama
过两天把安docker,部署ollama,怎么让ollama用到gpu记录一下