小模型时代来临~ 如何用ollama跑多个小模型提升并发性能, 用ollama吧

要想发挥OLLAMA的真正实力🎯, 还是要与JBoltAI搭配食用才能发挥其最大价值🤑😂, JBoltAI欢迎亲的随时关注哟🤩😚~

---

为什么要在一台机器上同一个小模型跑多个?

ollama的大模型最高并发上限是20个, 那么如果我们想进一步提高大模型的并发性能, 20个显然是无法满足我们的日常需求的, 如何做到呢? 今天小编就交给大家如何用ollama用一张显卡, 同一个小模型跑多个, 达到提升并发量的效果~~~ 那么开始吧

提前需要了解的几个点儿~

不要慌哦, 其实很简单~ 使用ollama run命令同一个大模型只能启用一次, 那么问题来了, 如果可以运行多个ollama, 那么是不是就可以同一个大模型启用多个了呢? 那么就需要这么几件事情需要做:

1. 需要让docker拥有调用GPU的能力, 需要让docker知道具体调用哪张显卡, 毕竟有的亲机器上显卡很多~
2. 需要让ollama知道调用哪张显卡!

听起来很复杂? 其实实现起来特别简单~

	docker run --gpus 0 -e CUDA_VISIBLE_DEVICES=0 -d -v ollama:/root/.ollama -p 11434:11434 --name ollama1 ollama/ollama
	docker exec -it ollama1 ollama run deepseek-r1:1.5b

是不是很容易!!!
让我细细为亲讲解每一个参数哈!

gpus 0:

告诉docker调用哪个GPU, 你也可以写–gpus all, 那么这样就是调用所有GPU哦~

CUDA_VISIBLE_DEVICES=0:

告诉ollama使用哪个GPU

ollama:/root/.ollama:

将本机装的ollama模型映射到docker中的ollama地址, 这样就可以服用所有的大模型## 文件了, 不用每次下载, 嘿嘿~…

11434:11434:

端口映射… 烂大街了…

	# 如法炮制, 再启动一个ollama~
	docker run --gpus 0 -e CUDA_VISIBLE_DEVICES=0 -d -v ollama:/root/.ollama -p 11435:11434 --name ollama2 ollama/ollama

注意, 端口号不要还写成之前的11434! 同时给ollama一个不一样的名字, 之前的叫ollama1, 这个就叫ollama2

接下来就是见证奇迹的时刻, 上眼!

再来一个

是不是So Easy!🤩

---

要想发挥OLLAMA的真正实力🎯, 还是要与JBoltAI搭配食用才能发挥其最大价值🤑😂, JBoltAI欢迎亲的随时关注哟🤩😚~