小模型时代来临~ 如何用ollama跑多个小模型提升并发性能, 用ollama吧

要想发挥OLLAMA的真正实力🎯, 还是要与JBoltAI搭配食用才能发挥其最大价值🤑😂, JBoltAI欢迎亲的随时关注哟🤩😚~

---

为什么要在一台机器上同一个小模型跑多个?

ollama的大模型最高并发上限是20个, 那么如果我们想进一步提高大模型的并发性能, 20个显然是无法满足我们的日常需求的, 如何做到呢? 今天小编就交给大家如何用ollama用一张显卡, 同一个小模型跑多个, 达到提升并发量的效果~~~ 那么开始吧

提前需要了解的几个点儿~

不要慌哦, 其实很简单~ 使用ollama run命令同一个大模型只能启用一次, 那么问题来了, 如果可以运行多个ollama, 那么是不是就可以同一个大模型启用多个了呢? 那么就需要这么几件事情需要做:

1. 需要让docker拥有调用GPU的能力, 需要让docker知道具体调用哪张显卡, 毕竟有的亲机器上显卡很多~
2. 需要让ollama知道调用哪张显卡!

听起来很复杂? 其实实现起来特别简单~

	docker run --gpus 0 -e CUDA_VISIBLE_DEVICES=0 -d