lobechat调用ollama模型,服务连接失败

部署运行你感兴趣的模型镜像

1. 启动ollama服务

$ docker ps
CONTAINER ID   IMAGE                                                      COMMAND                  CREATED         STATUS                  PORTS                                                                          NAMES
ce3281b88186   a67447f85321                                               "/bin/ollama serve"      40 hours ago    Up 40 hours             0.0.0.0:11435->11434/tcp, :::11435->11434/tcp                                  ollama

如果ollama服务中没有可用的模型,需要ollama run加载模型。

2. lobechat无法连接ollama

3. 配置ollama运行跨域访问

由于 Ollama 的默认参数配置,启动时设置了仅本地访问,所以跨域访问以及端口监听需要进行额外的环境变量设置 OLLAMA_ORIGINS。

配置OLLAMA_ORIGINS: 

docker run -d --gpus=all -v ollama:/root/.ollama -e OLLAMA_ORIGINS="*" -p 11435:11434 --name ollama ollama/ollama

而不是:

docker run -d --gpus=all -v ollama:/root/.ollama -p 11435:11434 --name ollama ollama/ollama

参考文章:

在 LobeChat 中使用 Ollama · LobeChat Docs · LobeHub

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值