ollama 修改监听0.0.0.0地址

部署运行你感兴趣的模型镜像

linux下部署ollama和open-webui配合时,发现webui访问不到ollama,可以从docker日志中看到访问是超时的。

通过netstat查看ollama运行时监听的IP和端口,发现是127.0.0.1:11434

tcp        0      0   127.0.0.1:11434         0.0.0.0:*               LISTEN      4182/ollama

 这种请求情况是不能从docker中被访问到的。docker使用的是172.18.0.1这个IP。

要想被docker访问需要修改ollama监听的IP。

ollama可以通过环境变量OLLAMA_HOST设置监听的IP,但是通过.bashrc设置后重启ollama run命令监听IP并没有被修改。

通过检查发现,ollama服务是systemctl启动的,需要的服务的配置里修改才可以。

vim /etc/systemd/system/ollama.service

在文件中添加

Environment="OLLAMA_HOST=0.0.0.0:11434"

结果如下

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"

[Install]
WantedBy=default.target

然后重启ollama服务

systemctl daemon-reload
systemctl restart ollama.service

再启动模型就恢复正常了,监听的是0.0.0.0这个IP了

ollama run deepseek-r1:8b

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值