source:局域网内配置 Ollama 服务以实现远程访问-十一张
现在有越来越多的开源模型,可以让你在自己的电脑或服务器上运行。使用本地模型有许多优势:
●完全离线运行,保护隐私数据安全
●无需支付在线 API 费用
●完全离线,服务稳定,无网络延迟
●可以自由调整和定制模型参数
Ollama 是一个开源的基于Go语言的本地大语言模型运行框架,专门为本地电脑上部署和运行大模型而生的,类似于Docker,可以方便地下载和运行各种开源模型,比如 DeepSeek、Llama、Qwen 等。这个工具支持 Windows、MacOS、Linux 等操作系统。
Ollama 默认在本地运行,不对外提供服务。如果你希望在局域网内(如家庭 WiFi)使用 Ollama,并在手机或其他电脑上使用连接到这个服务,可以通过配置环境变量使其在其他设备上访问。
安装 Ollama
Ollama 下载地址:Download Ollama on macOS,先下载并安装 Ollama 程序,如下图;
运行本地 Ollama 模型
下载并安装 Ollama 后,以管理员身份运行命令行终端,输入命令下载并运行本地模型。
举例:下载并运行 deepseek-r1:1.5b 模型(注意:Ollama 上的 DeepSeek R1 模型实际上是蒸馏模型)
ollama run deepseek-r1:1.5b
配置远程 Ollama 服务
默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
1、在 Windows 上配置
在 Windows 上,Ollama 会继承你的用户和系统环境变量。
①通过任务栏退出正在运行的 Ollama 应用。
②打开 设置(Windows 11) 或 控制面板(Windows 10),搜索“环境变量”。
③编辑你的用户环境变量:
新建或编辑 OLLAMA_HOST,值设为 0.0.0.0
新建或编辑 OLLAMA_ORIGINS,值设为 *
④保存设置并重新启动 Ollama 应用,使配置生效。
⑤如果你习惯命令行,也可以使用命令行方式(可选)
setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"
setx OLLAMA_HOST "0.0.0.0" setx OLLAMA_ORIGINS "*"
setx OLLAMA_HOST "0.0.0.0" setx OLLAMA_ORIGINS "*"
2、在 MacOS 上配置
①打开命令行终端,输入以下命令:
launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"
launchctl setenv OLLAMA_HOST "0.0.0.0" launchctl setenv OLLAMA_ORIGINS "*"
launchctl setenv OLLAMA_HOST "0.0.0.0" launchctl setenv OLLAMA_ORIGINS "*"
②重启 Ollama 应用,使配置生效。
3、在 Linux 上配置
在 Linux 上,如果 Ollama 作为 systemd 服务运行,需要通过 systemctl 设置环境变量:
①编辑 systemd 服务配置
systemctl edit ollama.service
systemctl edit ollama.service
systemctl edit ollama.service
②在 [Service] 部分添加以下内容,保存并退出
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
[Service] Environment="OLLAMA_HOST=0.0.0.0" Environment="OLLAMA_ORIGINS=*"
[Service] Environment="OLLAMA_HOST=0.0.0.0" Environment="OLLAMA_ORIGINS=*"
③重新加载 systemd 并重启 Ollama:
systemctl daemon-reload
systemctl restart ollama
systemctl daemon-reload systemctl restart ollama
systemctl daemon-reload systemctl restart ollama
Ollama 服务 IP 地址
配置完成后,Ollama 服务将能在当前网络(如家庭 Wifi)中提供服务,你可以在局域网内的其他设备上连接到 Ollama。
通常,Ollama 服务的 IP 地址类似于 192.168.X.X,你可以在你的客户端或者插件中设置 API Host 为:
http://192.168.X.X:11434
连接远程 Ollama
我们可以使用 Chatbox 软件或 Page Assist 浏览器插件来连接远程 Ollama。
Ollama 支持多个 UI 界面(查看官方支持列表),这里我们使用 Chatbox 来连接远程 Ollama。
安装 Chatbox 后打开“设置”,“模型提供方”选择:ollama api,“API域名”填写远程服务的IP地址和端口,例如我的远程电脑的IP是 10.55.0.55,这里的值就是:http://10.55.0.55:11434。如果局域网没有配置错误,就能看到你远程运行的模型,选择其中一个。
这样,你就可以在局域网内的其他电脑上远程访问 Ollama 运行的 AI 模型了!
基于 Chromium 的浏览器,如 Chrome、Edge 和 Brave,以及 Firefox 浏览器可以安装 Page Assist 插件
然后修改 Ollama 的设置,在“Ollama URL”参数中填写你的远程 Ollama 地址, 例如我的远程电脑的IP是 10.55.0.55,这里的值就是:http://10.55.0.55:11434
这样,你就可以在局域网内的其他电脑上远程访问 Ollama 运行的 AI 模型了!
关闭远程访问
如果不想让 Ollama 继续对外提供服务,可以使用这些命令取消远程访问。
setx OLLAMA_HOST ""
setx OLLAMA_ORIGINS ""
setx OLLAMA_HOST "" setx OLLAMA_ORIGINS ""
setx OLLAMA_HOST "" setx OLLAMA_ORIGINS ""
launchctl unsetenv OLLAMA_HOST
launchctl unsetenv OLLAMA_ORIGINS
launchctl unsetenv OLLAMA_HOST launchctl unsetenv OLLAMA_ORIGINS
launchctl unsetenv OLLAMA_HOST launchctl unsetenv OLLAMA_ORIGINS
注意事项
1、确保你的设备在同一 WiFi 网络下
2、可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络环境
3、为避免安全风险,请不要将 Ollama 服务暴露在公共网络中,家庭 WiFi 网络是一个相对安全的环境
4、如果服务运行不稳定,可以尝试 sudo systemctl restart ollama(Linux)或重启应用(Mac/Windows)