局域网内配置 Ollama 服务以实现远程访问

source:局域网内配置 Ollama 服务以实现远程访问-十一张

现在有越来越多的开源模型,可以让你在自己的电脑或服务器上运行。使用本地模型有许多优势:

●完全离线运行,保护隐私数据安全
●无需支付在线 API 费用
●完全离线,服务稳定,无网络延迟
●可以自由调整和定制模型参数

Ollama 是一个开源的基于Go语言的本地大语言模型运行框架,专门为本地电脑上部署和运行大模型而生的,类似于Docker,可以方便地下载和运行各种开源模型,比如 DeepSeek、Llama、Qwen 等。这个工具支持 Windows、MacOS、Linux 等操作系统。

Ollama 默认在本地运行,不对外提供服务。如果你希望在局域网内(如家庭 WiFi)使用 Ollama,并在手机或其他电脑上使用连接到这个服务,可以通过配置环境变量使其在其他设备上访问。

Ollama 一个简明易用的本地大模型运行框架

安装 Ollama

 

Ollama 下载地址:Download Ollama on macOS,先下载并安装 Ollama 程序,如下图;

运行本地 Ollama 模型

下载并安装 Ollama 后,以管理员身份运行命令行终端,输入命令下载并运行本地模型。

举例:下载并运行 deepseek-r1:1.5b 模型(注意:Ollama 上的 DeepSeek R1 模型实际上是蒸馏模型)

ollama run deepseek-r1:1.5b

配置远程 Ollama 服务

默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

1、在 Windows 上配置

在 Windows 上,Ollama 会继承你的用户和系统环境变量。

①通过任务栏退出正在运行的 Ollama 应用。
②打开 设置(Windows 11) 或 控制面板(Windows 10),搜索“环境变量”。
③编辑你的用户环境变量:

新建或编辑 OLLAMA_HOST,值设为 0.0.0.0
新建或编辑 OLLAMA_ORIGINS,值设为 *

④保存设置并重新启动 Ollama 应用,使配置生效。
⑤如果你习惯命令行,也可以使用命令行方式(可选)

 

setx OLLAMA_HOST "0.0.0.0"

setx OLLAMA_ORIGINS "*"

setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"

setx OLLAMA_HOST "0.0.0.0" setx OLLAMA_ORIGINS "*"

2、在 MacOS 上配置

①打开命令行终端,输入以下命令:

 

launchctl setenv OLLAMA_HOST "0.0.0.0"

launchctl setenv OLLAMA_ORIGINS "*"

launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"

launchctl setenv OLLAMA_HOST "0.0.0.0" launchctl setenv OLLAMA_ORIGINS "*"

②重启 Ollama 应用,使配置生效。

3、在 Linux 上配置

在 Linux 上,如果 Ollama 作为 systemd 服务运行,需要通过 systemctl 设置环境变量:

①编辑 systemd 服务配置

 

systemctl edit ollama.service

systemctl edit ollama.service

systemctl edit ollama.service

②在 [Service] 部分添加以下内容,保存并退出

 

[Service]

Environment="OLLAMA_HOST=0.0.0.0"

Environment="OLLAMA_ORIGINS=*"

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

[Service] Environment="OLLAMA_HOST=0.0.0.0" Environment="OLLAMA_ORIGINS=*"

③重新加载 systemd 并重启 Ollama:

 

systemctl daemon-reload

systemctl restart ollama

systemctl daemon-reload
systemctl restart ollama

systemctl daemon-reload systemctl restart ollama

Ollama 服务 IP 地址

配置完成后,Ollama 服务将能在当前网络(如家庭 Wifi)中提供服务,你可以在局域网内的其他设备上连接到 Ollama。

通常,Ollama 服务的 IP 地址类似于 192.168.X.X,你可以在你的客户端或者插件中设置 API Host 为:

http://192.168.X.X:11434

连接远程 Ollama

我们可以使用 Chatbox 软件或 Page Assist 浏览器插件来连接远程 Ollama。

Ollama 支持多个 UI 界面(查看官方支持列表),这里我们使用 Chatbox 来连接远程 Ollama。

安装 Chatbox 后打开“设置”,“模型提供方”选择:ollama api,“API域名”填写远程服务的IP地址和端口,例如我的远程电脑的IP是 10.55.0.55,这里的值就是:http://10.55.0.55:11434。如果局域网没有配置错误,就能看到你远程运行的模型,选择其中一个。

这样,你就可以在局域网内的其他电脑上远程访问 Ollama 运行的 AI 模型了!

基于 Chromium 的浏览器,如 Chrome、Edge 和 Brave,以及 Firefox 浏览器可以安装 Page Assist 插件

然后修改 Ollama 的设置,在“Ollama URL”参数中填写你的远程 Ollama 地址, 例如我的远程电脑的IP是 10.55.0.55,这里的值就是:http://10.55.0.55:11434

这样,你就可以在局域网内的其他电脑上远程访问 Ollama 运行的 AI 模型了!

关闭远程访问

如果不想让 Ollama 继续对外提供服务,可以使用这些命令取消远程访问。

 

setx OLLAMA_HOST ""

setx OLLAMA_ORIGINS ""

setx OLLAMA_HOST "" 
setx OLLAMA_ORIGINS "" 

setx OLLAMA_HOST "" setx OLLAMA_ORIGINS ""

 

launchctl unsetenv OLLAMA_HOST

launchctl unsetenv OLLAMA_ORIGINS

launchctl unsetenv OLLAMA_HOST
launchctl unsetenv OLLAMA_ORIGINS

launchctl unsetenv OLLAMA_HOST launchctl unsetenv OLLAMA_ORIGINS

注意事项

1、确保你的设备在同一 WiFi 网络下
2、可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络环境
3、为避免安全风险,请不要将 Ollama 服务暴露在公共网络中,家庭 WiFi 网络是一个相对安全的环境
4、如果服务运行不稳定,可以尝试 sudo systemctl restart ollama(Linux)或重启应用(Mac/Windows)

<think>好的,用户想了解如何配置Ollama的远程服务。我需要根据提供的引用内容来整理步骤。首先,引用[1]提到需要设置环境变量OLLAMA_HOST为0.0.0.0,这样可以让Ollama监听所有网络接口,允许局域网内的其他设备访问。然后引用[2]详细描述了在Linux环境下下载Ollama、解压安装、启动服务的步骤,包括通过./ollama serve启动服务。 接下来,用户可能需要知道具体步骤,比如如何设置环境变量,是否需要在启动服务配置,以及如何验证服务是否正常运行。另外,防火墙设置可能也是一个关键点,需要开放相应的端口,比如默认的11434端口。同时,远程访问时的URL格式需要明确,比如使用http://服务器IP:11434。 可能还需要考虑不同操作系统的配置差异,但用户提供的引用主要是关于Windows和Linux的配置。需要将这些信息结构化,分步骤说明,确保用户能够逐步操作。此外,生成的问题需要围绕配置过程中可能遇到的常见问题,比如环境变量设置、防火墙配置、启动失败处理等,帮助用户进一步解决问题。</think>### 如何配置 Ollama 的远程服务? #### **步骤 1:设置环境变量** 需要配置 `OLLAMA_HOST` 环境变量,使其监听所有网络接口: ```bash # Linux/macOS 终端设置 export OLLAMA_HOST=0.0.0.0 # Windows 系统环境变量设置(通过图形界面) 变量名:OLLAMA_HOST 变量值:0.0.0.0 ``` 此配置允许其他设备通过局域网IP访问Ollama服务[^1]。 --- #### **步骤 2:安装与启动Ollama服务** 1. **下载安装包** Linux用户可通过以下命令或直接下载压缩包: ```bash wget https://ollama.com/download/ollama-linux-amd64.tgz tar -xzvf ollama-linux-amd64.tgz -C ~/目标目录 ``` 2. **启动服务** 进入解压后的 `bin` 目录,运行服务: ```bash cd ~/目标目录/bin ./ollama serve ``` 服务默认监听端口 `11434`,需确保防火墙开放此端口[^2]。 --- #### **步骤 3:验证远程访问** 在其他设备上通过以下方式测试连接: ```python # 使用LangChain调用示例 from langchain.llms import Ollama ollama = Ollama(base_url='http://服务器IP:11434') response = ollama("你好,DeepSeek-R1") print(response) ``` --- #### **可能问题与解决** 1. **端口冲突** 检查 `11434` 端口是否被占用,或通过 `OLLAMA_HOST=0.0.0.0:自定义端口` 修改端口。 2. **防火墙限制** Linux开放端口命令: ```bash sudo ufw allow 11434/tcp ``` 3. **服务无法启动** 确认安装文件完整性,或尝试重新下载。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值