局域网内从机访问主机大模型
序言
- 大语言模型(LLM)已经成为推动创新和提升效率的重要工具。
- 然而,对于团队协作或资源共享的场景,如何在局域网内实现多台主机对大模型的高效访问,成为了许多用户面临的问题。
- Chatbox 作为一款简洁易用的交互界面,能够帮助用户更便捷地与 Ollama 管理的大模型进行交互。
- 本文将详细介绍如何在相同局域网下,通过 Chatbox 访问运行在另一台主机上的 Ollama 服务,实现资源共享和协同工作。
- 无论您是开发者、研究人员还是普通用户,本教程都能帮助您快速上手,让团队协作更加高效,让知识共享更加便捷
步骤一 安装大模型
以deepseek为例,参考教程一 :
设备类型 | 软件需求 |
---|---|
主机 | DeepSeek、Ollama、Chatbox |
从机 | Ollama、Chatbox |
步骤二 环境变量设置
此步骤是ollama 互相访问的关键 ,主机和从机都得设置
变量 | 值 |
---|---|
OLLAMA_HOST | 0.0.0.0 |
OLLAMA_ORIGINS | * |
步骤三 明确主机IP地址
- PowerShell里面输入 ipconfig 。
- 或者最简单的 连上wifi之后,在属性里面查看Ipv4 地址
查看主机IP
步骤四 从机Chatbox设置
新建新对话后 ,点击左下角的设置,
模型选择方面,选择 OLLAMA API ,
API域名填对应的主机地址即可 , 模型会自动加载出来 。
注意事项
- 确保你的设备在同一 WiFi 网络下
- 可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络环境
- 在修改服务器地址时,请仔细核对 IP 地址和端口号,确保输入正确无误,避免因输入错误导致无法连接
- 确保主机的ollama 处于运行状态
- 如果服务运行不稳定,可以尝试 sudo systemctl restart ollama(Linux)或重启应用(Mac/Windows)