本地部署模型全攻略阶段二_2



序言

  • 大语言模型(LLM)已经成为推动创新和提升效率的重要工具。
  • 然而,对于团队协作或资源共享的场景,如何在局域网内实现多台主机对大模型的高效访问,成为了许多用户面临的问题。
  • Chatbox 作为一款简洁易用的交互界面,能够帮助用户更便捷地与 Ollama 管理的大模型进行交互。
  • 本文将详细介绍如何在相同局域网下,通过 Chatbox 访问运行在另一台主机上的 Ollama 服务,实现资源共享和协同工作。
  • 无论您是开发者、研究人员还是普通用户,本教程都能帮助您快速上手,让团队协作更加高效,让知识共享更加便捷

步骤一 安装大模型

以deepseek为例,参考教程一

设备类型软件需求
主机DeepSeek、Ollama、Chatbox
从机Ollama、Chatbox

步骤二 环境变量设置

此步骤是ollama 互相访问的关键 ,主机和从机都得设置

变量
OLLAMA_HOST0.0.0.0
OLLAMA_ORIGINS*

步骤三 明确主机IP地址

  1. PowerShell里面输入 ipconfig 。
  2. 或者最简单的 连上wifi之后,在属性里面查看Ipv4 地址
    在这里插入图片描述
    查看主机IP
    在这里插入图片描述

步骤四 从机Chatbox设置

新建新对话后 ,点击左下角的设置,
模型选择方面,选择 OLLAMA API
API域名填对应的主机地址即可 , 模型会自动加载出来 。
在这里插入图片描述

注意事项

  • 确保你的设备在同一 WiFi 网络下
  • 可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络环境
  • 在修改服务器地址时,请仔细核对 IP 地址和端口号,确保输入正确无误,避免因输入错误导致无法连接
  • 确保主机的ollama 处于运行状态
  • 如果服务运行不稳定,可以尝试 sudo systemctl restart ollama(Linux)或重启应用(Mac/Windows)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值