写这篇文章的起因是在网上找了很多Deepseek的部署和Chatbox配置都无法实现远程访问(选择模型选择OLLAMA API配置无法选择模型名字),恰巧看到了python使用OpenAI库请求ollama模型的代码,抓了一份chatbox应用发送的报文最终确定配置的方法。
配置信息
- Windows电脑
- ollama安装包
- deepseek模型
- 花生壳内网穿透(注册并配置好)
1. Ollama安装
2. Deepseek模型下载
ollama run deepseek-r1:14b
3. Chatbox远程访问配置
我使用的是【花生壳】配置的内网穿透
-
访问网页版chatbox
【访问Chatbox】首次使用加载时间要1-2分钟?
-
设置模型
加载完成后选中左下角【设置】或者【Settings】
点击【模型提供方】
分别设置下面的信息
- 名称:命名自己喜欢的名字
- API域名:输入自己对外配置的域名,重点:后面的/v1要保留,例如:http://xxx/v1
- API路径:默认的路径删掉,上面的v1也不能放到这里
- 改善网络兼容性:打开能降低因为网络导致的问题
- API秘钥:部署应用的名字,我用ollama部署,其它的没试过
- 模型:模型需要自己新建,就是运行命令中后面的模型名字
- 上下文数量上限:配置高的可以选择不限制,根据自己的硬件去修改
- 严谨与想象:代码推理类越低越好,需要发散性思维越高越好
- Top P:保持默认就好
最后创建新对话,测试是否正常连接。
注:网页版访问稳定性不是百分之百,因为网页版调用的是chatbox官网部署的接口,如果官网那边有修改更新,可能会影响连接(因为发文前一天突然访问不了,发文那天又好了,另外在微信配置好也不能用,也不知道是什么原因)
2025.3.5 update
相比较而言,Open Webui安全性和稳定性更高,最后还是用了Open Webui去搭建,避免开放端口出现安全问题