被数百万元收购的 ChatNio 初体验

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

最近一则新闻 15 岁山东初中生做 CTO,开源项目刚刚被数百万元收购了 火爆出圈,笔者看了下被收购的开源项目 ChatNio,发现挺好用了,就体验下。

ChatNio 号称下一代 AIGC 一站式商业解决方案,其功能融合了 Next Web 和 One API 各自的优点,通过整合实现 1+1>2 的效果:

Chat Nio > Next Web + One API

ChatNio 在保持界面简洁、美观的同时,支持丰富的功能。

d36eccaa3866b6b808b7bd0924591a87.png

面向所有用户提供通用的基本功能:

  1. 支持多种模型

  2. 支持本地模型,如 Ollama

  3. 支持分布式流式传输,图像生成

  4. 对话跨设备自动同步和分享

  5. 预设市场,即预定义提示词

  6. AI 批量文章生成

  7. AI 项目生成器

面向企业级用户的功能:

  1. 齐全的后台管理

  2. 实现订阅和 Token 弹性计费系统

  3. 优秀渠道管理

  4. Key 中转服务

  5. 多模型聚合支持

  6. 全部模型都支持联网搜索

  7. 多种兑换码体系

  8. 商用友好的开源协议

更详细的特性介绍见 代码仓库-README.features。

部署

由于 ChatNio 吸收了 One API,Next Web 等优秀特性,使得 ChatNio 的部署要比 LobeChat、Dify 等简单得多。只需要 MySQL、Redis 和 ChatNio 3 个容器,就能运行起来。

  1. clone 代码仓库

git clone https://github.com/dockerq/chatnio-deploy.git
  1. 下载镜像

# 进入 clone 的代码仓库目录
cd chatnio-deploy
docker compose pull
[+] Pulling 3/3
 ✔ mysql Pulled                                                                                                       4.5s
 ✔ chatnio Pulled                                                                                                     4.7s
 ✔ redis Pulled                                                                                                       4.4s
  1. 启动容器

docker compose up -d
[+] Running 3/0
 ✔ Container redis    Running                                                                                         0.0s
 ✔ Container db       Running                                                                                         0.0s
 ✔ Container chatnio  Running                                                                                         0.0s

从步骤 3 的输出可以看到,一共运行了 3 个容器:redis、db(MySQL) 和 chatnio,其中 chatnio 容器包含了前端和后端,后端通过静态文件的方式输出前端页面。

因为这里服务是部署在自己电脑上的,所以在浏览器输入localhost:8094即可进入 ChatNio 的前端页面:

f6743a3d73bcaa841479c80bac29984c.jpeg

可以看到,前端页面非常的简洁美观,比较符合作者的审美,也提升了易用性

根据 ChatNio Docs 的描述:

管理员账号为 root,密码默认为 chatnio123456

登录成功后会提示修改管理员密码

配置

只有管理员权限的帐号,才能进入后台页面进行配置

Ollama

ChatNio 除了支持各大模型厂商的 API 外,还支持本地 AI,比如 Ollama。

不过并不像 LobeChat 那样在模型供应商配置中提供明确的 Ollama 选项,而是统一放在了 OpenAI 这个选项中。也就是说,任何兼容 OpenAI API 的本地接口,都能接入到 ChatNio 的模型供应商中。

接入 Ollama 需要在 ChatNio 管理后台做 2 步操作:创建渠道模型市场

首先,我们创建 Ollama 的渠道:管理员帐号登录,进入后台管理,点击渠道设置 -> 创建渠道

8d24477b1f14b5df97428478ed87a4c9.jpeg

注意,这里填的模型,要和 ollama list 中的模型 Name 一致

$ ollama list
NAME                       ID              SIZE      MODIFIED
qwen2:7b                   e0d4e1163c58    4.4 GB    5 months ago

其次,点击模型市场,页面会显示刚才创建的渠道模型:

0c39628036f7e6e10afc506c5fa777ca.jpeg

点击该渠道模型,进入预设好的该渠道的模型新建表单:

0f34f1526a52af4bda9dfdbada4946a9.jpeg

这里更新下模型图片和标签后,点击提交即可。

这时候回到对话页面,在页面下方选择新添加的模型,就能够和模型对话啦:

8d282f9572e7e37269cfe7652ea3778c.jpeg

联网搜索 SearXNG

ChatNio 默认使用 duckduckgo-api 进行网页搜索,但是当你访问该 API 地址 https://duckduckgo-api.vercel.app时,你会发现不能使用:

35fbaf7027852fa8f8bca209d85e3ff7.jpeg

可能因为使用太多,API 提供方做了限制吧。ChatNio 推荐使用 SearXNG 作为搜索 API,这里笔者也推荐 SearXNG,它不仅提供联网搜索 API,还能作为搜索引擎单独使用,保护个人隐私。

首先,参考之前的文章 大模型联网搜索组件 SearXNG 部署和使用 搭建好 SearXNG 服务。

然后在配置中填写 SearXNG 的 API,并保存。

23ae302fa6458a89cb1851f6c0f0f9b1.jpeg

回到对话页面,开启联网搜索,查看下使用效果:

e54c31b19f2e0c4bda6bb7caf5c17f08.jpeg b56bc6229d8707db44d2738dc3bfe732.jpeg

联网搜索的原理,就是将用户输入的消息先联网查询,然后将查询的结果聚合到用户的消息中,一起发给模型,由模型回复信息。

用户可以随时开启或者关闭联网搜索功能。

总结

通过使用和部署,ChatNio 具有以下特点:

  1. UI 界面简洁、美观、易用

  2. 部署简单易用,基本上开箱即用,同级别的软件 LobeChat 比较难部署

  3. 用户管理功能

  4. 平台化功能强,集成了很多企业级的功能,包括仪表盘渠道管理计费订阅负载均衡等丰富的功能

  5. 原生支持联网搜索

  6. 图片对话支持较差,这点不如 LobeChat

4a8900411dd7ebe3000ab9e4bec7394a.jpeg

综上,ChatNio 是一款优秀的 AIGC 前端软件,相比于同类型开源软件,它有很多差异性且优秀的功能。因此它具有广泛的使用场景,无论是个人使用、站长使用、小公司内部使用或者二次开发,都非常便捷。

对于只有对话和生成图片等基本需求的用户,个人是很推荐使用 ChatNio 的。

另外,由于时间等因素限制,本文并没有评测 ChatNio 的文件上传功能,因此并不确定 ChatNio 是否具备知识库的能力。这方便可以后续深入使用后再介绍了。

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值