打造专属聊天空间!在群晖NAS上部署私有化聊天工具全攻略

前言

前几天突发奇想想自建一个聊天服务器,早在2022年朋友就有使用PHP写过一个在线聊天室,因为太久远,程序代码我也没有进行备份,在网上找了好几个开源项目也没看到适合自己的,最后在DuckChat(鸭信),Synology Chat(群晖官方聊天套件),以及VoceChat这三个选项中,因为简洁使用方便选择了VoceChat

系统选择

DuckChat(鸭信)

第一次听说这名字是在Bilibili某博主的评论区,随后我进行了相关搜索,看到他的安装界面挺戳我审美的,并且拥有多个平台的客户端,生态比较完善,但是不知道因为啥原因导致该项目在4年前(Github最后一次提交)就停止了维护,官网以及文档目前都是处于无法访问状态,于是就放弃了部署该项目。

Synology Chat

群晖官方自带的聊天套件,不知道什么原因在国内被下架了(大差不差能猜到一点),可以通过将群晖官网的下载中心切换到香港根据你的群晖型号可以手动下载并安装1723131343000.png

因为我没有安卓设备测试,iOS端则需要切换到外区下载使用,功能很完善,对于界面我个人还是不太喜欢,如果只有群晖NAS很推荐安装使用。

VoceChat

在放弃了前面两款程序后,在偶然间,看到了这款程序,起初没有抱有太大器期望,但是在使用了一周左右,不得不说这仅有15MB大小的程序,给了我很多意外惊喜,生态也比较完整,满足了我目前使用的所有场景,以至于还可以将VoceChat的挂件SDK内嵌到网页,实现 类似于“在线客服”的功能。1723132233119.png

部署教程

因为个人原因相对于使用Docker相对于命令行,更喜欢编写编排文件,首先后续备份快捷,其次修改方便。

第一步

在你的群晖Docker容器目录下新建一个文件夹随意,自己清楚其用途即可。

1723132882323.png

第二步

创建后点击目录再新建一个data文件夹用于后续映射容器数据到本地。

1723133321970.png

第三步

创建编排项目,按照我图上的配置即可,贴上我的配置

version: '3.0'

services:
  vocechat-server:
    image: privoce/vocechat-server:latest
    container_name: vocechat-server
    ports:
      - "3009:3000"
    restart: always
    volumes:
      - ./data:/home/vocechat-server/data

1723133994096.png

配置填写好以后点击下一步,等待镜像拉取成功即可。

初始化

部署好后通过浏览器访问你的IP:3009即可进行程序初始化。

1723134308611.png

根据你的实际情况完成初始化化后即可使用。

1723135357920.png

一些使用建议

  1. 目前VoceChat的消息推送需要借助Google相关服务,由于众所周知的原因,所以,借助软路由或旁路由,请确保你群晖内的网络能够访问谷歌。以保证能收到推送信息服务。

1723136175755.png

  1. 因使用习惯而异,个人建议在概况中将聊天布局改为居右,更符合国内通讯使用习惯。

1723136450055.png

最后

VoceChat 的功能远不止于文中介绍这点,相关功能可以自己部署后进行折腾,官方的文档也写得非常详细,以上教程包括但不限于群晖,编排文件可以根据自己实际情况部署及修改。

DuckChat 是一个安全的私有聊天软件,独立部署 / 消息加密 / 安装简单 / 免费提供App DuckChat产品特点 1. 独立部署,消息加密,安全通道。 2. 支持客户端Web网页端,免费提供手机客户端App(App store / DuckChat官网下载)。 3. Linux / Windows / 虚拟空间 都可以部署。 4. 核心程序开源,永久免费。 5. 支持手机App网页程序扩展,自己用H5网页,嵌入到App中。 DuckChat安全的私有部署IM聊天软件 v1.1.4更新日志 新增:客服小程序 修复:站点默认好友删除无效 修复: 优化web端长链接  DuckChat是一款独立部署聊天系统。 包含服务器程序源代码,以及社交浏览器客户端,服务器搭建完成后,用户可以通过电脑、APP访问你的站点。   功能特性: 完善的基础通讯功能 支持单人聊天、群聊 支持文字、图片、语音等多种类型的消息 支持扩展h5特殊消息、以及其他多种多媒体交互类型   卓越的访问速度和负载能力 支持集群扩展的模式,理论上支持无限制的用户同时使用 支持多种数据库对接系统,以适应不同用户量 支持高级VIP定制,为用户量超大的服务「量身定做」   安全性 自己搭建,安全可靠,消息不会泄露。 支持多重保密方案,解决中间人攻击、后台监控等多种消息泄露问题   小程序扩展以及界面灵活配置 支持小程序开发,以插件模式配置进客户端,丰富客户端业务。 管理后台可以配置软件的界面、业务菜单栏、特殊消息等等。 甚至可以设置小程序界面为主页,让业务内容更清晰明确。     安装方法 环境要求:建议使用php7.2版本,最低支持版本为php5.6。   Docker搭建步骤: 1、安装Docker 2、下载源码,并在终端(命令行程序)cd 到 duckchat.sh 所在目录。 3、启动/关闭程序  sudo sh duckchat.sh sudo sh duckchat.sh stop   Linux下搭建步骤: 1、搭建PHP Nginx服务,配置phpfpm、nginx,并启动成功。 2、从Github下载源代码,复制src目录下的所有内容,到网站根目录。 3、为根目录和所有子目录赋予权限。(执行命令:chmod -R 777 .)   Windows下搭建步骤: 1、下载 XAMPP 安装后服务。 2、找到 XAMPP 的网站根目录[xampp安装地址]/htdocs,删除原有的默认代码。 3、下载源代码,复制src目录下的内容到网站根目录 4、启动 XAMPP Control 管理平台,点击启动apache。 5、打开浏览器,访问localhost,程序部署安装完毕。   教程文档: http://duckchat.akaxin.com/wiki/   DuckChat升级方法 1、备份站点数据 2、下载新版本代码,覆盖上传到原站点 3、使用电脑浏览器刷新页面,执行升级程序   DuckChat 截图 相关阅读 DuckChat 1.0.7发布,十分钟快速搭建聊天系统
<think>嗯,用户问的是如何在群晖NAS私有化部署DeepSeek大模型。首先,我得确定DeepSeek大模型的具体情况,因为不同的模型可能有不同的部署方式。比如像LLaMA或者Alpaca这样的模型,通常需要特定的框架支持,比如Hugging Face的Transformers或者使用llama.cpp这样的工具。但用户提到的是DeepSeek,可能是一个特定的模型,我需要先确认这个模型的开源情况以及支持的推理框架。 接下来,群晖NAS的硬件配置是关键。大模型通常需要较强的GPU支持,但大多数家用群晖设备可能只有CPU,没有独立显卡。这样的话,部署像7B或13B参数的模型可能会比较吃力,推理速度会很慢。用户可能需要考虑模型量化,比如使用llama.cpp的GGUF格式,或者用Transformers的int8量化来减少内存占用。 然后是软件环境。群晖NAS通常运行的是基于Linux的系统,但可能没有直接的root访问权限,或者需要套件中心来安装软件。比如,用户可能需要通过Docker部署,因为群晖支持Docker套件。这时候需要准备一个包含CUDA支持的Docker镜像(如果有GPU的话),或者仅使用CPU的基础镜像。 另外,模型文件的获取也是一个问题。用户需要从合法的渠道下载DeepSeek的模型权重,可能需要申请权限或者遵守特定的开源协议。下载后,如何将模型文件放入NAS的存储目录,并确保Docker容器能正确访问到这些路径。 接下来是具体的部署步骤。比如,使用Docker运行一个文本生成的Web界面,比如oobabooga的text-generation-webui,或者使用简化版的llama.cpp的server。需要编写或获取相应的Dockerfile,配置端口映射,挂载卷,设置环境变量等。 可能还需要考虑性能优化,比如调整线程数、批处理大小,或者开启量化来降低资源消耗。同时,安全方面的问题,比如是否需要设置访问权限,防止NAS上的服务被外部访问。 用户可能的实际使用场景是什么?他们可能希望有一个本地化的AI助手,处理文本生成、问答或者其他任务,同时保证数据隐私。所以私有化部署是关键,确保数据不离开本地NAS。 此外,用户的技术水平可能参差不齐,所以步骤需要尽量详细,避免使用太多专业术语,或者提供不同的方法,比如使用Docker还是直接安装Python环境,或者使用现有的群晖套件(如果有的话)。 最后,验证部署是否成功,比如通过curl测试API,或者访问Web界面进行交互。同时提醒用户注意模型的硬件要求,如果NAS性能不足,可能需要升级硬件或选择更小的模型版本。</think>在群晖NAS私有化部署大模型(如DeepSeek或其他开源模型)需要结合硬件性能、软件环境和具体模型要求。以下是一个通用部署流程,以 **CPU/GPU混合环境** 为例,针对中文场景优化: --- ### **一、准备工作** 1. **确认硬件配置** - **最低要求**:x86架构群晖(DSM 7.0+),4核CPU,8GB内存(仅支持小模型如 1.3B-7B 参数)。 - **推荐配置**:带有NVIDIA显卡的群晖(如部分XS/XS+型号),16GB+内存,SSD缓存加速。 2. **获取模型文件** - 从官方渠道下载DeepSeek模型(如Hugging Face或官方GitHub),确保格式为 `.bin` (GGML) 或 `.safetensors`。 - 若需中文优化,可选择类似`Chinese-LLaMA-Alpaca`等社区优化版本。 --- ### **二、部署方式(推荐Docker)** #### **方法1:使用`text-generation-webui`(可视化界面)** ```bash # 通过群晖Docker套件操作 1. 拉取镜像:选择`oobabooga/text-generation-webui`官方镜像。 2. 配置容器: - 挂载模型目录:`/models` ➔ NAS中的模型文件夹(如`/docker/llm/models`) - 端口映射:7860(Web UI)、5000(API) 3. 环境变量: - `CLI_ARGS=--model deepseek-7b --cpu` (纯CPU模式) - 若有GPU:`CLI_ARGS=--model deepseek-7b --auto-devices` 4. 启动后访问:http://群晖IP:7860 ``` #### **方法2:使用`llama.cpp`(轻量CPU优化)** ```bash 1. 通过SSH登录群晖,安装基础依赖: sudo apt-get update && sudo apt-get install build-essential 2. 编译llama.cpp: git clone https://github.com/ggerganov/llama.cpp cd llama.cpp && make 3. 转换模型为GGUF格式(需提前下载): python3 convert.py --input-model /path/to/deepseek --output-gguf /output/ggml-model-f16.gguf 4. 量化模型(节省内存): ./quantize ggml-model-f16.gguf ggml-model-q4_0.gguf q4_0 5. 启动API服务: ./server -m ggml-model-q4_0.gguf -c 2048 --port 8080 ``` --- ### **三、中文优化技巧** 1. **模型选择** - 优先选择已针对中文优化的模型(如`DeepSeek-Chat`或`ChatGLM3`)。 2. **提示词模板** - 使用中文系统提示词(如“你是一个由DeepSeek开发的中文AI助手”)。 3. **性能调优** - CPU模式:设置`--threads`参数为物理核心数(如4核CPU设为4)。 - GPU加速(仅限支持型号):添加`--n-gpu-layers 20`加载部分层到显卡。 --- ### **四、常见问题** - **内存不足**:尝试量化模型(如Q4_K_M)或使用更小模型(如Phi-3-mini)。 - **速度慢**:启用群晖SSD缓存,或通过API异步调用。 - **无显卡支持**:使用`llama.cpp`或`mlc-llm`等CPU优化框架。 --- ### **五、进阶方案** - **集成至群晖服务**:通过反向代理(Nginx)绑定域名,搭配群晖SSL证书启用HTTPS。 - **结合本地应用**:使用Synology Drive同步模型文件,或通过Webhook对接ChatBot。 部署完成后,可通过`curl http://localhost:5000/api/v1/generate -d '{"prompt":"你好"}'`测试API,或直接在Web界面交互。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值