Deepseek+Dify部署本地知识库及应用

一、本地知识库对比

为了进行一个清晰的横向对比,我们将从多个维度对MaxKB、AnythingLLM、Dify、FastGPT和Ragflow这些工具或平台进行比较。以下是基于现有信息整理的一个对比表格:

特性/平台

MaxKB

AnythingLLM

Dify

FastGPT

Ragflow

主要用途

知识库管理与检索

大规模语言模型的应用开发

AI应用快速开发与部署

快速构建和部署GPT模型

基于检索增强生成(RAG)的工作流

支持的模型

自定义

支持多种开源及私有LLMs

主要支持轻量级本地运行的模型

GPT系列模型

支持通过API集成的各种模型

硬件要求

适中,根据模型大小变化

高,特别是对于大型模型

较低,优化用于本地部署

根据模型大小变化,可能较高

中等到高,取决于使用的模型

用户友好度

提供图形界面(GUI),易于使用

对开发者友好,但需要一定的技术背景

提供CLI和API接口,相对易用

提供简化工具,适合快速原型设计

需要一定的配置和技术知识

集成能力

可以与其他系统集成

强大的集成能力,支持多环境

良好的集成能力

专注于GPT模型的快速集成

强调与外部数据源和模型的集成

扩展性

支持扩展,但有限

高度可扩展

具有一定的扩展性

适用于快速扩展的小型到中型项目

设计为高度可扩展

适用场景

知识管理、文档检索

复杂的语言处理任务,如对话系统

快速开发AI应用,适合初创公司和个人开发者

快速原型设计和小型项目的GPT模型部署

需要深度文本理解和检索的场景

社区和支持

社区较小,官方支持有限

活跃的开源社区

新兴平台,社区正在增长

相关资源丰富,尤其是关于GPT的内容

开源项目,有一定活跃度

二、环境准备:

docker环境准备、ollama环境准备,部署好本地deepseek-r1

参考:DeepSeek R1本地化部署及应用_deepseek-r1 能否将计算数值传递给别的本地应用-优快云博客

三、安装Dify

Dify介绍:可参考官网文档欢迎使用 Dify | Dify

获取项目安装包:https://github.com/langgenius/dify

git clone https://github.com/langgenius/dify.git

修改配置环境变量,环境变量参数客参考:环境变量说明 | Dify

cd dify/docker
cp .env.example .env
vim .env

安装运行Dify

#版本是 Docker Compose V2,使用以下命令
docker compose up -d

#更新Dify,进入 dify 源代码的 docker 目录,按顺序执行以下命令:
cd dify/docker
docker compose down
git pull origin main
docker compose pull
docker compose up -d

注意:

  • 如果 .env.example 文件有更新,请务必同步修改你本地的 .env 文件。

  • 检查 .env 文件中的所有配置项,确保它们与你的实际运行环境相匹配。你可能需要将 .env.example 中的新变量添加到 .env 文件中,并更新已更改的任何值。

四、访问 Dify,关联本地deepseek-r1

你可以先前往管理员初始化页面设置设置管理员账户:

登录地址:http://主机ip/install

将本地deepseek-r1模型和Dify关联

登录后,点击用户→设置→模型供应商→选择ollama,添加模型

五、使用Ollama安装文本嵌入模型

打开Ollama官网:Ollama,点击上方的Models,选择Embedding

模型名称

性能特点(检索准确率等)

训练速度

推理速度

最低内存需求

推荐内存需求

GPU支持

其他要求(如存储空间)

nomic-embed-text

高精度检索,适合简短问题

中等

中等

8GB

16GB+

支持

存储空间取决于模型大小,通常需要几GB到几十GB不等

mxbai-embed-large

快速处理大规模数据

8GB

16GB+

支持

需要至少8GB内存,但推荐更多以处理大规模数据集

5

snowflake-arctic-embed

实用且平衡的选择

中等到快

中等到快

4GB

8GB+

可选

依赖于具体应用场景,但通常需要足够的磁盘空间来存储训练数据

根据自己的硬件配置选择一个合适的模型,这里我选择bge-m3来做演示。

14:36 root@deepseek:~ 
$ollama pull bge-m3
pulling manifest 
pulling daec91ffb5dd... 100% ????????????????????????????????????????????????????????????????????????????????????????????????????
pulling a406579cd136... 100% ????????????????????????????????????????????????????????????????????????????????????????????????????
pulling 0c4c9c2a325f... 100% ????????????????????????????????????????????????????????????????????????????????????????????????????
verifying sha256 digest 
writing manifest 
success 
14:39 root@deepseek:~ 
$

六、Dify中添加文本嵌入模型

在Dify控制台点击头像,在弹出菜单中选择设置→模型供应商→选择ollama,添加模型

Dify中创建聊天应用

创建知识库,上传文档

为应用添加上下文,并测试知识库

参考资料:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

正在输入中…………

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值