1.DeepSeek-R1+Dify+Bge-m3+CentOS7.9搭建本地专属知识库

已于 2025-05-28 15:10:29 修改
阅读量3.1k 收藏 46
点赞数 30
CC 4.0 BY-SA版权
分类专栏： AI大模型测试领域应用 文章标签： DeepSeek Dify
于 2025-02-26 15:48:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/web326/article/details/145877222

1.介绍

        部署本地DeepSeek+本地知识库，将现有的内部项目测试相关资料上传，构建测试领域模型。笔记本电脑配置较低，不能一起部署DeepSeeK+Dify。在现有服务器上创建虚拟机进行部署，尝试使用。

2.系统准备

2.1服务器介绍

硬件服务器：40核/256G服务器+CentOS7.9+KVM虚拟机

本次使用虚拟机配置：CPU：>16（实际配置32），

                                    内存：>32G（实际配置64），

                                    存储：400G

                                    操作系统：CentOS7.9+最小化部署+开发相关软件

2.2操作系统设置

1.关闭Seliunx和防火墙

#防火墙关闭和禁用开机启动
systemctl disable firewalld
systemctl stop firewalld
#永久关闭selinux：
vi /etc/selinux/config  SELINUX=disabled
#临时关闭selinux：
setenforce 0

2.配置国内ali-yum源

# yum源配置
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/docker-ce.repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install epel-release -y
yum install fuse-overlayfs

#安装wget测试yum源：
yum install wget

2.3安装docker、docker-compose

安装docker及docker-compose（版本要求：Docker 19.03 or later Docker Compose 1.28 or later）

#安装docker：
yum install -y yum-utils device-mapper-persistent-data lvm2 docker
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache fast
#安装docker-compose，需要版本大于1.28
curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

#配置开机启动
systemctl enable docker 
systemctl start docker

# 验证docker及docker-compose服务OK
systemctl status docker

docker-compose -v
docker-compose version 1.29.2, build 5becea4c

2.4docker配置国内镜像源

vi /etc/docker/daemon.json 创建文件，配置内容

vi /etc/docker/daemon.json #配置json
{
    "registry-mirrors": [
        "https://自己的阿里云加速器id.mirror.aliyuncs.com",
        "https://dockerproxy.com",
        "https://mirror.baidubce.com",
        "https://docker.m.daocloud.io",
        "https://docker.nju.edu.cn",
        "https://docker.mirrors.sjtug.sjtu.edu.cn",
        "https://do.nark.eu.org",
        "https://dc.j8.work",
        "https://docker.m.daocloud.io",
        "https://dockerproxy.com",
        "https://docker.mirrors.ustc.edu.cn",
        "https://docker.nju.edu.cn"
    ]
}

systemctl daemon-reload 
systemctl restart docker

3.安装ollama及DeepSeek模型

3.1安装ollama

1.在线安装：Download Ollama on Linux   ，直接运行：

curl -fsSL https://ollama.com/install.sh | sh

PS：因我的服务器到github网络带宽原因，执行时间过长且多次都未成功，使用离线安装方式进行。

2.离线安装ollama

  1. 登录https://github.com/ollama/ollama/releases  ，下载当前最新版本0.5.12  ollama-linux-amd64.tgz
  2. 上传服务器/opt/ollama目录及解压 
    mkdir /opt/ollama
tar -xzf ollama-linux-amd64.tgz
  3. 配置ollama服务文件 
    # 创建启动文件
vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target


[Service]
ExecStart=/opt/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"


# 指定模型存储位置
Environment="OLLAMA_MODELS=/opt/ollama/models"

# 配置ollama非本机IP访问
Environment="OLLAMA_HOST=0.0.0.0:11434"


[Install]
WantedBy=default.target




#修改完之后，刷新
systemctl daemon-reload

  4. 配置环境变量

  5. vi /etc/profile.d/ollama.sh
#ollama.sh内容如下
PATH=$PATH:/opt/ollama/bin
export PATH

#刷新 
source /etc/profile

  6. 启动以及设置开机启动

    systemctl enable ollama 

systemctl start ollama 

systemctl status ollama 

# systemctl stop ollama ##关闭

# systemctl restart ollama  ##重启

   6. 验证ollama

ollama -v

3.2下载DeepSeek等模型

从Ollama Search 找到对应模拟命令进行下载

#安装deepseek的默认版本：7b
ollama run deepseek-r1
#安装向量模型
ollama pull bge-m3

查看安装模型

查看运行中的模型

4.Dify部署

4.1Dify部署

参考官方部署文档：Docker Compose 部署 | Dify

git clone https://github.com/langgenius/dify.git
cd /opt/dify/docker 
cp .env.example .env 
docker compose up -d

http://192.168.100.219/install   安装地址

http://192.168.100.219  登录地址

4.2 Dify参数配置

cd /opt/dify/docker

vi .env   #修改配置详见截图
#上传文件大小数量限制
# Upload file size limit, default 15M.
UPLOAD_FILE_SIZE_LIMIT=250

# The maximum number of files that can be uploaded at a time, default 5.
UPLOAD_FILE_BATCH_LIMIT=100

#重启dify所有服务，使修改配置生效
docker compose down
docker compose up -d

5.Dify配置DeepSeek等模型

5.1 添加DeepSeek+bge-m3模型

dify系统右上角--点击用户名---点击“设置”---选择模型供应商“ollama”

5.2 对接硅基流动(可选)

硅基流动统一登录  注册，创建API密钥

5.3配置dify模型设置

6.知识库导入及使用

6.1创建知识库及上传资料

6.2创建聊天助手

【角色设定】作为资深测试工程师
【详细任务描述】为xx项目集成测试写一份测试方案与计划。旨在指导测试团队明确测试目的、测试范围、测试计划、测试策略和重点、以及交付哪些交付件，和项目测试中可能出现的风险。测试时间25个工作日，测试环境分为功能测试环境、非功能（性能、稳定性、长拷）测试环境两套。要求必须进行安装部署测试和法语的本地化测试。
【关键信息补充】分多个一级标题，多个二级、三级标题，测试方案设计详细、清晰、简洁明了。
【期望输出要求】给出详细测试方案，3000字左右

使用结论：

1.已经引用了自己配置知识库，可以在不联网情况下使用DeepSeek；

2.使用deepseek-r1:7b 小型模型，因服务器无显卡、纯CPU，在进行使用时，32核基本上全部90%以上；

3.输出效果，现在使用未达到想要的效果，需要继续研究下。

7.后续

待进行

零基础实战：用 Docker 和 vLLM 本地部署 BGE-M3 文本嵌入模型
举世誉之而不加劝，举世非之而不加沮，定乎内外之分，辩乎荣辱之境，斯已矣。
06-13 4086
BGE-M3是北京智源推出的多功能文本嵌入模型，支持跨语言语义匹配。利用Docker容器化和vLLM框架可高效部署该模型，实现本地运行的优势包括隐私保护、定制化和成本控制。通过配置Docker环境，使用vLLM官方镜像加载模型，并进行文本嵌入测试验证效果。该方案适合开发者快速验证模型能力，或集成到本地NLP流程中。
【AI】HR必看！DeepSeek-R1+Dify打造AI简历筛选神器，3步提效300%！
德仔
03-06 2795
目前，我采用的是dify+deepseek（本地部署）搭建实现了一个AI筛选简历工作流，通过LLM评分模型完成初步的筛选；简历筛选缩短分钟级！通常公司在招聘时的流程：把简历录入到系统，招聘系统中设置多个标签，然后逐一查看系统筛选出的候选人简历进行初步筛选。首先，输入我们要招聘的岗位，职责和要求；AI应用可以帮助我们把简历和我们提前设定好的一些要求，进行匹配，并输出初步的结论。可以看到，应用会帮助我们把简历的关键信息提取出来，并且和我们提前设定好的一些要求，进行匹配，并输出初步的结论。
私有化部署dify + DeepSeek-R1-Distill-Qwen-32B + bge-m3
xuebodx0923的博客
03-29 1883
Dify是一款开源的大语言模型(LLM)应用开发平台。对数百个模型的支持、直观的Prompt编排界面、高质量的RAG引擎、稳健的Agent框架、灵活的流程编排。在linux环境中使用docker部署dify，vllm部署DeepSeek-R1，ollama部署bge-m3。unexpected character "%" in variable name near "%H:%M:%S\n。Not supported URL scheme http+docker。dify 80端口被占用怎么修改端口
嵌入模型 BGE-M3 本地部署与 Weaviate 向量库适配
最新发布
gredfdfssdf的博客
10-31 502
本指南将逐步指导您如何在本地部署 BGE-M3 模型，并将其与 Weaviate 向量库适配，实现文本嵌入的生成、存储和查询。设文本输入为 $text$，模型输出嵌入向量 $\vec{v} \in \mathbb{R}^d$，其中 $d$ 是嵌入维度（BGE-M3 的 $d=1024$）。适配的核心是将 BGE-M3 生成的嵌入向量存储到 Weaviate，并支持查询。Weaviate 允许自定义向量索引，但 BGE-M3 的嵌入维度为 $d=1024$，可直接使用。
embedding模型bge-m3安装及Dify中调用
weixin_47938735的博客
04-16 5487
设备：Ubuntu GPU服务器（离线）、Windows10（联网：我的本机电脑）工具：putty（操作离线服务器）、WinSCP（文件上传）前置条件：目标服务器已安装ollama模型（我的不是用docker安装的）
安装Embendding模型（bge-m3）并且关联Dify
欲买桂花同载酒的博客
02-20 4892
在使用Dify进行知识库创建的时候，我们可以设置它的索引方式是高质量还是经济模式。如果想使用高质量的索引方式，就必须安装Embendding模型。下面我们来介绍下如何安装Embendding模型（bge-m3）并且将其关联到Dify平台。
ai之嵌入模型bge-m3:latest的本地部署
nalanxiaoxiao2011的博客
06-17 4408
ai之嵌入模型bge-m3:latest的本地部署
docker-compose 换源
u013345780的博客
06-21 1218
gedit /etc/docker/daemon.json{ "registry-mirrors": [ "https://dockerproxy.com" ] }
基于DeepSeek-R1、bge-m3、bge-reranker-v2-m3、dify技术框架实现中文本地知识库，依托
08-25
本项目依托于一系列先进的技术框架，如DeepSeek-R1、bge-m3、bge-reranker-v2-m3和dify，旨在实现一个中文本地知识库，这一知识库不仅能够支持多模态数据处理，而且适用于侧端应用。 DeepSeek-R1是一种深度学习框架...
精选资源
DeepSeek-R1最佳本地部署+知识库+联网搜索（2个安装包1条命令搞定）.pdf
02-10
6. 设置本地知识库； 7. 进行联网搜索； 8. 探索更多玩法，比如向量数据库和文本分隔。 在进行本地部署和配置过程中，用户需要确保了解每个步骤的具体操作，以确保系统能够顺利运行。特别要注意的是，文中提到的OCR...
精选资源
【deepseek部署个人知识库】ollama+deepseek+docker+Dify-部署教程
03-04
这整个过程涉及到的技术比较多，包括搜索引擎框架、深度学习、应用容器化以及个人知识库搭建等，因此对于初学者来说可能具有一定难度，但对于熟悉这些技术的用户来说，则是一种有效的知识整合和检索手段。
从0到1手把手搭建dify（基于centos7.9）
萌新知识小课堂
05-15 1126
手动部署dify包含docker /docker-compose/dify 三个服务部署
【大模型-知识库之本地安装Embendding模型（BGE-M3）】
高克莱的博客
03-20 3245
通过python进行文档内容的解析、分片、并调用Embendding模型（BGE-M3）将分片内容进行向量化，存入向量数据库中，其中向量转化可以使用开源的模型进行处理。
vllm本地部署bge-m3模型API服务实战教程
2401_85252837的博客
05-19 3253
本文详细介绍了在Ubuntu 24.04系统上，使用CUDA 12.8和Python 3.12环境，本地部署bge-m3模型API服务的实战教程。首先，通过Miniconda创建并激活虚拟环境，随后安装vllm、对应版本的PyTorch以及flash_attn（安装过程可能耗时较长）。接着，从魔搭社区下载bge-m3模型，并通过命令行启动API服务。最后，提供了调用API服务的示例代码，并展示了运行结果。整个过程涵盖了环境配置、模型下载、服务启动及验证等关键步骤，适合需要在本地部署bge-m3模型的开发者参
BGE-M3部署教程：本地服务器到云端集群的完整方案
gitblog_01000的博客
09-22 1147
### 1.1 硬件要求 | 部署场景 | CPU核心数 | 内存容量 | GPU要求 | 存储空间 | |---------|----------|---------|---------|---------| | 开发测试 | ≥4核 | ≥16GB | 可选 | ≥20GB | | 生产单机 | ≥8核 | ≥32GB | ≥12GB显存 | ≥50GB ...
使用deepseek和bge-m3搭建本地知识库
2401_85390073的博客
02-25 9826
想要在本地搭建知识库，需要提供一个本地运行大模型的环境，选择合适的推理大模型和Embedding模型，其次需要配置向量数据库用于知识的存储和检索，最后安装可视化交互工具方便使用。当然很多可视化交互工具本身也提供了默认的向量数据库配置，如anythingLLM。为了简化本地部署，这里就通过anythingLLM来完成模型和向量数据库的配置。集成步骤如下：安装Ollama→下载DeepSeek和Embedding模型→安装anythingLLM→配置DeepSeek和Embedding模型。
Dify+Ollama+Deepseek+BGE-M3来搭建本地知识库实操
2401_84204207的博客
03-26 2831
智能体(Al Agent)是大模型与业务应用的桥梁，智能体=大模型+知识库+业务系统API+工作流编排。
CentOS7之Dify部署
weifacai的专栏
06-29 5957
CentOS安装时IP4设置成手动，DNS设置为1.CentOS安装DockerDocker CE 支持 64 位版本 CentOS 7，并且要求内核版本不低于 3.10， CentOS 7 满足最低内核的要求，所以我们在CentOS 7安装Docker。1.1.卸载（可选）
银河麒麟v10（arm架构）部署Embedding模型bge-m3【简单版本】
mizhiakk的博客
04-11 2106
银河麒麟v10（arm架构）部署Embedding模型bge-m3【简单版本】
centos7部署DeepSeek-R1（Ollama+Docker+Dify知识库）ubuntu
04-02
### 部署方案概述 在 CentOS 7 上部署 DeepSeek-R1 模型并集成 Dify 知识库的过程可以分为以下几个部分：准备操作系统环境、安装 Docker 和 Docker Compose、通过 Ollama 下载和运行 DeepSeek 模型、配置 Dify 并连接到模型服务。以下是详细的说明。 --- #### 一、操作系统的准备工作 CentOS 7 是一个较为稳定的 Linux 发行版，但在某些方面可能不如较新的发行版（如 Rocky Linux 或 Ubuntu）。需要注意的是： - **软件包支持**：CentOS 7 的默认仓库中可能存在过旧的软件版本，因此需要手动启用 EPEL (Extra Packages for Enterprise Linux) 来获取更多更新的工具和支持[^1]。 - **依赖项兼容性**：Rocky Linux 9.5 被用于初始部署案例，其内核和基础库更接近现代标准。而 CentOS 7 使用较老的基础架构，可能会遇到一些兼容性问题，特别是在处理最新容器技术时。 ```bash sudo yum install epel-release -y sudo yum update -y ``` --- #### 二、Docker 及 Docker Compose 安装 为了确保一致性，建议使用与引用中的相同版本号来减少潜在冲突风险。对于 CentOS 7: 1. 添加官方 Docker CE 存储库： ```bash sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo ``` 2. 安装 Docker Engine: ```bash sudo yum install docker-ce docker-ce-cli containerd.io -y ``` 3. 启动并设置开机自启： ```bash sudo systemctl start docker && sudo systemctl enable docker ``` 4. 关于 `docker-compose` 版本的选择，推荐采用 v2.x 系列以匹配最新的功能需求[^2]: ```bash sudo curl -SL https://github.com/docker/compose/releases/download/v2.33.1/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose ``` 验证安装成功与否可以通过命令测试： ```bash docker --version docker-compose --version ``` --- #### 三、Ollama 中加载 DeepSeek 模型 利用 Ollama 提供的服务接口简化大型语言模型管理流程。具体步骤如下所示： 1. 创建一个新的目录作为工作区，并切换至该路径下执行后续指令； 2. 初始化项目结构文件夹树形图示意如下： ``` project/ ├── ollama_config.json └── models/ └── deepseek_r1_7b/ ``` 3. 运行以下脚本来完成镜像拉取任务： ```bash mkdir -p ./models/deepseek_r1_7b cd ./models/deepseek_r1_7b # 替代方法调用硅基流动API实现无缝衔接过程描述见参考资料[^3] ollama pull deepseek-r1:7b ``` 注意这里强调了如果直接尝试访问官网提供的 RESTful 接口存在不稳定因素，则需考虑间接途径解决此难题。 --- #### 四、Dify 环境搭建及其关联设定 最后一步就是把前面所构建好的组件串联起来形成完整的解决方案框架——即引入 Dify 应用来统一管理和调度各个子模块之间的交互逻辑关系。 初始化数据库表单定义语句片段举例展示如下形式书写方式遵循 SQL 标准语法习惯即可满足基本要求条件限制范围之内合理调整参数数值大小适应实际应用场景特点差异情况作出相应修改优化改进措施提升整体性能表现水平达到预期目标效果最佳状态呈现出来供大家参考学习借鉴经验积累共同进步成长发展下去不断探索未知领域开拓创新思路方向引领未来趋势走向更加辉煌灿烂明天迎接挑战克服困难勇往直前无惧风雨一路向前迈进！ ```sql CREATE TABLE IF NOT EXISTS knowledge_base ( id INT AUTO_INCREMENT PRIMARY KEY, content TEXT NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); ``` 随后按照文档指引完成必要的字段映射规则制定以及索引创建等工作环节之后便能够顺利启动应用程序进入正常运转模式当中去了呢😊 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

测试老吴

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值