win本地部署Dify,并接入deepseek-r1

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

参考Dify官方部署文档
需要安装的软件有Docker(提供Dify运行的虚拟机环境)ollama(通过该平台可接入deepseek)
 
本机环境:win10企业版21H2,i5-12400,16GB,集显无独立显卡

一、Docker安装

  1. 开启本机虚拟化相关功能
    在这里插入图片描述

  2. 官网下载Docker安装程序在这里插入图片描述

  3. 安装Docker
    在这里插入图片描述

  4. 安装完成在这里插入图片描述

  5. Docker安装完成后会自动安装WSL在这里插入图片描述

二、Dify源码下载并启动部署

  1. Dify源码下载
    在这里插入图片描述

  2. Dify源码解压后,复制文件.env.example并命名.env
    在这里插入图片描述

  3. 运行docker compose up -d运行Dify服务
    在这里插入图片描述

  4. 上面报错Error response from daemon: Get "https://registry-1.docker.io/v2/": net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)是因为docker镜像无法下载,需要换镜像源地址

     #更新一版2025.12.20可用
     {
       "builder": {
         "gc": {
           "defaultKeepStorage": "20GB",
           "enabled": true
         }
       },
       "experimental": false,
       "registry-mirrors": [
         "https://2a6bf1988cb6428c877f723ec7530dbc.mirror.swr.myhuaweicloud.com",
         "https://docker.m.daocloud.io",
         "https://hub-mirror.c.163.com",
         "https://mirror.baidubce.com",
         "https://your_preferred_mirror",
         "https://dockerhub.icu",
         "https://docker.registry.cyou",
         "https://docker-cf.registry.cyou",
         "https://dockercf.jsdelivr.fyi",
         "https://docker.jsdelivr.fyi",
         "https://dockertest.jsdelivr.fyi",
         "https://mirror.aliyuncs.com",
         "https://dockerproxy.com",
         "https://mirror.baidubce.com",
         "https://docker.m.daocloud.io",
         "https://docker.nju.edu.cn",
         "https://docker.mirrors.sjtug.sjtu.edu.cn",
         "https://docker.mirrors.ustc.edu.cn",
         "https://mirror.iscas.ac.cn",
         "https://docker.rainbond.cc"
       ]
     }
     
     #以下失效
     {
       "builder": {
         "gc": {
           "defaultKeepStorage": "20GB",
           "enabled": true
         }
       },
       "experimental": false,
       "features": {
         "buildkit": true
       },
       "registry-mirrors": [
         "https://docker.linkedbus.com",
         "https://docker.xuanyuan.me",
         "https://docker.m.daocloud.io/",
         "https://huecker.io/",
         "https://dockerhub.timeweb.cloud",
         "https://noohub.ru/",
         "https://dockerproxy.com",
         "https://docker.mirrors.ustc.edu.cn",
         "https://docker.nju.edu.cn",
         "https://xx4bwyg2.mirror.aliyuncs.com",
         "http://f1361db2.m.daocloud.io",
         "https://registry.docker-cn.com",
         "http://hub-mirror.c.163.com"
       ]
     }
    

    在这里插入图片描述

  5. 再次运行docker compose up -d启动Dify,可以看到相关镜像成功拉取,创建的容器均已正常启动
    在这里插入图片描述

    在这里插入图片描述

三、设置Dify管理员账号,修改端口

  1. Dify部署成功后,访问localhost/install设置管理员账户,默认端口是80
    在这里插入图片描述
  2. 修改端口
    在这里插入图片描述
  3. 如果初次访问卡在loading页,服务报502,参考官方文档改配置
    在这里插入图片描述
    打开git bash输入命令docker ps -q | xargs -n 1 docker inspect --format '{{ .Name }}: {{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}'
    在这里插入图片描述
    修改配置
    在这里插入图片描述
    改完配置如下
    在这里插入图片描述
  4. 改完配置后重新部署docker compose up -d,成功进入首页
    在这里插入图片描述

四、安装ollama,deepseek r1和bge-m3模型

1、安装ollama

  1. 下载并安装
    在这里插入图片描述
  2. 输入命令ollama list检查是否安装完成
    在这里插入图片描述

2、安装deepseek r1模型(大语言模型)

  1. 官网搜索模型,这里选最小的1.5b版本
    在这里插入图片描述
  2. 输入命令ollama run deepseek-r1:1.5b安装
    在这里插入图片描述
  3. 安装完成并进行对话测试
    在这里插入图片描述

3、安装bge-m3模型(知识库搜索增强)

  1. 官网搜索模型
    在这里插入图片描述
  2. 输入命令ollama pull bge-m3安装
    在这里插入图片描述
  3. 输入命令ollama list检查模型是否安装完成
    在这里插入图片描述

五、Dify配置ollama、deepseek r1

  1. 进入Dify设置
    在这里插入图片描述

  2. 安装ollama插件
    在这里插入图片描述

  3. 修改.env文件在末尾追加两行

     CUSTOM_MODEL_ENABLED=true
     OLLAMA_API_BASE_URl=host.docker.internal:11434
    

    在这里插入图片描述

  4. ollama添加模型deepseek r1:1.5b

    在这里插入图片描述

  5. Dify中创建应用
    在这里插入图片描述
    在这里插入图片描述

  6. 创建后进行聊天测试
    在这里插入图片描述
    至此,本地部署Dify并接入deepseek模型已完成,最后补充知识库创建过程

六、Dify知识库创建

  1. 准备知识库文件,如下示例
    在这里插入图片描述

  2. Dify中创建知识库
    在这里插入图片描述
    在这里插入图片描述

  3. 引用知识库,并进行聊天测试
    在这里插入图片描述
    在这里插入图片描述
    可以看到效果很差,可以引入Embedding模型bge-m3,支持向量检索,提升知识库内容检索的精确性

  4. Dify设置中添加模型bge-m3
    在这里插入图片描述

  5. 创建知识库时选择高质量模式
    在这里插入图片描述

  6. 最后看聊天效果,对知识库内容的检索精确了很多
    在这里插入图片描述

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

### 关于 DeepSeek-R1 知识库的 Dify 本地部署教程 #### 准备工作 为了成功完成 Dify本地部署,确保 Docker 已经安装正常运行。启动 Docker Desktop 后,在其内置终端中操作可以简化许多流程。 #### 部署环境设置 切换至存储有 Dify 文件夹的位置对于后续命令执行至关重要。假设文件位于 `D:\dify-0.15.3\docker` ,则需输入如下指令来进入该路径: ```bash cd /d D:\dify-0.15.3\docker ``` 此步骤使得所有接下来的操作都在指定环境中进行[^2]。 #### 构建与启动服务 在正确的工作目录下,通过构建镜像和服务启动容器化应用。通常情况下会有一个名为 `docker-compose.yml` 或类似的编排文件用于定义所需的服务栈。使用下面这条命令来进行初始化部署: ```bash docker-compose up --build -d ``` 上述命令不仅能够拉取最新的依赖项,还能以后台模式启动所有的关联组件,从而实现无干扰地访问应用程序接口。 #### 测试连接 一旦部署过程顺利完成,验证新搭建的知识库是否可被外部程序调用非常重要。这一般涉及到向特定端口发送 HTTP 请求以确认 API 是否响应良好。具体测试方法取决于所使用的编程语言及其对应的客户端库。 #### IDEA 插件 CodeGPT 中集成 DeepSeek IDEA 用户可以通过安装插件的方式增强开发体验。前往 IDE 设置页面中的插件市场寻找 "CodeGPT" 完成安装。这一工具可以帮助开发者更便捷地利用 AI 功能辅助编码工作[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值