Dify+Ollama+deepseek本地部署大模型完整教程

原创 已于 2025-03-04 14:58:58 修改
· 3.8k 阅读 · 25 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #笔记 #python #mysql

于 2025-02-24 17:15:03 首次发布

Dify+Ollama+deepseek本地部署大模型完整教程

1. 安装前硬件要求

名称参数
操作系统Windows 11（64位）
处理器至少2核，2GHz或更快
硬盘空间至少60GB

硬件越好，性能越高，处理越快。

2.安装WSL和Docker

（1）开启Hyper-V，安装WSL

打开控制面板，找到对应的功能进行打开，操作如下图：
在这里插入图片描述

在这里插入图片描述

windows+R，输入cmd，命令行输入wsl --install，安装重启电脑。重启后输入wsl --status查看状态。

如果无报错，跳过更新；如果有报错，输入 wsl --update 更新（若下载缓慢可终止 Ctrl + C，再使用 wsl --update --web-download 重新下载）。
最后输入 wsl --status 确认安装成功。

（2）安装Docker

Docker官网下载地址： Docker: Accelerated Container Application Development

下载与系统相对应的版本进行安装即可。

3.安装git

网址：https://github.com/git-for-windows/git/releases/download/v2.48.1.windows.1/Git-2.48.1-64-bit.exe

搜索：github文件加速下载，加速下载github文件

安装教程：【可以无脑下一步】windows安装git（全网最详细，保姆教程）

4.安装dify

配置docker镜像源，加速下载

增加docker镜像源：https://docker.1ms.run

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "features": {
    "buildkit": true
  },
  "registry-mirrors": [
    "https://docker.1ms.run"
    
  ]
}

更改镜像源方式一：docker界面操作
在这里插入图片描述

更改镜像源方式二:找到json文件进行编辑

在这里插入图片描述

方式一：使用git克隆

打开cmd，输入命令：

从指定的GitHub仓库中获取Dify的代码：

git clone https://github.com/langgenius/dify.git

操作，复制配置文件：

cd dify/docker
copy .env.example .env

cd是切换文件，相当于windows操作，进入到docker文件夹下。

cp是复制，复制示例配置文件，这一步就像是复制一份模板，后续可以根据自己的需求修改其中的参数，比如调整端口或密钥等。

一键启动服务：根据你安装的Docker Compose版本，选择相应的命令启动服务。如果是Docker Compose V2，在终端输入：

docker compose up -d

如果运行报错，运行V1版本代码：docker-compose up -d

方式二：直接github下载压缩包

github下载地址：GitHub - langgenius/dify

解压文件，先找到docker-compose.yaml文件所在的文件夹（通常在 dify 目录下的 docker 文件夹中）

在这里插入图片描述

进入命令行模式：

在这里插入图片描述

一键启动服务：根据你安装的Docker Compose版本，选择相应的命令启动服务。如果是Docker Compose V2，在终端输入：

docker compose up -d

如果运行报错，运行V1版本代码：docker-compose up -d

耐心等待下载

耐心等待下载完成：【下载不动可能是镜像源已失效】
在这里插入图片描述

问题处理（没报错跳过）

若出现端口冲突（例如 Error response from daemon: Ports are not available），可通过以下方法解决：

方法一：关闭占用 80 端口的服务。
方法二：修改 .env 文件中端口号，将 NGINX_PORT=80 和 EXPOSE_NGINX_PORT=80 改为 81。

在这里插入图片描述
在这里插入图片描述

安装是否成功

打开docker，看到运行的容器即可。

在这里插入图片描述

5. 登录Dify

在浏览器中打开：

http://localhost:80
或者
http://127.0.0.1:80

如果更改了端口，自行替换即可。

浏览器打开http://localhost/signin，进行注册登录

6. dify配置模型

说明：Dify只是一个工具，AI模型需要配置API

Dify 是一个运行在本地的 Web UI，它允许我们便捷地访问和使用各种大语言模型，但是需要注意的是，下载 Dify 并不等同于下载了这些模型本身，如果希望使用这些大模型，依然需要入场券，也就是需要拿到相应的 API Key，这部分是需要自己额外付费。

右上角，个人信息下拉，选择设置，找到模型供应商：

在这里插入图片描述

以deepseek为例：

进入官网：DeepSeek 开放平台

参考文档： DeepSeek API Docs

生成API key，方便调用：
在这里插入图片描述

记住api key，保存下来备用：

在这里插入图片描述

7.集成Ollama[本地化]

1. 下载安装包

官网地址：Ollama

github地址：https://github.com/ollama/ollama/

windows下载安装OllamaSetup.exe

mac下安装同理
linux安装采用命令行curl -fsSL https://ollama.com/install.sh | sh

2.安装验证

安装后验证是否安装完成，测试如下:
cmd下，输入ollama，出现如图下的界面皆为安装成功。
在这里插入图片描述
或者输入ollama -v查看版本信息
在这里插入图片描述
出来版本信息即为安装成功

3.常用命令

ollama的常用命令如下：
在这里插入图片描述

ollama serve         #启动ollama
ollama create        #从模型文件创建模型
ollama show          #显示模型信息
ollama run           #运行模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #复制模型
ollama rm            #删除模型
ollama help          #获取有关任何命令的帮助信息
4. 更改ollama安装路径【默认C盘，可以跳过这步】

因为安装ollama的时候，默认安装到c盘，没有更改路径的选项，因此需要根据存储空间的大小自行选择是否更改。

windows下，同时按下windows+R，输入sysdm.cpl
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
更改这里的路径，
如果找不到appdata这个文件夹，可能隐藏了，状态栏选择
在这里插入图片描述在这里插入图片描述
把这里的ollma文件夹全部剪切走，放在想要放的文件夹下，例如我的是:D:\Ollama\program_ollama\Ollama
然后把这个地址替换掉path路径下的c盘路径
在这里插入图片描述
重启ollama，cmd命令行下测试ollama -v：
在这里插入图片描述
完成上述操作即为路径迁移成功！

4.更改模型安装路径

windows下，同时按下windows+R，输入sysdm.cpl
在这里插入图片描述
在这里插入图片描述
新建环境变量：

变量名：OLLAMA_MODELS
变量值:大模型存放的地址，例如D:\ollama

在这里插入图片描述
操作完成，关闭页面，退出重新打开ollama使配置生效。

5.下载大模型【deepseek为例】

根据电脑性能选择合适的deepseek模型

deepseek版本模型大小cpu要求内存要求硬盘要求显卡要求应用场景推荐
DeepSeek-R1-1.5b1.5-2G最低 4 核8G+5G+存储非必要，推荐gtx1650以上旧电脑，文本生成，聊天机器人，简单回复，物联网，小型设备
DeepSeek-R1-7b4-5G最低8核+16G+8G+存储推荐8G+显存，rtx3070/4060等中小型企业使用开发测试，中等复杂文本处理任务，轻量级别对话系统
DeepSeek-R1-8b4-5G最低10核+16G+10G存储推荐8G+显存，rtx4070等中小型企业用，对精度要求更高一点，轻量级任务处理
DeepSeek-R1-14b15G+最低12核+32G+20G存储推荐16G+显存，rtx4090，a5000等企业级复杂任务，长文本理解与生成，文章的写作等
DeepSeek-R1-32b30G+最低16核+64G+30G+存储推荐24G+显存，A100，双卡4090等高精度的专业化领域问题处理，多模态任务预处理等
DeepSeek-R1-70b70G+32核+，服务器级别128G+70G+存储推荐80G+显存，A100多卡等科研机构，大型企业，数据分析，高复杂任务生成，算法分析
DeepSeek-R1-671b300G+64核+，服务器级别512G+400+存储1T+显存，A100/H100多卡
国家级，超大规模企业，科研院所，人工智能研究，数据建模等

以1.5b为例：命令行运行ollama run deepseek-r1:1.5b，等待下载即可。

结束后查看库，ollama list
在这里插入图片描述

6.dify接入ollama

http://localhost/signin，打开dify，登录注册，点击头像，打开设置，找到模型供应商
。

模型名称选择你安装的大语言模型，例如deepseek-r1:1.5b，
基础URL默认是:http://host.docker.internal:11434/

在这里插入图片描述
添加第二个，文本处理模型：在这里插入图片描述
完成效果图：
在这里插入图片描述

8.创建应用

（1） 创建知识库

在这里插入图片描述
把自己整理的的文件当知识库上传。等待数据清洗完成即可。
在这里插入图片描述

（2）创建聊天助手

在这里插入图片描述
上下文选择已经上传的知识库。
在这里插入图片描述

（3）创建工作流

未完待续

文档参考：

Dify+DeepSeek-R1: 我的超强AI工作流,详细的部署与使用实录_dify deepseek
保姆教程篇：手把手教你从零开始本地部署Dify - 知乎
Docker 部署 Dify：轻松集成 Ollama 和 DeepSeek_dify docker 配置ollama-优快云博客
通过Ollama本地部署DeepSeek R1以及简单使用的教程

DeepSeek + Dify + Ollama + Docker + Linux 私有化部署，构建你的专属私人 AI 助手
s13166803785的博客
02-17 4498
通过以上步骤，你可以在 Linux 环境下使用 Docker 部署 DeepSeek、Dify 和 Ollama，构建一个专属的私人 AI 助手。构建一个专属的私人 AI 助手，结合 DeepSeek、Dify、Ollama 和 Docker 在 Linux 环境下进行私有化部署，是一个复杂但非常有价值的项目。根据需求，你可以进一步扩展和优化你的 AI 助手，例如添加更多的 AI 模型、优化性能、增加安全性等。DeepSeek 是一个强大的 AI 模型，你需要将其部署在 Docker 容器中。
AGI 之 【Dify】 之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型， API 形式 Python 调用 进行简单聊天接口测试
仙魁XAN
10-25 1万+
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。本节将介绍如何使用 Dify 平台调用 Ollama 部署的本地模型来创建一个聊天应用。通过 API 的方式发起聊天，可以让前端自由布置所需的聊天形式。
从零开始，小白在windows部署deepseek与dify
m0_53591319的博客
03-11 6748
看到网上那么多deepseek与dify，ragflow，anything等文章，自己部署的时候又踩了好多坑，不停的重装电脑。现在就记录一下deepseek与dify部署的最细记录，以及碰到的问题和解决方法。
Dify插件安装与使用教程
最新发布
nalanxiaoxiao2011的博客
04-11 2754
Dify插件安装与使用教程
Dify安装与使用指南：详细步骤教程
瓦罗兰特顶级C位的博客
01-02 2万+
Dify是一个开源的LLM应用开发平台，今天咱们详细介绍下Dify的安装步骤和使用场景。
Dify+Ollama+DeepSeek部署本地大模型+知识库搭建
墨家巨子@俏如来
02-16 5666
上一篇文章《Ollama+DeepSeek部署本地大模型》我们已经知道如何在本地搭建自己的大模型了，不过想要让大模型能够根据我们个人或者企业的数据情况做出精准的回答，我们还需要将自己的数据投喂给大模型才可以。本篇文章我们将会使用一个开源项目dify集成ollama+deepseek大模型，搭建自己本地知识库，让大模型能够回答出我们想要的结果。
让AI转化为生产力，Dify 私有化部署 + 接入Ollama部署本地模型。
python12345_的博客
08-21 2301
今天聊聊AI智能体，同时也简单的将 Dify 本地私有化部署，接入 Ollama 部署的本地模型。AI智能体是什么？AI智能体是一种具备AI能力、感知、推理、决策和行动能力的计算系统，它能够自主与环境交互，完成特定任务。能够通过感知环境获取信息，分析并做出决策，然后执行相应的行动，有时还能通过学习不断优化自己的行为，尽可能达到预期结果。Dify 是什么？Dify 它是一个开源 LLM 应用开发平台。
【大模型本地部署】dify 如何集成 Ollama
huang9604的博客
01-21 2530
在文章 MAC OS 本地部署开源大模型 和 MAC OS 本地搭建部署 dify 草稿分别介绍了在mac os系统下通过ollma 部署和管理本地大模型，以及在本地搭建 dify，在 dify 中可以引用 ollma 的本地大模型，本文主要介绍如何引入。
Dify + Ollama + DeepSeek 实现 DeepSeek 离线部署个人知识库(Dify GitHub zip包)
02-13
使用Dify + Ollama + DeepSeek 实现 DeepSeek 离线部署个人知识库 Dify是一个开源的LLM应用开发平台，它通过直观的可视化界面，帮助开发者快速构建和部署AI应用，支持包括模型管理、知识库、工作 Ollama与...
Docker+dify+ollma+deepseek组合方案的Windows本地化部署教程
03-01
内容概要：本文档详细介绍了基于 Windows 操作系统的 docker+dify+ollma+deepseek 组合方案的本地化部署流程。首先明确最低硬件要求为CPU>=2 Core、RAM>=4GiB、磁盘空间至少20G。随后阐述了必要的前期准备，如安装 ...
【Win11家庭版安装Dify+Ollama+Deepseek本地大模型全流程-小白保姆级】
weixin_42260955的博客
01-20 1万+
Dify+Ollama+Deepseek本地大模型部署，小白实战保姆级。
zabbix5+dify+ollama+deepseek+企业微信 本地部署实现故障智能分析
slc14211421的专栏
03-13 2093
zabbix5告警信息deepseek自动分析
极简入门，本地部署dify低代码平台构建AI Agent大模型全流程（使用教程、微案例、配置详解、架构图解析）
项目git同名小胡说技书
02-22 7274
极简入门，本地部署dify低代码平台构建AI Agent大模型全流程（使用教程、微案例、配置详解、架构图解析）
手把手带你搞懂Deepseek-V3 低成本知识库，收藏这一篇就够了！！
2401_85325397的博客
01-20 1万+
1 可以通过 api 添加各种模型 2 上传文档就能本地新建知识库 3 各种 AI 工具直接打开 4 知识库配合 deepseek 3 ，加上 COT 提示词 效果不错 5 还能画图 6 有简单 Artifacts 功能，直接渲染代码 7 可以多个模型一起回答问题，就是样式是直接铺下来的。
如何利用 Dify体验私有化部署
程序员鑫港的博客
03-12 1028
Dify是一个开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。
大模型本地部署 | 详细教程，私有化部署体验 Dify！
热门推荐
star_nwe的博客
10-15 2万+
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
DeepSeek+Dify部署本地大模型
weixin_61607698的博客
03-05 2911
deepseek+dify本地部署.
内网穿透的应用-如何使用Docker本地部署Dify LLM结合内网穿透实现公网访问本地开发平台
微学AI的博客
04-08 4676
Dify 是开源的,且支持自部署到本地自己服务器上,打造自己的AI系统应用,由于本地部署后,本地部署限制只能在本地访问,无法实现共享给他人访问,或者自己远程访问,这个时候,要么需要自己有云服务器,或者公网IP,否则无法进行远程访问,但是,如果既没有云服务器和公网IP,我们也想要实现远程访问呢,那么下面介绍一个内网穿透工具,让我们无公网IP无云服务器也可以实现远程访问本地Dify.，点击左侧的预留，选择保留二级子域名，设置一个二级子域名名称，点击保留,保留成功后复制保留的二级子域名名称。
搭建自己大模型【DeepSeek】应用（Ollama+Dify）
yd778473278的博客
03-11 986
基于Dify+Ollma部署DeepSeek-R1 32B。Ollama可以通过docker快速部署deepseek-r1:32b模型。Dify可以快速搭建基于deepseek大模型的聊天机器人。本文首先详细介绍了如何使用Ollama部署自己的大模型服务。然后详细介绍了Dify的安装与使用，并且详细介绍了如何配置自己的聊天机器人。
dify添加ollama点击保存没反应
03-09
<think>好的，我现在需要解决用户在Dify中添加Ollama时点击保存无响应的问题。根据用户提供的引用内容，尤其是引用[3]和[4]，问题可能出在Ollama的配置或网络连接上。 首先，用户可能没有正确配置Ollama的监听地址。根据引用[1]和[2]，Ollama默认监听127.0.0.1:11434，但如果在Dify中需要外部访问，可能需要修改为0.0.0.0:11434。此外，引用[3]提到，当使用本机IP无法连接时，可以尝试host.docker.internal:11434，这是因为Docker容器内部访问宿主机时的特殊DNS名称。 接下来，用户可能没有正确设置环境变量或者服务未重启。引用[2]中提到在PowerShell中设置环境变量并重启服务，这可能确保配置生效。此外，防火墙或端口是否开放也是需要考虑的因素，11434端口是否被阻止。 另外，Dify和Ollama的版本兼容性也可能导致问题。检查两者是否为最新版本，或者是否存在已知的兼容性问题。最后，查看日志文件可以帮助定位具体错误，如Dify的后台日志或Ollama的运行日志，以获取更详细的错误信息。 总结下来，解决方案应包括检查Ollama的配置、确保网络连接正确、处理Docker容器内的访问问题、验证服务状态和端口开放情况，以及查看日志进行调试。</think>### Dify添加Ollama保存无响应解决方案 #### 1. 检查Ollama服务配置 - **监听地址修改**：确保Ollama监听地址设置为`0.0.0.0:11434`（适用于跨容器/跨设备访问） ```powershell $env:OLLAMA_HOST="0.0.0.0:11434" ollama serve ``` 需在**管理员权限的PowerShell**中执行，修改后重启服务[^2]。 - **Docker环境特殊配置**：若Dify通过Docker部署，Ollama的API地址应改为`host.docker.internal:11434`（Docker容器访问宿主机的专用DNS）[^3]。 #### 2. 验证网络连通性 - **端口测试**：在Dify服务器执行以下命令，检查11434端口是否可达： ```bash telnet <Ollama服务器IP> 11434 ``` 若不通，需检查防火墙或安全组是否放行该端口。 - **本地验证**：浏览器访问`http://127.0.0.1:11434`，确认Ollama服务正常运行[^1]。 #### 3. 排查Dify配置问题 - **API地址格式**：Dify中填写Ollama地址需包含协议头，正确格式为： ``` http://<IP或域名>:11434 ``` 示例：`http://host.docker.internal:11434`（Docker环境）或`http://192.168.1.100:11434`（局域网IP）。 - **浏览器控制台检查**：保存时按F12打开开发者工具，查看Network标签页中是否有`HTTP 400/500`错误，定位接口调用问题。 #### 4. 日志分析 - **Ollama日志**：启动Ollama时添加`--verbose`参数获取详细日志： ```bash ollama serve --verbose ``` - **Dify日志**：通过`docker logs <dify容器名>`查看后台错误，重点关注`ollama`相关连接报错。 #### 5. 其他可能性 - **版本兼容性**：确保Ollama版本≥0.1.25，Dify版本≥0.6.8（新版本优化了模型连接逻辑）。 - **代理冲突**：若系统开启全局代理，可能导致本地回环地址（127.0.0.1）被拦截，需在代理设置中排除`11434`端口。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值