AI大模型本地部署 | 详细教程，私有化部署体验 Dify（附教程）

最新推荐文章于 2025-03-12 14:14:51 发布
最新推荐文章于 2025-03-12 14:14:51 发布
阅读量778 收藏 23
点赞数 24
文章标签： 人工智能 LLM 程序员 langchain dify 本地化部署 AI大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Wufjsjjx/article/details/146199963
版权

一、简介

Dify 是一个开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。

二、功能比较

三、使用 Dify

1、Dify 云服务版：任何人都可以零设置尝试。它提供了自部署版本的所有功能，并在沙盒计划中包含 200 次免费的 GPT-4 调用。

2、Dify Premium：是一款 AWS AMI 产品，允许自定义品牌，并可作为 EC2 一键部署到你的 AWS VPC 上。前往 AWS Marketplace 进行订阅并使用，它适合以下场景：

  • 在中小型企业内，需在服务器上创建一个或多应用程序，并且关心数据私有化。
  • 你对 Dify Cloud 订阅计划感兴趣，但所需的用例资源超出了计划内所提供的资源。
  • 你希望在组织内采用 Dify Enterprise 之前进行 POC 验证。

3、Dify 社区版：即开源版本，你可以通过以下两种方式之一部署 Dify 社区版。

  • Docker Compose 部署
  • 本地源码启动

四、基本信息

1、在线体验：https://dify.ai/
2、开源地址：https://github.com/langgenius/dify
3、官方文档：https://docs.dify.ai/v/zh-hans

五、核心功能列表

1、工作流：在画布上构建和测试功能强大的 AI 工作流程。

2、全面的模型支持：与数百种专有/开源 LLMs 以及数十种推理提供商和自托管解决方案无缝集成，涵盖 GPT、Mistral、Llama3 以及任何与 OpenAI API 兼容的模型。 完整的支持模型提供商列表可在此处找到。

3、Prompt IDE: 用于制作提示、比较模型性能以及向基于聊天的应用程序添加其他功能（如文本转语音）的直观界面。

4、RAG Pipeline: 广泛的 RAG 功能，涵盖从文档摄入到检索的所有内容，支持从 PDF、PPT 和其他常见文档格式中提取文本的开箱即用的支持。

5、Agent 智能体: 可以基于 LLM 函数调用或 ReAct 定义 Agent，并为 Agent 添加预构建或自定义工具。

  • Dify 为 AI Agent 提供了50多种内置工具，如谷歌搜索、DALL·E、Stable Diffusion 和 WolframAlpha 等。

6、LLMOps: 随时间监视和分析应用程序日志和性能。您可以根据生产数据和标注持续改进提示、数据集和模型。

7、后端即服务: 所有 Dify 的功能都带有相应的 API，因此您可以轻松地将 Dify 集成到自己的业务逻辑中。

六、Dify 私有化部署

1、系统要求

在安装 Dify 之前，请确保您的机器满足以下最低系统要求：

  • CPU >= 2 Core
  • RAM >= 4GB
2、快速启动

首先，克隆 Dify 源代码至本地，然后进入 docker 目录，复制一份环境变量，采用默认端口，一键启动：

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d

如果报错：

“

Error response from daemon: Get “https://registry-1.docker.io/v2/”: EOF

请修改daemon.json文件，设置国内镜像。

"registry-mirrors": [
    "https://registry.docker-cn.com",
    "https://docker.mirrors.ustc.edu.cn",
    "http://hub-mirror.c.163.com",
    "https://cr.console.aliyun.com/"
  ]
  • Linux：vim /etc/docker/daemon.json
  • Mac：vim /Users/oscar/.docker/daemon.json

启动成功后，你会发现共有 9 个容器：

  • 3 个业务服务：api、worker、web
  • 6 个基础组件：weaviate、db、redis、nginx、ssrf_proxy、sandbox

内存占用共计 1790 M，所以至少确保有一台 2G 内存的机器。

在这里插入图片描述

因为项目中启动了一个容器 nginx 将 web 服务转发到 80 端口，所以在浏览器中，直接输入公网 IP 即可，设置一下管理员的账号密码，进入应用主界面。

在这里插入图片描述

在这里插入图片描述

七、接入大模型

在设置里找到模型供应商，这里已经支持了上百款模型，我这里主要先接入了三款有免费额度的模型。
在这里插入图片描述

按照提示接入大模型

八、Dify 接入 Ollama 部署的本地模型

Ollama 是一个本地推理框架客户端，可一键部署如 Llama 2, Mistral, Llava 等大型语言模型。 Dify 支持接入 Ollama 部署的大型语言模型推理和 embedding 能力。

载并启动 Ollama

1、下载 Ollama：访问 https://ollama.ai/download，下载对应系统 Ollama 客户端。

2、运行 Ollama 并与 Llava 聊天

ollama run llava

启动成功后，ollama 在本地 11434 端口启动了一个 API 服务，可通过 http://localhost:11434 访问。

3、在 Dify 中接入 Ollama 在 设置 > 模型供应商 > Ollama 中填入：

在这里插入图片描述

  • 模型名称：llava

  • 基础 URL：http://127.0.0.1:11434，此处需填写可访问到的 Ollama 服务地址。

（1）、若 Dify 为 docker 部署，建议填写局域网 IP 地址，如：http://192.168.1.100:11434 或 docker 宿主机 IP 地址，如：http://172.17.0.1:11434。

（2）、若为本地源码部署，可填写 http://localhost:11434。

  • 模型类型：对话

  • 模型上下文长度：4096

  • 模型的最大上下文长度，若不清楚可填写默认值 4096。

  • 最大 token 上限：4096：模型返回内容的最大 token 数量，若模型无特别说明，则可与模型上下文长度保持一致。

  • 是否支持 Vision：是（当模型支持图片理解（多模态）勾选此项，如 llava。）

点击 “保存” 校验无误后即可在应用中使用该模型。

Embedding 模型接入方式与 LLM 类似，只需将模型类型改为 Text Embedding 即可。

九、创建工作流

回到主页，点击创建空白应用，这里的聊天助手和文本生成应用，是功能最为单一的 LLM 应用，都不支持工具和知识库的接入。
在这里插入图片描述

Agent 和 工作流的区别：

  • Agent：智能体，基于大语言模型的推理能力，可以自主选择工具来完成任务，相对简单。
  • 工作流：以工作流的形式编排 LLM 应用，提供更多的定制化能力，适合有经验的用户。
    在这里插入图片描述
    通常，我们需要 Agent 和 工作流配合使用，Agent 负责对话理解，Workflow 处理具体的定制功能。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

如何在本地正确部署Dify服务
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
08-06 7485
本文是该专栏的第49篇，后面会持续分享python的各种干货知识。Dify是一个开源的LLM（大型语言模型）应用开发平台，旨在为开发者提供从Agent构建到AI workflow编排、RAG检索、模型管理等全方位的能力，从而轻松构建和运营生成式AI原生应用。在本文中，笔者将针对Dify的核心知识点以及“本地如何部署Dify”，进行详细说明。具体细节部分，笔者在正文将结合实际完整图文案例进行详细说明，一文让你轻松学会在本地部署Dify。废话不多说，下面跟着笔者直接往下看正文详细内容。（附完整操作以及本地部署D
实战教程，基于DeepSeek + Dify搭建工作流，实现本地化私有部署
分享Python、数据分析、人工智能前沿知识
03-04 2541
工作流是由于DeepSeek等大模型的兴起而开始风靡的，它可以基于AI和流程设计来实现自动化的AI应用，比如说自动化生成业务报告、AI自媒体写作、简历筛选机器人等。这些复杂繁琐的工作可以通过DeepSeek这类的大模型生成解决方案，并最终输出结果，形成一套工作流。目前市面上有不少搭建工作流的工具，比如字节Coze、腾讯元器、OpenAI GPTs等，支持通过拖拉拽设计工作流实现一个AI工具的搭建，但这些平台都是大厂的商业应用，你只能在它的平台里搭建和使用，无法离线部署，缺乏应用的灵活性和数据安全性。
【AI实践】Dify调用本地和在线模型服务
AI_Gump的博客
06-16 3787
Ollama可以本地部署模型，如何集成私有数据、如何外部应用程序对接，因此需要有一个应用开发框架。ip地址需要换成自己电脑的IP地址；模型名称需要和Ollama模型名称保持一致；docker是虚拟环境的主机，Ollama部署在本地主机，无法通过本机访问。找到Ollama，配置本地Ollama已经验证的模型，如phi3。在docker页面里面，也可以看到running。docker已经安装完成的情况下。，打开dify，注册登录后。在工作区选择调用即可。
AI智能体研发之路-工程篇（二）：Dify智能体开发平台一键部署
人工智能领域博客
05-07 1万+
本文首先结合自己的工作写了一些对Agent AI智能体的见解，接着介绍了Dify框架快捷部署的过程，最后阐述了Dify框架的特点。个人认为Dify的发展会让Agent AI智能体开发提效，涌现更多有趣有价值的AI应用。
Dify使用教程（创建应用）
m0_59235245的博客
02-24 6997
Dify的安装部署我已经写过了，简单的模型配置我也在前面进行了讲解，今天我们主要来讲讲如何使用Dify。
Dify的安装（本地部署deepseek）
weixin_75145375的博客
02-20 2263
Dify是一个开源的大型语言模型（LLM）应用开发平台，旨在帮助用户快速搭建、定制和部署基于人工智能语言模型的应用。起源与发展：Dify的起源可以追溯到2023年，其创始人是张路宇。Dify的推出旨在解决AI应用开发中的复杂性和高门槛问题。用户群体：Dify适合开发者、非技术用户以及企业等不同背景的用户。开发者可以利用Dify快速构建和部署AI应用，非技术用户可以通过可视化界面创建AI应用，企业可以利用Dify为特定业务场景创建定制化的AI应用。应用场景。
大模型（deepseek）之运用Dify构建智能体和工作流应用
qq_31400983的博客
11-17 2万+
完成设置后回到主页面，可以看到顶部的4个页面。“探索”页面提供了模板应用程序，用户可参考模板定制自己的应用程序。“工作室”页面用户可创建自己的应用，包括聊天助手、智能体、工作流。“知识库”页面用户可以通过上传自己的文本数据创建知识库增强 LLM 的上下文。“工具”页面是Dify本身集成第三方工具，用户也可自定义工具。
华为昇腾MindIE+Dify本地私有化部署大模型 经验分享
Yingjie_Zhang666的博客
02-14 2538
本文旨在分享使用华为昇腾MindIE（Mind Inference Engine，昇腾推理引擎）结合Dify（大模型应用开发平台）成功部署通义千问和deepseek等大语言模型，并上线问答助手等应用的经验，同时也是对自己前段时间的工作进行一个总结。我会分享我在项目过程中踩过的坑，遇到的bug，以及实测解决的方法。目前计划分为6篇文章，系列文章持续更新中。本篇文章是系列文章的目录，也是我在项目过程中自行搜罗到的实用资源分享，包括了镜像下载链接、模型下载链接，以及华为昇腾官方的模型部署教程。
让AI转化为生产力，Dify 私有化部署 + 接入Ollama部署本地模型。
python12345_的博客
08-21 2140
今天聊聊AI智能体，同时也简单的将 Dify 本地私有化部署，接入 Ollama 部署的本地模型。AI智能体是什么？AI智能体是一种具备AI能力、感知、推理、决策和行动能力的计算系统，它能够自主与环境交互，完成特定任务。能够通过感知环境获取信息，分析并做出决策，然后执行相应的行动，有时还能通过学习不断优化自己的行为，尽可能达到预期结果。Dify 是什么？Dify 它是一个开源 LLM 应用开发平台。
大模型本地部署-dify私有化部署-教程
tingting0119的博客
02-21 1174
dify 本地私有化部署
LLMs之Dify：Dify的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-05 1万+
​ LLMs之Dify：Dify的简介、安装和使用方法、案例应用之详细攻略 目录 Dify的简介 Dify的安装和使用方法 Dify的案例应用 Dify的简介 2023年5月，Dify正式发布，这是一个开源的LLM应用程序开发平台。它直观的界面结合了人工智能工作流程、RAG管道、代理能力、模型管理、可观察性特性等等，让您能够快速从原型到生产。 GitHub地址：https://github.com/langgenius/dify 1、核心功能列表 >> 工作流：在可视化画布上
使用Dify搭建企业知识库聊天机器人
bagell的博客
09-02 5469
如果你的知识库文档比较复杂，或者每一段的内容都很多，就需要你手动操作了。我准备了一份文档给大家练练手### 如何创建新项目？要创建一个新项目，您需要首先登录到您的项目管理平台并进入主界面。在右上角，通常会有一个“新建项目”或“创建项目”的按钮。点击这个按钮后，系统会引导您进入一个新的页面或弹出一个窗口，要求您填写项目的基本信息。1. **项目名称**：首先，您需要为项目命名。项目名称应该简洁明了，同时具备描述性，以便您和团队成员能够轻松识别项目的目的或内容。
Linux系统本地化部署Dify并安装Ollama运行llava大语言模型详细教程
热门推荐
优快云站内信: https://i.youkuaiyun.com/#/msg/chat/qyj19920704
09-05 3万+
本篇文章介绍如何将 Dify 本地私有化部署，并且接入 Ollama 部署本地模型，实现在本地环境中部署和管理 LLM，再结合 cpolar 内网穿透实现公网远程访问 Dify。Dify 它是一个开源 LLM 应用开发平台。拥有直观的界面结合了 AI 工作流、RAG 管道、代理功能、模型管理、可观察性功能等，可以快速从原型开发到生产。Ollama 是一个本地推理框架，允许开发人员轻松地在本地部署和运行 LLM，例如 Llama 3、Mistral 和 Gemma。
【AI+agent智能助手】使用Dify新手小白也能分分钟构建属于自己的 AI 原生应用
子晓聊技术
05-16 2342
【AI+agent智能助手】使用Dify新手小白也能分分钟构建属于自己的 AI 原生应用
LLM大语言模型私有化部署-使用Dify的工作流编排打造专属AI诗词数据分析师
Heartsuit的博客
02-23 1442
本文通过使用Dify平台的工作流编排功能，结合阿里百炼的大型语言模型（如qwen2.5-14b-instruct等），成功打造了一个专属的AI数据分析师。能够根据用户提供的自然语言问题生成对应的SQL查询语句，并通过部署好的API服务执行这些查询，最终由另一个LLM节点对查询结果进行专业的数据分析和可视化展示。可以统计创作唐诗最多的作者、分析唐诗中特定元素的出现频率，以及联合查询作者信息与作品数量等，今后面对领导的取数需求，你可以直接替换数据源，轻松实现各种数据分析和可视化需求。
Dify知识库 本地部署DeepSeek 开启智能体和工作流
技术宅男改变世界
03-12 3636
Dify是一个开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。比 LangChain 更易用。官网 https://dify.ai/zh。
Dify学习笔记-手册（三）
大数据知识梳理
01-23 3万+
Dify学习笔记-手册
AI大模型产品的界面设计已形成规范
m0_59235245的博客
09-29 1052
每一种全新的产品类型在经过一段时间发展之后，各家竞争对手之间的界面都会变得相似和趋同，以至于形成约定俗成的行业规范。这一现象的背后，部分原因是制造商为争夺市场份额而采取的策略。他们效仿市场上的热门产品，引入相似的设计元素和功能特性，以吸引更广泛的用户群体，并留住他们。另一方面，用户的习惯和偏好也在不断塑造着产品设计的走向。随着时间的推移，用户对于特定的设计风格和操作界面变得越来越熟悉和接受，因此产品设计也逐渐演变为满足用户的习惯，导致了设计的趋同。
dify私有化部署 没有模型供应商
最新发布
03-15
### Dify 私有化部署不依赖模型供应商的解决方案 Dify 的私有化部署允许用户在本地环境中运行 AI 应用程序，而无需完全依赖外部模型供应商。尽管通常情况下可以通过设置 `> 模型供应商 > Ollama` 来集成本地模型[^1]，但在没有模型供应商的情况下，仍然可以采取以下方法实现私有化部署。 #### 使用自托管模型的方式 如果不想通过配置模型供应商来完成部署，则可以直接利用 Docker 或 Kubernetes 将预训练好的大语言模型（LLM）加载到本地环境，并将其作为服务提供给 Dify 调用。具体来说： - **下载并安装所需的大语言模型**：可以从 Hugging Face、ModelScope 等开源平台获取适合需求的 LLM 并保存至本地磁盘。 - **启动独立的服务端口**：借助 FastAPI、Flask 或者其他轻量级框架创建 RESTful API 接口，使该接口能够接收来自 Dify 的请求并将这些请求转发至已加载的 LLM 进行推理处理[^2]。 - **修改 Dify 配置文件**：编辑 `.env` 文件中的参数以指向上述新建立的服务地址而非传统意义上的云上模型提供商路径。 以下是基于 Python 和 Flask 构建的一个简单示例代码片段用于展示如何搭建这样一个中间层服务: ```python from flask import Flask, request, jsonify import torch from transformers import AutoTokenizer, AutoModelForCausalLM app = Flask(__name__) tokenizer = AutoTokenizer.from_pretrained("path/to/local/model") model = AutoModelForCausalLM.from_pretrained("path/to/local/model") @app.route('/generate', methods=['POST']) def generate(): data = request.get_json() input_text = data['input'] inputs = tokenizer(input_text, return_tensors="pt").to('cuda') outputs = model.generate(**inputs, max_length=50) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return jsonify({"output": result}) if __name__ == '__main__': app.run(host='0.0.0.0', port=8080) ``` 此脚本定义了一个 `/generate` POST 方法用来接受输入字符串并通过指定位置上的 Transformer 类型模型生成回复内容。注意这里假设 GPU 可用；如果不是的话，请调整设备选项为 CPU (`'cpu'`)。 最后一步就是告知 Dify 去调用这个新的 HTTP 服务而不是任何官方支持过的第三方插件形式下的远程资源链接了。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值