LLM大模型部署：MAC OS 本地搭建部署 dify（附教程）

最新推荐文章于 2025-04-25 11:06:43 发布

LLM大模型

最新推荐文章于 2025-04-25 11:06:43 发布

阅读量945

点赞数 10

文章标签：人工智能知识库 langchain LLM RAG dify 大模型部署

本文链接：https://blog.youkuaiyun.com/DEVELOPERAA/article/details/146604709

版权

一、什么是 dify？

Dify 是一个开源的大语言模型（LLM）应用开发平台，融合了后端即服务（Backend as Service, BaaS）和 LLMOps 理念，旨在简化和加速生成式AI应用的创建和部署。它支持多种大型语言模型（如OpenAI的GPT系列、Claude3等），并提供强大的数据集管理功能、可视化的 Prompt 编排以及应用运营工具。

1. Dify 的主要作用和功能

低代码/无代码开发：通过可视化界面，开发者可以轻松定义Prompt、上下文和插件，无需深入底层技术细节。
模块化设计：采用模块化设计，每个模块功能清晰，开发者可根据需求选择性地使用。
丰富的功能组件：包括AI工作流、RAG管道、Agent、模型管理等，支持从原型到生产的全过程。
支持多种大语言模型：已支持主流的模型，开发者可以根据需求选择最适合的模型来构建AI应用。
RAG功能：提供从文档摄取到检索的广泛RAG功能，支持从PDF、PPT等常见文档格式中提取文本。
代理功能：内置50多个工具（如Google Search、Stable Diffusion等），支持自定义工具，可基于LLM函数调用或ReAct定义代理。
LLMOps：支持监控和分析应用程序日志和性能，根据生产数据和注释不断改进提示、数据集和模型。
后端即服务：所有产品都附带相应的API，方便将Dify集成到自己的业务中。

2. Dify 的应用场景

聊天助手：基于LLM的对话助手，能够与用户进行自然语言交互。
文本生成：专注于各种文本生成任务，如撰写故事、新闻报道、文案、诗歌等。
Agent（智能代理）：具备任务分解、推理、工具调用等高级能力，能够理解复杂指令并调用API完成任务。
工作流程（Workflow）：根据用户定义的流程编排，灵活地组织和控制LLM的工作流程。

Dify通过集成关键的技术栈，为开发者节省了大量时间，使他们能够专注于创新和业务需求。

3.Dify和字节 coze 的区别

Dify 和字节跳动的“扣子”（Coze）都是用于开发AI应用的平台，但它们在功能、用户群体和应用场景上存在一些区别：

1. 功能特点

Dify：
- 模型接入：支持多种开源大语言模型（LLM），包括OneAPI、Ollama等，用户可以在系统界面直接配置，操作友好。
- 工作流：提供丰富的节点类型，支持AI对话配置、知识库检索、代码执行等功能，适合有一定技术背景的用户。
- 知识库：支持多种数据源同步，如Notion，提供灵活的分段和索引设置。
- 发布应用：支持多平台部署，提供详细的统计数据和监控功能。
扣子（Coze）：
- 模型接入：主要支持字节跳动的**豆包（闭源）**大模型，以及国内的智谱、通义千问等模型。
- 工作流：操作简单，适合初级用户，提供工作流模板，降低了使用门槛。
- 知识库：支持丰富的数据格式，包括表格、图片等，支持智能标注和预览。
- 发布应用：对字节跳动平台友好，适合快速嵌入字节系应用。

2. 用户群体

Dify：
- 更面向专业开发者和企业用户，适合需要高级功能和定制化需求的场景。
- 提供多用户支持和国际化功能，适合B端业务。
扣子（Coze）：
- 更面向普通用户和C端开发者，注重用户体验和易用性。
- 提供丰富的插件和模板，适合快速开发和部署。

3. 应用场景

Dify：
- 适合需要高度定制化和灵活配置的AI应用开发，例如企业级知识管理、复杂工作流自动化等。
- 支持国际化部署，适合有海外业务需求的用户。
扣子（Coze）：
- 适合快速开发和部署AI应用，尤其是需要快速嵌入字节跳动生态的应用。
- 提供丰富的插件和模板，适合需要快速上手和简单操作的用户。

4. 总结：如果你是专业开发者，需要高度定制化的功能和灵活的配置，Dify可能是更好的选择；如果你是普通用户，注重易用性和快速开发，扣子（Coze）可能更适合你。

Dify 有云端cloud 版本和社区版本，本文介绍的是如何在本地安装 dify 的社区版本。

二、安装 docker

1. 什么是 docker？

Docker 是一个开源的容器化平台，用于开发、部署和运行应用程序。它通过使用容器技术，允许开发者将应用程序及其依赖项打包到一个独立的、可移植的容器中，从而确保应用程序在不同的环境中能够一致地运行。

2. 下载地址

https://www.docker.com/ 根据操作系统型号选择对应的版本。

三、安装 dify

下载地址：https://dify.ai/

点击上述红色图标，然后下载代码包，如下所示：

下载后完成解压，如下所示：

进入到 cmd 终端环境

运行如下三行命令

cd docker
cp .env.example .env
docker compose up -d

如果出现如下报错，是因为镜像源拉取超时导致，docker 默认拉取的是 docker hub，国内网络访问容易超时会导致报错

因此需要调整下镜像源，打开 docker desktop，点击小齿轮设置部分，在 docker engine 部分

将如下镜像源复制到上图红框部分

{
"registry-mirrors":\[
    "https://9cpn8tt6.mirror.aliyuncs.com",
    "https://registry.docker-cn.com",
    "https://mirror.ccs.tencentyun.com",
    "https://docker.1panel.live",
    "https://2a6bf1988cb6428c877f723ec7530dbc.mirror.swr.myhuaweicloud.com",
    "https://docker.m.daocloud.io",
    "https://hub-mirror.c.163.com",
    "https://mirror.baidubce.com",
    "https://your\_preferred\_mirror",
    "https://dockerhub.icu",
    "https://docker.registry.cyou",
    "https://docker-cf.registry.cyou",
    "https://dockercf.jsdelivr.fyi",
    "https://docker.jsdelivr.fyi",
    "https://dockertest.jsdelivr.fyi",
    "https://mirror.aliyuncs.com",
    "https://dockerproxy.com",
    "https://mirror.baidubce.com",
    "https://docker.m.daocloud.io",
    "https://docker.nju.edu.cn",
    "https://docker.mirrors.sjtug.sjtu.edu.cn",
    "https://docker.mirrors.ustc.edu.cn",
    "https://mirror.iscas.ac.cn",
    "https://docker.rainbond.cc"
    \]
}

重启 docker

如显示如上，则表示安装成功，通过 http://localhost/install 即可在本地打开，首次打开需要设置邮箱/用户名/和密码，

登录成功后，即可体验 dify。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望