从零开始学大模型应用:基于Dify的智能体开发与API服务实战

本文详细介绍基于Dify平台开发5个智能体应用案例:利用Tavily Search实现LLM联网搜索、使用Flux搭建古诗词工作流、构建智能客服ChatFlow、开发智能文档分析助手,以及如何将Coze和Dify的智能体通过API对外提供服务。每个案例均提供详细步骤配置和工具集成方法,帮助开发者快速上手大模型应用开发。


概述

上篇文章我们基于Docker Compose搭建了一套私有化的Dify,本文我们基于这套环境来开发几个智能体应用。最后再介绍一下如何将通过Coze、Dify搭建的智能体通过API的方式对外提供服务。

一、利用Tavily Search实现LLM联网搜索

TO DO:LLM联网搜索

用户输入问题,AI提取关键字,使用Bing搜索,并进行总结

Step1,创建对话工作流(此处也可以用工作流,对话流相比工作流默认项更多一些)

Step2,准备Tavily Search工具

Tavily Search API 是一款强大的搜索工具,支持文本和图像搜索,具备多语言、高级筛选等功能。它专为开发者设计,可快速集成到应用中

  1. 申请TavilySearch API Key

    进入 https://tavily.com/ 用github账号登录申请API-KEY

  2. 在Dify中安装Tavily工具,安装完成后选Tavily Search

  1. 对Tavily Search用第1步获取到的API-KEY进行授权

Step3: 配置对话工作流参数

  • 开始节点:对话流用户输入节点已默认配置
  • LLM节点(作用:对用户的问题提取关键词):

模型选熟悉的对话模型,如qwen3-max

系统提示词:对用户的问题,提取关键字,多个关键字用空格隔开

用户提示词:对话流中用户提示词已默认填写

  • Tavily Search节点(作用:利用上面大模型节点的输出搜索网页):

查询变量:设置为前一个节点LLM输出的text

  • LLM 2节点(根据Tavily Search的输出内容进行总结整理):

系统提示词:对网上搜索到的内容改进行总结整理

用户提示词:Tavily Search {x} text

  • 结束节点配置

输出变量output设置为LLM 2节点的输出text

设置完成,效果预览如下:

二、利用文生图工具Flux搭建古诗词工作流

这个例子前之前在Coze中的实操例子一样,这次我们只是在Dify中来实现一下

TO DO:

搭建古诗词Agent 用户输入一句古诗,AI制作对应的图像

Step1,创建BOT

Step2,创建工作流(工作流:用于规划和实现复杂功能逻辑的工具,可以通过不同的任务节点来设计复杂的多步骤任务)

Step3:准备AI绘图工具

Dify 本身并不直接提供绘图工具,但可以通过外部工具来实现绘图功能。

常见的AI 绘图工具包括:

  • Stable Diffusion:一个开源的AI 绘图模型,可以通过Dify调用生成高质量的图像。
  • Flux:由Black Forest Labs 开发的 AI 绘图模型,支持通过Dify调用生成图像。
  • DALL-E:Dify 提供的第一方工具之一,可以通过自然语言输入生成高质量图片。

本次CASE使用自定义绘图工具

SiliconFlow:通过 SiliconCloud 提供的 API,可以在Dify中调用Flux 或Stable Diffusion 绘图模型

SiliconFlow 是由硅基流动提供的基于开源模型的高性价比GenAI 服务,这样就可以在Dify中调用Flux 和Stable Diffusion 等绘图模型

1)安装SiliconFlow工具,点击LLM 2节点的 -> 工具 ->在Marketplace中查找更多 ->搜索“SiliconFlow工具” ->安装,安装好后,可以看到SiliconFlow下面有5个ACTION,其中就包括 Flux 和 Stable Diffusion。

  1. 申请SiliconCloudAPI Key ,点击上图的API Key授权配置,按照指引去申请API Key,并在Dify中配置API Key

Step4:配置工作流

  • 用户输入节点,接收用户输入。添加输入字段,变量名称:input,显示名称:input (Dify中输入变量需要手动定义,Coze中是自带的)

  • 添加第一个大模型节点,基于用户输入的古诗词描绘画面。模型选一个靠谱的,我选的“qwen3-max”;SYSTEM提示词:“基于用户的古诗词描绘一幅画面”;添加USER提示词(点击两下{x},或输入"/")选用户输入的input。

  • 添加第2个大模型节点,将上一节点的输出翻一成英文(因为后面用的文生图工具是国外的软件)。选择模型,填入系统提示词:“翻译成英文,前面加上acient china”,添加用户提示词:选LLM节点的{x}text。

  • 添加FLUX工具,一个文生图工具。点击LLM2节点的“+” -> 工具 ->全部工具-> SiliconFlow -> Flux;输入变量提示词为LLM2/{x}text

  • 添加输出节点,接收输出。添加输出变量output:选FLUX的{x}files。

完成后,点击测试运行,input“离离原上草”,在这个过程中可以追踪每个节点的输入输出情况。

三、利用分类器与知识库搭建智能客服ChatFlow

TO DO:智能客服ChatFlow

设置3个分类:营销专员+ 投诉专员+ 其他

  • 营销专员:配置证券知识库,实现对证券产品介绍、交易规则等高频问题的自动化解答;
  • 投诉专员:配置了用户行为数据,用户标签,方便进一步查找关于用户行为、资产等情况,给用户提供产品使 用中的问题解答
  • 其他问题:抱歉,这些问题我无法回答

Step1,添加节点=> 问题分类器

选择模型:qwen-flash,添加以下三个分类

分类1:营销咨询,证券知识

分类2:投诉处理,产品使用不成功

分类3:其他问题

Step2,构建营销咨询分支

1)添加知识检索节点,知识检索根据知识库的知识,结合用户问题整理知识(针对分类1,设置下游节点)

配置证券知识库(该知识库需要先进行创建,再添加) ,我本地有以下几个文件,因为我本地搭建的Dify不支持上传.doc文件,我将文件另存为了.docx文件

创建支持库:点击“知识库” ->创建知识库->导入已有文本,按照指引创建知识库即可,知识库设置可以按默认设置。

知识检索设置:在知识检索节点中添加知识库,查询变量: 开始中的query

2)添加大模型节点LLM2,根据知识检索节点的输出整理问题回答的内容。选择模型;上下文设置为知识检索结果;系统提示词“基于知识库回答用户问题,以下是知识库内容{{上下文}}”;用户提示词“用户输入/{x}query”

3)添加直接回复节点,回复内容设置为上一大模型节点的输出text

Step3,构建投诉处理分支

1)添加大模型节点LLM3,该节点主要从用户投诉问题中提取信息,将投诉信息进行格式化输出。节点设置:选择大模型;设置系统提示词;设置用户提示词:用户输入/{x}query

2)添加知识检索节点,构建用户行为知识。我本地有以下两个文件,将创建知识库(创建知识库时检索设置为“混合检索”),并在知识检索节点添加知识库;查询变量设为“用户输入/{x}query”

3)添加大模型节点LLM4,该节点结合用户输入、知识检索整理回复用户的投诉问题。节点设置:选择模型;上下文设置为知识检索2的检索结果;设置用户提示词,包括角定位,处理投诉问题的一些要求等;设置用户提示词为“用户输入/{x}query”

4)添加直接回复节点,回复内容设置为上一大模型节点的输出text

Step4,构建其他问题处理分支,直接添加一个直接回复节点即可,填写直接回复内容。

预览整体效果:

测试完成后,点击发布后,点击左侧头像旁的小图标,看到一个Web App 的公开访问URL,复制URL在浏览器中访问,可以看到一个服务页面。

四、利用MinerU搭建智能文档分析助手

TO DO:智能文档分析助手

用户上传一份包含复杂图表、公式和多栏排版的科研论文PDF,望针对论文中的内容进行提问。

Step1. 在 Dify 中创建应用,比如:智能文档分析助手

Step2. 配置用户输入节点,节点默认带了一个userinput.files的参数;加一个input参数;再添加一个单文件参数file

Step3. 集成MinerU 作为工具,用于解析用户输入的文件,对文件进行内容提取。

1)在Dify中下载MinerU工具,点击用户输入节点的
-> 工具 ->在Marketplace中查找更多 ->搜索“MinerU” ->安装。(需安装0.2.1低版本,高版本运行可能会报错)

2)安装完成后,在工作流中添加MinerU的Parse File,然后进行授权, Base URL:http://mineru.net;令牌token获取https://mineru.net/apiManage/token(需要用户注册,填写一些信息,再申请API)

3)配置Parse File插件。配置输入变量file为用户输入的 file

Step4. 添加并配置大模型节点,基于MinerU 处理后的高质量文本回答用户问题。选择模型;配置系统提示词,让模型基于上传的论文回答问题;配置用户提示词“用户输入/{x}input”

Step5. 添加并配置输出节点,添加输出变量output:LLM/text

完成后的工作流如下图所示:

五、Coze与Dify的Agent API的使用

1、Coze平台Agent API的使用

我们可以将在Coze平台搭建的智能体以API的形式发布,并集成在其他应用中。

cozepy 是 Coze 平台官方提供的Python SDK,用于与Coze 智能体进行API 交互。它支持同步和异步调用、流式 输出、分页查询等功能。

Step1. 获取API Token

访问https://www.coze.cn/open/oauth/pats 登录账户,创建个人访问令牌(Personal Access Token) ,设置适当的权限和过期时间。

Step2. 将我们之前在Coze中做的应用以API的形式进行发布

Step3. 对智能体进行Playground调试

发布完成后点击Playground调试,可以试运行,也可以查看API调用参数,后面通过代码调用主要需要下面的这个token和bot_id。

Step4. 通过AI编程写一个Coze API接口调用的客户端,填入token及智能体id,即可运行代码。

在配置文件中配置COZE_API_TOKEN和 COZE_BOT_ID

2、Dify平台Agent API的使用

Dify API使用相比Coze 要更简单一些。

Step1, 获取智能体URL及API_KEY

在Dify中打开一个我们刚才创建的智能体,点击访问API;创建API密钥

Step2,用AI编程生成一个workflow及一个chatflow的调用代码

测试效果

​最后

我在一线科技企业深耕十二载,见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事,早已在效率与薪资上形成代际优势,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包:

  • ✅AI大模型学习路线图
  • ✅Agent行业报告
  • ✅100集大模型视频教程
  • ✅大模型书籍PDF
  • ✅DeepSeek教程
  • ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到优快云的官方了,有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​
在这里插入图片描述

为什么说现在普通人就业/升职加薪的首选是AI大模型?

人工智能技术的爆发式增长,正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议,到全国两会关于AI产业发展的政策聚焦,再到招聘会上排起的长队,AI的热度已从技术领域渗透到就业市场的每一个角落。

img
智联招聘的最新数据给出了最直观的印证:2025年2月,AI领域求职人数同比增幅突破200% ,远超其他行业平均水平;整个人工智能行业的求职增速达到33.4%,位居各行业榜首,其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张,也让人才供需矛盾愈发突出。麦肯锡报告明确预测,到2030年中国AI专业人才需求将达600万人,人才缺口可能高达400万人,这一缺口不仅存在于核心技术领域,更蔓延至产业应用的各个环节。

在这里插入图片描述

​​
在这里插入图片描述

资料包有什么?

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点
在这里插入图片描述

② AI大模型学习路线图(还有视频解说)

全过程AI大模型学习路线

在这里插入图片描述

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了,这些是我精选出来的

在这里插入图片描述

④各大厂大模型面试题目详解

在这里插入图片描述

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

在这里插入图片描述
在这里插入图片描述

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌,构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事‌!

​​​​在这里插入图片描述
在这里插入图片描述

如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!

应届毕业生‌:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。

零基础转型‌:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型‌。

👉获取方式:

😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值