关于dify使用指南

关于Dify

dify提供了一套完整的使用工具,包括LLM大语言模型,RAG,以及自定义工具,就类似一个超级大脑,可以整合各个功能,同时LLM充当了大脑的核心,用于调度各个资源。

使用dify可以实现:

  1. RAG智能问答

    Api文档搜索问答、知识库搜索问答

  2. Agent 智能体

    图像生成、文本生成、3D生成

  3. ChatFlow 工作流

    api工具人

使用方法

1、发布独立网址
2、嵌入网站(支持iframe,script)
3、api请求

组成模块


1、RAG检索
通过向量嵌入的模式将文档变成可检索的数据格式,根据用户需要进行文档搜索匹配(算法:余弦相似度、点积)
在这里插入图片描述

2、LLM 大语言模型
利用LLM理解用户的输入,更好的输出,关键在于prompt的写法,常用的如:chatgpt、deepseek、qwen

3、第三方工具
ComfyUI、Hunyuan3d、FireCrawl、钉钉、企业微信

  • api 导入,使用openai-swagger 规范,可以直接导入api接口参数
  • 工具插件,需要涉及到源码的工具编写,可以实现更复杂的逻辑

使用形式


1、ChatFlow专注于人机之间的对话和互动

  • 优点:对话模型,适用于简单任务
  • 缺点: 需要编排复杂的工作流程,对复杂的任务,需要复杂的逻辑,功能相对单一死板
  • 使用场景:客服支持、个人助理、在线购物助手、互动问答

2、Agent

  • 优点:自主性强:能够独立地处理任务,做出决策,LLM充当了ai的大脑,相对灵活,我们只需要把知识库和工具给到Agent,它可以自动推理出需要的参数,然后进行工具调用,同时合理输出结果
  • 缺点:可能不够稳定,可能会误解用户的意图
  • 使用场景:客服系统、个人助理、数据监测

3、文本生成助手

  • 优点: 使用简单、稳定
  • 缺点: 功能单一
  • 使用场景:撰写论文、报告、编写博客

4、Workflow一系列任务或操作的有序流程

  • 优点:逻辑性强,任务和过程的管理到位
  • 使用场景:项目管理、业务流程自动化、工作流管理系统、文档审批
  • tips: Workflow可以作为工具集成在其他系统中,以实现更复杂的应用场景。

AI大模型说明

参考:大模式参数使用说明

提示词类型

1、系统(System): 指定世界整体框架和设置,包括AI行为规范和任务指令。系统部分可以设定模型的操作规则或者给出初步的指引,指导用户如何与助手进行交互。

2、用户(User): 指的是与助手进行互动的个人或实体。用户提出问题、请求或任务,目的是获得信息、解决问题或完成某项工作。

3、助手(Assistant): 是指大语言模型本身,它根据用户的输入提供响应、信息或服务。助手的任务是理解用户的需求,并尽可能准确、及时地提供相关的帮助。

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/88be3e52174144cab517493b5c5e746b.png

大模型的参数

1、Temperature(温度):控制输出的词概率分布来控制低概率的词被选中,0-1,越接近0越精确

2、Top P:阈值 P,0-1,越大代表出现的词的累积概率越大,0.9代表低概率的词被丢弃

3、Frequency Penalty(频率惩罚): 对出现的频率增加惩罚,频次越多,惩罚越大,1代表惩罚加大

4、Presence Penalty(存在惩罚): 对出现过的词语进行惩罚,1代表惩罚越大

5、Max Tokens:即输出的最大token值,不要太大,不然输入可能不够


节点讲解

在这里插入图片描述

  • LLM 大模型

关键内容在于,提示词的写法还有我们需要处理的变量,以及输出的内容,比如,输出json格式

在这里插入图片描述

  • 输入的文件或变量定义

在这里插入图片描述

工具导入方式

1、通过api的openai-swagger 方式直接导入
2、通过编辑插件定制化,如3d生成、图像生成
在这里插入图片描述

案例

小红书文案助手

在这里插入图片描述

  • 提示词
<instruction>
你是一个小红书高级文案写手,根据用户输入的{{query}},进行小红书文案的生成,包括标题,内容文案
</instruction>

<output>
内容文案加上✨🚀🌞这类的表情文字,内容文案需要加上你认为最合适的3个标签,以#开始
</output>

文生图工作流

结合comfyui

输入文本-》翻译成英文-》进行提示词润色-》生成对应的提示词-》参数输入到comfyui工具-》输出图像

1、插入comfy节点
在这里插入图片描述
2、插入LLM节点,编写提示词,也可以让ai自动生成
在这里插入图片描述

参考提示词


<instruction>
你是一个ai提示词高手,针对comfyui,flux dev1.0,我会给你提示词,帮我优化下提示词,如果是中文的,你需要转换成英文,只要输出英文提示词就可以了
</instructions>

<examples>
Input: 一只红色的龙在云中飞行
Output: a red dragon, flying in the clouds, detailed scales, wings spread, dynamic pose, fantasy style
</example>
<example>
Input: 一个女孩在森林里弹吉他
Output: a girl, playing guitar, in a forest, soft lighting, green trees, peaceful atmosphere, realistic style
</example>
<example>
Input: 未来城市的夜景
Output: futuristic city, night scene, neon lights, skyscrapers, flying cars, cyberpunk style, detailed architecture
</example>

文档搜索

构建平台文档助手

1、将编写好的结构化文档进行知识库向量编码
点击知识库 ->创建知识库->上传现有文档
在这里插入图片描述
2、分段的话,推荐父子分段,搜索效果更好,文档需要进行规范化
3、索引方式默认选择高质量检索就行了

在这里插入图片描述
4、嵌入完毕,可以测试下召回的效果,可能会出现搜出来不匹配
在这里插入图片描述
在这里插入图片描述
5、使用文档

  • 新建一个Agent或者ChatFlow
  • 使用知识检索节点
  • 在LLM中引入上下文变量
  • LLM会根据文档作出回答
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

如果是Agent, 直接选择上下文

在这里插入图片描述

Tips:关键在于文档的结构化标准
工作流文档,可以参考:https://docs.dify.ai/v/zh-hans/guides/workflow

做一个3d生成的agent

在这里插入图片描述

参考案例

如何搭建 AI 图片生成应用

AI Agent 实战:搭建个人在线旅游助手

使用文件上传搭建文章理解助手

使用知识库搭建智能客服机器人

ChatFlow 实战:搭建 Twitter 账号分析助手

DeepSeek 与 Dify 集成指南:打造具备多轮思考的 AI 应用

如何训练出专属于“你”的问答机器人?

教你十几分钟不用代码创建 Midjourney 提示词机器人

如何在几分钟内创建一个带有业务数据的官网 AI 智能客服

如何在 Dify 内体验大模型“竞技场”?以 DeepSeek R1 VS o1 为例

<think>好的,用户问的是如何在Dify中集成和使用Janus框架或工具。首先,我需要明确Janus具体指什么。Janus可能有多个含义,比如Janus WebRTC网关,或者是某个特定的API网关、微服务框架。不过根据Dify的上下文,Dify是一个AI应用开发平台,通常用于集成各种模型和API,所以可能用户指的是某个与API或模型服务相关的工具,比如Janus作为API管理工具。 接下来,我需要检查Dify的官方文档是否有关于集成第三方工具或框架的指南。根据用户提供的引用信息,站内引用提到SiliconCloudQwen2.5等模型的使用,可能Dify支持通过API或自定义模型的方式集成外部服务。因此,集成Janus可能涉及API配置或自定义代码。 如果Janus是一个API服务,步骤可能包括获取API密钥、配置API端点、在Dify中创建自定义模型配置,并通过API调用实现集成。需要确保用户了解如何在Dify中添加新模型,并设置相应的参数,如请求头、认证信息等。 另外,用户可能需要示例代码或具体操作步骤。比如在Dify的工作流中编写自定义代码调用Janus的接口,处理返回结果。同时,需要注意错误处理和测试,确保集成后的功能稳定。 可能的问题包括如何获取Janus的访问权限,如何处理认证,以及如何调试集成过程中的问题。需要建议用户查阅Janus的文档,确认API的具体要求,并结合Dify的模型配置指南进行操作。如果遇到问题,可以检查日志或联系支持团队。 最后,生成相关问题时要围绕集成步骤、配置方法、调试技巧和实际应用案例,帮助用户全面理解整个过程。</think>在 Dify 中集成 Janus 框架或工具需要结合其作为AI应用开发平台的特性,具体步骤如下: ### 1. **确认集成方式** - Janus 若作为 **API 服务**,可通过 Dify 的「自定义模型」功能接入,需配置 API 端点、认证方式和参数格式[^1] - Janus 若作为 **数据处理工具**,可通过 Dify 的「工作流」功能编写 Python 节点调用其 SDK ### 2. **配置自定义模型** ```python # 示例:通过 Dify 的 Custom Tool 调用 Janus API import requests def janus_integration(input_text): headers = {"Authorization": "Bearer YOUR_JANUS_API_KEY"} response = requests.post( "https://janus-api.example.com/v1/process", json={"text": input_text}, headers=headers ) return response.json()["result"] ``` ### 3. **工作流编排** - 在 Dify 可视化编辑器中拖拽「代码执行」节点 - 绑定上述函数并设置输入/输出变量映射 - 配置错误重试机制和超时阈值(建议 3 次重试,10 秒超时) ### 4. **测试与部署** - 使用测试数据集验证结果准确性 - 通过「版本管理」发布到生产环境 - 监控 API 调用指标(成功率、延迟等)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东哥aigc

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值