从零开始实战：基于Dify平台的目标检测模型训练与业务落地全流程解析

本文基于Dify智能体开发平台，详细介绍了目标检测小模型从训练到业务落地的全流程。通过配置数据录入、上传样本、标注目标位置、训练模型等步骤，开发出能够识别"黄鹤楼"和"万宝路"盒子的智能体。文章展示了如何搭建HTTP节点调用模型，并通过LLM节点汇总检测结果，最终实现了图片中目标物品的自动识别与计数，验证了目标检测技术在实际业务中的应用价值。

前排提示，文末有大模型AGI-优快云独家资料包哦！

前言

本文我们将基于Dify智能体开发平台讲解目标检测小模型从训练到实际业务落地的全流程

本文假设你对Dify智能体开发平台和小南瓜开发平台已有基本的了解

下面我们将基于如下几点进行实战：

• 1、业务需求
• 2、模型训练
• 3、搭建DIfy智能体
• 4、展示效果

一、业务需求

开发一个智能体，当用户输入一张图片时，识别出来这个图片中有多少个“黄鹤楼”、“万宝路”的盒子。

二、模型训练

1、按照惯例，配置一个表单和列表，用于进行数据的录入和查看数据

2、点击新增按钮，在小南瓜开发平台上将要识别的两个样本进行上传

由于我们没有更多的样本，因此系统自动将上传的图片中的目标图片的位置计算抠取出来生成训练图片(本次实战是随机生成了100张训练图片)

3、通过电脑的画图工具打开图片就能得到目标物品在图片中的X轴、Y轴和宽度信息

X轴起点：目标盒子在这个图片中的最小的X轴位置
Y轴起点：目标盒子在这个图片中的最小
宽度：目标盒子的宽度

4、数据录入后，点击模型训练按钮，开始生成训练数据，并训练模型

5、训练完成后，会得到一个模型的地址(耗时10分钟)

到此就完成了模型的训练。

---

三、搭建DIfy智能体

这里用到了2个核心的http节点，第一个是上传图片，第二个是调用模型进行检测，最后通过llm节点进行汇总

LLM节点重点 提示词如下：

##你是一位数据统计分析师，
中是返回的目标检测到的每个物品的名字和数量。
1、如果data的值为空，则标识没有检测到任何物品
2、如果data的值不为空，则有可能是一个数组，targetName字段是识别出来的目标名称，targetNum是识别出来的数量
#任务
你需要根据识别出来的data中的内容并结合
要求，进行汇总反馈总结

提示词可以根据自己的业务需求进行个性化编写

四、展示效果

1、将开发好的智能体进行发布

2、上传要检测的图片，发起对话

3、智能体执行反馈结果

从结果上看识别结果正确

4、上传一个数量多一点的图片

检测效果

检测结果正确

5、上传一个不含检测目标的图片

检测效果

从结果可以看到，没有目标物品就不会检测出来。

总结

将目标检测技术应用于真实世界，远非在理想数据集上获得高精度那般简单。现实场景充满了复杂性：物体的多角度变化、光照的剧烈差异、运动带来的模糊遮挡，以及层出不穷的背景干扰，都会对模型的鲁棒性与准确性构成严峻挑战。

正因如此，仅仅拥有一个优秀的模型架构是远远不够的。我们必须为其提供海量、多样化、且充分代表真实世界分布的样本数据。这些数据是模型应对未知场景的“弹药”与“经验”，是其在复杂现实中保持高可靠性的根本保障。

读者福利：倘若大家对大模型感兴趣，那么这套大模型学习资料一定对你有用。

针对0基础小白：

如果你是零基础小白，快速入门大模型是可行的。
大模型学习流程较短，学习内容全面，需要理论与实践结合
学习计划和方向能根据资料进行归纳总结

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一，跟着老师的思路，由浅入深，从理论到实操，其实大模型并不难。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓