手把手给你的视觉大模型“瘦身”！「蒸馏+微调」实战指南，从庞然大物到丝滑YOLO，一篇搞定！

关注

原创最新推荐文章于 2026-07-20 09:31:17 发布 1.2k 阅读 AI 写同款· GEO 优化 ›

边缘计算机视觉实战：轻量化模型、硬件选型与部署全解析计算机视觉（CV）技术正从云端向数据产生的源头——边缘侧迁移，这一变革的核心驱动力在于对实时性、隐私保护和带宽效率的迫切需求。其技术原理在于，通过模型轻量化（如知识蒸馏、量化）、专用硬件加速（NPU、边缘GPU）以及高效的软件工具链，将复杂的AI模型“瘦身”并部署到资源受限的终端设备上。这项技术的价值在于实现了数据的本地化即时处理与决策，降低了云端依赖和传输成本。其应用场景广泛覆盖了工业质检、智慧安防、自动驾驶等需要低延迟、高响应的领域。本文聚焦于边缘CV落地的关键技术栈，深入探讨了如YOLO、Mobile 阅读详情

前面我在阿里发布了Qwen3-VL视觉语言大模型之后，我测试了一下Qwen3-VL中对应的2d 对象检测的能力，有不少同行留言，虽然可以做到零样本，但是由于视觉AI大模型部署成本很高，推理很慢，基本上只能用到一些对实时性要求不高的场景中。

但是大家对于「实时视觉模型+视觉大模型」组合都还是非常感兴趣，比如Ultralytics发布的这个使用「YOLO + GPT5-mini」的组合来进行车牌实时跟踪识别的这个场景，通过YOLO来识别车牌框，GPT5-mini则OCR识别具体的车牌号。

当然他们这个大模型也是通过接口来调用的，也没有解决接口调用比较慢的问题，所以现在也有一种趋势就是通过「预训练蒸馏+自动标注微调」的方法来通过大模型提高实时小模型在特定的场景上的精度。

比如最近开源的一个自监督训练框架lightly-train，这个框架通过无标签样本数据的自监督训练实现预训练将类似dino v3这类视觉大模型蒸馏到类似yolo这类小模型中，然后再基于这个基于行业数据的预训练模型再进行有标签的微调训练，也就是我们平时使用yolo都会做的工作，这样使用「预训练蒸馏+微调」的组合之后，可以使得yolo使用更小的微调数据就可以取得更高的精度。

一、预训练蒸馏

8月份Meta发布了最新的dino v3模型，dino v3使用70亿参数和17亿张图片进行训练，远超前代模型,它在不依赖任何人工标注的情况下，仅通过大量未标记图像进行训练，就能生成高质量、通用的视觉表示,而且他还基于遥感数据做了预训练，得到了预训练模型SAT-493M，如下就是针对遥感输入输出的feature similarities的可视化。

但是由于dino v3是一个骨干模型，要实现目标检测还需要借助Grounding DINO这种框架，目前Grounding DINO还没有更新到相应的版本，但是现在也有基于dino v3的EoMT和DEIMv2，分别实现分割和目标检测。

而DEIMv2为了提高实时性的要求就提供了蒸馏的小模型版本，而lightly-train恰好也提供了一个非常简单的通过基于教师-学生网络架构的自监督的方式进行dino v3到yolo或者DETR类模型的蒸馏。

特征提取：教师模型生成图像的高质量特征表示，学生模型学习生成相似的特征表示。
损失函数：特征蒸馏损失，最小化教师和学生特征的差异，优化小模型参数。

反映到实际代码层面，主要是这一段代码：

我这边是使用了dinov3_vitl16_pretrain_lvd1689m-8aa4cbdd.pth作为教师模型，使用了yolo11s作为学生模型,使用无标签的VisDrone2019作为训练的数据。

不过现在Meta对于dinov3的预训练权重有限制，必须要邮件申请，很容易被拒，如果是直接使用modelscope也可以下载到，但是不是pth格式的。

在训练部分，可能需要的资源比较大，这部分我是直接使用了modelscope的GPU免费资源来训练的，大家也可以自行申请使用。

这个预训练好了导出的就是一个pt文件，然后再基于这个pt文件再继续做微调就好了，以前我们都是直接下载官方的一些预训练权重，比如基于coco数据集的预训练权重。

二、自动标注微调

当然除了这种预训练阶段我们可以借助大模型的能力，在微调阶段，我们也可以利用目前大模型的零样本目标检测能力，对我们需要标注的数据进行自动化的标注，然后人工进行误检和漏检查的删除和新增，这样也可以大大提升我们在微调阶段制作样本数据的效率。

我这边主要尝试了基于GroudingDINO和Qwen3-VL的自动标注，因为这种自动标注对实时性要求不高，所以应用大模型是完全可以接受的，总的思路是：

1、自动读取视频帧调用大模型检测，配置好视频的输入、数据集输出、要检测的类别、视频帧采样间隔、置信度阈值，yolo数据集train/val/test的划分比例等，就可以执行了，提取检测结果并将转换结果转换成为Yolo数据集的格式；

GroundingDINO版本我使用的是hugging face上的IDEA-Research/grounding-dino-base权重，在实际推理的时候会存在一定的漏识别和误识别的问题，比如针对无人机航拍的视频这边的车辆就会漏掉。

这个部分就需要使用手动的标注工具，将这部分标注上去。

但是Qwen3-VL对一些基本上对正常目标不存在漏识别的问题，对细小的人物识别的也比较准确，这些这些目标不放大仔细看自己都可能会漏掉。

还有这种跑道的的人也都会识别出来。

但是也会有一些异常情况，比如这边的一群人，他不是单独的把每个个体识别出来，而是更倾向于把这一群识别出来，但是感觉这个问题直观感觉是可以通过提示词的优化来改进的，这也是视觉语言模型和单纯的视觉大模型之间的一些区别。

2、针对输出的Yolo数据集进行人工的复合，错误的删除，缺少的再新增标注；

所以如果你有公网环境且不存在数据安全性的问题可以考虑优先使用Qwen3-VL的自动标注版本，如果你是在隔离的环境下可以使用Ground ingDINO的版本。

总体体验下来，这种自动标注模式可以选择目标区域多个航路的视频数据，然后进行自动化标注，人工主要做的活就是相关的复核工作，所以效率和体验都是有所提升的。

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

在这里插入图片描述

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

在这里插入图片描述

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等
在这里插入图片描述

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【`保证100%免费`】

在这里插入图片描述

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用，大模型作为其中的重要组成部分，正逐渐成为推动人工智能发展的重要引擎。大模型以其强大的数据处理和模式识别能力，广泛应用于自然语言处理、计算机视觉、智能推荐等领域，为各行各业带来了革命性的改变和机遇。

在这里插入图片描述

适合人群

在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。