自动驾驶热点VLM（视觉语言模型）！又一次突破！

最新推荐文章于 2025-07-17 07:15:00 发布
最新推荐文章于 2025-07-17 07:15:00 发布
阅读量736 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 自动驾驶 语言模型 人工智能 机器学习 自然语言处理
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247625374&idx=2&sn=b8ba068d14e04c270eb62e0b720518e3&chksm=cf12211f74c958fc9f171b1eebc1466f6a04edf6945945eeada05d6edd5a22e803edcd0b6ac7&scene=126&sessionid=0

自从谷歌提出ViT、Open AI发布CLIP，视觉语言模型（VLM）便成为了研究热点，凭借跨模态处理和理解能力，以及零样本学习方法，为CV领域带来了重大革新，今年CVPR'24自动驾驶挑战赛中，VLM也是参赛人数最多的赛道，围绕环境感知提升等，应用方案百花齐放，而为了性能不变下压缩模型体量，CVPR'24收录了一项突破性工作，VLM提示蒸馏新方法PromptKD！

f847442418f910b5bf54ad97639dfc5b.png

为了帮助大家综合掌握，集VLM、知识蒸馏、提示工程一体的创新成果，研梦非凡于9月4日晚（周三），邀请了从事多模态大模型研究的王导师，独家详解来自南开&蚂蚁集团的CVPR'24研究《PromptKD：基于提示学习的VLM蒸馏新方法！》（AI前沿直播课NO.65），从VLM、Knowledge Distillation、Prompt Learning的知识回顾，到PromptSRC等顶会相关工作，重点讲解PromptKD方法原理、提示蒸馏过程及实验研究，1节课get前沿视野及论文idea！

👇🏻扫描二维码找助教0元预约直播课！

267eb62378e458629781d9bd5d9815ae.png

凡预约即可免费领取300篇精选论文（50篇VLM蒸馏+50篇提示工程+100篇多模态+100篇LLM/VLM）+文末还有算力等科研福利！

56975e56eefa931b79a99814d74cd61e.gif

unsetunset直播课内容概览unsetunset

01 研究背景

  1. 关注的问题

  2. 本文主要贡献

  • 无监督领域特定提示驱动知识蒸馏

  • 预存储文本特征

  • 教师-学生范式

  • 广泛的实验验证

02 知识准备

  1. 视觉语言模型（VLM）

  • 经典模型CLIP介绍

  • CLIP特点与架构

  1. 知识蒸馏（Knowledge Distillation）

  • 什么是知识蒸馏？

  • 为什么要知识蒸馏？

  • 知识蒸馏的原理：Teacher、Student模型

  • 知识蒸馏的分类：基于目标、基于特征的蒸馏

  1. 提示学习（Prompt Learning）

  • Prompt-Tuning的优缺点

  • Prompt-Tuning的代表性工作

👇🏻扫描二维码找助教0元预约直播课！

6dfe0f5f7e99db1e766e6a98c6ce4319.png

凡预约即可免费领取300篇精选论文（50篇VLM蒸馏+50篇提示工程+100篇多模态+100篇LLM/VLM）+文末还有算力等科研福利！

03 相关工作

  1. PromptSRC（ICCV'23）

  • 简介：自我调节的提示学习框架，解决了提示过拟合问题，以实现更好的泛化

  • 框架原理

04 PromptKD详解（CVPR'24）

  1. 方法简介

  2. 两阶段训练流程

  • Prompt Learning

  • 通过促进快速模仿来启动蒸馏过程，鼓励学生模型生成与教师模型相似的预测

  1. 伪代码

05 实验研究

  1. 实验一

  • 实验指标、数据集等

  • 实验设置

  1. 实验二

  • 实验流程

  1. 消融实验

06 总结和展望

导师介绍

王导师

【学术背景】985硕出身，拥有丰富的深度学习研究、论文发表经验，多篇SCI论文、EI会议论文（一作）

【研究方向】大语言模型、视觉语言模型、多模态学习，以及自然语言处理、进化算法等

👇🏻扫描二维码找助教0元预约直播课！

8de91c8f84b29ff3959bf1f8b33d0aa1.png

凡预约即可免费领取300篇精选论文（50篇VLM蒸馏+50篇提示工程+100篇多模态+100篇LLM/VLM）+文末还有算力等科研福利！

unsetunset研梦非凡科研论文指导方案unsetunset

idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

3eeaf97bd80c5b61dd31d4d37c38181d.jpeg9e1470dc191b03a766b7ebdf8ecc1d7c.jpeg

<<< 左右滑动见更多 >>>

👇🏻扫描二维码咨询助教两种指导方案

1336fe97031d2c6c1a0259aa4f53fdcc.png

unsetunset研梦非凡部分导师介绍unsetunset

研梦非凡导师团队，来自海外QStop200、国内华五、C9、985高校的教授/博士导师/博士后，以及世界500强公司算法工程师、国内外知名人工智能实验室研究员等。

这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～

488f6a36c118b3e9cde3482c46fffef3.png285c7d80e765dd4f161c8c2bca1af4ca.pngfddcb27dbe50c92707bb0938e2bae9ee.png40f188cbfdcd16a4dfc29c5e8ff9dddf.png

<<< 左右滑动见更多 >>>

👇🏻扫码加助教为你匹配合适课题的大牛导师

16f9ebec8703ce5b82a335c70d083be4.png

unsetunset研梦非凡科研福利unsetunset

🌟90分钟人工智能零基础入门课免费领

🌟7小时科研论文写作系列课免费领

🌟年度会员福利价129元（原价2999）

🌟50小时3080GPU算力免费领

🌟百篇8月论文资料大合集免费领

👇🏻 扫码领取以上5重粉丝专属科研福利！

079a11adb57434eb2362f0857ad21e00.png

f73728405f89f34f070528040ad69545.jpeg

自动驾驶---基于视觉语言模型的自动驾驶
智能汽车人的博客
04-27 861
VLM-AD是一种通过利用视觉语言模型（VLM）作为辅助 “教师” 来增强端到端自动驾驶模型的新方法。通过包含非结构化推理文本和结构化动作标签的针对性问题来整合基于 VLM 的标注信息，在训练过程中加入了额外的推理和动作监督，丰富了训练内容。在 nuScenes 数据集上显著提高了规划的准确性，并降低了碰撞率，同时通过动作预测使其输出轨迹具有可解释性。重要的是，VLM-AD 在推理过程中不需要视觉语言模型（VLM），这使得它能够即插即用地应用于现实场景的部署中，而无需额外的推理成本。
自动驾驶大模型---理想汽车智驾端到端方案
智能汽车人的博客
05-14 2058
端到端模型直接处理传感器输入，输出驾驶决策，而VLM则处理复杂规则推理，辅助系统1决策。文章详细介绍了这两种模型的架构、训练方法、推理及建模过程，以及在实际应用中面临的挑战和优化策略。此外，还探讨了数据筛选、系统配合以及EID显示等关键方面，展示了理想汽车在自动驾驶技术上的创新和进步。整体而言，理想汽车通过双系统设计，有效提升了自动驾驶的决策效率和安全性。 
VLM视觉语言大模型在智能驾驶中的应用
yuanl15的博客
09-05 4370
即带条件的目标检测，用语言指示模型识别图像中特定目标。和Object Referring相比，Object Referring Tracking会根据自然语言描述在连续帧中对目标进行跟踪。开放式3D目标检测，利用VLM的zero-shot能力检测场景中在白名单之外的目标类型。交通场景视觉问答，这需要vlm的高维场景理解能力。自动驾驶领域的问答可以划分为感知、规划、空间推理、时序推理、因果逻辑推理。感知问题可以用来识别交通参与者，如外观描述、存在性、数量、状态等。
挑战更复杂场景！DriveGenVLM：首个基于VLM的自动驾驶世界模型
CV_Autobot的博客
09-04 1214
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大语言模型』技术交流群编辑 | 自动驾驶之心写在前面&个人理解自动驾驶技术的进步需要越来越复杂的方法来理解和预测现实世界场景。视觉语言模型（VLMs）正作为具有显著潜力影响自动驾驶的革命性工具而崭露头角。本文提出了DriveGenVLM框架，用于生成驾驶视频并利用...
开源自动驾驶VLM/VLA！基于任意大模型的视觉推理
qq_50213874的博客
05-31 999
视觉语言模型（VLMs）因其强大的推理能力，在自动驾驶领域受到日益广泛的关注。然而，现有VLMs通常采用针对特定场景设计的离散文本思维链（Chain-of-Thought, CoT），这种表征本质上是对视觉信息的高度抽象和符号化压缩，可能导致空间-时间关系模糊以及细粒度信息丢失。自动驾驶是否更适合通过真实世界模拟与想象建模，而非纯粹依赖符号逻辑？本文提出一种时空思维链（spatio-temporal CoT）推理方法，使模型可视化地思考。首先，VLM作为世界模型生成统一图像帧以预测未来世界状态：其中感知结果
可视化地思考：FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving
qq_50213874的博客
05-27 914
视觉语言模型（VLMs）因其强大的推理能力，在自动驾驶领域受到日益广泛的关注。然而，现有VLMs通常采用针对特定场景设计的离散文本思维链（Chain-of-Thought, CoT），这种表征本质上是对视觉信息的高度抽象和符号化压缩，可能导致空间-时间关系模糊以及细粒度信息丢失。自动驾驶是否更适合通过真实世界模拟与想象建模，而非纯粹依赖符号逻辑？本文提出一种时空思维链（spatio-temporal CoT）推理方法，使模型可视化地思考。首先，VLM作为世界模型生成统一图像帧以预测未来世界状态：其中感知结果
VLM（视觉语言模型）综述
qq_46981910的博客
08-30 1万+
对视觉语言多模态的模型进行介绍，涉及CLIP、GLIP、VLMo、Flamingo、BLIP等等。 VLMs的分类：根据VLM的输入处理和输出生成能力将其分为三个不同的组： 视觉语言理解模型：专门为视觉信息与语言的解释和理解而设计的模型 多模态输入文本生成模型：擅长利用多模态输入（如图像、视频和文本）来生成文本内容 多模态输入多模态输出模型：不仅接受多模态输入，还能产生多模态的输出
我们如何持续适应视觉-语言模型？
通过AI技术，自动回复来自多个社交平台的客户消息，减少人工干预，提高响应效率
08-27 1515
对比语言-图像预训练（CLIP）由OpenAI于2021年在自然语言监督下学习可迁移的视觉模型论文[1]中提出。CLIP模型的目标是理解文本与图像之间的关系。如果你输入一段文字，它应该在给定的一组图像中返回最相关的图像。同样，如果你输入模型一张图像，它应该在一组可用文本中返回最契合的文本。CLIP在一个大型的文本-图像配对数据集上进行了训练。通过对比学习，将匹配的文本-图像对在嵌入空间中拉近，而不匹配的对则分开。这种学习到的共享嵌入空间在推断过程中用于理解文本与图像之间的关系。
自动驾驶大模型---Waymo的EMMA大模型
最新发布
智能汽车人的博客
07-17 1154
自动驾驶大模型EMMA：基于Gemini的端到端多模态创新 Waymo研发的EMMA是基于谷歌Gemini多模态大语言模型（MLLM）开发的自动驾驶创新模型。该模型通过端到端训练处理传感器数据，生成未来轨迹并做出避障决策，将MLLM的应用拓展到自动驾驶领域。EMMA的创新性体现在：1）利用Gemini的"世界知识"增强复杂环境应对能力；2）采用链式思维推理提升决策可解释性；3）通过视觉问答方法统一处理多种驾驶任务。实验显示EMMA在多个基准测试中表现优异，但仍面临3D传感器整合不足、计算
自动驾驶---理想汽车智驾进展
智能汽车人的博客
10-28 2570
自媒体电车通从2024年初开始推出智能化评测相关栏目，尤其是针对智能驾驶这一功能做了大量的实测工作；根据综合表现，给测试车型给出了能够直观展示其能力的评分。当评测的对象达到一定数量后，对整个国内车市智驾能力分级也有了基本的判断，不同车型智驾系统之间的评分分级，也在一定程度上还原了当下国内市场智驾的竞争格局。整体排名如下图所示（图侵删）：在上面的车机系统版本中，理想汽车还不是最新的大模型版本。
介绍理想自动驾驶e2e，vlm双系统
03-10
嗯，用户之前问了理想智驾大模型如何输出多条备选轨迹，现在又接着问理想自动驾驶的E2E和VLM双系统。看起来用户可能对自动驾驶的系统架构感兴趣，特别是端到端（E2E）和视觉语言模型（VLM）的结合。需要先确认这两个...
什么是视觉语言模型？一文深度看懂视觉语言模型 (VLM)
Androiddddd的博客
01-07 2235
很长一段时间以来，人工智能（AI）能够像人类一样有效地理解视觉和文本线索的想法似乎遥不可及且难以想象。然而，随着多模态人工智能的出现，我们看到了一场革命，人工智能可以同时理解各种模态，如文本、图像、语音、面部表情、生理手势等，以理解我们周围的世界。处理多种模态的能力为人工智能应用开辟了各种途径。多模态 AI 的一个令人兴奋的应用是视觉语言模型 (VLM)。这些模型可以同时处理和理解语言（文本）和视觉（图像）的模态，以执行高级视觉语言任务，例如视觉问答 (VQA)、图像字幕和文本到图像搜索。
碰撞率降低57.4%！VLM-AD显著提升自动驾驶规划准确性，无需VLM实时推理
soaring_casia的专栏
03-09 1062
端到端自动驾驶（AD）将感知、预测和规划整合到一个框架中，旨在协调检测、跟踪等复杂任务。近期方法通过传感器数据生成自我轨迹，但面对复杂场景时性能下降。人类驾驶员通过推理环境有效应对挑战，而现有模型依赖于轨迹点序列监督，缺乏推理信息。手动标注推理信息成本高且耗时，难以获得高质量标注。大型基础模型如视觉-语言模型（VLMs）提供了替代方案，增强了驾驶系统的推理能力。然而，直接整合这些模型需要大量微调，并增加训练和推理时间，使其不适用于实际应用。
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
afanti_1的博客
04-16 1577
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding VLM：用于视频理解的任务无关的视频语言模型预训练
Co-Driver：基于 VLM 的自动驾驶助手，具有类人行为并能理解复杂的道路场景
yorkhunter的博客
05-13 1213
24年5月来自俄罗斯莫斯科研究机构的论文“Co-driver: VLM-based Autonomous Driving Assistant with Human-like Behavior and Understanding for Complex Road Scenes”。
VLM 简介：计算机视觉模型的未来 使用 VLM 构建准确率提高 28% 的多模式图像搜索引擎
iCloudEnd的博客
11-11 132
具有数十亿甚至数千亿个参数的LLM已不再是新鲜事物。我们随处可见它们！LLM 研究的下一个重点更倾向于开发多模式模型（全模型）——可以理解和处理多种数据类型的模型。顾名思义，这些模型不仅可以处理文本，还可以分析图像、视频和音频。但我们为什么要这么做呢？万事通，一事无成，但往往比精通一门要好。近年来，我们看到了一种趋势，即通用方法主导狭义方法。想一想。如今，语言驱动的 ML 模型已经变得相对先进和通用。一个模型可以完成翻译、总结、识别语音标签等多项功能。
视觉语言模型详解【VLM】
热门推荐
新缸中之脑
05-20 3万+
视觉语言模型被广泛定义为可以从图像和文本中学习的多模态模型。它们是一种生成式模型，可以接受图像和文本输入并生成文本输出。大型视觉语言模型具有良好的零样本能力，具有良好的泛化能力，并且可以处理多种类型的图像，包括文档、网页等。用例包括谈论图像、通过指令进行图像识别、视觉问答、文档理解、图像字幕等。一些视觉语言模型还可以捕获图像中的空间属性。当系统提示检测或分割特定主题时，这些模型可以输出边界框或分割掩码，也可以定位不同的实体或回答有关其相对或绝对位置的问题。
视觉语言模型（VLM）学习笔记
jacke121的专栏
11-28 2649
视觉语言模型（VLM）学习笔记
VLM技术介绍
weixin_50518899的博客
07-13 2451
视觉语言模型被广泛定义为可以从图像和文本中学习的多模态模型。它们是一种生成式模型，可以接受图像和文本输入并生成文本输出。大型视觉语言模型具有良好的零样本能力，具有良好的泛化能力，并且可以处理多种类型的图像，包括文档、网页等。用例包括谈论图像、通过指令进行图像识别、视觉问答、文档理解、图像字幕等。一些视觉语言模型还可以捕获图像中的空间属性。当系统提示检测或分割特定主题时，这些模型可以输出边界框或分割掩码，也可以定位不同的实体或回答有关其相对或绝对位置的问题。
VLM 视觉语言大模型学习路线
03-18
<think>嗯，用户想了解视觉语言大模型（VLM）的学习路径和资源。首先，我需要整理现有的引用内容，看看里面提到哪些关键点。引用1提到了PyTorch构建VLM的教程和视频资源，引用2讨论了链式推理在VLM中的应用，引用3则详细说明了VLM的预训练策略、训练阶段和数据需求。这些应该是回答的基础。 接下来，用户需要的是学习路线，包括书籍、教程、课程等资源。根据引用3的结构，可能应该分阶段来规划学习路径，比如先基础知识，再进阶学习，然后实践和深入研究。需要确保每个阶段都有对应的资源推荐，比如书籍推荐《深度学习入门》和《计算机视觉》，课程可能包括李飞飞的CS231n，或者吴恩达的深度学习课程。 然后，资源推荐部分要涵盖开源项目，比如CLIP、BLIP，以及PyTorch和Hugging Face库，这些都是构建VLM常用的工具。此外，用户提到的引用1中的视频教程应该被包含进去，作为专门整理的学习资源。 还要考虑用户可能的背景，是否需要先补充基础知识，比如深度学习、计算机视觉和自然语言处理。然后进阶到VLM的具体内容，比如模型架构、预训练策略，再到应用和优化技巧。最后，实践部分可能需要推荐数据集和实战项目，帮助用户巩固知识。 另外，用户的问题中生成的相关问题需要覆盖VLM的核心技术、优化方法、应用场景以及学习难点，这样他们可以进一步探索。要确保引用正确，每个引用对应到回答中的相应部分，比如引用3提到的预训练阶段，在回答中要标注引用标识。 可能还需要检查是否有其他资源未被引用但常用的，比如论文、GitHub项目，但根据给定的引用，可能需要限制在已有信息内。最后，确保回答结构清晰，分阶段和模块，便于用户逐步学习。</think>以下是针对视觉语言大模型（VLM）的系统化学习路径规划与资源推荐： ### 一、基础知识准备阶段 1. **深度学习基础** - 必学内容：神经网络基础、反向传播、CNN/RNN/Transformer架构 - 推荐资源： - 图书：《深度学习入门：基于Python的理论与实现》[^3] - 课程：吴恩达《深度学习专项课程》（Coursera） 2. **计算机视觉基础** - 重点掌握：图像特征提取、目标检测、视觉表征学习 - 推荐实践：PyTorch框架下的图像分类项目[^1] 3. **自然语言处理基础** - 核心知识点：词嵌入、注意力机制、生成式模型 - 推荐课程：斯坦福CS224n《自然语言处理与深度学习》 ### 二、VLM核心技术进阶 1. **模型架构专题** - 关键组件学习： - 视觉编码器：CLIP/SigLIP实现原理 - 语言解码器：Llama/GPT结构解析 - 跨模态投影器：向量空间对齐技术 - 推荐论文：《Learning Transferable Visual Models From Natural Language Supervision》 2. **训练策略精讲** ```python # 典型的三阶段训练代码结构示例 class VLM(nn.Module): def __init__(self): self.vision_encoder = FrozenCLIP() # 冻结的视觉编码器 self.text_decoder = LlamaForCausalLM() self.projection = LearnableProjector() # 可训练投影器 ``` - 阶段1：仅训练投影器（1-2周） - 阶段2：联合微调解码器（3-4周） - 阶段3：指令微调（2-3周） 3. **链式推理强化** - 重点突破：CoT（Chain-of-Thought）在跨模态任务中的应用[^2] - 案例实践：VQA任务中的分步推理实现 ### 三、优质学习资源导航 | 资源类型 | 推荐内容 | 特点说明 | |---------|---------|---------| | **视频教程** | [VLM全栈开发教程](引用1) | 含完整路线图与项目实战 | | **开源项目** | CLIP/BLIP代码库 | 官方实现+社区改进版 | | **论文合集** | arXiv最新论文集 | 跟踪SOTA模型进展 | | **实践平台** | Kaggle VLM竞赛 | 真实场景数据挑战 | ### 四、实战提升路径 1. **基础实验** - 使用HuggingFace库复现BLIP模型 - 在COCO数据集上完成图文匹配任务 2. **进阶挑战** - 实现自定义投影器模块 - 探索多模态指令微调策略[^3] 3. **创新方向** - 改进跨模态注意力机制 - 设计新型链式推理框架 ### 五、常见学习误区提醒 1. **不要跳过预训练阶段**：直接微调现成模型会导致基础不牢 2. **警惕数据泄露**：注意训练/验证集划分比例 3. **硬件准备建议**：至少需要16GB显存的GPU进行中等规模实验
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值