工业界和学术界大佬带队！彻底搞定端到端与VLA

转载 于 2025-10-10 07:30:33 发布 · 138 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247682253&idx=3&sn=98dd816a221facfb71e6ed66979aa2dc&chksm=cf19d2abbeb66f2b506314e5b40bd40119bd858b16425c1812fa3a49bc944661c71eb1279ec9&scene=126&sessionid=0

端到端作为当前自动驾驶量产的核心算法，所涉及的技术栈十分丰富。很多研究生的同学和转行的工业界小伙伴在刚开始接触时，往往会遇到很多问题。目前业内主要有两大类范式：一段式和两段式。一段式最具代表性的就是UniAD，直接从传感器输入（视觉/Lidar/Radar等）建模自车轨迹的输出，二段式基于感知结果进一步输出自车和他车的轨迹。

一段式端到端又可以进一步延伸出基于感知的一段式、基于扩散模型的一段式、基于世界模型的一段式以及基于VLA的一段式端到端算法。不难看出，端到端已经衍生出很多子领域，尤其是基于VLA的相关算法，这两年相关论文在爆发式发表，工业界也在争先量产。

从模块化的量产算法发展到端到端，再到如今的VLA。核心算法涉及BEV感知、视觉语言模型VLM、扩散模型、强化学习、世界模型等等。通过学习端到端与VLA自动驾驶，可以掌握学术界和工业界最前沿的技术方向。

最近几个月，我们收到了很多同学的咨询如何快速高效的入门端到端和VLA。所以我们联合了工业界和学术界的大佬开展了《端到端与VLA自动驾驶小班课》和《自动驾驶VLA和大模型实战课程》！

国庆优惠即将截止！

扫码报名！抢占课程名额

课程大纲

自动驾驶VLA与大模型实战课程

由学术界大佬带队！这门课程聚焦在VLA领域，从VLM作为自动驾驶解释器开始，到模块化VLA、一体化VLA，再到当前主流的推理增强VLA。三大自动驾驶VLA领域全面梳理，非常适合刚接触大模型、VLA的同学。课程也配套了详细的理论基础梳理，Vision/Language/Acition三大模块、强化学习、扩散模型等等基础，更有专门的大作业章节教会大家从零搭建自己的VLA模型及数据集！课程大纲如下：

课程老师团队介绍：

咖喱，清华大学硕士生：在ICCV/IROS/EMNLP/Nature Communications发表论文若干篇。目前从事多模态感知、自动驾驶VLA、大模型Agent等前沿算法的预研，并已主持和完成多项自动驾驶感知和大模型框架工具，拥有丰富的自动驾驶、大模型研发和实战经验。

Max，QS30高校博士在读：在EMNLP、IROS、ICCV、AISTATS等国际顶级会议发表多篇论文，研究方向涵盖多模态大模型与自动驾驶VLA等前沿领域。长期维护GitHub上多个自动驾驶与计算机视觉开源项目，总Star数已超过2k，具备扎实的多模态大模型研发能力与丰富的实战经验。

Eric，清华大学硕士生：在RAL/IROS/EMNLP发表论文若干篇。目前从事在线建图感知、自动驾驶VLA、大模型Agent等前沿算法的预研，拥有丰富的自动驾驶、大模型研发和实战经验。

端到端与VLA自动驾驶课程

由工业界大佬带队！这门课程则聚焦在端到端自动驾驶的宏观领域，梳理一段式/两段式方向的重点算法和理论基础，详细讲解了BEV感知、大语言模型、扩散模型和强化学习。课程设计了两大实战：基于扩散模型的Diffusino Planner和基于VLA的ORION算法。课程大纲如下：

课程老师介绍：Jason, C9本科+QS50 PhD，已发表CCF-A论文2篇，CCF-B论文若干。现任国内TOP主机厂算法专家，目前从事端到端、大模型、世界模型等前沿算法的预研和量产，并已主持和完成多项自动驾驶感知和端到端算法的产品量产交付，拥有丰富的端到端算法研发和实战经验。

面向人群

  • 需要自备GPU，推荐算力在4090及以上；

  • 一定的自动驾驶领域基础，熟悉自动驾驶的基本模块；

  • 了解transformer大模型、强化学习、BEV感知等技术的基本概念；

  • 一定的概率论和线性代数基础，熟悉常用的数学运算；

  • 具备一定的python和pytorch语言基础；

课程咨询

扫码报名！抢占课程名额
具身智能端到端大模型VLA (Vision Language Action)
具身智能机器人
01-06 1万+
在语言为条件的机器人任务中，策略必须具备理解语言指令、视觉感知环境并生成适当动作的能力，这就需要VLA的。例如，在自动驾驶领域，传统的做法是将感知、预测、规划等步骤分开处理，而VLA则试图用一个统一的框架来替代这种分立的方法。另外，VLA的模型对于算力的需求很大，单片AI算力1000Tops的Thor大概率会延期发布，加上英伟达芯片的量产时间与成本挑战，以及在国内的应用情况，对车企而言是个大问题。以谷歌DeepMind推出的RT-2为例，该模型可以在新的物体、背景和环境中表现出显著改善的性能。
具身智能中 VLA 主流方案
具身智能机器人
03-02 4571
本文详细总结了具身智能中 VLA 的主流方案，包括基于经典 Transformer 结构、预训练 LLM/VLM、扩散模型、LLM + 扩散模型、视频生成 + 逆运动学以及不同类型的端到端方案。通过对各方案的开源项目和核心思想的介绍，对比了它们在模型架构、动作类型、训练目标等方面的特点，得出了相应的结论共识。同时，探讨了 VLA 面临的数据稀缺、运动规划、实时响应、多模态融合、泛化能力、长时域任务执行、基础模型、多智能体协作以及安全伦理等挑战，并展望了未来的发展方向。
梳理几个概念，弄懂具身智能发展主线：LLM、VLM、VLA，以及端到端模型，非常详细建议收藏！
libaiup的博客
08-04 1673
本文系统梳理了从LLM到具身智能的AGI发展路径。首先介绍了单模态LLM在文本处理上的优势，然后分析了多模态VLM如何融合视觉与语言理解能力。重点讨论了VLA模型通过增加"行动"模态，实现了AI与物理世界的交互能力。文章指出端到端训练是具身智能发展的关键方法，强调VLA模型集认知、感知和行动于一体，为AGI奠定基础。最后提供了AI大模型学习资源包的信息，包含从入门到进阶的全套学习资料。
端到端自动驾驶大模型：视觉-语言-动作模型 VLA
AIgraphX
12-15 6605
随着视觉-语言-动作模型VLA的发展，感知和规划逐渐融合为一个模型，即端到端自动驾驶大模型。
特斯拉“团灭”国产车？智驾三大路线：端到端、世界模型、VLA到底谁才是“最优解”？
soaring_casia的专栏
08-14 1624
在“消失的前车·真高速版”这样的极限工况里，端到端的反应快、世界模型的推演准、VLA的理解强，各有长板，也都有致命短板。懂车帝的测评中经常看到有车辆的智驾系统在该场景做出“强行变道”的决策，这是因为E2E模型的训练数据中学到的避障优先级更高（人类驾驶员遇到前车事故一般会选择变道避开而不是原地急停），但“强行变道”这个行为产生到一半时系统又检测到后方来车，于是放弃该行为选择刹车，可惜时机太晚，最终导致碰撞（来源@懂车帝）有的急打方向盘，不遵守“让速不让道”的驾驶原则，一头扎进其它车道的大卡车底部；
具身智能的视觉-语言-动作模型：综述
yorkhunter的博客
05-26 4883
24年5月论文“A Survey on Vision-Language-Action Models for Embodied AI”。
端到端自动驾驶VLA模型：技术解析与模型设计
a8598671的博客
03-26 3053
目前大语言模型较为成熟，因此无论是VLM或者VLA模型都是以大语言模型为基础的。MLLMs 拥有两大优势：一是训练数据来自大规模互联网，拥有广泛的“世界知识”；二是具备强大的推理能力（如 CoT chain-of-thought），这是现有驾驶模型难以具备的。EMMA 基于多模态大语言模型构建，能够直接将原始摄像头传感器数据映射为多种驾驶相关输出，包括规划轨迹、感知目标以及道路图结构等。
端到端VLA模型架构：让机器“知行合一”的工程实践
zhaoyqcsdn的博客
04-13 2628
尽管面临数据与解释性挑战，但其在复杂任务中的潜力已初见端倪——从Google RT-2的零样本泛化能力，到PaLM-E的多任务统一建模，端到端架构正成为具身智能的核心载体。未来的机器人将不再依赖繁琐的手工编程，而是像人类一样，通过“看-想-动”的连贯过程，自主适应瞬息万变的物理世界。这种“流水线”模式看似分工明确，却存在致命缺陷——各模块间的信息损失、误差累积和延迟叠加，导致系统难以应对动态复杂任务（如“避开移动障碍物并抓取摇晃的杯子”）。：根据图像和指令“向左/右移动方块”，控制机械臂末端水平移动。
VLA模型：自动驾驶与机器人行业的革命性跃迁，端到端智能如何重塑未来？
finehoo_andy的博客
05-21 1476
这个能将“把咖啡递给穿红衣服的阿姨”这类自然语言指令直接转化为机器人动作的AI系统，不仅让机器人行业沸腾，更让自动驾驶领域嗅到了颠覆性变革的气息。当AI开始像人类一样“眼观六路、耳听八方、手脑并用”，我们或许正在见证智能体从“工具”到“伙伴”的质变临界点。传统AI模型像被割裂的“脑区”：视觉模型负责认路，语言模型负责聊天，规划模型负责算路线。通过Transformer的注意力机制“对话”：视觉告诉语言“前方有儿童”，语言告诉动作“减速至10km/h”，动作反馈给视觉“已执行制动”。
分层端到端VLA和纯端到端VLA有什么区别？
CV_Autobot的博客
06-15 891
这类端到端的范式依赖于先前广泛的研究先验，通过不同架构（diffusion/ transformer/dit），不同的模型大小，不同的应用场景（2d/3d）,不同的任务需求（从头训/下游微调），产生了各类不同的方案，取得了不错的性能。无论是显示端到到VLA，还是隐式/分层端到端VLA，其中涉及到的模块、细节众多。隐式端到端VLA，则不同于前者，更加关注工作的可解释性，旨在利用当前的video diffusion模型实现未来状态的预测，再根据未来的状态通过逆运动学规律生成未来可执行的动作。
学术界和工业界都在如何研究端到端与VLA？三个月搞定端到端自动驾驶！
CV_Autobot的博客
10-09 121
现任国内TOP主机厂算法专家，目前从事端到端、大模型、世界模型等前沿算法的预研和量产，并已主持和完成多项自动驾驶感知和端到端算法的产品量产交付，拥有丰富的端到端算法研发和实战经验。目前从事多模态感知、自动驾驶VLA、大模型Agent等前沿算法的预研，并已主持和完成多项自动驾驶感知和大模型框架工具，拥有丰富的自动驾驶、大模型研发和实战经验。一段式端到端又可以进一步延伸出基于感知的一段式、基于扩散模型的一段式、基于世界模型的一段式以及基于VLA的一段式端到端算法。非常适合刚接触大模型、VLA的同学。
具身智能机器人实现新里程碑！新型3D世界模型问世
weixin_44887311的博客
04-05 1951
通过在大规模3D数据上预训练从RGB-D到RGB-D、从点云到点云的扩散模型，并学习语言-视觉-动作三者的联合分布，3D-VLA能根据输入的文本指令和环境表征，直接采样生成可感知的未来状态。具体而言，该模型以3D-LLM（3D大语言模型）为骨干，通过在其词表中引入一系列交互令牌，如场景、物体、动作等，增强了模型与3D环境互动的能力。通过预训练RGB-D到RGB-D、点云到点云的扩散模型，并用对齐器将其与语言编码器的输出对齐，3D-VLA能根据指令灵活地想象未来图像、深度图、点云等表征。
STM32+MAX7219数码管模块显示程序 SPI接口
12-02
提供了基于STM32F4xx系列的MAX7219数码管模块显示程序，通过SPI串行总线进行通信，使用库函数进行编程。经过实际测试，该程序能够正常驱动数码管进行显示。 特点 基于STM32F4xx系列MCU 使用SPI串行总线通信 采用库函数编程 实测能正常驱动MAX7219数码管模块显示
基于大疆M100无人机平台的自主导航与智能决策系统开发项目_该项目专注于在复杂动态环境中实现无人机的实时障碍物感知与规避以及高效全局与局部路径规划算法的集成与优化核心内容包括利.zip
12-02
基于大疆M100无人机平台的自主导航与智能决策系统开发项目_该项目专注于在复杂动态环境中实现无人机的实时障碍物感知与规避以及高效全局与局部路径规划算法的集成与优化核心内容包括利.zip
Turbo 码编码及解码仿真程序(Matlab)
12-02
Turbo 码编码及解码仿真程序(Matlab)
【改进灰狼算法】基于记忆、进化算子和局部搜索的改进灰狼优化算法及线性种群规模缩减算法（Matlab代码实现）
最新发布
12-02
内容概要：本文提出了一种基于记忆机制、进化算子和局部搜索策略的改进灰狼优化算法，并结合线性种群规模缩减策略以提升算法收敛速度与全局搜索能力。该算法通过引入记忆模块保存优质个体信息，利用进化算子增强种群多样性，同时采用局部搜索机制提高寻优精度，有效克服了传统灰狼算法易陷入局部最优、收敛速度慢等问题。文中详细阐述了算法的设计思路、实现步骤及关键参数设置，并提供了完整的Matlab代码实现，便于读者复现与应用。实验部分验证了改进算法在多个标准测试函数上的优越性能，展示了其在优化问题中的潜力。; 适合人群：具备一定智能优化算法基础，熟悉Matlab编程，从事科研或工【改进灰狼算法】基于记忆、进化算子和局部搜索的改进灰狼优化算法及线性种群规模缩减算法（Matlab代码实现）程优化相关工作的研究生、科研人员及技术人员； 使用场景及目标：①解决复杂优化问题如函数优化、参数调优、工程设计优化等；②学习灰狼算法的改进思路与实现方法，掌握智能算法的性能提升策略； 阅读建议：建议结合Matlab代码逐行理解算法实现过程，重点关注记忆机制、进化操作与局部搜索的融合方式，并通过实验对比分析改进策略的有效性。
基于ROS的机器人运动规划与路径搜索算法实现工作空间_包含A星Dijkstra等经典与优化算法在二维三维栅格地图中的高效路径规划与避障实现结合RVIZ可视化插件进行实时路径动态障碍.zip
12-02
基于ROS的机器人运动规划与路径搜索算法实现工作空间_包含A星Dijkstra等经典与优化算法在二维三维栅格地图中的高效路径规划与避障实现结合RVIZ可视化插件进行实时路径动态障碍.zip
基于OpenStreetMap开源地理数据与OSRM高性能路由引擎的跨平台智能路径规划系统_集成多模式交通网络分析实时交通流量预测动态避障与多目标优化算法的综合性导航解决方案_.zip
12-02
基于OpenStreetMap开源地理数据与OSRM高性能路由引擎的跨平台智能路径规划系统_集成多模式交通网络分析实时交通流量预测动态避障与多目标优化算法的综合性导航解决方案_.zip
VLA端到端
03-08
### VLA 端到端技术实现方案架构 #### 1. 概述 视觉-语言-行动（VLA）模型旨在通过集成视觉感知、自然语言理解和物理操作来增强机器人的自主能力。这类模型允许机器人理解复杂的指令并执行相应的任务，而无需针对每项新任务重新编程。 #### 2. 数据收集与预处理 为了构建有效的 VLA 模型，数据集应包含大量标注过的图像序列及其对应的文本描述和动作标签。这些数据通常来源于模拟环境或真实世界中的交互记录[^3]。 #### 3. 多模态编码器设计 多模态编码器负责将不同类型的输入——如摄像头捕捉的画面以及人类给出的文字命令——转换成统一表示形式以便后续处理。此过程涉及两个主要组件： - **视觉特征提取模块**：采用卷积神经网络(CNNs)，例如ResNet 或 EfficientNet 来获取场景内的物体位置及属性信息。 - **语言解析单元**：基于Transformer结构的语言模型用于解读用户的指示语句，并生成内部表征向量。 ```python class VisualFeatureExtractor(nn.Module): def __init__(self, backbone='resnet50'): super().__init__() self.backbone = timm.create_model(backbone, pretrained=True) def forward(self, images): features = self.backbone(images) return features.flatten(start_dim=1) class LanguageParser(nn.Module): def __init__(self, vocab_size, hidden_dim=768): super().__init__() self.embedding = nn.Embedding(vocab_size, hidden_dim) self.transformer = transformers.BertModel.from_pretrained('bert-base-uncased') def forward(self, tokens): embeddings = self.embedding(tokens) outputs = self.transformer(inputs_embeds=embeddings)[0][:, 0, :] return outputs ``` #### 4. 动作预测机制 经过编码后的视觉和语言信息会被送入决策层，在这里会根据当前的状态评估可能采取的行为选项，并选出最优解作为最终输出。这一阶段可以借助强化学习算法不断优化策略函数，从而提高系统的泛化性能。 #### 5. 反馈循环调整 实际部署过程中不可避免会出现误差累积现象，因此有必要建立一套完善的反馈机制来进行在线微调。具体做法是在每次完成指定任务之后对比预期效果与实际情况之间的差异，据此更新参数权重以改善未来表现。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值