用扩散模型来构建自动驾驶的世界

已于 2024-11-24 13:30:00 修改
阅读量591 收藏 12
点赞数 4
分类专栏： 自动驾驶 文章标签： 人工智能 机器学习 深度学习
于 2024-03-03 23:22:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lijj0304/article/details/136440362
版权
本文提出一种结合多视角、时间序列、空间布局和文本信息的世界模型，通过扩散模型改造和时间编码、多视角编码等技术，实现自动驾驶的视觉预测与规划。模型利用端到端规划生成一致性高的多视图，并通过FID和FVD评估生成质量，以及KMP和CVT评估一致性与可控性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Multiview Visual Forecasting and Planning with World Model for Autonomous Driving

论文出处：

[2311.17918] Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving (arxiv.org)

结合多视角的图像，时间序列，空间布局，文本等各种信息构造世界模型。预测不同动作自动生成场景做评估，挑选最好的规划

多视角视频生成

  1. 多视角结合时间数据共同建模，利用扩散模型改造。

    1. 增加两个层：时间编码层，把图像的扩散模型提升为时间模型。多视角编码层，要共同建模多个视图，不同的视图之间要进行信息的交换，让每个视图的生成风格一致。

    2. 多视角时间调整：先用单视图条件训练一个标准的扩散模型，然后固定参数，用视频数据对时间层和多视角编码层做微调

  2. 多视角因子分解：分成两类：参考视图（前，左后，右后），拼接视图（左前，右前，后）；这两类视图之内是不会有重叠部分的，但是两个类别之间有部分是会重叠的。这样可以基于参考视图来做联合不重叠的部分建模，再结合时间的连贯性，可以结合上下文帧来实现视图生成，生成的多视图一致性强

  3. 统一条件生成：结合多种形式的信息。

      总共四个维度的条件

    1. 图像：初始上下文帧结合参考视图，ConvNeXt 做编码，从不同的图片提取特征然后连接到一个维度。

    2. 布局：把3D box, HD map投影到2D透视图中，然后利用图像编码的形式，得到一系列基于投影布局和bev分割信息的位置嵌入

    3. 文本：遵循扩散模型的惯例，用CLIP作为编码器，得到视图的各种描述信息

    4. 动作：将一个时间步长内的动作定义成(∆x, ∆y)，使用MLP将动作做d维度的嵌入

最终统一方式：所有的编码嵌入都是降到了d维度的，把所有的提取到的特征都做一个连接，然后做交叉注意力

端到端的的规划

使用预训练好的模型，输入真实的视角，然后构建决策树的形式，模型生成各个轨迹规划的视频并且结合激励函数的反馈做最佳的选择

决策的激励：1.地图激励（车道上合适的位置，远离路边缘，中心线一致）2.物体激励（安全的行车距离）

进一步从非矢量化表示中获得激励，如GPT-4V去获取图片进一步的特征信息，增加驾驶安全性

模型评估

生成视频的质量：FID：统计生成的图片和真实图片的特征特征分布，用来衡量生成的效果；FVD：用于视频的FID

多视图的一致性：使用KMP关键点匹配，计算当前视图和其两个相邻视图之间匹配关键点的数量和生成数据中匹配点的数量与真实数据中匹配点数量之间的比例

可控性评测：CVT分割背景，3D目标检测，在线地图重建

驶向未来（Drive-WM）：用于自动驾驶的多视图视觉预测与规划的世界模型
自动驾驶实战
08-09 1261
在自动驾驶中，提前预测未来事件和评估可预见的风险使得自动驾驶车辆能够更好地规划其行动，从而提高道路上的安全性和效率。为此，我们提出了Drive-WM，这是第一个兼容现有端到端规划模型的驾驶世界模型。通过视图分解实现的时空联合建模，我们的模型可以在驾驶场景中生成高保真度的多视图视频。基于其强大的生成能力，我们首次展示了将世界模型应用于安全驾驶规划的潜力。特别是，我们的Drive-WM能够基于不同的驾驶动作驶向多个未来，并根据基于图像的奖励确定最优轨迹。
当自动驾驶遇上扩散模型（Panacea）: 生成自动驾驶BEV数据集
自动驾驶实战
07-30 1381
在自动驾驶领域，对高质量的标注训练数据的需求日益增加。在本文中，我们提出了Panacea，这是一种创新的方法，用于生成驾驶场景中的全景和可控视频，能够生成无限数量的多样化、标注的样本，对于自动驾驶的进步至关重要。Panacea解决了两个关键问题：“一致性”和“可控性”。一致性确保了时间和跨视角的一致性，而可控性确保了生成内容与相应标注的对齐。我们的方法结合了新颖的4D注意力机制和两阶段生成管道来保持一致性，并通过ControlNet框架对鸟瞰图(BEV)布局进行细致控制。
AI世界的魔法棒：扩散模型（Diffusion Models）究竟“神”在哪？
Python栈_基的博客
02-05 1549
在当今科技迅猛发展的时代，人工智能已成为各领域的焦点。特别是扩散模型（Diffusion Models），作为一种新兴技术，正日益受到关注。这种基于深度学习的模型，通过模拟信息在神经网络中的传播过程，实现了对复杂系统的建模与预测。作为生成式人工智能的关键技术之一，扩散模型通过逐步去除噪声而生成数据的机制，成为多个技术领域的重要推动力。该模型能够处理多种类型的数据，如图像、文本、音频等，并能自动学习数据中的特征与模式。
nuPlan新SOTA！清华提出Diffusion Planner：扩散模型重塑自动驾驶路径规划（ICLR'25）...
CV_Autobot的博客
02-06 453
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线今天自动驾驶之心为大家分享清华大学联合毫末智行、自动化所、港中文、上海交大、上海人工智能实验室发表于ICLR 2025的最新工作—灵活引导下的基于扩散模型的自动驾驶路径规划Diffusion Planner！如果您有相关工作需要分享，请在文末联系我们！自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AID...
采用世界模型的自动驾驶多视角预测和规划
yorkhunter的博客
06-17 646
23年11月来自中科院自动化所和香港AI机器人研究中心的论文“Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving“。
扩散模型（Diffusion Model）的简单理解
Pythonne的博客
09-16 2232
如今生成扩散模型的大火,则是始于2020年所提出的 DDPM(Denoising Diffusion Probabilistic Model),仅在 2020 年发布的开创性论文 DDPM 就向世界展示了扩散模型的能力，在图像合成方面已经全面击败了GAN，所以讲扩散模型运用到计算机视觉领域的其他方面也是当下的焦点。在深度学习中，扩散模型可以用来建模图像、视频、语音等信号的分布和演化过程。扩散模型的具体方法包括扩散过程、逆扩散过程和损失函数。
各种模型~合集
whaosoft143ai的博客
04-22 405
1. 驶向未来：面向自动驾驶的多视图预测与规划的世界模型Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving论文作者：王宇琪，何嘉伟，范略，李鸿鑫，陈韫韬，张兆翔最近，世界模型的概念引发了广泛关注。我们首次提出了一种名为Drive-WM的全新多视图世界模型，旨在增强端到端自动驾驶规划的安全性。Drive-WM模型通过多视图世界模型，能够想象不同规划路
扩散模型资源与最新研究大汇总：从图像生成到自动驾驶的前沿探索
03-15
在自动驾驶等高精尖技术领域，扩散模型也有望发挥其巨大潜能。通过学习扩散模型，读者不仅可以探索到图像生成的新天地，还能洞察到未来技术发展的趋势，为自身在AIGC领域的进一步研究和创新打下坚实的基础。 本书...
自动驾驶场景生成：PyTorch扩散模型与NeRF联合训练的高保真虚拟环境构建方法.pdf
02-18
该文档【自动驾驶场景生成：PyTorch扩散模型与NeRF联合训练的高保真虚拟环境构建方法】共计 30 页，文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、...
NTA-IoU指标提升超42%，北京大学提出首个使用世界模型提升自动驾驶场景重建质量DriveDreamer4D
自动驾驶实战
10-20 990
闭环仿真是推进端到端自动驾驶系统的重要环节。当代传感器仿真方法，如NeRF和3DGS，主要依赖与训练数据分布高度一致的条件，这通常局限于前向驾驶场景。因此，这些方法在渲染复杂的机动动作（如变道、加速、减速）时存在局限性。近年来，自动驾驶世界模型在生成多样化驾驶视频方面展现了潜力，但这些方法仍然局限于二维视频生成，无法捕捉动态驾驶环境所需的时空一致性。在本文中，我们提出了DriveDreamer4D，通过利用世界模型先验知识提升4D驾驶场景表示。
【计算机视觉】基于扩散模型先验的非配对真实世界图像去雾方法：Diff-Dehazer系统设计与应用
最新发布
04-22
使用场景及目标：①适用于需要处理真实世界雾图的应用场景，如自动驾驶、无人机导航等；②目标是生成高质量的去雾图像，保留自然细节和物理特性，提升下游任务（如物体检测）的性能。 阅读建议：本文涉及的技术较为...
面向下一代自动驾驶 | 世界模型有没有希望成为数据闭环的核心？
CV_Autobot的博客
02-09 328
最近汽车人和业内一些小伙伴聊到世界模型，今天就和大家分享一下。一个核心的问题，世界模型有没有希望成为数据闭环的核心？首先所谓World Model是凭借自动驾驶车辆采集的大量实景视频数据，利用生成模型去生成未来场景来和真实的未来时刻数据对比，进而构建损失，直观上看是无监督的学习方式，并不用做数据标注。世界模型最核心的地方在于预测未场景，假设我们能准确地知道未来三秒钟会发生什么，这对于自动驾驶而...
文本生成视频相关指标整理
qq_37236149的博客
01-09 8550
文本生成视频会用到的一些指标整理（FVD、CLIPSIM...）
超越其它所有SOTA！Drive-WM：与现有端到端规划兼容的第一个自动驾驶世界模型！...
CV_Autobot的博客
12-04 113
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取>>点击进入→自动驾驶之心【世界模型】技术交流群论文作者| 汽车人编辑 | 自动驾驶之心最近世界模型的工作好多，今天分享一个与现有端到端规划模型兼容的驾驶世界模型，可以生成高质量、一致和可控的多视角视频，感觉2024年的坑基本快被占完了，冲！当前在自动驾驶领域，提前预测未来事件并评估可预见的风险非常重要，这可以使自动驾...
一文详解视频扩散模型的最新进展
AIGCer的博客
11-26 3342
人工智能生成内容（AIGC）目前是计算机视觉和人工智能领域最重要的研究方向之一。它不仅引起了广泛关注和学术研究，还在各行业和其他应用中产生了深远的影响，如计算机图形学、艺术与设计、医学成像等。在这些努力中，以扩散模型为代表的一系列方法已经取得了显著的成功，迅速取代了基于生成对抗网络（GANs）和自回归Transformer的方法，成为图像生成的主导方法。由于它们强大的可控性、逼真的生成和出色的多样性，基于扩散的方法还在广泛的计算机视觉任务中蓬勃发展，包括图像编辑、密集预测和诸如视频合成和3D生成等各种领域。
CV计算机视觉每日开源代码Paper with code速览-2023.12.1
CV计算机视觉
12-07 603
点击@CV计算机视觉，关注更多CV干货论文已打包，点击进入—>下载界面点击加入—>CV计算机视觉交流群
Drive－WM：Driving into the Future原文阅读
m0_46261292的博客
02-28 1203
世界模型通常是一个虚拟环境，它是基于传感器数据和其他输入构建的一种计算机内部表示，用于描述车辆周围的环境。这个虚拟环境包括了车辆所在位置的地图信息、周围物体的位置、大小、形状等特征，以及预测的其他交通参与者（如车辆、行人）的行为等。举一个好理解的例子：想象一辆自动驾驶汽车正在城市街道上行驶。它的世界模型会包括一张城市地图，地图上标记了道路、交叉口、停车标志、人行道等信息。通过车载摄像头、激光雷达等传感器，车辆还可以感知到周围的车辆、行人、建筑物等物体，并将它们在虚拟环境中进行表示。
聊聊扩散模型在端到端自动驾驶中的应用
CV_Autobot的博客
10-29 630
作者|谭日成 编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/2518215740点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『扩散模型』技术交流群本文只做学术分享，如有侵权，联系删文Weijian Sun：Imitation Is Not Enough - 在运动规划...
扩散模型自动驾驶数据去噪
04-03
### 扩散模型在自动驾驶数据去噪中的应用 扩散模型（Diffusion Model）是一种基于概率分布建模的技术，在图像生成和修复领域表现出色。对于自动驾驶数据的去噪问题，可以通过以下方式实现： #### 数据预处理与特征提取 在自动驾驶场景中，传感器采集的数据通常包含噪声。这些噪声可能来自环境干扰、硬件缺陷或其他外部因素。为了有效去除噪声并保留有用信息，可以先对原始数据进行预处理[^1]。例如，通过注意力机制可视化因果关系来增强重要特征的权重。 #### 扩散过程设计 扩散模型的核心在于定义一个逐步增加随机性的前向扩散过程以及学习逆向恢复干净样本的过程。具体到自动驾驶数据上： - **正向扩散阶段**：逐渐向输入加入高斯白噪音直到其接近纯噪声状态。 - **反向生成阶段**：训练神经网络估计每一步所需的条件均值以便重建无噪版本的数据点序列[^2]。 #### 实现细节 以下是使用Python编写的一个简单框架用于展示如何构建基本版的扩散模型来进行数据清理工作： ```python import torch from torch import nn class DiffusionModel(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(DiffusionModel, self).__init__() self.network = nn.Sequential( nn.Linear(input_dim + 1, hidden_dim), # Add timestep embedding nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, output_dim) ) def forward(self, x_t, timesteps): """ Predict noise given noisy image at time step `t`. Args: x_t (Tensor): Noisy images. timesteps (Tensor): Time steps corresponding to each batch element. Returns: Tensor: Estimated added Gaussian noise εθ(x(t), t). """ combined_input = torch.cat([x_t, timesteps.unsqueeze(-1)], dim=-1) return self.network(combined_input) def sample(model, shape, beta_schedule='linear'): """Sample new clean samples from the diffusion process.""" device = next(model.parameters()).device b = shape[0] img = torch.randn(*shape).to(device) # Start with pure random normal distribution num_steps = len(beta_schedule) for i in reversed(range(num_steps)): t = torch.full((b,), i, dtype=torch.long, device=device) predicted_noise = model(img, t.float()) alpha_t = ... # Compute based on schedule definition sqrt_one_minus_alpha_cumprod_t = ... z = torch.randn_like(img) if i > 1 else 0 img = ( 1 / torch.sqrt(alpha_t)) * (img - ((1-alpha_t)/torch.sqrt(1-alpha_cumprod_t))*predicted_noise)+\ torch.sqrt(betas[i]) *z return img.cpu().numpy() ``` 此代码片段仅作为概念验证用途，并未完全优化适用于实际生产环境中复杂情况下的部署需求[^3]。 #### 验证方法论 针对所提出的解决方案的有效性和鲁棒性评估方面，则可采用布尔满足度测试技术配合二值化神经网络结构完成自动化校验流程[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哆啦叮当

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值