大火的Occupancy方法分享 | VoxFormer：纯视觉占据栅格网络（CVPR2023 Highlight）

最新推荐文章于 2024-08-16 17:21:23 发布
转载 最新推荐文章于 2024-08-16 17:21:23 发布 · 762 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247549482&idx=1&sn=d9d5abfacf2dcb10ecb9767e660fa549&chksm=ceb82fe3f9cfa6f5bfaac023fdbb67b6cdb6f0ceb6d9c121c7f12cfe140501edaaa65bfe41e4&scene=126&sessionid=0

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

今天自动驾驶之心为大家邀请来了纽约大学博士生李一鸣！本次Talk首先将回顾3D语义场景补全的发展现状以及研究意义，其次将介绍基于Transformer的3D语义场景补全模型VoxFormer，最后将介绍一个最新提出的大规模的3D语义场景补全数据集SSCBench，以及对未来研究方向的讨论！

如果您有兴趣分享相关学术成果，请联系AIDriver002！

直播作者为『自动驾驶之心知识星球』特邀嘉宾，PPT和视频将在星球内公布！

ddcbd8abd85cc82269bd80c1ff746b3a.jpeg

写在最后！

自动驾驶之心视频讲师招募开始啦！感知/融合/定位/模型部署/规划控制等多个方向！欢迎加入我们-->讲师招募!

CVPR 2023 | HighLight：视觉重定位，同等精度下速度提升300倍
3D视觉工坊
06-01 500
论文题目：Accelerated Coordinate Encoding: Learning to Relocalize in Minutes using RGB and Poses在公众号「3D视觉工坊」后台回复「原论文」，可获取对应论文pdf文件。代码主页：https://github.com/nianticlabs/ace这篇文章来自CVPR 2023(Highlight)，作者来自鼎鼎大名...
工程复现 -- 占据栅格地图 G-VOM
Darchan的博客
02-09 1577
占据栅格地图；GVOM；针对nuscenes的数据 bag
OccNet 栅格占据网络：重建智能驾驶场景表征
Evelynnzhao的博客
04-06 2885
过去几年来，我们深入探索了 Occupancy 在智能驾驶任务中的应用潜力，基于学术数据集和业务数据集搭建了Occupancy benchmark 来系统研究 occupancy，并验证了 OccNet 网络结构框架的有效性：Occupancy 通过通用的表征形式来重建自动驾驶场景，能够实现感知和运动规划等自动驾驶下游任务。的 Occupancy 数据集。相比于 BEV 感知的方案，Occupancy 显示了更加优越的性能，但 3D 的表征形式需要更大的算力成本，同时其数据集应用依赖于标注。
CVPR2023 Highlight | Side Adapter Network – 极致轻薄却性能强劲的开放词汇语义分割器...
我爱计算机视觉
04-21 713
关注公众号，发现CV技术之美要点：仅需要8M额外的训练参数，就可以利用冻结的CLIP模型实现15帧每秒的开放词汇语义分割，同时性能相较STOA大幅度提升。Paper Link: https://arxiv.org/pdf/2302.12242Project Page: https://mendelxu.github.io/SANHugging Face: Hugging Face – The A...
CVPR‘2023 Highlight | Point-NN: 即插即用，无需训练的非参数点云分析网络！
专注计算机视觉全栈知识分享
04-19 804
论文重新讨论了现有三维模型中的不可学习组件，并提出了 Point-NN，一个用于三维点云分析的纯非参数网络。没有任何参数或训练， Point-NN在各种三维任务上取得了良好的准确性。针对PointPN的架构框架和用于提高性能的即插即用模块。大量的实验已经证明了其有效性和意义。在未来的工作中，研究者将重点探索更先进的非参数模型，具有更广泛的三维点云分析应用场景。
国内首个占据栅格网络全栈课程《从BEV到Occupancy Network，算法原理与工程实践》源代码
迈微AI研习社 · 号主
08-16 1030
国内首个占据栅格网络全栈课程《从BEV到Occupancy Network，算法原理与工程实践》，包含端侧部署。
【占用网络】OccNet: Scene as Occupancy 适用于检测、分割和规划任务 ICCV2023
黎国溥
12-29 3034
本文分享“占用网络”方案中，具有代表性的方法：OccNet。它以多视角视觉为核心，首先生成BEV特征，然后通过级联结构和时间体素解码器重建生成3D占用特征。构建一个通用的“3D占用编码特征”，用以表示3D物理世界。这样的特征描述可以应用于广泛的自动驾驶任务，包括检测、分割和规划。
CVPR‘24 | UniMODE：单目3D目标检测大一统！室内室外全搞定！
3D视觉工坊
03-13 527
实现统一的单目3D目标检测，包括室内和室外场景，对于诸如机器人导航之类的应用至关重要。然而，涉及多种数据场景来训练模型会带来挑战，因为它们具有显著不同的特征，例如，不同的几何属性和异构的域分布。为了解决这些挑战，我们基于鸟瞰（BEV）检测范式构建了一个检测器，其中显式特征投影有助于解决使用多种数据场景训练检测器时的几何学习歧义。然后，我们将经典的BEV检测架构分为两个阶段，并提出了一种不均匀的BEV网格设计，以处理由上述挑战引起的收敛不稳定性。
com.kuaishou.hmnebula/[OBIWAN_LOG]: I|2025-11-09 11:37:18.952|Func:--|Line:0|Module:DownloadLog|Tag:DownloadTask|Q:|Msg:onProgress ## task mHodorId: -229895570 ## soFarBytes:4374528 ## totalBytes:6623704 行 20: 11-09 11:37:18.952 2578 3060 I A06666/com.kuaishou.hmnebula/[OBIWAN_LOG]: 行 25: 11-09 11:37:18.989 2578 3060 I A06666/com.kuaishou.hmnebula/[OBIWAN_LOG]: I|2025-11-09 11:37:18.989|Func:TaskEntry|Line:44|Module:Aemon|Tag:AnoleLog|Q:|Msg:[1] VideoDetectTask[1]: VideoDetectTask Monitor loop each 500ms. 行 26: 11-09 11:37:18.989 2578 3060 I A06666/com.kuaishou.hmnebula/[OBIWAN_LOG]: 行 27: 11-09 11:37:18.989 2578 3060 W A06666/com.kuaishou.hmnebula/[OBIWAN_LOG]: W|2025-11-09 11:37:18.989|Func:TaskEntry|Line:85|Module:Aemon|Tag:AnoleLog|Q:|Msg:[1] VideoDetectTask[1]: DecoderBlockMonitor player state:2, do nothing. 行 28: 11-09 11:37:18.989 2578 3060 W A06666/com.kuaishou.hmnebula/[OBIWAN_LOG]: 行 33: 11-09 11:37:19.025 2578 3060 I A06666/com.kuaishou.hmnebula/[OBIWAN_LOG]: I|2025-11-09 11:37:19.025|Func:TaskEntry|Line:44|Module:Aemon|Tag:AnoleLog|Q:|Msg:[2] VideoDetectTask[3]: VideoDetectTask Monitor loop each 500ms. 行 34: 11-09 11:37:19.025 2578 3060 I A06666/com.kuaishou.hmnebula/[OBIWAN_LOG]: 行 35: 11-09 11:37:19.025 2578 3060 W A06666/com.kuaishou.hmnebula/[OBIWAN_LOG]: W|2025-11-09 11:37:19.025|Func:TaskEntry|Line:85|Module:Aemon|Tag:AnoleLog|Q:|Msg:[2] VideoDetectTask[3]: DecoderBlockMonitor player state:3, do nothing. 行 36: 11-09 11:37:19.025 2578 3060 W A06666/com.kuaishou.hmnebula/[OBIWAN_LOG]:
最新发布
11-12
`Buffer occupancy: 12% (MinThreshold=15%)` 表明卡顿风险极高 --- ### 三、问题排查路径 #### 1. **日志过滤命令** ```bash # 下载问题定位 adb logcat | grep -E "DownloadManager|ERROR" # 检测任务分析 ...
CVPR2023 l 新方法！自动驾驶中统一感知和预测的隐式占位流场！
3D视觉工坊
07-12 339
作者：呀哈哈 | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf。添加微信：cv3d007，备注：自动驾驶，拉你入群。文末附行业细分群。1 前言自动驾驶车辆必须能够感知周围环境并预测其他交通参与者的未来行为。现有的研究要么进行目标检测，然后对检测到的目标进行轨迹预测，要么对整个场景进行密集的占位和流格预测。前者存在安全问题，因为为了提高效率，需要保持较低的检测数量...
珊格地图笔记
weixin_30886233的博客
07-04 1817
写在前面：这篇文章是Coursera上的课程（Robotics: Estimation and Learning），权当笔记，激光传感器的数据可以在课程内下载。这一周的内容比较简单，但十分实用。 在这片文章中，我们将会介绍： 机器人世界的几种地图； 占据栅格地图的表示方法与更新方法； 利用激光传感器数据构建占据栅格地图。 1. 机器人地图的分类 地图有很多种表示方式，...
解析来了！Occupancy Networks: 基于CNN的占据栅格估计网络
CV_Autobot的博客
10-10 6843
作者|方川 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/570951257点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码！标题：Convolutional Occupancy networks作者：Peng, Songyou, ...
探索未来3D感知：VoxFormer——3D语义占用预测的新基准
gitblog_00001的博客
05-16 621
在人工智能领域，模仿人类对3D环境的深刻理解和感知是一项重要的挑战。VoxFormer，这个最新的开源项目，正致力于解决这个问题，通过仅使用2D图像来构建完整的3D语义场景。该项目由一组顶尖研究人员共同开发，并已在CVPR 2023上被选为高亮论文，它的出现标志着3D场景理解的新高度。 ## 项目介绍 VoxFormer的核心是一个基于Transformer的框架，它能够从RGB图像中提取出完...
【占用网络】VoxFormer 基于视觉的3D语义场景方案 CVPR 2023
黎国溥
01-04 3219
本文分享“占用网络”方案中，来自CVPR2023的VoxFormer，它基于视觉实现3D语义场景补全。使用Deformable Attention从图像数据中，预测三维空间中的体素占用情况和类别信息。VoxFromer是一个两阶段的框架第一个阶段：预测每个像素的深度值，将像素投影三维空间中，2D图像到3D空间的思想。然后预测每个三维网格是否被占用，生成稀疏体素特征。最后选择其中是“占用”的体素作为“体素查询特征”进入第二阶段。这个阶段只预测占用情况，选择一些值得分析的体素。第二个阶段。
经典文献阅读之--VoxFormer(基于Transformer的3D语义场景补全)
lovely_yoshino的博客
01-12 8608
我们预定义了一共NqN_qNq​个体素查询，作为一个3D网格形状可学习参数Q∈Rh×w×z×dNqh×w×zQ∈Rh×w×z×dNq​h×w×z，如图2左下角所示，其中h×w×zh × w × zh×w×z是其空间分辨率，低于输出分辨率H×W×ZH × W × ZH×W×Z以节省计算资源。注意，ddd表示特征维度，与图像特征的维度相同。更具体地说，QQQ中位于ijk。
英伟达的VoxFormer在自动驾驶领域太强了！
3D视觉工坊
01-19 161
近年，特斯拉AI研发热火朝天，从BEV到Occupancy Network，深耕自动驾驶和机器人领域，掀起了感知算法的范式革命，也激发了工业和学术界，不断推进相关研究迭代，在CVPR 2023中表现亮眼，不仅最佳论文有所涉及，同时，英伟达提出的新方法VoxFormer，因极大提升了机器对场景的理解和认知，获得了广泛关注和收录。VoxFormer作为占用网络新方法，是一种基于Transformer的...
英伟达最新 | VoxFromer：单目3D语义场景补全新SOTA！（CVPR 2023）
CV_Autobot的博客
03-04 878
作者|派派星 编辑| CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【3D感知】技术交流群Title: VoxFormer: Sparse Voxel Transformer for Camera-based 3D Semantic Scene CompletionPaper: https://arxiv.org/pdf/2302.12...
英伟达的VoxFormer太强了！
阿木寺的博客
01-18 308
近年，特斯拉AI研发热火朝天，从BEV到Occupancy Network，深耕自动驾驶和机器人领域，掀起了感知算法的范式革命，也激发了工业和学术界，不断推进相关研究迭代，在CVPR 2023中表现亮眼，不仅最佳论文有所涉及，同时，英伟达提出的新方法VoxFormer，因极大提升了机器对场景的理解和认知，获得了广泛关注和收录。VoxFormer作为占用网络新方法，是一种基于Transformer的...
使用pcl::fromROSMsg 将占据栅格地图格式转为点云格式
07-14
您可以使用`pcl::fromROSMsg`函数将占据栅格地图格式转换为点云格式。该函数需要传入两个参数：占据栅格地图消息和输出的点云对象。 ``` // 导入必要的头文件 #include <pcl_conversions/pcl_conversions.h> #include <pcl/point_cloud.h> #include <pcl/point_types.h> #include <sensor_msgs/PointCloud2.h> // 创建一个点云对象 pcl::PointCloud<pcl::PointXYZ>::Ptr cloud(new pcl::PointCloud<pcl::PointXYZ>); // 将占据栅格地图消息转换为点云格式 pcl::fromROSMsg(occupancy_grid_msg, *cloud); // 现在，您可以使用点云对象进行进一步的处理或分析 ``` 请将`occupancy_grid_msg`替换为您接收到的占据栅格地图消息。注意，您需要确保占据栅格地图消息的数据类型与点云对象的数据类型匹配。在上面的示例中，我使用了`pcl::PointXYZ`作为点云对象的点类型。如果您的占据栅格地图消息是其他类型的数据，您需要相应地更改点云对象的类型。 希望这可以帮助到您！如果您有任何其他问题，请随时提问。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值