Deep Height Decoupling for Precise Vision-based 3D Occupancy Prediction

原创 已于 2025-08-01 18:59:06 修改 · 633 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#3d #目标检测 #人工智能 #深度学习 #pytorch

于 2025-08-01 18:58:08 首次发布

DHD-Occ

https://github.com/yanzq95/DHD
Deep Height Decoupling for Precise Vision-based 3D Occupancy Prediction

  • 本文提出了用于占用率预测的深度与高度解耦(deep height decoupling, DHD) 框架，该框架首次通过明确的高度监督将高度先验纳入模型中。
  • 本文提出了由高度采样引导的mask模块（mask guided height sampling，MGHS），可以准确地完成特征变换，改善了2D到3D投影的准确性。
  • 本文引入了协同特征聚合模块（synergistic feature aggregation，SFA）来增强特征表征，从而提高Occ预测准确率。

Method

在这里插入图片描述

  • HeightNet
    参考DepthNet， 本文采用one-hot编码的方式将高度信息编码到特征中，利用SE-layer和深度可分离卷积得到高度特征，进而通过argmax得到最终的高度预测结果。并且使用点云数据对高度进行监督。
  • Mask Guided Height Sampling
    基于对数据集的分析，不同类别的物体在高度上的分布存在显著差异，从几何角度来看，(b) 中的累积分布函数 (CDF) 曲线显示，分布偏离了正态分布或均匀分布，在较低区域观察到高密度：在这里插入图片描述

根据上述观察结果，我们首先将高度分解为不同的区间 I = {[1，4]，[5，8]，[9，16]}，然后在高度区间对特征进行分解，得到三个具有不同语义信息的子空间（L、M 和 H）。
在这里插入图片描述

此外，我们还提出了加权平均熵，以证明高度解耦的有效性：
E=−1Nsample∑k=1Nhsksvox(∑j=1NclaqjNvoxlog⁡2qjNvox)E=-\frac{1}{N_{sample}}\sum \limits_{k=1}^{N_h}\frac{s_k}{s_{vox}}( \sum \limits_{j=1}^{N_{cla}}\frac{q_j}{N_{vox}}\log_2\frac{q_j}{N_{vox}}) E=−Nsample​1​k=1∑Nh​​svox​sk​​(j=1∑Ncla​​Nvox​qj​​log2​Nvox​qj​​)
为了有效捕捉特定高度范围内的特征，我们利用高度mask剔除冗余的特征点，从而生成高度感知的特征图。并将其投影至对应高度子空间中。
在这里插入图片描述

  • Synergistic Feature Aggregation
    聚合模块的关键点是通过j两阶段注意力机制，选取并构建与Occ预测最相关的特征。在这里插入图片描述

Experiment

在这里插入图片描述
在这里插入图片描述

cvpr2015papers
ZhangPY的专栏
03-02 9812
@http://www-cs-faculty.stanford.edu/people/karpathy/cvpr2015papers/ CVPR 2015 papers (in nicer format than this) maintained by @karpathy NEW: This year I also embedded the (1,2-gram) tfidf
【论文阅读】COTR: Compact Occupancy TRansformer for Vision-based 3D Occupancy Prediction
weixin_55982578的博客
06-21 1360
为了解决这些问题，论文提出了一种名为Compact Occupancy TRansformer（COTR）的方法，它包括一个几何感知的占用编码器和一个语义感知的组解码器，以重建一个紧凑的3D OCC表示。总结来说，COTR通过提出紧凑的3D占用表示和语义感知的组解码器，有效地解决了3D占用预测中的几何信息丢失、计算成本高和语义可区分性差的问题。现有的3D占用表示缺乏语义可区分性，这限制了网络成功识别稀有物体的能力，这部分是由于数据集中的类别不平衡问题导致的。
ICCV 2025 Accepted Papers （六）
前行居士
07-20 1345
Chop!Thud!M333。
2024年Occupancy热门工作汇总！30+工作都在这里了~
CV_Autobot的博客
02-05 412
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『星球vip』交流群1、 题目：MetaOcc: Surround-View 4D Radar and Camera Fusion Framework for 3D Occupancy Prediction with Dual Training Strategies链接：h...
【ECCV2020】接收论文列表part1
TomRen
07-18 7315
ECCV2020 接收论文完整列表 看论文学CV
CVPR2019论文汇总
qq_42635561的博客
09-23 3731
CVPR2019论文汇总 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning Generating Classification Weights With GNN Deno...
CVPR2019论文题目中文列表
qq_33581906的博客
11-18 7486
英文题目 中文题目 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal 少镜头学习中用类别遍历法寻找任务相关特征 Edge-Labeling Graph Neural Network for Few-Shot Learning 用于少镜头学习的边缘标记图神...
ICCV 2025 Accepted Papers （十一）
前行居士
07-20 1071
ID # 2001 # paper title # OphCLIP: Hierarchical Retrieval-Augmented Learning for Ophthalmic Surgical Video-Language PretrainingAuthors # Ming Hu · Kun yuan · Yaling Shen · feilong tang · Xiaohao Xu · Lin Zhou · Wei Li · Ying Chen · Zhongxing Xu · Zelin Pen
2020 ECCV 所有论文及补充材料链接（一）
u014546828的博客
08-24 7168
2020 ECCV 所有论文及补充材料链接（一） 2020 ECCV 所有论文及补充材料链接（二） ----------------------------------------------------------------- Quaternion Equivariant Capsule Networks for 3D Point Clouds Yongheng Zhao, Tolga Birdal, Jan Eric Lenssen, Emanuele Menegatti, Leonidas
CVPR2019论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
CVPR 2019 论文汇总（按方向进行论文划分）
热门推荐
鬼刀
05-28 3万+
cvpr2019 accepted papers title（官方分类，需科学前往） Github论文汇总链接（欢迎star) 论文PDF下载（更新中，提取码：osvy） 论文解读汇总 目录：(也欢迎大家推荐自己的CVPR2019文章，以下篇幅较大，分类如有错误欢迎留言指出和补充谢谢~） 检测38分割50分类、识别19跟踪20人脸12人体姿态估计/手...
OGRE 3D----Compositor实现高级后处理效果 - 简单示例
charce_you的专栏
12-01 99
本文介绍了使用Ogre引擎的Compositor系统实现四种后处理效果的方法。项目包含黑白、模糊、复古和边缘检测四种效果，通过键盘可实时切换。文章详细讲解了Compositor定义、着色器实现和C++代码集成，包括场景渲染、材质设置和输入处理。核心要点包括：1) Compositor通过渲染纹理和全屏四边形实现后处理；2) 每种效果使用特定着色器算法（如高斯模糊、Sobel边缘检测）；3) 完整的项目结构包含资源管理、CMake配置和交互控制。该示例展示了Ogre后处理系统的完整工作流程，可作为图形效果开发
室内设计效果图速成：3ds Max 安装 建模 + 渲染全攻略下载安装教程
2501_94233638的博客
12-01 437
Autodesk 3ds Max 是一款历史悠久的专业级 3D 建模、动画与渲染软件，最早前身为 1988 年推出的 3D Studio 系列，1996 年被 Autodesk 纳入旗下后逐步迭代升级，如今已是影视、游戏、建筑设计等领域的核心创作工具，凭借功能全面、操作灵活、兼容性强等优势，深受全球 3D 建模师、动画师和视觉特效师青睐。机械道具到自然角色的各类创作场景。它拥有重建拓朴工具，能自动将多边形网面转化为规整的四边形拓朴；智慧挤出功能可互动式挤压 3D 物件的面，还能自动缝合相邻面。
cesium加载本地3dtiles数据
最新发布
yilvyangguang520的博客
12-03 95
cesium加载本地3dtiles数据
Itasca PFC6.03D 土石混合体柔性三轴试验 控制孔隙比、含石量、按级配生成试样(c...
2508_94230129的博客
12-01 382
孔隙比控制更是玄学现场。传统方法是生成颗粒后调整尺寸，但在含石量>30%的情况下，石头和土颗粒会疯狂抢地盘。我试过用球体随机组合生成碎石形状，结果要么叠在一起形成"连体婴"，要么间距太大导致级配失控。最近在折腾Itasca PFC6.03D做土石混合体柔性三轴试验，发现这玩意儿的水比想象中深得多。特别是三维试样制备环节，简直能把人逼疯——孔隙比、含石量、颗粒级配三个变量互相拉扯，调参的时候感觉自己在玩三维弹球。控制孔隙比、含石量、按级配生成试样(clump模拟块石)，有一说一，三维土石混合体制样还挺麻烦。
DasViewer 4.0 重磅发布，全面增强3DGS处理能力
Daspatial_的博客
12-01 309
本次更新新增了十余项核心功能，聚焦3DGS数据渲染、分析、交互进行全方位能力升级，致力为用户提供更完善、高效的实景三维浏览与应用解决方案。，实现前进后退、上下、跳跃等动作，让视角置身于三维空间内部，从模型内部进行观察和探索，带来身临其境的沉浸式体验。支持3DGS转3DTiles格式，助力3DGS数据快速适配多终端展示与跨平台应用。为深度契合行业对3DGS数据的应用需求，大势智慧在2025新品发布会上。DasViewer-基于3DGS离屏渲染的第一人称漫游成果。升级了3DGS数据底层渲染引擎，
3D在线魔方模拟器
yesyesido的博客
12-02 956
在线魔方游戏网站应运而生——它不仅是一个虚拟魔方平台，更是一套融合3D物理引擎、智能教学与社交竞技的沉浸式解谜系统，帮助用户以零成本体验从二阶到七阶的全阶魔方挑战，更有全球排行榜、实时对战与AI陪练模式，让每一次旋转都充满成就感。而复杂公式与高阶玩法更让新手望而却步……参加每周举办的“全球速拧赛”，冲击排行榜前100名，或加入俱乐部与高手切磋，学习“PLL（顶层排列）”高级技巧。从2阶魔方开始，跟随智能教学分步练习，逐步掌握“层先法”基础技巧，3天内可独立复原3阶魔方。
《SAM 3D: 3Dfy Anything in Images》学习总结
sword_csdn的博客
12-02 914
SAM 3D的训练包含3个阶段。
Decoupling Representation and Classifier for Long-Tailed Recognition 论文代码详解
08-08
### 解耦表示与分类器的实现细节 在论文 *Decoupling Representation and Classifier for Long-Tailed Recognition* 中，作者提出了一种解耦特征表示和分类器的训练策略，以应对长尾数据分布带来的类别不平衡问题。论文的实现细节主要围绕两个阶段展开：**联合训练阶段** 和 **解耦训练阶段**。 #### 联合训练阶段（Joint Training） 在联合训练阶段，网络的特征提取器（backbone）和分类器（classifier）同时进行训练。此阶段的目标是学习一个能够区分各类别的通用特征表示，同时训练一个初步的分类器。训练过程中使用了不同的采样策略，包括： - **实例平衡采样（Instance-balanced sampling）**：对所有样本均匀采样。 - **类别平衡采样（Class-balanced sampling）**：对每个类别采样相同数量的样本。 - **平方根采样（Square root sampling）**：每个类别的采样概率与其样本数的平方根成正比。 - **渐进平衡采样（Progressive-balanced sampling）**：先使用实例平衡采样，再切换到类别平衡采样。 损失函数使用的是标准的交叉熵损失（Cross-Entropy Loss），即： ```python criterion = nn.CrossEntropyLoss() ``` 在 PyTorch 中，联合训练的代码结构大致如下： ```python for epoch in range(joint_epochs): for images, labels in train_loader: features = backbone(images) outputs = classifier(features) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() ``` #### 解耦训练阶段（Decoupled Training） 在解耦训练阶段，特征提取器被冻结，仅对分类器进行微调。该阶段的目的是通过调整分类器来适应长尾数据分布，而不影响已经学习到的特征表示。 ##### 1. **类别均值分类器（NCM：Nearest Class Mean）** 在该策略中，首先计算每个类别的特征均值，然后在测试阶段使用最近邻方法（如欧氏距离或余弦相似度）进行分类。 ```python # 计算每个类别的特征均值 class_means = compute_class_means(backbone, train_loader) # 测试阶段使用最近邻分类 def predict(feature): distances = [torch.norm(feature - mean) for mean in class_means] return torch.argmin(distances) ``` ##### 2. **τ-归一化分类器（τ-normalized classifier）** τ-归一化分类器通过归一化分类器权重来调整决策边界，缓解类别不平衡问题。归一化后的权重计算如下： $$ \tilde{w_i} = \frac{w_i}{||w_i||^{\tau}} $$ 其中 $\tau$ 是一个可调参数，通常设置为 1，即 L2 归一化。 在 PyTorch 中，τ-归一化可以通过以下方式实现： ```python def apply_tau_normalization(classifier, tau=1.0): with torch.no_grad(): weights = classifier.weight norm = torch.norm(weights, dim=1, keepdim=True) normalized_weights = weights / (norm ** tau) classifier.weight.copy_(normalized_weights) ``` 随后，使用类别均等采样重新训练分类器，通常不使用偏置项： ```python for epoch in range(decoupled_epochs): for images, labels in class_balanced_loader: features = backbone(images).detach() # 冻结特征提取器 outputs = classifier(features) loss = criterion(outputs, labels) optimizer_decoupled.zero_grad() loss.backward() optimizer_decoupled.step() ``` ##### 3. **LWS（Learnable Weight Scaling）** LWS 是 τ-归一化的扩展，其中缩放因子 $f_i$ 是可学习参数。该方法通过在解耦阶段学习每个类别的缩放因子来优化分类器的决策边界。 ```python # 定义可学习的缩放因子 scaling_factors = nn.Parameter(torch.ones(num_classes)) # 在损失反向传播时，仅更新 scaling_factors optimizer_lws = torch.optim.SGD([scaling_factors], lr=lw_lr) for epoch in range(lws_epochs): for images, labels in class_balanced_loader: features = backbone(images).detach() logits = classifier(features) scaled_logits = logits * scaling_factors.unsqueeze(0) loss = criterion(scaled_logits, labels) optimizer_lws.zero_grad() loss.backward() optimizer_lws.step() ``` #### 代码结构总结 整个训练流程可以分为以下几个步骤： 1. **联合训练特征提取器和分类器**，使用不同的采样策略。 2. **冻结特征提取器**，进入解耦阶段。 3. **使用类别均等采样重新训练分类器**，采用 τ-归一化或 LWS 策略。 4. **在测试集上评估模型性能**，使用 NCM、τ-归一化或 LWS 分类器。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值