DMCP：Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation

最新推荐文章于 2025-07-20 21:25:17 发布
原创 最新推荐文章于 2025-07-20 21:25:17 发布 · 315 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自监督深度估计

参考代码：MCDP

介绍

这篇文章对于多视图自监督深度估计在不同相机下的深度表达构建一致性约束，其建立约束的信息来自于相邻相机之间的视角重叠区域，如下图所示
在这里插入图片描述
依据这些区域可以在loss端通过不同相机之间标定外参构建不同视角之间的深度约束关系，也就是周围相机预测出的深度经过投影之后应该和目的相机的深度值差异最小化。

除了在loss层面上对不同视角下深度构建约束之外，还在特征表达的维度在channel层次上对初次深度估计结果进行加权，使得深度表达具备更强表达能力，也使得可以通过迭代优化加权系数的方式级连优化深度估计结果。

不过在文章的消融实验中并没有去对比特征维度和loss维度这俩分别对深度一致性的贡献大小，在经典自监督深度估计中也会采用多尺度估计，要是再加上loss维度的约束，也可以看作是一种级连优化。

方法设计

深度加权因子的迭代更新

这里将网络最后生成结果描述为初次深度估计结果与加权系数叠加的形式，然后在不同的迭代轮次中不断去优化这个加权系数，而这个初次深度估计结果不变化。也就是对应下图中的迭代
在这里插入图片描述
那么为了使得深度加权的权重跟随相邻视角信息而发生变化，那么就需要将这俩的信息进行融合，这部分是通过集合位置warp的形式对齐到目的特征图上，也就是文中说的相机1和相机2的warp操作。对齐之后的特征cat起来去更新加权系数，它的结构也就是下图中的样子：
在这里插入图片描述

深度一致性约束loss

在下图中可以看到左右视图和中间视图它们之间是存在交叠区域的，那么可以通过warp的方式将左右视图的深度估计结果对齐到中间视图，也就是下图中的样子
在这里插入图片描述
上面的步骤是深度对齐，对齐之后的深度结果应该和中间视图自身估计出来的深度一致，那么就可以使用L1损失函数去约束使得它们的差异最小化。

下图展示了使用文章的方法在不同视角下深度估计的结果，可以看到添加这个约束之后不同视角下深度差异较大的情况有所缓解
在这里插入图片描述

3. 实验结果

在这里插入图片描述

在 ROS 中让 orbslam3 使用 realsense 库和 D455 multi camera 多相机
我才是一卓的博客
05-15 1136
配置文件，编译运行即可。
超全 | 基于纯视觉Multi-Camera的3D感知方法汇总！
CV_Autobot的博客
09-13 3014
近两年，基于纯视觉BEV方案的3D目标检测备受关注，all in one方式，确实能将基于camera的3D检测算法性能提升一大截，甚至直逼激光雷达方案，这次整理了领域中一些备受关注的multi-camera bev纯视觉感知方案，包括DETR3D、BEVDet、ImVoxelNet、PETR、BEVFormer、BEVDepth、BEVDet4D、BEVerse等！
【论文笔记】2022-CVPR-深度估计
暴雨梨花博客
04-04 8044
2022-CVPR-深度估计 文章目录2022-CVPR-深度估计0. 摘要1. 介绍2. 相关工作3. 系统3.1 硬件3.2 深度估计流程3.3 单目结构光3.4 立体匹配网络与融合策略4. 实验4.1 原型4.2 数据集与评估指标4.3 定量估计4.4 定性分析4.5 限制5. 结论 题目：Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light 地址：https://arxiv.org/pdf/220
CoMatcher: Multi-View Collaborative Feature Matching图像配准论文精读（逐段解析）
weixin_46248968的博客
06-22 1396
【前沿论文精读】CoMatcher，一种解决复杂场景中多视图特征匹配问题的新方法。传统基于两视图的匹配方法在视角变化大或遮挡严重时表现不佳，因其难以从有限的二维观测推断复杂三维结构。CoMatcher采用多视图协作策略：1)整合多视角互补信息构建整体3D场景理解；2)利用跨视图投影一致性验证匹配可靠性。实验证明，该方法优于主流的两视图匹配范式，尤其适用于大视角差、遮挡和重复纹理等挑战性场景。基于Transformer的架构通过全局上下文分析进一步提升性能，为三维重建、定位和建图任务提供了更鲁棒的匹配方案。
ICCV 2025 Accepted Papers （十一）
前行居士
07-20 1108
ID # 2001 # paper title # OphCLIP: Hierarchical Retrieval-Augmented Learning for Ophthalmic Surgical Video-Language PretrainingAuthors # Ming Hu · Kun yuan · Yaling Shen · feilong tang · Xiaohao Xu · Lin Zhou · Wei Li · Ying Chen · Zhongxing Xu · Zelin Pen
计算机视觉论文-2021-05-27
中科院AI算法工程师的博客
05-27 1129
本专栏是计算机视觉方向论文收集积累，时间：2021年5月11日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Multiple Domain Experts Collaborative Learning: Multi-Source Domain Generalization For Person Re-Identification A...
CCF A类会议或期刊----多视图，多模态近两年论文
Thincor的博客
03-15 7364
会议/期刊 论文 neurips2020 Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies. neurips2020 Labelling unlabelled videos from scratch with multi-modal self-supervision. neurips2020 A Contour Stochastic Gradient ....
CCF A类会议或期刊----近两年自监督相关论文
Thincor的博客
03-19 5851
会议/期刊 论文 neurips2020 Self-Supervised MultiModal Versatile Networks. neurips2020 Self-Supervised Relationship Probing. neurips2020 Cross-lingual Retrieval for Iterative Self-Supervised Training. neurips2020 Adversarial Self-Supervised Contrast....
计算机视觉论文-2021-06-29
中科院AI算法工程师的博客
06-30 3020
本专栏是计算机视觉方向论文收集积累，时间：2021年6月29日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:The Deep Neural Network Based Photometry Framework for Wide Field Small Aperture Telescopes AUTHORS: Peng Jia ; Yo...
sigir + recsys + cikm + acl + AAAI 2024论文笔记
weixin_43845649的博客
07-19 1096
探索信息检索的scaling laws。
ICRA2020论文整理（SLAM + Deep Learning）
Spacegene的博客
07-20 1万+
参考:https://github.com/PaoPaoRobot/ICRA2020-paper-list Table of Contents: 1. SLAM 2. Deep Learning in Robotics and Automation 3.Localization 4. Sensor Fusion 5. Calibration and Identification 6. Semantic Scene Understanding 7. Reinforcement Learn...
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【CVPR2022】论文列表与下载——PartFour
TomRen
06-12 3440
【CVPR2022】完整论文列表
《Robust Consistent Video Depth Estimation》论文笔记
m_buddy的博客
07-02 5670
主页与代码地址：robust_cvd 1. 概述 导读：这篇文章的目的是为了在视频场景下生成稳定的深度估计结果，其提出的算法可以在一个单目视频中估计出一致的深度图和相机位姿。文章首先会使用MiDas为视频中的单帧图像做初始深度估计（主要用于提供深度scale参数），以及使用Ceres Library上计算相机的初始位姿信息。之后再在输入的视频序列上使用在线finetune形式交替进行深度估计结果与相机位姿优化。在上面的finetune优化中使用到了一个几何优化过程去生成稳定平滑地相机移动轨迹（表征为相机关
深度估计 ManyDepth 笔记
m_buddy的博客
06-01 5364
参考代码：manydepth 论文名称：The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth 1. 概述 导读：这篇文章借鉴了多视图深度估计中的cost-volume方法（参考：cost-volume概念），并将其引入到单目的自监督深度估计网络中。这里将原来的双目图像换成了一对前后帧图像，从而去构建cost-volume克服之前的单目深度估计中的scale ambiguity问题。此外，为了克服单目情况下cost-vol
《MonoIndoor：Towards Good Practice of Self-Supervised Monocular Depth Estimation...》论文笔记
m_buddy的博客
03-22 4707
参考代码：None 1. 概述 介绍：经典的自监督深度估计方法已经在KITTI数据集上取得了较为不错的效果，但是在一些室内或是相机能够自由移动（KITTI场景下相机固定在车上）的场景下，现有的经典自监督深度估计算法就出现了问题。这篇文章研究的便是这些场景下的自监督深度估计，在该文章中指出自监督深度估计在这些场景下性能出现较大幅度下降是因为如下两点原因： 在这些场景下深度的范围是变化比较大的，特别是在一些室内场景下，随着视角的变化图像中深度的范围会存在较大范围变化。而在KITTI的场景下最远处是天空其深度
《NeW CRFs：Neural Window Fully-connected CRFs for Monocular Depth Estimation》论文笔记
m_buddy的博客
04-26 3908
参考代码：NeWCRFs 1. 概述 介绍：在这篇文章中对单目有监督深度估计算法提出了新的解码单元，该解码单元设计的灵感源自于CRFs（Conditional Random Fields）和Swin-Transformer。首先，在该解码单元中在local-window（文中也将其称之为N∗NN*NN∗N个patch的组合）中计算CRFs，这样可以显著减少因全局CRFs带来的计算量巨大问题，这是基于深度本身也存在一定的局部信息依赖性，同时也引入shift-window用于关联不同的local-window
《LeReS：Learning to Recover 3D Scene Shape from a Single Image》论文笔记
m_buddy的博客
01-11 3767
参考代码：AdelaiDepth-LeReS 1. 概述 介绍：基于单张图像的深度估计网络往往采用scale-shift invariant形式完成深度预测，其是将预测深度和GT深度映射到scale-shift invariant空间，之后再计算loss，自然使用该方法得到的深度在经过点云映射之后是存在扭曲的，这类方法以MiDaS为代表。除scale-shift之外其还存在焦距（focal）上的不确定，因而通过该预测深度构建的三维点云是存在扭曲和尺度不准确问题。对此文章将深度估计问题转换为两个独立功能的子
Metric3D：Towards Zero-shot Metric 3D Prediction from A Single Image
m_buddy的博客
08-02 3350
在如MiDasLeReS这些文章中对于来源不同的深度数据集使用归一化深度作为学习目标，则在网络学习的过程中就天然失去了对真实深度和物体尺寸的度量能力。而这篇文章比较明确地指出了影响深度估计尺度变化大的因素就是焦距fff，则对输入的图像或是GT做对应补偿之后就可以学习到具备scale表达能力的深度预测，这个跟车端视觉感知的泛化是一个道理。需要注意的是这里使用到的训练数据集需要预先知道相机的参数信息，且这里使用的相机模型为针孔模型。
请你把下句话说得通俗易懂：The unique trajectory adjustability of directional drilling requires the prediction model to simultaneously achieve multi-objective collaborative prediction
最新发布
08-26
<think>我们面对的是一个关于定向钻井轨迹调整的预测模型需求问题。用户希望预测模型能够同时完成多个目标的协同预测，因为定向钻井的轨迹可以灵活调整。 定向钻井中，轨迹调整是一个复杂的过程，涉及多个参数和目标，如井斜角、方位角、工具面角、钻头位置等。同时，多个目标可能需要协同优化，例如在保证轨迹精度的同时减少钻井时间、降低成本、避免碰撞等。 因此，我们需要寻找能够处理多目标协同预测的模型。常见的多目标预测模型包括多任务学习（Multi-task Learning）、多目标优化（Multi-objective Optimization）以及集成多种预测方法的模型。 通过搜索，我们可以获取以下信息： 1. 多任务学习模型：在深度学习中，多任务学习通过共享表示来同时学习多个相关任务，从而提高泛化能力。例如，使用神经网络同时预测井斜角和方位角，因为这两个目标高度相关。 2. 多目标优化算法：在轨迹调整中，可能需要在多个目标之间进行权衡。多目标优化算法（如NSGA-II）可以用于生成一组Pareto最优解，供决策者选择。 3. 集成模型：结合物理模型（如最小曲率法）和数据驱动模型（如机器学习）进行协同预测，以提高预测精度和鲁棒性。 具体步骤： 第一步：建立多任务学习模型 多任务学习模型可以同时预测多个目标变量。例如，使用一个共享的神经网络层，然后分支到不同的任务输出层。每个任务可以有自己的损失函数，总损失是各任务损失的加权和。 模型结构示例： 输入层（钻井参数，如钻压、转速、地质参数等） 共享隐藏层（多个全连接层） 输出分支1：井斜角预测 输出分支2：方位角预测 输出分支3：工具面角预测 等等 第二步：采用多目标优化进行轨迹调整 在轨迹调整过程中，需要同时考虑多个目标（如最短路径、最小扭矩、避免障碍等）。多目标优化算法可以生成一组非支配解（Pareto前沿），然后根据实际条件选择最佳调整方案。 优化目标函数示例： 目标1：最小化轨迹偏差 目标2：最小化钻井时间 目标3：最小化钻井成本 约束条件：井斜角变化范围、方位角变化范围、防碰约束等 第三步：集成物理模型与数据驱动模型 将传统定向钻井的物理模型（如最小曲率法）与机器学习模型（如LSTM、GRU等）结合，以提高预测的准确性和可解释性。 例如，使用物理模型计算基础轨迹，再用机器学习模型对误差进行修正，或者使用机器学习模型预测物理模型中的参数。 代码示例（多任务学习模型框架，使用Keras）： ```python from tensorflow.keras.models import Model from tensorflow.keras.layers import Input, Dense # 定义输入层 inputs = Input(shape=(input_dim,)) # 共享层 shared = Dense(64, activation='relu')(inputs) shared = Dense(64, activation='relu')(shared) # 输出分支1：井斜角预测 branch1 = Dense(32, activation='relu')(shared) output1 = Dense(1, name='inclination')(branch1) # 输出分支2：方位角预测 branch2 = Dense(32, activation='relu')(shared) output2 = Dense(1, name='azimuth')(branch2) # 输出分支3：工具面角预测 branch3 = Dense(32, activation='relu')(shared) output3 = Dense(1, name='toolface')(branch3) # 定义模型 model = Model(inputs=inputs, outputs=[output1, output2, output3]) # 编译模型，为每个任务指定损失权重 model.compile(optimizer='adam', loss={'inclination': 'mse', 'azimuth': 'mse', 'toolface': 'mse'}, loss_weights=[1.0, 1.0, 1.0]) ``` 公式表示： 多任务学习的损失函数通常为加权和： $$ L = \sum_{i=1}^{T} \lambda_i L_i $$ 其中 $T$ 是任务数，$L_i$ 是第 $i$ 个任务的损失，$\lambda_i$ 是相应的权重。 多目标优化问题可以表述为： $$ \min_{\mathbf{x}} \left( f_1(\mathbf{x}), f_2(\mathbf{x}), \dots, f_k(\mathbf{x}) \right) $$ $$ \text{subject to } \mathbf{x} \in S $$ 其中 $S$ 是可行域，$f_i$ 是第 $i$ 个目标函数。 注意事项： 1. 数据准备：需要收集历史钻井数据，包括钻井参数、地质参数以及多个目标变量的实际值。 2. 特征工程：提取对多个目标都有影响的特征，如当前井深、当前井斜角和方位角、钻具组合参数等。 3. 模型训练：多任务学习中，不同任务可能具有不同的量纲，需要进行归一化。同时，损失权重可能需要调整以平衡各任务的重要性。 通过上述方法，定向钻井轨迹调整的预测模型可以协同预测多个目标，为轨迹调整提供决策支持。 §§相关问题§§: 1. 定向钻井轨迹预测中常用的物理模型有哪些？ 2. 多任务学习在钻井轨迹预测中如何平衡不同任务的重要性？ 3. 如何评估多目标钻井轨迹优化模型的性能？</think>### 定向钻井多目标协同预测模型实现方案 定向钻井轨迹调整需同时优化井斜角、方位角、工具面角、钻头位置等参数，多目标协同预测模型需整合以下技术： #### **1. 多任务学习框架（MTL）** 使用共享-分支神经网络结构处理相关目标： - 共享层提取通用特征（地质参数、钻压、转速等） - 任务分支层独立预测各目标 - 损失函数加权和： $$ L_{total} = \sum_{i=1}^{k} \lambda_i L_i(\theta_{shared}, \theta_i) $$ 其中 $\lambda_i$ 为任务权重，$k$ 为目标数量 ```python import tensorflow as tf from tensorflow.keras.layers import Input, Dense, Concatenate # 共享层 inputs = Input(shape=(input_dim,)) shared = Dense(128, activation='relu')(inputs) # 任务分支 inclination = Dense(64, activation='relu')(shared) azimuth = Dense(64, activation='relu')(shared) toolface = Dense(64, activation='relu')(shared) # 输出层 out_incl = Dense(1, name='inclination')(inclination) out_azim = Dense(1, name='azimuth')(azimuth) out_tool = Dense(1, name='toolface')(toolface) model = tf.keras.Model(inputs=inputs, outputs=[out_incl, out_azim, out_tool]) model.compile(optimizer='adam', loss={'inclination':'mse', 'azimuth':'mse', 'toolface':'mse'}) ``` #### **2. 多目标优化算法** 采用NSGA-II处理冲突目标： - 目标函数：最小化轨迹偏差、钻井时间、成本 - 约束条件： $$ g_j(\mathbf{x}) \leq 0 \quad (j=1,2,...,m) $$ $\mathbf{x}$ 为控制参数向量（工具面角调整量、钻进速率等） - 输出Pareto最优解集供决策选择 #### **3. 物理-数据融合架构** 整合机理模型与数据驱动模型： ```mermaid graph LR A[传感器实时数据] --> B(物理模型：最小曲率法) A --> C(LSTM预测网络) B & C --> D[误差校正模块] D --> E[协同预测结果] ``` #### **4. 实时校正机制** - 安装MWD随钻测量系统反馈实际轨迹 - 动态调整预测权重： $$ w_t = \alpha w_{t-1} + (1-\alpha) \frac{\| \mathbf{y}_{real} - \mathbf{y}_{pred} \|}{RSS} $$ $RSS$ 为允许误差半径，$\alpha$ 为平滑因子 ### 关键实施要点 1. **数据预处理** - 清洗历史钻井数据（剔除异常值） - 标准化特征：$x' = \frac{x - \mu}{\sigma}$ - 构建时空特征矩阵（包含井深、地层变化序列） 2. **模型部署** - 边缘计算设备处理实时预测 - OPC UA协议对接钻井控制系统 - 每5米自动触发轨迹修正 3. **验证指标** | 指标 | 计算公式 | 目标值 | |--------------|---------------------------|----------| | 轨迹吻合度 | $\frac{1}{n}\sum \| \theta_{real}-\theta_{pred} \|$ | <2° | | 协同优化率 | $\frac{Pareto解数量}{总解数}$ | >80% | ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值