论文笔记Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer

CVPR 2020 去雾 SOTA 是
Efficient Unpaired Image Dehazing with Cyclic Perceptual-Depth Supervision arxiv链接
更多CVPR 2020论文请参考https://www.cnblogs.com/Kobaayyy/p/13163056.html

其中用到了单张图片的深度信息, 这给我们一个全新的思路.
引入深度是否可以提高下游任务的模型性能?

先上图感受一下深度加入去雾模型的效果:

鲁迅说过:“Depth is among the most useful intermediate representations for action in physical environments” 深度是在物理环境中运动的最有用的特征之一

那么如何用深度网络学习深度呢?

这就是今天要讲的Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer arxiv链接

我们将回答下面四个问题:

1. Describe what the authors of the paper aim to accomplish, or perhaps did achieve.
   这篇论文作者的目标是什么，或者也许已经实现了什么。
2. If a new approach/technique/method was introduced in a paper, what are the key elements of the newly proposed approach?
   如果文中引入了一种新方法/技术，那么这一新提出的方法/技术的关键要素是什么？
3. What content within the paper is useful to you?
   论文中，有哪些内容对你有用。
4. What other references do you want to follow?
   你还想关注哪些参考资料/文献？

这篇论文作者的目标是什么，或者也许已经实现了什么?

如果文中引入了一种新方法/技术，那么这一新提出的方法/技术的关键要素是什么？

1. 数据集 : 现有的深度数据集的场景不够丰富, 不能训练出一个在任意场景下都健壮的模型. 因此作者选择结合这些数据集
   但是组合这些数据集有三个挑战:

• 深度表达不同, 有的是0表示最近, 有的是0表示最远
• 部分数据集没有提供缩放信息
• 部分数据集提供了单张图像的相对深度(disparity), 但是跨数据集的相对深度无法直接转换

2. 提出具有深度和偏移不变性的损失函数
   统一用Monocular relative depth perception with web stereo data supervision中提出的方法, 得到每张图像的相对深度(disparity map), 然后以disparity map作为输入训练模型, 避免的上面提到的3个问题
   令d为模型预测的disparity , d为groud truth disparity,
   先进行一个线性变换得到d_hat和d_hat, 这个一步是为了校准不同数据集的disparity map
   
   具体的校准参数定义如下:
   
   标准化一下:
   
   现在可以定义一个具有深度和偏移不变性的损失函数的通用形式:
   
   为了增加泛化能力, 去掉d-d*距离最大的20%的像素
   
   再加上一个正则项, 惩罚x方向和y方向上的导数过大
   

论文中，有哪些内容对你有用?

1. 问题的转化
   为了解决数据本身存在深度不一致的问题, 转化成设计一个对深度不敏感的loss
2. 预训练模型
   可以直接得到任意单张图像的深度信息, 用于下游任务的训练, 就像开头说的今年的去雾SOTA一样

补充: 很遗憾, 迁移到其他方法中效果可能有限. 去雾任务中, 之所以和深度强相关, 是因为雾的数据都是人工合成的, 过去合成的效果不好, 现在引入了深度信息, 可以合成更真实的雾(深度越深, 雾越厚), 因此模型效果有了显著提升

你还想关注哪些参考资料/文献？

本质: 雾的合成–深度信息
那么超分辨的本质是什么?