m_buddy的博客

参考代码：self-mono-sf在这篇文章中将单目深度估计与3D场景流组合起来进行预测，并将这两个任务互为补充构建约束表达用于监督。通过双目图像对、光流遮挡掩膜计算、3D空间点约束有效处理自监督过程中存在的问题（如scale问题），文章算法的预测效果见下图所示：文章方法的整体pipeline见下图所示：文章的方法的主体架构是来自于双目匹配网络PWC-Net的，不同点是同时估计3D场景流和单目深度信息，并且其中的场景流不是估计的残差而是在每个level都估计完整场景流。另外一个不同点是采用自监督的形式

参考代码：RAFT-Stereo1. 概述导读：RAFT算法是非常经典的立体匹配算法，在光流和立体匹配任务中有着广泛的运用。而这篇文章正是基于RAFT并将其运用到了立体匹配中，并且在如下的几个方面进行改进：1）相比原生的RAFT算法钟重点关注X轴（W方向）的视差信息，前提是输入的图像对需要事先经过极线校准；2）在GPU的update阶段使用stride为[8,16,32][8,16,32][8,16,32]的特征图进行运算，这样可以在迭代优化的同时更加增大网络感受野，从而增加对与大范围无/弱纹理区

主页：home page参考代码：depthstillation1. 概述导读：在这篇文章中提出了一个生成光流训练数据的策略，用以弥补真实光流训练数据的不足。文章的策略首先使用单目深度估计网络（MiDas或MeGaDepth）生成单张图像的深度估计结果。对于光流估计所需的另外一个视图图像，文章通过采样生成相机内参、平移矩阵、旋转矩阵、相机焦距、双目基线的方式，在给预测深度基础上使用双目视觉映射关系生成另外一个视图的图像，并且可以对应获取该图像对的光流。在生成另外一个视图的图像过程中使用优化策略解决了

主页：home page1. 概述导读：在光流监督训练网络中，其需要的真实光流数据是很难获取的，因而合成数据在基于CNN的光流估计任务中扮演了很重要的角色。但是在合成数据上进行训练就很大限制了其在其它类型数据场景的适应性（像FlyingChairs这样的数据本身就具有局限性），也就是泛化能力比较低（或由于预训练的原因未收敛到更优值）。对此文章将target domain的数据与光流训练数据的生成组合起来，在数据生成中使用可训练的参数（不同参数采样表示了不同的数据处理，如仿射变换/模糊等）来变化数据，再

参考代码：RAFT1. 概述导读：这篇文章提出了一种新的光流估计pipline，与之前介绍的PWC-Net类似其也包含特征抽取/correlation volume构建操作。在这篇文章中为了优化光流估计，首先在correlation volume的像素上进行邻域采样得到lookups特征（增强特征相关性），之后直接使用以CNN-GRU为基础的迭代优化网络，在完整尺寸上对光流估计迭代优化。这样尽管采用了迭代优化的形式，文章的迭代优化机制也比想IRR这类方法轻量化，运行速度也更快，其可以在1080 TI

参考代码（official）：PWC-Net参考代码（pytorch convert）：pytorch-pwc1. 概述导读：这篇文章给出了一种使用CNN网络实现光流估计的方法，在该方法中采用了经典的特征金字塔结构作为特征提取网络。之后在金字塔的某个层级上使用上一级的光流作为warp引导，第二幅图像的特征将被warp。进而使用第二幅图像warp之后的特征和第一幅图像的特征构建一个cost volume。在此基础之上，添加一个估计网络从而实现当前金字塔层的光流估计。文章的方法简单明了，在模型的体积上和