Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches

论文题目：Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches

发表：cvpr2015

一、介绍：这篇文章的贡献是1介绍了两个基于卷积神经网络计算立体匹配算法的算法2.在数据集中有着更低的错误率的算法和实现代码3.实验分析了与其他算法错误率的比较和不同超参数的设置。

二、相关工作：立体匹配算法的回顾：04年K&T平方距离和为匹配代价，训练概率分布模型—>06年K&T延续了之前的工作增加了归一化互相关—>12年 P等用了AD-census和多类线性判别式。07年Z&S利用替代优化算法估计马尔可夫随机场最优解—>07年S&P条件随机场概率—>08年svm+条件随机场概率。13年H&S匹配代价置信度—>13年H随机森林组合置信度—>14年S等随机森林组合置信度再作为马尔可夫随机场的软约束—>15年Z&K卷积神经网络。

三、匹配代价：用监督式卷积神经网络评估小图像块相似度，构建数据集：从已知的视差图中获得真实视差值，确保消极点不围绕真实视差点，加上Opos是让好的匹配和相近匹配都有最低的匹配代价。网络架构：速度架构和精度架构

速度架构

                                    精度架构
计算匹配代价:在每个点只计算一次，不需要每个深度值进行计算；两个子网络输出结果可以全分辨率传播而不是小图像块；全连接层需要考虑每个视差值

四、立体方法：1.十字交叉域法：自适应的邻域窗口选择，根据图像强度值选择属于同一物体的像素点，构造十字：十字的末端图像强度不能与中心点差别超过阈值，十字的末端与中心点距离不能超过阈值。竖臂左右伸展同样构造方法，域内取均值。左右一致性，左图中域里的点必须也在右图视差点的域内。

2.半全局算法：4方向线性平滑约束

根据方向上两个相邻像素点的强度差异来决定p1，p2的值，

超参数sgm P1和sgmP2为差距图中的不连续性设定了基本惩罚。如果D1或 D2中的⼀个表示强图像梯度，则基本处罚将减少1倍，如果D1和D2都表示图像梯度较强，则基础惩罚将减少2倍。考虑两个垂直⽅向时，P1值进⼀步降低1倍sgm V：在地⾯真理中，在垂直⽅向上，差距的微⼩变化⽐在⽔平⽅向上更频繁，应该受到更少的惩罚。CSGM（p，d）的最终成本通过计算所有四个⽅向的平均值来计算。

3.计算视差图：（1）左右一致性检查：根据左右两幅输入图像，分别得到左右两幅视差图。对于左图中的一个点p，求得的视差值是d1，那么p在右图里的对应点应该是(p-d1)，(p-d1)的视差值记作d2。若|d1-d2|>threshold，p标记为遮挡点(occluded point)。遮挡点从左边标记为正确的值进行插值，不匹配的从16个方向上找到最近的正确的像素取平均值。

（2）压像素增强

（3）细化：中值滤波和双边滤波：不模糊边缘的情况下平滑视差图。