【论文学习笔记-8】AANet：Adaptive Aggregation Network for efficient stereo matching（CVPR2020）

本文提出了用尺度内成本聚合(intra-scale cost aggregation method)和尺度间成本聚合层(cross-scale cost aggregation algorithm)来完全替代常被使用的3D卷积层从而大大提高立体匹配算法的速度并保持有竞争力的准确度。前者用于解决视差不连续区域的边缘肥胖问题（edge-fattening issue)，后者用于处理大块的无纹理区域。达到了41倍的GC-Net/4倍的PSMNet/38倍的GA-Net的速度，在高速立体匹配算法领域(如Stereo-Net)达到了最好的表现。

3D卷积的问题：速度很慢，如PSM-Net在高性能GPU上也需要4G的内存和410ms来处理一对KITTI图片。GA-Net意识到了3D卷积的弊端，用SGA和LGA尝试替代3D卷积，但是仍然使用了15个3D卷积。本文的目的是完全替代3D卷积并且大大提高计算速度，同时达到SOTA的效果。

Method

首先左右图会经过一个特征提取网络获得经过下采样的特征金字塔，之后计算多尺度下的cost volume，公式为：

其中s代表金字塔第s层的特征，l代表左图，s代表右图，h,w,w-d代表坐标，<>向量代表内积，N代表特征的通道数。可见使用的costvolume方法非常简单直接用正规化后的内积。

Adaptive-Intra-Scale Aggregation：
这里作者参考的是Local Cost Aggregation：

可以看到Local Aggregation是类似于滤波器的操作。作者这里使用可变卷积（deformable convolution）[参考文献]来将其进行改造。

先简单介绍可变卷积

首先普通卷积是这样的：

绿色点代表参与计算的点

空洞卷积是这样的：