qq_43428929的博客

举一个计算对应关系的例子，图片A、B的特征图为FA、FB，大小均为（h，w），那么对应的4D correlation map大小为（h，w，h，w），任取图片A上一点a，对应的特征图FA上的点为Fa，那么Fa一个点便和FB一张图进行对应，利用一定的规则如点与点之间的距离作为衡量标准，那么取FB上距离Fa距离最小点Fb变为Fa的对应点。然后，根据ANC - Net，我们选择它的四个最近邻，并根据距离设置它们的概率，以建立每个尺度上的二维真值匹配概率。关于细节和公式论文中说的很细，这里不再介绍。

个人觉得有一个理论很有信服力，感受野大家应该都知道，就是池化层具有空间不变性的原因是如果图片的空间变化发生在池化层的对应的感受野中，那么便具有空间不变性，如果超出了，那么池化层便不能保持模型的空间不变性。个人理解STN的主要目的是因为虽然池化层具有一定的空间不变性，但是由于上述原因，不变性并不是很强，故作者在此提出了一种可以学习的轻量化的模型结构STN，该模块的参数可学习，可以进行BP，同时能够提升模型性能。从上图可以看出仿射变换除了平移变换，其它的均可以只和x、y有关，而平移变换和x、y无关。