LIFT是一种基于深度学习的特征点检测方法，它利用卷积神经网络实现特征点检测、方向估计和描述符提取。通过Siamese网络训练描述符，再训练方向估计，最后训练特征点检测，采用argmax function改进非极大值抑制。实验表明，LIFT在光照和季节变化下表现出良好的鲁棒性，优于传统SIFT方法。
LIFT: Learned Invariant Feature Transform
该文介绍了一种深度学习框架，并实现了图像特征点检测、方向估计和描述符提取，其中每一个部分都是基于卷积神经网络CNNs实现，采用了空间转换层来修正图像块得到特征点检测和方向估计。同时，使用argmax function代替传统的非极大值抑制方法，其性能由于其他在这之前已知的方法。总体结构如下：
训练方法：
- 建立Siamese网络，训练所使用的特征点事来之SFM算法的结果，输入的是特征点所在的图像块；
- 首先训练描述符，然后用来训练方向估计，最后训练特征点检测；
- 训练是使用的图像块，并且是不同尺度。
训练步骤：
1. 首先训练描述符：训练图像块的位置和方向均来自SFM的特征点，其中会取四个图像块P1,P2,P3,P4；P1,P2是来自同一个3D点在不同视角下的图像，P3是不同3D点投影回来的图像块，P4是不包含任何特征点的图像块。那么损失函数的构建就为：
最低0.47元/天 解锁文章
扫一扫
1万+
到【灌水乐园】发言
