16、局部特征设计概念、分类与学习

局部特征设计概念、分类与学习

在计算机视觉领域，局部特征的设计、分类与学习是一项关键任务。它对于图像识别、目标检测、运动分析等众多应用都有着重要意义。下面将详细介绍局部特征设计的各种概念、分类以及学习方法。

1. 变形特征与固定描述符形状

在特征学习中，一些方法采用了变形特征进行训练。像 DeepFlow 深度匹配方法和 RFM2.3 就属于此类。D - NETS 方法使用全连接或稀疏连接拓扑，在条带模式放置的不变性方面可被视为可变形的。

固定描述符形状，如刚性矩形和圆形，能在刚性运动假设下检测运动，即整个描述符预计会有一定程度的变化，如尺度或仿射变换。然而，对于活动识别和运动分析，需要更具可变形性的描述符模型。DeepFlow 利用可变形块和深度学习网络的深度匹配，弥合了描述符匹配方法和光流匹配方法之间的差距。

2. 多块集

不同的特征描述符采用了多种多块集的方式：
- SIFT 描述符 ：使用来自尺度空间金字塔结构中相邻差分高斯（DoG）图像的三个块的多块集。
- LBP - TOP 和 VLBP ：LBP - TOP 使用相邻平面的块，VLBP 使用三维空间中相交的块。
- 动态纹理方法 ：使用时空图像帧集中相邻的三个块，如帧 n - 2、帧 n - 1 和当前帧（帧 0）。

3. TPLBP 和 FPLBP

三补丁局部二值模式（TPLBP）和四补丁局部二值模式（FPLBP）利用新颖的多补丁采样模式，将稀疏局部结构添加到复合局部二值模式（LBP）