RANSAC的改进(1): 渐进一致采样 PROSAC(PROgressive SAmple Consensus)

方法简介

  渐进一致采样法¹ (PROSAC) 是对经典的 RANSAC² 中采样的一种优化。相比经典的 RANSAC 方法均匀地从整个集合中采样，PROSAC 方法是从不断增大的最佳对应点集合中进行采样的。所以这种方法可以节省计算量，提高运行速度。

详细内容

1. 引入

  假设： 具有更高相似性的数据点更可能是类内点（根据相似性进行排序的半随机采样不会比完全随机采样的效果更差）

1.1. 标记说明

  $N$ 个数据点的集合记作 ${\mathcal{U}}_N$，根据评价函数 $q$，${\mathcal{U}}_N$ 内数据点被降排序为：
$${\text{u}}_i,{\text{u}}_j\in {\mathcal{U}}_N:i<j\Rightarrow q({\text{u}}_i)\ge q({\text{u}}_j)$$
  评价最好的 $n$ 个数据点集合记作 ${\mathcal{U}}_n$
  从数据集 ${\mathcal{U}}_n$ 中的采样点集合记作 $\mathcal{M}$，其元素个数为 $|\mathcal{M}|=m$
  采样点集合的评价函数被定义为其所有元素评价函数值中最小的评价函数值：
$$q(\mathcal{M})=\underset{{\text{u}}_i\in \mathcal{M}}{\min }q({\text{u}}_i)$$

2. 算法

  由于 PROSAC 不是从所有数据点中进行随机采样，而是需要先对数据点进行排序，然后在评价函数值最高的数据点子集中进行随机采样，这个子集被称为假设生成集，并且这个假设生成集的元素数量是不断增大的。那么现在就会面临两个问题：

1. 假设生成集的大小如何确定？
2. 采样过程的停止策略是什么？

2.1 生长函数和采样

  生长函数是用来确定假设生成集的大小的。它既不能过分乐观地依赖评价函数的预排序作用，也不能太消极地对所有数据点都相同看待。用 P { u i } P\{\textbf{u}_i\} P{ui​} 表示 ${\text{u}}_i$ 是正确点的概率，我们对这个概率和评价函数之间的联系做一个最小的假设，即单调性假设：
i &lt; j ⇒ q ( u i ) ≥ q ( u j ) ⇒ P { u i } ≥ P { u j } i&lt;j\Rightarrow q(\textbf{u}_i)\geq q(\textbf{u}_j) \Rightarrow P\{\textbf{u}_i\}\geq P\{\textbf{u}_j\} i<j⇒q(ui​)≥q(uj​)⇒P{ui​}≥P{uj​}
  用 { M i } i = 1 T N \{\mathcal{M}_i\}_{i=1}^{T_N} {Mi​}i=1TN​​ 表示 $T_N$ 次采样点集合的序列，且每次采样都是从 $N$ 个数据点中选取其中的 $m$ 个，即 ${\mathcal{M}}_i\in {\mathcal{U}}_N$。用 { M ( i ) } i = 1 T N \{\mathcal{M}_{(i)}\}_{i=1}^{T_N} {M(i)​}i=1TN​​ 表示根据评价函数排序之后的序列，则有：
$$i<j\Rightarrow q({\mathcal{M}}_{(i)})\ge q({\mathcal{M}}_{(j)})$$
  用 $T_n$ 表示 { M i } i = 1 T N \{\mathcal{M}_i\}_{i=1}^{T_N} {Mi​}i=1TN​​ 中所有元素都来源于 ${\mathcal{U}}_n$ 的采样点集合 ${\mathcal{M}}_i$ 的平均个数，则有：
$$T_n=T_N\frac{\left(\genfrac{}{}{0ex}{}{n}{m}\right)}{\left(\genfrac{}{}{0ex}{}{N}{m}\right)}=T_N\prod _{i=0}^{m-1}\frac{n-i}{N-i}$$ $$\frac{T_{n+1}}{T_n}=\prod _{i=0}^{m-1}\frac{n+1-i}{N-i}\prod _{i=0}^{m-1}\frac{N-i}{n-i}=\frac{n+1}{n+1-m}$$
  最终它们之间的递归关系为：
$$T_{n+1}=\frac{n+1}{n+1-m}{T}_n$$
  平均来说有 $T_n$ 个采样点集合只包含 ${\mathcal{U}}_n$ 的数据点，有 $T_{n+1}$ 个采样点集合只包含 ${\mathcal{U}}_{n+1}$ 的数据点。由于 U n + 1 = U n ∪ { u n + 1 } \mathcal{U}_{n+1}=\mathcal{U}_n\cup \{\textbf{u}_{n+1}\} Un+1​=Un​∪{un+1​}，所以就有 $T_{n+1}-T_n$ 个采样点集合包括一个数据点 ${\text{u}}_{n+1}$ 和 $m-1$ 个来源于 ${\mathcal{U}}_n$ 的数据点。所以让 $n$ 从 $m$ 一直取值到 $N-1$，这样就可以随机且高效地得到采样点集合 $M_{(i)}$.
  由于 $T_n$ 的值一般不是整数，我们令 $T_m^{\prime }=1$，并且有：
$$T_{n+1}^{\prime }=T_n^{\prime }+\lceil T_{n+1}-T_n\rceil$$
  其中 ceil 括号表示取大于或等于括号中值的最小整数。所以生长函数可以被定义为：
g ( t ) = min ⁡ { n : T n ′ ≥ t } g(t)=\min\{n:T&#x27;_n\geq t\} g(t)=min{n:Tn′​≥t}
  这样第 $t$ 个采样点集合 ${\mathcal{M}}_t$ 可以表示为：
M t = { u g ( t ) ∪ M t ′ } \mathcal{M}_t=\{\textbf{u}_{g(t)}\cup \mathcal{M}&#x27;_t\} Mt​={ug(t)​∪Mt′​}
  其中 ${\mathcal{M}}_t^{\prime }\subset {\mathcal{U}}_{g(t)-1}$ 是一个包含 $m-1$ 个来源于 ${\mathcal{U}}_{g(t)-1}$ 的数据点的集合，这样参数 $T_N$就表示需要多少次采样，PROSAC 算法的效果会和 RANSAC 算法保持一致。

2.2 停止策略

  如果集合 ${\mathcal{U}}_{n^{\ast }}$ 中的类内点数 $I_{n^{\ast }}$ 满足下面的条件，PROSAC 算法就停止：

• 非随机性——$n^{\ast }$ 个数据点中的类内点恰好也是任意一个错误模型的类内点的概率小于 $\Psi$ (一般设为 $5\%$)
• 极大性——存在一个解在 ${\mathcal{U}}_{n^{\ast }}$ 中有比 $I_{n^{\ast }}$ 更多的类内点的情况，并且这种情况在 $k$ 次采样后还未被发现的概率小于 ${\eta }_o$ (一般设为 $5\%$)

  非随机性可以防止由类外点产生的模型也和算法一致。随机类内点集合的元素个数的分布是二项分布：
$$P_n^R(i)={\beta }^{i-m}(1-\beta {)}^{n-i+m}(\genfrac{}{}{0ex}{}{n-m}{i-m})$$
  其中 $\beta$ 是与一个错误模型相对应的点不在采样点集合中的概率，并且该采样点集合包含一个类外点。（上面的公式可以这样理解：错误模型是由 $m$ 个采样点确定的，得到与该模型相对应的点有 $i\ge m$ 个【这 $i$ 个点就是错误模型认为的类内点，也就是所谓的随机类内点集合】，那么不在采样点集合 $\mathcal{M}$ 中的点有 $i-m$ 个，数据集中的一个点是这样的点的概率为 $\beta$，所以可以得到随机类内点集合($\subset {\mathcal{U}}_n$)的元素个数为 $i$ 的概率就是 $P_n^R(I).$）
  最少的类内点数 $I_n^{\min }$ 可以通过下面的式子得到（也就是限制随机类内点集合元素数量较大的概率）：
I n min ⁡ = min ⁡ { j : ∑ i = j n P n R ( i ) &lt; Ψ } I_n^{\min}=\min \{j:\sum_{i=j}^nP_n^R(i)&lt;\Psi\} Inmin​=min{j:i=j∑n​PnR​(i)<Ψ}
  在 ${\mathcal{U}}_{n^{\ast }}$ 中发现一个非随机的结果必须要满足：
$$I_{n^{\ast }}\ge I_{n^{\ast }}^{\min }$$
  极大性定义了需要多少次采样才能保证解的置信度，这也是 RANSAC 算法中唯一的停止策略。从 ${\mathcal{U}}_n$ 中采样得到的 $m$ 个点都来自于类内点的概率为：
$$P_{I_n}=\frac{\left(\genfrac{}{}{0ex}{}{I_n}{m}\right)}{\left(\genfrac{}{}{0ex}{}{n}{m}\right)}=\prod _{j=0}^{m-1}\frac{I_n-j}{n-j}\approx {\epsilon }_n^m$$
  其中 $I_n$ 是 ${\mathcal{U}}_n$ 中类内点的数量，${\epsilon }_n=I_n/n$ 表示类内点数的比例。那么 $k$ 次采样也没有一次采样都是类内点的概率为（$g(k)\le n$）：
$$\eta =(1-P_{I_n}{)}^k$$
  所以在给定概率阈值 ${\eta }_o$ 的后，采样次数需要满足下面的条件：
$$k_{n^{\ast }}({\eta }_o)\ge \log ({\eta }_o)/\log (1-P_{I_{n^{\ast }}})$$
  最终 $n^{\ast }$ 的大小是在满足 $I_{n^{\ast }}\ge I_{n^{\ast }}^{\min }$ 的条件下最小化 $k_{n^{\ast }}({\eta }_o)$ 得到的。

  PROSAC算法

3. 实验

  作者在基于 SIFT 的图像匹配中使用了 PROSAC 算法，并和 RANSAC 进行了对比，详细的实验内容和参数参考文献[1]，下面的图片完全是为了好看才放在这里的。

  下面补充我自己做的实验内容（代码链接）：

  参考链接：

1. RANSAC算法原理与源码解析
2. openCV中的findHomography函数分析以及RANSAC算法的详解
3. 要点初见：OpenCV3中ORB特征提取算法的实现与分析

  这里说明一下，实验的内容是计算单映矩阵，并实现对图像中特征点的匹配，并将模板区域在场景图中标出（参考上述链接1）。实现的效果如下图所示：

代码注意事项：

• 代码使用 OpenCV3，使用 OpenCV2 的朋友参考上面的链接，修改部分代码就可以运行
• 代码中没有实现对 $\beta$ 的动态估计
• 代码中对 $k_{n^{\ast }}({\eta }_o)$ 和 $n^{\ast }$ 的计算可能不能用于其他任务中
• 代码中排序的程序可以根据自己的需求进行修改
• PROSAC代码的关键部分是自己写的，所以一定有很多错误以及性能上的不足，希望大家指出

4. 结论

  这种方法可以非常有效地节省运算量和时间。由于减少了一个相关性阈值参数，所以可以对多种情况的检测有比较好的鲁棒性。
  这里抱怨一下，这篇论文对于我来说实在是太难读懂了，一大堆从句让人抓狂。不过还是挺佩服这两个作者的，几乎所有的 RANSAC 相关的论文都是他们写的。

参考文献

---

1. O. Chum and J. Matas, “Matching with PROSAC – Progressive Sample Consensus,” Proc. IEEE Conf. Computer Vision and Pattern Recognition, 2005. ↩︎

2. M.A. Fischler and R.C. Bolles, “Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography,” Comm. ACM, vol. 24, no. 6, pp. 381- 395,1981. ↩︎