《增强现实：原理、算法与应用》读书笔记（1）基础矩阵、本质矩阵与单应性矩阵

最新推荐文章于 2024-07-02 14:12:22 发布

鲸落于北

最新推荐文章于 2024-07-02 14:12:22 发布

阅读量554

点赞数 1

分类专栏：增强现实：原理、算法与应用文章标签：计算机视觉

本文链接：https://blog.youkuaiyun.com/weixin_42708301/article/details/111880500

版权

增强现实：原理、算法与应用专栏收录该内容

11 篇文章

订阅专栏

《增强现实：原理、算法与应用》读书笔记（1）

入坑增强现实，学长让我先把这本书看懂，看了一小半，确实有很多对数学要求挺高的地方，所以打算写个读书笔记，分享一些体会。

第三章：实景的三维结构恢复与重建

双视图几何原理：基础矩阵与本质矩阵

来源于《增强现实：原理、算法与应用》首先，双视图几何原理需要理解，左图中的一个点会在右图中对应一条直线，这是因为从相机光心到图像上该点可以连出一条射线，该点的空间位置就在这条射线上，而这条射线在另一台相机的图像上的投影就是一条直线，称为极线。

两台相机光心的连线称为基线，基线与两个视图平面的交点称为极点 $e$ , $e^{'}$ ，所有极线 $l$ , $l^{'}$ 必过极点（很好理解，因为极线是光心出发的射线的投影，光心的投影就是极点，极线必过极点）。两个光心与空间中的一个三维点构成极平面 $π$ 。

假设左右视图的投影矩阵分别为 $P$ 和 $P^{'}$ ，相机内参矩阵分别为 $K$ 和 $K^{'}$ ，以左视图为参考矩阵，相机光心位置 $C = 0$ ，则其投影矩阵可以表示为 $P = K [I ∣ 0]$

右视图投影矩阵 $P^{'} = K^{'} [R ∣ t]$

相机光心位置 $C'=-R^{\top }t$

R和t分别是右视图相机的旋转矩阵和平移向量。

这里可以顺带回顾下相机的投影矩阵P和内参矩阵K，其中，考虑线性畸变的内参矩阵K的一般形式如下：
$K=\begin{bmatrix} \frac{f}{k_{x}} & \frac{f}{k_{y}}tan\alpha & c_{x}\\ 0 & \frac{f}{k_{y}} & c_{y}\\ 0 & 0 & 1 \end{bmatrix}$

投影矩阵 $P = K [R ∣ t]$ ，其中 $t=-R\tilde{C}$

透视投影矩阵描述了三维空间点与其在图像空间上的投影像素点之间的关系，即： $\hat{x}\sim P\hat{X}$

假设三维点X在左右视图上的投影点分别为 $x$ 和 $x^{'}$ ，齐次坐标表示为 $\hat{x}$ 和 $\hat{x}'$ ，则有 $\hat{x}\sim K[I|0]\hat{X}$ $\hat{x}'\sim K'[R|t]\hat{X}$

$x$ 和 $x ’$ 对应的极线 $l$ , $l^{'}$ ，根据点在线上建立数学约束，可得： $\hat{x}^{\top }l=0$ $\hat{x}'^{\top }l'=0$

证明： $\hat{x}=\left ( x,y,1 \right )^{\top }$ ， $l : a x + b y + c = 0$ ，剩下的应该不用写了吧。

极点 $e$ 是相机光心 $C^{'}$ 在左视图的投影点，极点 $e^{'}$ 是相机光心 $C$ 在右视图的投影点，带入上面可得：
$e=K[I|0]\cdot-R^{\top}t=-KR^{\top}t$
$e'=K'[R|t]\cdot R^{\top}t=K't$

对于图像上的任一点 $x$ ，所有在光心 $C$ 与 $x$ 的射线上的点都会成像于 $x$ ，光心位于投影矩阵的零向量，因此 $P C = 0$ 。光心 $C$ 与 $x$ 的射线上假定一个自由度，方向有 $P^{*}\hat{x}$ 定义，其中 $P^{*}$ 是 $P$ 的广义逆，即 $P^{*}=P^{\top }\left ( PP^{\top } \right )^{-1}$

其对应的三维点齐次坐标可以写成 $\hat{X}=sP^{*}\hat{x}+C$

两边乘以矩阵 $P$ ：

$P\hat{X}=sPP^{*}\hat{x}+PC=sPP^{\top}\left ( PP^{\top} \right )^{-1}\hat{x}+0=s\hat{x}$

与之前的 $\hat{x}\sim P\hat{X}$ 相对应。

由于 $P$ 的特殊性（即 $P = K [I ∣ 0]$ 以及 $PP^{*}=I$ ），可知
$P^{*}=\begin{bmatrix} K^{-1}\\ 0 \end{bmatrix}$

左视图的光心 $C$ 在右视图的投影为极点 $e^{'}$ ，故此， $\hat{x}$ 与 $\hat{x}'$ 之间存在几何关系：
$\hat{x}'\sim P'\hat{X}=P'\left (sP^{*}\hat{x}+C \right )=sP'P^{*}\hat{x}+e'$

令 $H=P'P^{*}$ ，既得 $\hat{x}'\sim sH\hat{x}+e'$

另外，由于极线 $l^{'}$ 经过 $e^{'}$ 和 $l^{'}$ ，因此有 $l'=e'\times \hat{x}'$

向量叉乘的规则比较特殊，为了保证算法表述的一致性，尽量用矩阵算子来表达，设有两个三维向量 $a=\left( a_{x},a_{y},a_{z} \right )^{\top }$ 与 $b=\left( b_{x},b_{y},b_{z} \right )^{\top }$ ，定义 $3\times 3$ 的斜对称矩阵 $[a]_{\times}$ 为：
$[a]_{\times}=\begin{bmatrix} 0 & -a_{z} & a_{y}\\ a_{z} & 0 & -a_{x}\\ -a_{y} & a_{x} & 0 \end{bmatrix}$

则向量叉乘表示为矩阵乘积： $a\times b=[a]_{\times}b$

由 $a$ 的形式易得 $[a]_{\times}$ 的行列式为0， $[a]_{\times}$ 是秩为2的退化矩阵。将 $\hat{x}'\sim sH\hat{x}+e'$ 与 $l'=[e']_{\times}\hat{x}'$ 联合可得：
$l'=[e']_{\times}\left(sH\hat{x}+e'\right)=s[e']_{\times}H\hat{x}$

结合 $\hat{x}'^{\top }l'=0$ ，消去 $s$ 可得
$\hat{x}'^{\top }[e']_{\times}H\hat{x}=0$

再令 $F=[e']_{\times}H$ ，可得 $\hat{x}'^{\top }[e']_{\times}H\hat{x}=0$

$F$ 就是著名的基础矩阵，它描述了两张图像上对应点的几何约束，即 $x$ ， $x^{'}$ 与两个相机的光心 $C$ ， $C^{'}$ 四点共面。

容易证明：
（1）矩阵 $F$ 的各元素同时乘以一个非零常数，等式依然成立；
（2） $F$ 的秩为2，所以 $F$ 是自由度为7、秩为2的 $3\times3$ 矩阵。

之前已经推导到 $e^{'} = K^{'} t$ ， $H=P'P^{*}=K'[R|t]\begin{bmatrix}K^{-1}\\ 0\end{bmatrix}=K'RK^{-1}$

因此若内参已知，可进一步得到如下等式：

$F=[K't]_{\times}K'RK^{-1}=K'^{-\top}[t]_{\times}RK^{-1}$

式中， $E=[t]_{\times}R$ 又被称为本质矩阵。

单应性矩阵

单应性矩阵是另一个比较常用的概念，尤其在快速匹配与定位时。

假设场景中所有点都落在一个平面上，那么不同视角拍摄的两张图像之间的映射关系可以用一个平面变换来表示（Malis et al., 2007）。而且，对于某平面 $\pi=\left(n^{\top},d\right)^{\top}$ 上的任意一点 $X$ ，都能满足以下约束等式：
$n^{\top}X+d=0$
这里的参数是在相机坐标系中给出的， $d$ 是相机光心至平面的距离，由于可见的平面一定不经过光心（经过光心的平面一定不可见），因此有 $d\neq0$ ，整理后可得约束式：
$-\frac{n^{\top}X}{d}=1$

假设平面 $\pi$ 上存在一个三维点 $X_{1}$ ，被相机在两个不同的位置观测到， $X_{1}$ 分别投影到两个像素点 $x_{1}=\left(u_{1},v_{1}\right)^{\top}$ 和 $x_{2}=\left(u_{2},v_{2}\right)^{\top}$

假设图像1为参考帧，其相机坐标系为世界坐标系，图像2的投影矩阵为 $P=K_{2}[R|t]$ ，由双视图几何关系可以得到：
$\hat{x}_{2}\sim K_{2}\left(RX_{1}+t\right)$

由于齐次坐标乘以比例因子不会改变物理意义，故此用 $\sim$ 表示左右两边的相似关系，又因为 $X_{1}$ 在平面上，因此满足约束式，代入可得：
$\hat{x}_{2}\sim K_{2}\left(RX_{1}+t\left(-\frac{n^{\top}X_{1}}{d}\right)\right)$