by luoshi006
基本矩阵 F \mathbf F F
F = K − T t ∧ R K − 1 = K − T E K − 1 \mathbf F = \mathbf K^{-T} t^{\wedge} \mathbf R \mathbf K^{-1} = \mathbf K^{-T} \mathbf E \mathbf K^{-1} F=K−Tt∧RK−1=K−TEK−1
基本矩阵
F
F
F ,描述了两个对应特征像素点间的 极线约束 。
在图
I
1
I_1
I1 中位置
u
1
u_1
u1,对应
I
2
I_2
I2 上的极线方程为:
u
1
T
F
u
2
=
0
u^T_1 F u_2 = 0
u1TFu2=0
- 需内参矩阵;
- 像素坐标;
- 基本矩阵 F F F 给出了两个相机的几何关系,基本矩阵 F F F 为 3 × 3 3 \times 3 3×3,秩为 2 的矩阵;
- 当 I 1 I_1 I1 与 I 2 I_2 I2 间至少有 8 组对应点,可用线性方法求解 F F F;
- 7 个自由度 [2 个约束:a)如果F为基础矩阵,那么kF也为基础矩阵;b)秩为2];
本质矩阵 E \mathbf E E
E = t ∧ R \mathbf E = t ^\wedge \mathbf R E=t∧R
本质矩阵 就是使用归一化图像坐标时的基本矩阵。 描述归一化坐标系中两对应特征之间的 对极约束 关系。
一般情况,相机的内参是已知的,所以,一般使用
E
\mathbf E
E。
- 需内参矩阵;
- 归一化坐标;
- 5 个自由度 [ 旋转3,平移3,约束:平移尺度 ]
- 本质矩阵 E \mathbf E E 的奇异值形式: [ σ , σ , 0 ] T [\sigma, \sigma, 0]^T [σ,σ,0]T
5 个自由度最少可以通过 5 对点求解,但,为避免复杂的数学运算,通常使用 八点法 求解,通过 SVD 分解,恢复出相机运动 R , t \mathbf R, t R,t。
单应矩阵 H \mathbf H H
空间平面:由平面的单位法向量 n \mathbf n n 和原点到平面的距离 d d d 表示: n T x = d \mathbf n^T \mathscr x = d nTx=d
单应矩阵:设:点
m
i
m_i
mi 和
m
i
′
m_i'
mi′ 时空间平面
n
T
x
=
d
\mathbf n^T \mathscr x = d
nTx=d 在两图像上投影的 归一化坐标 ,且相互对应,那么这两个点集由一个三维射影变换矩阵
H
H
H 相互映射,即:
m
i
′
~
=
λ
H
m
i
~
\tilde{m_i'} = \lambda \mathbf H \tilde{m_i}
mi′~=λHmi~
H
\mathbf H
H 为
3
×
3
3 \times 3
3×3 矩阵,
λ
\lambda
λ 为任一不为零的实数。
H
=
R
+
1
d
t
n
T
(
归
一
化
平
面
)
\mathbf H = \mathbf R + \frac{1}{d}t \mathbf n^T (归一化平面)
H=R+d1tnT(归一化平面)
H = K ( R + 1 d t n T ) K − 1 ( 像 素 平 面 ) \mathbf H = \mathbf K \left( \mathbf R + \frac{1}{d}t \mathbf n^T \right ) \mathbf K^{-1}(像素平面) H=K(R+d1tnT)K−1(像素平面)
- 单应矩阵描述了对应特征点之间的共面约束,是相机 pose 和平面参数的矩阵;
- 8 自由度;
- 对纯旋转运动的鲁棒性好;
tips
- 为什么相机单纯绕光心旋转时,无法从
E
,
F
\mathbf {E, F}
E,F 恢复相机运动?
纯旋转时,帧间运动 t = 0 t=0 t=0,根据 E , F \mathbf {E, F} E,F 公式可知,其自由度下降,出现退化,此时计算得到的 E , F \mathbf {E, F} E,F 受噪声影响很大。
参考
- 课件:
- 讲义:
- 基础矩阵:
- 单应矩阵:
- https://www.cnblogs.com/wangguchangqing/p/8287585.html
- 注意其中关于单应矩阵误差的分析;
- 推导四对对应点单应矩阵的计算公式? - 王小龙的回答 - 知乎