本文深入探讨了对极几何的基本概念，包括对极点、对极线和平面对极线束，以及基本矩阵的数学表示和性质。文章还讨论了不同运动类型下基本矩阵的变化，如纯平移和纯平面运动，并解释了基本矩阵如何用于恢复摄像机矩阵。
对极几何和基本矩阵
1.对极几何
本质上，两幅视图之间的对极几何是图像平面与以基线(基线是连接两摄像机中心的直线)为轴的平面束的交的几何。
- 对极点是连接两摄像机中心的直线(基线)与像平面的交点。等价地，对极点是在一幅视图中另一个摄像机中心的像。它也是基线(平移)方向的消影点。
- 对极平面是一张包含基线的平面。存在着对极平面的一个单参数簇(束)。
- 对极线是对极平面与图像平面的交线。所有对极线相交于对极点。一张对极平面与左或右像平面相交于对极线，并定义了对极线之间的对应。
- 平行于图像平面的运动。对于平行于图像平面作平移以及旋转轴垂直图像平面的特殊运动情形，基线与图像平面的交点位于无穷远。因此，对极点是无穷远点而对极线是平行线。
2.基本矩阵FFF
结论1： 基本矩阵FFF可以记为F=[e′]×HπF = [e'] _\times H_\piF=[e′]×Hπ， 其中Hπ=P′P+H_\pi=P'P^+Hπ=P′P+是从一幅图像到另一幅图像通过任意平面πππ的转移映射。 而且， 因为[e′]×[e'] _\times[e′]×秩为2 和HπH_\piHπ秩为3 ，所以FFF是秩2 的矩阵。
假设摄像机矩阵是一个巳标定的双眼装置且世界原点在第一个摄像机上:
F=[e′]×K′RK−1=K′−T[t]×RK−1=K′−TR[RTt]×K−1=K′−TRKT[e]×F=[e']_ \times K'RK^{-1}=K'^{-T}[t]_ \times RK^{-1}=K'^{-T}R[R^Tt]_ \times K^{-1}=K'^{-T}RK^T[e]_ \timesF=[e′]×K′RK−1=K′−T[t]×RK−1=K′−TR[RTt]×K−1=K′−TRKT[e]×
2.1对应条件
结论2： 对两幅图像中任何一对对应点x↔x′x\leftrightarrow x'x↔x′，基本矩阵都满足条件：
x′TFx=0x'^TFx=0x′TFx=0
FFF可以从两个摄像机矩阵PPP、P′P'P′计算出来，即FFF可在相差一个整体尺度因子的意义下由摄像机唯一确定。
2.2基本矩阵的性质
定义1： 假设两幅图像由中心不重合的摄像机获得，则基本矩阵FFF为对所有的对应点x↔x′x\leftrightarrow x'x↔x′， 都满足:
x′TFx=0x'^TFx=0x′TFx=0
的秩2的唯一的3×33\times 33×3齐次矩阵。
- FFF是秩2 、自由度7的齐次矩阵。
- 点对应: 如果xxx和x′x'x′’是对应的图像点，那么x′TFx=0x'^TFx=0x′TFx=0
- 对极线:
- l′=Fxl'=Fxl′=Fx是对应于xxx的对极线。
- l=FTx′l=F^Tx'l=FTx′是对应于x′x'x′的对极线。
- 对极点:
- Fe=0Fe=0Fe=0
- FTe′=0F^Te'=0FTe′=0
- 由摄像机矩阵PPP 、P′P'P′进行计算:
- 一般摄像机：F=[e′]×P′P+F=[e']_\times P'P^+F=[e′]×P′P+,其中P+P^+P+是PPP的伪逆，e′=P′C且PC=0e'=P'C且PC=0e′=P′C且PC=0
- 规范摄像机：P=[I∣0]P=[I|0]P=[I∣0]，P′=[M∣m]P'=[M|m]P′=[M∣m]
F=[e′]×M=M−T[e]×F=[e']_\times M=M^{-T}[e]_\timesF=[e′]×M=M−T[e]×，其中e′=me'=me′=m且e=M−1me=M^{-1}me=M−1m - 非无穷远摄像机：P=K[I∣0]P=K[I|0]P=K[I∣0]，P′=K′[R∣t]P'=K'[R|t]P′=K′[R∣t]
F=K′−T[t]×RK−1=[K′t]×K′RK−1=K′−TRKT[KRTt]×F=K'^{-T}[t]_ \times RK^{-1}=[K't]_ \times K'RK^{-1}=K'^{-T}RK^T[KR^Tt]_ \timesF=K′−T[t]×RK−1=[K′t]×K′RK−1=K′−TRKT[KRTt]× - 转置:如果FFF是摄像机对作(P，P′)(P，P' )(P，P′)的基本矩阵，则FTF^TFT是其反序对(P′,P)(P',P)(P′,P)的基本矩阵。
2.3对极线单应
结论3： 假设lll和l′l 'l′是对应的对极线，且kkk是不过对极点eee的任何直线， 则lll和l′l 'l′间的关系是l′=F[k]×ll' =F[ k ]_\times ll′=F[k]×l，对称地有l=FT[k′]×l′l=F^T[ k' ]_\times l'l=FT[k′]×l′。
3.由特殊运动产生的基本矩阵
3.1纯平移
假设摄像机的运动是没有旋转并且内参数不变的纯平移，可以假设两个摄像机矩阵分别是P=K[I∣0]P=K[I|0]P=K[I∣0]和P′=K[I∣t]P'=K[I|t]P′=K[I∣t]，则：
F=[e′]×KK−1=[e′]×F=[e']_\times KK^{-1}=[e']_\timesF=[e′]×KK−1=[e′]×
从像点xxx到像点x′x'x′的映射是:
x′=x+Kt/Zx'=x+Kt/Zx′=x+Kt/Z
其中ZZZ是点X\mathbf{X}X的深度(在第一个摄像机的主轴上测量从X\mathbf{X}X到摄像机中心的距离)。
- 注意在纯平移情形， F=[e′]×F=[e']_\timesF=[e′]×是反对称的而且只有2个自由度，它们对应于对极点的位置。
- xxx，x′x'x′与e=e′e = e'e=e′是共线的(假设把两幅图像叠起来) 。这种共线性质称为自对极，并且对于一般运动不成立。
3.2一般运动
给定两个任意摄像机，我们可以把第一幅图像的摄像机旋转使它与第二个摄像机平行。该旋转可以通过对第一幅图像施加一个射影变换来仿真。针对两幅图像的标定矩阵的差别还可对第一幅图像施加进一步的矫正。这两次矫正的结果等价于对第一幅图像作射影变换HHH。假设这些矫正已经完成，那么这两个摄像机之间的有效关系是一个纯平移。
假设两个摄像机矩阵分别是P=K[I∣0]P=K[I|0]P=K[I∣0]和P′=K′[R∣t]P'=K'[R|t]P′=K′[R∣t]，需要的射影变换是H=K′RK−1=H∞H=K'RK^{-1}=H_\inftyH=K′RK−1=H∞，其中H∞H_\inftyH∞是无穷单应,且F=[e′]×H∞F=[e']_\times H_\inftyF=[e′]×H∞，则图像点xxx到图像点x′x'x′的映射是：
x′=K′RK−1x+K′t/Zx'=K'RK^{-1}x+K't/Zx′=K′RK−1x+K′t/Z
3.3纯平面运动
在纯平面运动时旋转轴与平移方向正交。正交性给这种运动增加了一个约束，如果K′=KK '= KK′=K，则FFF 的对称部分在这种平面运动情形时的秩为2。使它的自由度个数从一般运动的7个减少到纯平面运动的6 个。
4.基本矩阵的几何表示
基本矩阵的对称和反对称部分分别是
Fs=(F+FT)/2 Fa=(F−FT)/2F_s=(F+F^T)/2 \;\;\;\;\;\;F_a=(F-F^T)/2Fs=(F+FT)/2Fa=(F−FT)/2
满足:F=Fs+FaF=F_s+F_aF=Fs+Fa
4.1对称部分
矩阵FsF_sFs是对称的并且一般地秩为3 ，它有5 个自由度并等同于一条点二次曲线，称为Steiner 二次曲线。
4.2反对称部分
矩阵FaF_aFa是反对称的并可以记为Fa=[xa]×F_a= [ x_a] _\timesFa=[xa]×，其中xax_axa是FaF_aFa的零矢量。反对称部分有2 个自由度且得同于点xax_axa。
4.3对极线对应
由一个单应关联的两个直线束，它们对应直线的交点的轨迹是一条二次曲线。这两个束都是对极线束， 一个过eee而另一个过e′e'e′。这些对极线由一个1D单应相关联。其交点的轨迹是二次曲线FsF_sFs
4.4纯平面运动
平面运动情形，其中FsF_sFs的秩为2。此时，Steiner 二次曲线是退化的，它等价于两条不重合直线。
Fs=lhlsT+lslhTF_s=l_hl_s^T+l_sl_h^TFs=lhlsT+lslhT
FFF可以记为:
F=[e′]×[ls]×[e]×F=[e']_\times [l_s]_\times [e]_\timesF=[e′]×[ls]×[e]×
两个对极点的分别有2 个自由度和直线lsl_sls有2 个自由度。
5.恢复摄像机矩阵
5.1射影不变性和规范摄像机
结论4： 如果HHH是表示3维射影变换的一个4 X 4 矩阵，那么对应于摄像机矩阵(P,P′)(P,P')(P,P′)和(PH，P′H)( PH ， P'H)(PH，P′H)的基本矩阵是相同的。
5.2摄像机矩阵的规范形式
结论5： 对应于摄像机矩阵对P=[I∣0]P =[I|0]P=[I∣0]和P′=[M∣m]P'= [M |m]P′=[M∣m]的基本矩阵等于[m]×M[ m ]_\times M[m]×M。
5.3给定FFF后的摄像机射影多义性
定理1： 令FFF为基本矩阵而(P,P′)(P,P')(P,P′)和(P~,P~′)(\tilde{P},\tilde{P}')(P~,P~′)都是与基本矩阵FFF对应的两组摄像机矩阵对，则存在一个非奇异的4 X 4矩阵HHH使得P~=PH\tilde{P} = PHP~=PH和P~′=P′H\tilde{P}' = P'HP~′=P′H。
引理1： 若秩2的矩阵FFF可以分解为两个不同的形式:F=[a]×AF=[a]_\times AF=[a]×A和F=[a~]×A~F=[\tilde{a} ]_\times \tilde{A}F=[a~]×A~则对某非零常数kkk和3维矢量vvv有a~=ka\tilde{a}=kaa~=ka和A~=k−1(A+avT)\tilde{A}=k^{-1}(A+av^T)A~=k−1(A+avT)。
5.4给定FFF求规范摄像机对
结论6： 一个非零矩阵FFF是对应于一对摄像机矩阵PPP和P′P'P′的基本矩阵的充要条件是P′TFPP'^TFPP′TFP是反对称矩阵。
结论7： 令FFF是基本矩阵，SSS是任意反对称矩阵。 定义摄像机矩阵对为：
P=[I∣0]和P′=[SF∣e′]P=[I|0]和P'=[SF|e']P=[I∣0]和P′=[SF∣e′]
其中e′e'e′是满足e′TF=0e'^T F = 0e′TF=0的对极点，并假定所定义的P′P 'P′是有效的摄像机矩阵(秩为3) ，则FFF是对应子(P,P′)(P , P' )(P,P′)的基本矩阵。
结论8： 基本矩阵FFF的摄像机矩阵可以选择为P=[I∣0]P=[I|0]P=[I∣0]和P′=[[e′]×F∣e′]P'=[[e']_ \times F|e']P′=[[e′]×F∣e′]
结论9： 对应于基本矩阵FFF，一对规范形式的摄像机矩阵的一般公式是：
P=[I∣0] P′=[[e′]×F+e′vT∣λe′]P=[I|0]\;\;\;\;\;P'=[[e']_ \times F+e'v^T|\lambda e']P=[I∣0]P′=[[e′]×F+e′vT∣λe′]
其中vvv是任何3维矢量，λ\lambdaλ是一个正标量。
6.本质矩阵
本质矩阵是归一化图像坐标下的基本矩阵的特殊形式。基本矩阵可以看作是本质矩阵的推广，基本矩阵把要求标定摄像机这样一个(非本质的)假设去掉了。与基本矩阵相比较，本质矩阵有较少的自由度但增加了一些性质。
归一化坐标
- 如果知道标定矩阵KKK，用它的逆矩阵作用于点xxx得到点x^=K−1x\hat{x}=K^{-1}xx^=K−1x。则x^=[R∣t]X\hat{x}=[R|t]Xx^=[R∣t]X，其中x^\hat{x}x^是图像上的点在归一化坐标下的表示。
- 摄像机矩阵K−1P=[R∣t]K^{-1}P=[R|t]K−1P=[R∣t]称为归一化摄像机矩阵。
定理2： 用归一化图像坐标表示对应点x↔x′x\leftrightarrow x'x↔x′时，本质矩阵的定义方程是：
x^′TEx^=0\hat{x}'^TE\hat{x}=0x^′TEx^=0
基本矩阵和本质矩阵之间的关系是:
E=K′TFKE=K'^TFKE=K′TFK
6.1本质矩阵的性质
结论10： 一个3X3矩阵是本质矩阵的充要条件是它的奇异值中有两个相等而第三个是0。
6.2由本质矩阵恢复摄像机矩阵
结论11： 着EEE的SVD分解为Udiag(1，1，0)VTUdiag (1， 1， 0)V^TUdiag(1，1，0)VT，E=SRE = SRE=SR有如下两种可能的分解 :
S=UZUT R=UWVT或者UWTVTS=UZU^T\;\;\;\;\;\;R=UWV^T或者UW^TV^TS=UZUTR=UWVT或者UWTVT
结论12： 己知本质矩阵Udiag(1，1，0)VTUdiag (1， 1， 0)V^TUdiag(1，1，0)VT和第一个摄像机矩阵P=[I∣0]P = [ I|0 ]P=[I∣0]， 那么第二个摄像机矩阵P′P'P′有下列四种可能的选择:
P′=[UWVT∣u3]; [UWVT∣−u3]; [UWTVT∣u3]; [UWTVT∣−u3]; P'=[UWV^T|u_3];\;\;\;[UWV^T|-u_3];\;\;\;[UW^TV^T|u_3];\;\;\;[UW^TV^T|-u_3];\;\;\;P′=[UWVT∣u3];[UWVT∣−u3];[UWTVT∣u3];[UWTVT∣−u3];
扫一扫
1092
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
