xinxiangwangzhi_的博客

PatchMatchStereo是Michael Bleyer等在2011年发表于British Machine Vision Conference（BMVC）上的一篇双目立体匹配算法文章，非常经典。倾斜支持窗的思路打破传统固定窗口式局部匹配的思维桎梏，在Middlebury数据集上获得非常好的匹配效果，一段时间内高居排行榜第一名。更难能可贵的是，它和SGM一样数据泛化能力出色，对大部分数据都能取得不错的结果，所以也被很多商业软件所实现，是真正能够产品化的算法。

设左相机坐标系为世界坐标系原点，右相机坐标系由旋转矩阵RRR和平移向量TTT定义。目标是将左右相机的图像平面变换到同一平面上，且基线与图像平面平行，实现极线水平对齐。数学目标构造新的旋转矩阵RrectRrect​，使左右相机的光轴平行，且基线方向与图像x轴对齐。将原始旋转矩阵RRR分解为左右相机的部分旋转RlR_lRl​和RrR_rRr​，满足RRrTRlRRrT​Rl​。

构建新坐标系基向量e1​e2​e3​，使成像平面共面且极线水平对齐。e1​∥b∥b​（确保e1​与基线平行，为后续极线对齐奠定基础）。

透视变换（perspective transformation）和射影（投影）变换（projective transformation）0几点说明投影和变换的区别。投影分为：平行投影或者正射投影（parallel projection ）和透视投影（perspective projection）。平行投影对应于带有假想视点的透视投影；也就是说，相机位于离物体无限远的地方，并且具有无限焦距。...

二维齐次坐标利用三个元素表示，因此可以看作三维向量表示二维坐标，因此利用齐次坐标表示仿射变换和射影变换可以从三维视角观察二维的变换，或者说仿射和射影变换可以看成3维向2维空间的投影结果，只是一个是平行投影，一个是透视投影。将其投影到z=0平面即得到二维仿射变换(投影后发生了平移，原点发生了变化，更多的解释参见维基百科)。红色平面为z=1平面，即(X,Y,1)所在平面，蓝色为(x,y,z)所在平面，二者不平行，2从齐次坐标看射影变换，射影变换不变性有哪些，为什么射影变换不能平行四边形不变性。

为了表示完整的描述中心射影，我们将中心射影中一组平行线加上一个公共点，这个公共点可以弥补影消点的情况，记为无穷远点，记一个平面内所以无穷远点构成的直线称为无穷线，空间中一切无穷远处点的集合称为无穷远平面。因为普通的坐标是无法表示无穷远坐标的，即普通的坐标是无法完整描述透视变换的，因此，引入齐次坐标可以表示任意点，为使用代数描述透视变换奠定基础。很多高等几何从纯几何角度来证明射影变换，需要引入很多的定理和名词，这里从代数角度，即从针孔相机的透视变换矩阵到射影变换矩阵，然后解释其几何含义。

根据上述讨论，应该比较清楚正交、等距、欧式变换之间的关系了，正交变换是线性变换，等距变换是先进行正交变换，再进行平移操作，欧式变换是旋转矩阵形式的等距变换。只会改变位置，对形状和长度同样没有影响，因此，把正交变换和平移结合到一起，即二者都可以保持几何长度不变，称之为等距变换。根据等距不变的特点，比较容易得到欧式变换的不变量有：两点的距离、两线的夹角、图形的面积，即长度不变可以得到变换前后图形是。这里从代数的角度定义了旋转矩阵，更多地时候可以通过旋转前后的向量变换推导出旋转矩阵。讨论二维空间正交矩阵，令。

例如：在平面直角坐标系中，基向量为(0,1),(1,0),坐标(x,y)表示基向量(1,0)乘以x倍，(0,1)乘以y倍，得到一个新的向量，其坐标为(x,y)。因此等式(3)可以看成列向量数乘相加的结果(线性组合)，即矩阵的列，可以看成坐标系的一组基向量，矩阵与向量相乘可以看成该坐标系下任意一点(向量)生成的过程，把这种观点称。基于以上两条基本的不变性，可以得到，平行四边形经过线性变换后，仍然是平行四边形，关于几何图形有很多其他结论，这里不一一列举了。看成基向量的倍数，最后得到了一个新的向量其坐标为。

DLT解析法相机标定这部分利用DTL相机标定是研究生时的工作，重新学习多视图几何，遂重新总结，更多详细地原理参考《近景摄影测量学》。

旋转矩阵是正交矩阵的一种特殊形式。正交性：列向量（或行向量）两两正交，即内积为零。单位模长：每个列向量的模长为1。行列式为1：若行列式为+1，则为纯旋转矩阵；若为-1，则为反射矩阵（含镜像变换）。数学推导riTrj0i≠j∥ri∥1ijriT​rj​0ij∥ri​∥1ij​因此，旋转矩阵的列向量 $ r_1, r_2, r_3 $ 必然满足正交性和单位模长。对于n阶正交矩阵，其列向量组是n维向量空间的一组标准正交基。

对应的匹配图像点(同名点)为。将上述方程整理为齐次方程组。假设两个相机的投影矩阵为。），进而通过SVD求解。

恢复相机位姿的几种方法。

如图所示，物体点PPP，图像点p1,p2p_1,p_2p1​,p2​,相机中心o1,o2o_1,o_2o1​,o2​五点共面的关系称为对极几何。o1,o2o_1,o_2o1​,o2​连线称为基线，其与图像的交点称为e1,e2e_1,e_2e1​,e2​极点，图像点p1,p2p_1,p_2p1​,p2​与极点e1,e2e_1,e_2e1​,e2​组成的连线称为极线。不妨假设图像点在相机坐标系的坐标为p1,p2p_1,p_2p1​,p2​，在三维空间中，由叉乘的几何意义可以得到一个垂直于平面的法向量，又有两个

单应矩阵（Homography Matrix）是一个描述两个平面之间点的映射关系的矩阵。在计算机视觉中，它常用于描述同一场景在不同视角下的图像之间的几何变换关系。单应矩阵即射影变换的数学形式。

一方面，几何和代数紧密联系，如果我们从代数视角来看，可以发现多视图几何可以被各种向量和矩阵表示，矩阵和向量又是常用的线性变换的代数表现形式。另一方面，在多视图几何学或者计算机视觉中，我们经常听到各种变换，映射，投影，射影，例如线性变换、欧式变换、正交变换、相似变换、仿射变换、中心射影变换、射影变换等等诸多名词，如果我们能从矩阵（线性代数）出发，在原理上搞清这些名词的含义，以及他们和射影几何的联系，那么我们就掌握了多视图几何学的源头和脉络，从而有可能从数学层面真正开始学习并理解多视图几何学。

由全景平面坐标转到三维球面坐标再转到立方体（三维笛卡尔坐标）上，由于三维球面坐标是极坐标，当其映射到三维笛卡尔坐标系时会存在空洞。这里可以这么简单地得到理解：假设在极坐标系中角分辨率是一定的，那么随着坐标值的增大其角分辨率对应的距离越大，会导致六面体的像素缺失。另一种解释是，球的表面积小于其外切正方体的面积，所以如果直接将球坐标系上的点投影到立方体上，会存在立方体像素缺失的情况。建立一个三维单位球，半径为1，其是全景照片的极坐标表示，建立单位球的外切正方体，其边长为2.表示全景平面的y值，

数学形态学作为工具从图像中提取表达和描绘区域形状的有用图像分量，如边界、骨架、等形态学技术可以用于滤波、细化和修剪图像。结构元：一个形状和大小已知的像点集，通常还要为结构元定义一个中心。形态学的本质就是把结构元当作一个模板矩阵对数字图像矩阵进行数学运算得到新的图形（最常用的就是形态学滤波，结构元就是滤波器）。两种基本操作：腐蚀：（B）z是B的平移后的新的结构元，B是结构元。从定义来讲...