【3D视觉学习笔记3】单视图重建

本节讲如何从单一视角恢复出3D的场景信息，以及能够恢复3D信息需要哪些条件。

---

1. 基础知识

1.1 仿射变换与透视变换

2D平面中的仿射变换如下：
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{cc}{A}_{2\times 2}& t_{2\times 1}\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
类似地，在3D空间中，定义仿射变换
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{cc}{A}_{3\times 3}& t_{3\times 1}\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$$
如果左下角不再是0，而是一个向量$v$，则称为透视变换：
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{cc}{A}_{3\times 3}& t_{3\times 1}\\ v_{3\times 1}^T& b\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$$

1.2 2D与3D平面点、线、面的表示

在2D平面中，一个直线可以表示为$a{x}_1+b{x}_2+c=0$, 如果令
$$l=\left[\begin{array}{c}a\\ b\\ c\end{array}\right],x=\left[\begin{array}{c}{x}_1\\ x_2\\ 1\end{array}\right]$$
则直线上的点可以表示成$l^{T}x=0$. 注意这里$x$是齐次坐标表示。

那么对于直线$l$和$l^{\prime }$，两条直线的交点怎么表示？实际上就是二者的叉乘，即$x=l\times l^{\prime }$.

证明：

$x$在$l$上——$l^{T}x=l^T(l\times l^{\prime })$， 向量的叉乘垂直于任一向量，因此$l^T(l\times l^{\prime })=0$得证。

$x$在$l^{\prime }$上同理。

在3D平面中，一般用直线的方向$d=[a,b,c{]}^T$代表直线。一个直线由一个已知点$p_0$和方向向量决定，可以写成参数方程形式：
$$P(t)=p_0+td=[x_0+ta,y_0+tb,z_0+tc{]}^T$$
判定一个点$p=[x,y,z,1]$在平面上，假设平面的法向量为$n=[a,b,c]$, 记$\Pi =[a,b,c,d]$, 有$\Pi \cdot p=0$.

判定一个线$l$在平面上，有$l\cdot [a,b,c]=0$, 且直线上至少一个点在平面上.

2. 无穷远点，线，面

2.1 2D平面的无穷远点与直线

我们定义两个平行线的交点为无穷远点。在形式上，无穷远点的齐次坐标肯定是满足如下形式
$$x=\left[\begin{array}{c}{x}_1\\ x_2\\ 0\end{array}\right]$$
因为除以最后一个坐标0后，表示该点在无穷远处。

假设两个直线$l=[a,b,c{]}^T,l^{\prime }=[a^{\prime },b^{\prime },c^{\prime }{]}^T$平行，说明$\frac{a}{b}=\frac{a^{\prime }}{b^{\prime }}$. 这两个直线的交点为
$$l\times l^{\prime }=\det (\left[\begin{array}{ccccc}i& & j& & k\\ a& & b& & c\\ a^{\prime }& & b^{\prime }& & c^{\prime }\end{array}\right])=\left[\begin{array}{c}b{c}^{\prime }-c{b}^{\prime }\\ -(a{c}^{\prime }-a^{\prime }c)\\ a{b}^{\prime }-a^{\prime }b\end{array}\right]=\left[\begin{array}{c}b{c}^{\prime }-c{b}^{\prime }\\ a^{\prime }c-a{c}^{\prime }\\ 0\end{array}\right]$$
所以也符合无穷远点的形式。

我们可以继续化简：
$$\left[\begin{array}{c}b{c}^{\prime }-c{b}^{\prime }\\ a^{\prime }c-a{c}^{\prime }\\ 0\end{array}\right]=c^{\prime }\left[\begin{array}{c}b\\ -a\\ 0\end{array}\right]-c\left[\begin{array}{c}{b}^{\prime }\\ -a^{\prime }\\ 0\end{array}\right]$$
我们又知道$\frac{a}{b}=\frac{a^{\prime }}{b^{\prime }}$, 所以等号右边的两个向量其实是平行的，因此
$$\left[\begin{array}{c}b{c}^{\prime }-c{b}^{\prime }\\ a^{\prime }c-a{c}^{\prime }\\ 0\end{array}\right]\propto \left[\begin{array}{c}b\\ -a\\ 0\end{array}\right]$$
定理：所有无穷远点都汇集在一条线上，称为无穷远直线，这条直线为$l=[0,0,1{]}^T$

证明：

将$x=[b,-a,0{]}^T$代入$l^{T}x$立即得到$l^{T}x=0$.

2.2 3D空间中的无穷远点、直线与平面

在3D空间中，类比2D空间可以得到，无穷远点应该具有以下形式：
$$x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ 0\end{array}\right]$$
如果一个直线的方向向量为$d=[a,b,c{]}^T$, 那么该直线的无穷远点坐标为$x=[a,b,c,0{]}^T$. 与这个直线平行的其他直线，交点也是同一个无穷远点。

说明：

直线上的点满足直线的参数方程：$P(t)=p_0+td=[x_0+ta,y_0+tb,z_0+tc{]}^T$, 写成齐次坐标形式就是$[x_0+ta,y_0+tb,z_0+tc,1{]}^T$.

我们把每个坐标都除以$t$，这并不改变点的实际坐标，得到$[(x_0+ta)/t,(y_0+tb)/t,(z_0+tc)/t,1/t{]}^T$.

我们靠近无穷远点的形式，即令$t\to \infty$， 得到$[a,b,c,0{]}^T$. 所以，无穷远点坐标与$p_0$是无关了的，只与方向有关。

类似地，可以证明所有无穷远点都汇集在一个无穷远平面上，这个平面的法向量为$n_{\infty }=[0,0,0,1{]}^T$.

证明：

将$x=[x_1,x_2,x_3,0{]}^T$代入$n^{T}x$立即得到$n^{T}x=0$.

同样类比，两个平行平面，它们在无穷远处相交于一个公共线，叫做无穷远线。

可以这样理解：两个平面平行说明法向量$n_1=\alpha n_2$, $alpha$为一常数。这可以解出法向量坐标之间的约束关系。按照类似2D平面的推导过程，一定存在一个（唯一）的直线$l$满足$l$既在$n_1$也在$n_2$.

3. 影消点和影消线

3.1 2D平面上无穷远点、线的变换

考虑透视变换$H=\left[\begin{array}{cc}{A}_{2\times 2}& t_{2\times 1}\\ v_{2\times 1}^T& b\end{array}\right]$, 我们看看无穷远点经过透视变换会映射成什么：
$$\left[\begin{array}{cc}A& t\\ v& b\end{array}\right]\left[\begin{array}{c}a\\ b\\ 0\end{array}\right]=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$$
足以见得$z=a{v}_1+b{v}_2$不一定等于0. 所以，无穷远点经过透视变换不一定是无穷远点了。

相反，考虑仿射变换$H=\left[\begin{array}{cc}{A}_{2\times 2}& t_{2\times 1}\\ 0& 1\end{array}\right]$
$$\left[\begin{array}{cc}A& t\\ 0& 1\end{array}\right]\left[\begin{array}{c}a\\ b\\ 0\end{array}\right]=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$$
足以见得$z=0$. 所以，无穷远点经过仿射变换一定是无穷远点。

对于直线$l$，假设变换后直线为$l^{\prime }$, 对于$l$上的点$x$, 有$l^{T}x=0$, $x$变换后为$x^{\prime }=Hx$, 变换后的$x^{\prime }$肯定在$l^{\prime }$上:
$$\begin{gathered} l^{\prime T}{x}^{\prime }=0 \\ \to l^{\prime T}(Hx)=0 \end{gathered}$$
对比得$l^T=(l^{\prime T}H)\to H^T{l}^{\prime }=l\to l^{\prime }=(H^T{)}^{-1}l$.

有了变换公式后，如果是透视变换：
$$({\left[\begin{array}{cc}A& t\\ v& b\end{array}\right]}^T{)}^{-1}\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$$
显然$x,y$不一定为0. 所以无穷远线在透视变换下不一定能够保持。

如果是仿射变换：
$$({\left[\begin{array}{cc}A& t\\ 0& 1\end{array}\right]}^T{)}^{-1}\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{cc}{A}^T& 0\\ -t^T{A}^T& 1\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$$
所以无穷远线在仿射变换下一定能够保持。

3.2 影消点

**定义：**3D空间中的无穷远点，经过变换$M=K[R,T]\in {\mathbb{R}}^{3\times 4}$的变换后，映射到像素平面上的点$p=[p_1,p_2,p_3{]}^T$. 经过上面的推导，对于一般的变换，无穷远点经过变换后往往不会再保持。所以，这个点$p$就被称为影消点：

我们从影消点还能得到什么信息？

影消点与直线方向：直线方向$d=[a,b,c{]}^T$（相机坐标系下）和影消点$v$的关系是$v=Kd$.

证明：

前面说明了这两个平行直线上无穷远点的齐次坐标是$[a,b,c,0{]}^T$. 从相机坐标系到像素平面的映射为$M=K[I,0]=[K,0]$, 所以有

$v=M{p}_{\infty }=K[a,b,c{]}^T$.

从$v=Kd$立即得到（$d$是一个方向向量，模为1）
$$d=\frac{K^{-1}v}{||K^{-1}v||}$$

3.3 影消线

3D空间中，一个平面上的平行线交汇的无穷远点连起来在一条线上，即无穷远线。

根据前面的结论，无穷远线$l_{\infty }$经过透视变换后，可以变换到像素平面上的直线$l_h=(H^T{)}^{-1}{l}_{\infty }$, 这个线称为影消线。

为什么同一个平面的所有无穷远点共线？

设平行线方向向量为$[a,b,c]$, 则无穷远点齐次坐标$[a,b,c,0]$. 平面参数为$[A,B,C,D]$(即平面方程为$Ax+By+Cz+D=0$).

代入得$Aa+Bb+Cc=0$. 这实际上是2D平面上直线的方程（相当于2D平面齐次坐标为$[a,b,c]$, 直线参数为$A,B,C$. 所以实际上，(齐次坐标的最后一个值为0使得这个方程)退化成了一条2D平面上的直线。这个线就是无穷远线。

影消线与平面法向量：

3D空间中一个平面$\pi$，其对应的无穷远线为$l_{\infty }$, 映射到像素平面的影消线为$l_h$, 那么该平面的法向量为：
$$n=K^T{l}_h$$

证明：

对于$l_{\infty }$上的一个点$P$($P$也在平面上)，其投影到像素平面的坐标为$p=K[I,0]P$, $p$在$l_h$上，所以

$l_h^T(K[I,0]P)=0$

同时，$P$在平面上，

${\Pi }^{T}P=0$, 其中$\Pi =[A,B,C,D{]}^T$表示平面方程的系数，法向量$n=[A,B,C{]}^T$.

所以${\Pi }^T=l_h^T[K,0]$, 对应地，$n^T=l^{T}K$. 也即$n=K^T{l}_h$.

截止目前，我们得到了如下核心结论：

1. 影消点、直线方向和内参的关系：

   $v=Kd$ 或者$d=\frac{K^{-1}v}{||K^{-1}v||}$

2. 影消线，平面法向量和内参的关系：

   $n=K^T{l}_h$

3.4 3D重构

知道了前面的铺垫，我们现在开始重建3D场景。

为了估计相机的内参，我们还需要借助一个信息，即一个平面内两组平行线的夹角与影消点。

有两组平行线，方向向量分别为$d_1,d_2$. 在像素平面上的影消点为$v_1,v_2$:

在3D空间中，两组平行线的夹角为$\theta$, 其也是方向向量的夹角。所以：
$$\cos \theta =\frac{d_1\cdot d_2}{|d_1||d_2|}=(|d|=1)d_1\cdot d_2$$
借助我们前面知道的第一条信息，得到
$$\cos \theta =\frac{(K^{-1}{v}_1{)}^T}{\sqrt{(K^{-1}{v}_1{)}^T{K}^{-1}{v}_1}}\frac{K^{-1}{v}_2}{\sqrt{(K^{-1}{v}_2{)}^T{K}^{-1}{v}_2}}=\frac{v_1\omega v_2}{\sqrt{v_1^T\omega v_1}\sqrt{v_2^T\omega v_2}}$$
其中$\omega =(K^{-1}{)}^T{K}^{-1}$.

如果我们找在3D世界中 垂直的一组平行线（这里的一组指的是一对平行线$d_1$和一对平行线$d_2$），则cos为0，得到方程$v_1\omega v_2=0$. 内参矩阵有5个自由度，所以需要5组方程（5组平行线）来解。

我们可以把$K$的表达式代入$\omega$， 可以发现$\omega$是一个对称矩阵，且有以下结论：

1. ${\omega }_{12}=0$, 说明像素零倾斜（即内参矩阵中的$\theta$为90）。
2. 如果${\omega }_{11}={\omega }_{22}$, 说明像素点的宽高比为1（方形像素, $\alpha =\beta$）。

不妨做这两个假设（像素零倾斜，且方形像素），这样$\omega$的自由度减少为3. 这样我们找三组平行线即可。

解出$\omega$后，就可以得到内参矩阵$K$.

得到$K$之后，根据像素平面的影消线，就可以得出对应平面的法向量$n=K^T{l}_h$.

例子：

1. 找三个平面，可以取绿色、红色和地面，在这三个平面中各找一组平行线（要垂直！满足$\cos \theta =0$），并计算出像素平面的影消点。由此估计出内参矩阵$K$.
2. 对于每个平面，找一组平行线画出影消线（像素平面），根据$n=K^T{l}_h$重构出平面的法向量。但是不是所有的平面都能重建，比如这个人。