三维重建系列之：世界坐标系、相机坐标系和像素坐标系的基本概念和相互转换

---

一、前言

在现代计算机视觉和机器人导航系统中，理解和应用不同坐标系及其相互转换是至关重要的。本博客文章将深入探讨三种关键的坐标系：世界坐标系、相机坐标系和像素坐标系。我们将详细解释每个坐标系的基本概念，并提供这些坐标系之间转换的详细公式。通过这些知识，我们可以更好地理解和实现复杂的视觉处理任务，如3D重建、物体跟踪和场景理解。

---

二、基本概念

世界坐标、相机坐标和像素坐标是计算机视觉和图像处理中经常使用的三种坐标系统。它们之间的转换是3D图形和机器视觉领域的基础。下面我将详细解释这三种坐标系统及它们之间的转换公式：

1. 世界坐标系（World Coordinates）

世界坐标系是一个全局的坐标系统，用于定义场景中物体的位置。在这个坐标系中，每个物体的位置都是相对于一个全局原点来描述的。

2. 相机坐标系（Camera Coordinates）

相机坐标系是相对于相机的位置来定义物体的坐标系统。在这个坐标系中，原点通常位于相机的光心，即相机镜头的中心。Z轴通常与相机的观察方向一致，X和Y轴定义相机平面。

3. 像素坐标系（Pixel Coordinates）

像素坐标系是图像上的二维坐标系统，用于定义图像上每个像素的位置。原点通常位于图像的左上角，X轴从左到右延伸，Y轴从上到下延伸。

---

三、相互转换

1. 从世界坐标系到相机坐标系（World to Camera）

世界坐标$P_w=(X_w,Y_w,Z_w)$转换到相机坐标$P_c=(X_c,Y_c,Z_c)$通常通过以下公式完成：

$$P_c=R\cdot (P_w-C)$$

• $R$是一个 3x3 旋转矩阵，表示相机相对于世界坐标系的旋转。
• $C$是相机在世界坐标系中的位置，$P_w-C$表示将原点平移到相机位置。

通常，这个过程被表示为一个4x4齐次坐标变换矩阵，称为外参数矩阵$M_{ext}$:

$$M_{ext}=\left[\begin{array}{cc}R& -R\cdot C\\ 0& 1\end{array}\right]$$
也可以表示为
$$M_{ext}=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]$$

具体的计算步骤如下：

1. 平移变换：
   为了将世界坐标点转换到相对于相机的位置，首先需要对世界坐标点进行平移。平移的目的是将相机视为新的原点。这可以通过减去相机在世界坐标系中的位置$C$来实现：

$$P_{translated}=P_w-C$$

这个步骤实质上是将整个坐标系向反方向移动，直到相机的位置成为新的坐标原点。

2. 旋转变换：
   接下来，应用旋转矩阵$R$来调整平移后的坐标点，使其与相机的朝向一致。这一步是必要的，因为相机的朝向可能与世界坐标系的轴不一致。旋转矩阵$R$考虑了这一差异，并正确地调整点的方向：

$$P_c=R\cdot P_{translated}$$

这一步确保了点在相机坐标系中的方向正确表示。

将以上两个步骤整合到一个4x4的齐次坐标变换矩阵中，我们可以使用$M_{ext}$来直接从世界坐标转换到相机坐标：

$$M_{ext}=\left[\begin{array}{cc}R& -R\cdot C\\ 0& 1\end{array}\right]$$

或者，如果直接使用平移向量$t$（通常定义为$t=-R\cdot C$），矩阵可以表示为：

$$M_{ext}=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]$$

在实际应用中，当你有一个世界坐标$P_w$时，可以通过以下操作直接计算相机坐标：

$$P_c=M_{ext}\cdot \left[\begin{array}{c}{P}_w\\ 1\end{array}\right]$$

2. 从相机坐标系到世界坐标系（Camera to World）

当有一个点在相机坐标系中$P_c=(X_c,Y_c,Z_c)$并希望将其转换回世界坐标系$P_w$，需要使用外参矩阵的逆变换：

$$P_w=R^T\cdot P_c+C$$

• $R^T$是旋转矩阵$R$的转置，它将点从相机坐标系旋转回到世界坐标系。
• $C$是相机在世界坐标系中的位置，表示平移向量。

外参矩阵的逆可以表示为：

$$M_{ext}^{-1}=\left[\begin{array}{cc}{R}^T& -R^T\cdot C\\ 0& 1\end{array}\right]$$

这样，可以使用$M_{ext}^{-1}$来将相机坐标转换为世界坐标。具体步骤如下：

1. 构造齐次坐标：首先，将相机坐标点$P_c$表示为齐次坐标形式，即$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$。

2. 应用外参矩阵的逆：然后，使用外参矩阵的逆$M_{ext}^{-1}$来进行坐标转换。外参矩阵的逆$M_{ext}^{-1}$定义为：

$$M_{ext}^{-1}=\left[\begin{array}{cc}{R}^T& -R^T\cdot C\\ 0& 1\end{array}\right]$$

其中，$R^T$是旋转矩阵$R$的转置，$C$是相机在世界坐标系中的位置，表示为平移向量。这里的$-R^T\cdot C$是将平移向量调整为相对于相机的位置。

3. 计算世界坐标：应用外参矩阵的逆，将相机坐标转换为世界坐标：

$$P_w=M_{ext}^{-1}\cdot \left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$$

这将输出$P_w$的齐次坐标形式，通常为$\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$。

3. 从相机坐标系到像素坐标系（Camera to Pixel）

相机坐标$P_c=(X_c,Y_c,Z_c)$转换到像素坐标$p=(u,v)$的公式涉及内参矩阵：

$$p=K\cdot \left[\begin{array}{c}{X}_c/Z_c\\ Y_c/Z_c\\ 1\end{array}\right]$$

• $K$是内参数矩阵：

$$K=\left[\begin{array}{ccc}{f}_x& s& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$$

• $f_x,f_y$是相机的焦距（以像素为单位）。
• $c_x,c_y$是图像的主点坐标。
• $s$是像素的偏斜系数，通常设为0。

4. 从像素坐标系到相机坐标系（Pixel to Camera）

逆向从像素坐标$p=(u,v)$转换回相机坐标$P_c=(X_c,Y_c,Z_c)$需要内参矩阵的逆：

$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=Z_c\cdot K^{-1}\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$$

这里，当偏斜系数$s$为 0 时，内参数矩阵$K$及其逆矩阵$K^{-1}$分别为：

$$K=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$$

$$K^{-1}=\left[\begin{array}{ccc}\frac{1}{f_x}& 0& -\frac{c_x}{f_x}\\ 0& \frac{1}{f_y}& -\frac{c_y}{f_y}\\ 0& 0& 1\end{array}\right]$$

将$K^{-1}$应用于像素坐标转换公式中，我们得到：

$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=Z_c\cdot \left[\begin{array}{ccc}\frac{1}{f_x}& 0& -\frac{c_x}{f_x}\\ 0& \frac{1}{f_y}& -\frac{c_y}{f_y}\\ 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$$

• $Z_c$是相机坐标系中的深度值，必须另外确定或假设。

这个转换公式可以用来从图像坐标重构三维空间中的点位置，尤其是在结合深度信息时。

5. 从世界坐标系到像素坐标系（World to Pixel）

要直接从世界坐标$P_w$转换到像素坐标$p$，需要联合使用外参矩阵$M_{ext}$和内参矩阵$K$。整个过程可以表示为：

1. 首先使用外参矩阵将世界坐标转换为相机坐标：

   $$P_c=M_{ext}\cdot \left[\begin{array}{c}{P}_w\\ 1\end{array}\right]$$

2. 然后，使用内参矩阵将相机坐标转换为像素坐标：

   $$p=K\cdot \left[\begin{array}{c}{X}_c/Z_c\\ Y_c/Z_c\\ 1\end{array}\right]$$

这样，通过这两步，可以直接将世界坐标系中的点转换到图像的像素坐标系。上面的公式合在一起就是
$$p=K\cdot M_{ext}\cdot \left[\begin{array}{c}{P}_w\\ 1\end{array}\right]$$

• $M_{ext}$是外参矩阵，将世界坐标转换为相机坐标。
• $K$是内参矩阵，将相机坐标转换为像素坐标。

6. 从像素坐标系到世界坐标系（Pixel to World）

在计算机视觉中，将像素坐标转换回世界坐标涉及内参矩阵$K$、外参矩阵$M_{ext}$和深度信息$Z_c$的综合应用。这些步骤确保了从二维图像空间到三维物理空间的准确映射。下面详细解释整个转换过程，包括相机外参矩阵的角色：

1. 像素坐标到归一化相机坐标：
   • 使用内参矩阵$K$的逆将像素坐标$(u,v)$转换为归一化的相机坐标$(X_c,Y_c,1)$。这一步可以表示为：

$$\left[\begin{array}{c}{X}_c\\ Y_c\\ 1\end{array}\right]=K^{-1}\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$$

这一步解除了摄像机的内在畸变，包括焦距和主点坐标的调整。

2. 考虑深度信息$Z_c$：
   • 将归一化坐标乘以深度$Z_c$，以获得三维空间中的相机坐标：

$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=Z_c\cdot \left[\begin{array}{c}{X}_c\\ Y_c\\ 1\end{array}\right]$$

3. 完整的像素到世界坐标的转换公式：
   • 综合以上步骤，完整的转换公式可以表示为：

$$P_w=R^T\cdot (Z_c\cdot K^{-1}\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]-t)$$

这里$R^T$和$-t$反映了相机从世界坐标系到相机坐标系的逆变换。这一步确保了任何从图像中得到的点都可以被精确地映射回它在物理世界中的位置。

通过以上描述，我们可以看到世界坐标、相机坐标和像素坐标这间的的完整转换路径。这些转换在计算机视觉系统中是基础且至关重要的。对于不同的应用场景，可能需要适当调整这些公式中的参数，以适应具体的相机配置和场景几何。

---

四、总结

坐标系及其转换在计算机视觉领域占据核心地位。理解如何从一个坐标系转换到另一个坐标系，不仅是理论上的需要，也是实际应用中不可或缺的技能。本文提供的深入分析和详细的转换公式，使得读者能够更好地应对涉及复杂视觉信息处理的挑战。通过精确地处理这些转换，我们可以增强机器对环境的感知能力，进一步推动自动化和智能化技术的发展。