针孔相机模型，鱼眼相机模型，单目标定

最新推荐文章于 2024-12-30 14:14:38 发布

ZhangP.H

最新推荐文章于 2024-12-30 14:14:38 发布

阅读量1.6k

点赞数 3

分类专栏：图像处理单目相机自动驾驶文章标签：自动驾驶 slam 图像处理

作者保留文章所有权利

本文链接：https://blog.youkuaiyun.com/weixin_40106401/article/details/120754982

版权

图像处理同时被 3 个专栏收录

1 篇文章

订阅专栏

单目相机

1 篇文章

订阅专栏

自动驾驶

1 篇文章

订阅专栏

本文详细介绍了单目相机的模型，包括统一模型、坐标映射流程和畸变模型，阐述了径向畸变和切向畸变的概念，并讲解了去畸变的方法。同时，讨论了在实际应用中如何建立像素坐标与3D坐标的关系以及相机标定的过程，包括标定思路、原理和实现。最后，提到了相机标定的关键步骤和相关资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

单目相机

一、单目相机模型：

1.相机模型：

1.1统一模型：

无论是针孔相机还是鱼眼相机，其实可以归类成一个相机模型（畸变方式有差别而已），模型如下：

首先，看坐标轴，该模型以光心为相机坐标系原点，Z轴就是日常生活中的相机朝向，X和Y轴为垂直相机朝向的平面；
其次，看坐标点， $P$ 为在相机坐标系下的三维空间中的一点，坐标是 $(X, Y, Z)$ ;其余四个坐标点的意思为（可以先不用理解这四个坐标点，后续会解释）：

$P^{'}(\frac{X}{Z},\frac{Y}{Z},1)$ ： $P$ 投影在归一化平面上的点，坐标有三角形相似推出；
$P^{''}(\frac{X}{Z}f,\frac{Y}{Z}f,f)$ ： $P$ 投影在成像平面上的点，坐标有三角形相似推出；
$P_d^{'}$ ： $P^{'}$ 在镜头畸变后的点，d是distortion的缩写；
$P_d^{''}$ ： $P^{''}$ 在镜头畸变后的

最后，看三个平面，归一化平面是相机坐标系下Z=1时的平面，成像平面是Z=f时的成像平面，像素平面是和成像平面重叠的有范围限制的被像素离散了的平面。

需要说明的是，真实相机在物理上，相机成像平面和像素平面本来是再光心后的，但为了便于分析，通常将两个平面对称到图上位置，相机通常会在数字图像处理时会在X和Y轴方向对称处理下，因而下图这样的模型和现实坐标结果一致。
在这里插入图片描述

1.2坐标映射流程：

3D世界中的某点 $P$ 的光通过镜头进入相机，理想情况下，会直线传播依次到达 $P^{'}$ 和 $P^{''}$ ;
成像平面上点 $P^{''}$ 经传感器采样，转换到左上角为像素坐标原点的图像坐标系中得到uv坐标；

以上过程为理想过程，也就是最简单的针孔相机模型（下式中间矩阵就是内参矩阵 $K$ ）：

$\begin{bmatrix} u\\ v\\1\end{bmatrix}=\frac{1}{Z}\begin{bmatrix} f_x & 0 & C_x\\ 0 & f_y & C_y\\ 0 & 0 &1\end{bmatrix} \begin{bmatrix} X\\ Y\\Z\end{bmatrix}$

然而现实是， $P$ 到 $P^{'}$ 时（也即光从镜头进入相机归一化平面时）会有镜头引起的畸变（具体畸变类型下面有讲），从而导致从 $P^{'}$ 变成了 $P^{'}_d$ ， $P^{'}_d$ 会继续按照之前的映射变成 $P^{''}_d$ ，因而可以看出如何计算出从 $P^{'}$ 到 $P^{'}_d$ 最重要，这个过程就是畸变模型。

2.畸变模型：

2.1畸变模型概念：

畸变模型是相机模型中的一个子问题，请注意区分。

畸变模型分为两类，径向畸变和切向畸变：
径向畸变是，距离光心距离不同的点的畸变程度不一样
切向畸变，成像平面与小孔平面不平行引起侧倾

在这里插入图片描述

桶形失真就是距离图像中心越远，原来的光点就被拉向中心越多，枕形失真相反；

2.2常用的畸变模型：

针孔相机畸变模型：

在这里插入图片描述

鱼眼相机畸变模型：

这里的 $x_n,y_n)$ 就是 $P^{'}$ 的前两项， $x_d,y_d)$ 就是 $P^{''}$ 的前两项，在归一化平面上Z坐标都为1；

2.3去畸变方法：

畸变参数和相机内参都可以通过标定求得，得到畸变参数后，如何进行去畸变呢？

答：根据要求取的像素平面位置 $u v$ ，计算对应无畸变的归一化平面图像坐标 $P^{'}$ ，找到这个坐标在畸变模型下的位置 $P^{'}_d$ ，进而找到相机模型下转移到当前畸变像素的位置 $P^{''}_d$ 和 $uv_d$ ，然后取出来放到真实像素平面（找到 $uv_d$ 可能不是整数，会用到双线性插值）

3.相机使用

在实际相机使用过程中，我们最大的需求是：建立像素坐标 $u v$ 和真实3D坐标 $P$ 的对应关系。

一般真实坐标并不是以相机坐标系为坐标系，而是在其他坐标系（如下图的世界坐标系，也可是其他传感器，如IMU等）下的坐标

$R_{cw}$

坐标转换（原理详见视觉SLAM十四讲前几章节）：

$X_c=\begin{bmatrix}R_{cw} & T_{cw}\end{bmatrix}\begin{bmatrix}X_w\\ 1\end{bmatrix}$

归一化处理：

$P^{'}=\begin{bmatrix}\frac{X_c(0)}{X_c(2)}\\ \frac{X_c(1)}{X_c(2)}\\ 1\end{bmatrix} = \begin{bmatrix}x_n \\ y_n\\ 1\end{bmatrix}$

畸变处理：根据上述畸变模型计算

$P^{'}_d=\begin{bmatrix}x_d \\ y_d\\ 1\end{bmatrix}$

内参转换：

$\begin{pmatrix}u\\ v\\ 1\end{pmatrix}=\begin{pmatrix}f_x & 0 & C_x\\ 0& f_y & C_y\\ 0&0 &1 \end{pmatrix}\begin{bmatrix}x_d \\ y_d\\ 1\end{bmatrix}$