6、鱼眼相机在自动驾驶中的环境感知技术解析

鱼眼相机在自动驾驶中的环境感知技术解析

1. 广角相机成像原理

广角相机的成像步骤与普通相机相似，主要区别在于聚光的镜头部分。为了获得更大的视野（FoV），广角相机有三种聚光方式：
- 折射投影（Dioptric Projection） ：相机利用镜头通过光的折射实现成像，典型的相机是鱼眼相机。
- 折反射投影（Catadioptric Projection） ：使用标准相机和镜子，可在水平面提供 360 度的视野，在仰角方向提供大于 100 度的视野，典型相机是全向相机。
- 多折射投影（Polydioptric Projection） ：通过组合多个标准相机来扩展视野，典型相机是全景相机。

2. 语义理解

2.1 鱼眼图像语义分割

传统语义分割算法在处理鱼眼图像时，由于鱼眼图像的非线性畸变，表现不佳。因此，研究人员提出了多种解决方案：
- 自适应网络（Adaptive Networks）
- Hanisch 等人使用均值漂移分割算法提取原始鱼眼图像的超像素，将超像素分为地面、天空和障碍物三类，并从地面中提取可通行区域。
- Baek 等人提出了一种用于检测可行驶区域的底部网络，该网络以给定图像的每个垂直列作为输入，对该列对应的障碍物底部的像素位置进行分类，所有列的并集构成可行驶区域或路缘区域。
- 数据增强（Data Augmentation）
- Blott 等人利用普通图像生成鱼