汽车环视算法原理及其实现

0.背景

       车载环视是一种常见的辅助驾驶技术，在车辆的车头、车位、左右后视镜处安装鱼眼相机并通过算法计算，可为驾驶员提供观察周围环境丰富的视角，从而提高驾驶安全性。另一方面，由于自动/辅助驾驶技术的火热与不断渗透，环视也是更高阶驾驶算法的重要数据来源与实现基础，譬如移动物体检测和A自主泊车等。下图是一张网上搜到的常见的环视算法展示效果。

1.功能

       这里把车载环视功能划分为三类：主要功能、辅助功能、进阶功能。

       首先是主要功能，主要是各种单视图、2D鸟瞰图、3D环视图、倒车辅助线。

       其次是辅助功能，主要是除了主要功能之外的2D/3D车模显示，雷达提醒显示，车辆状态显示（车门开关、转向灯等）。

       最后是进阶功能，包括色彩一致（减弱环视摄像头输入图像亮度/颜色不一致导致拼接图像存在的“色差”），车体透明（利用图像历史信息填充车底区域），动态标定（行车过程中实现环视标定）等。

       前面两类功能目前在很多车型上都十分常见且成熟；而最后的进阶功能则是产品差异化的体现，同时能够提升用户的使用体验。

2.技术方案

       硬件上主要是环视摄像头（一般为鱼眼相机）与计算平台的选型和数据的接入，这里主要阐述软件相关方案，下图是一个系统框架简图。

        环视算法的核心操作是4路摄像头图像的拼接得到鸟瞰图或者3D环视图，而在拼接之前需要通过标定获取每个摄像头的参数。摄像头参数包括内参和外参，前者包括光心坐标、焦距、畸变参数，后者用于描述摄像头坐标系相对于车辆坐标系的变换关系，前装环视标定一般在生产线完成。

       上述标定获得的参数已经提供了图像像素坐标系——摄像头坐标系——汽车坐标系的映射关系的计算，后续要做的就是图像的插值与拼接，从技术方面就是图像的网格插值操作，通过SIMD、多线程技术使用CPU或者直接使用GPU都可高效率实现。2D鸟瞰图和3D环视图的实现流程大抵相同，只不过在建立拼接网格模型上有所区别。另外由于OpenGLES的特性，它特别适合于3D环视拼接的应用实现。有关相机的标定与图像的变换操作我之前的几篇博客中有提及，可以作为参考。

       单视图的操作主要是对原始输入图做裁剪或者畸变校正，本质上仍然是图像网格插值操作；2D车模的显示则是图片数据的混合叠加，3D车模的显示一般通过OpenGLES渲染。

       利用接入车辆的其他信号，譬如通过方向盘转角结合车辆轴距等参数可计算行车线轨迹；利用雷达信号控制雷达标志显示；利用车辆轮速结合鸟瞰图拼接实现车体透明等功能。

3.功能实现

       目前已经实现了相对完备的车载环视算法，功能包括环视标定、2D鸟瞰图、3D环视图、单视图、雷达标记、动态行车辅助线、车体透明、色彩一致等，具体效果见下图 。算法利用平台GPU通过OpenGLES渲染，可实现1080P@25FPS的运行速度。