书评&学习笔记《自动驾驶汽车环境感知》

随笔

我读这本书是希望能对自动驾驶感知有一个框架式的了解。
优点：

• 专门介绍感知的书很少，这本书填补了这一块空白。做到了对感知有一个全方位的介绍。追求更详细的感觉可以直接看论文。
• 编排结构合理。
• 成书稍晚，选材也新一些。

缺点：

• 一是这本书的内容介绍方式比较随意，有的小节会介绍低层具体模型、公式；有的小节是从高层角度来谈。这些内容没有内化，形成更深入的理解。
• 二是这本书的小错误太多，也不规范，比如参考文献没有对上、错标、格式不整齐；卡尔曼滤波的公式符号写错，加粗与否没有仔细斟酌。可能有编者们工作也比较忙，内容也比较新的原因。

版本：2020年6月
页数：186
字数：30.3K

这里记录一些关键内容

---

第1章 感知概述

环境信息主要用于状态感知和V2X网联通信。

---

第2章 传感器介绍

• 摄像头、激光雷达、毫米波雷达、超声波雷达、惯性导航
  • 《第一本无人驾驶技术书 第2版》介绍了图像级高清激光雷达
• 优缺点、在自动驾驶中的应用
• P21有个总结表

---

第3章 传感器标定

目的是将两个或多个传感器变换到统一的时空坐标系。

摄像头

• 内参
  • 畸变：径向畸变误差、切向畸变误差
  • 标定方法：
    • 平面标定模式：一块标定板、张正友标定法
    • 自标定：需要大量精准图像
• 外参：确定多摄像头的位置关系
  • PnP问题、光束平差法
  • 典型外参标定：双目摄像头之间、长焦摄像头与广角摄像头之间

激光雷达

• 激光雷达与激光雷达之间
• 激光雷达与摄像头之间：使用标定目标（RANSAC）、自标定（离线标定）

联合标定

同时标定两组以上的外参
实验结果：长焦到&短焦、摄像头到多线激光雷达、毫米波雷达到激光雷达

---

第4章 计算机视觉与神经网络

• 视觉皮层发现了某一部分只对某一特定频率的信号敏感，这很像不同的滤波算子。
• CV在自动驾驶的作用：双目视觉获取深度、点云检测、运动估计、物体检测识别与追踪、场景分割、SLAM
• PReLU：带参数的ReLU。softplus
• GoogleNet、ResNet、DenseNet、SENet

---

第5章 环境感知与识别

感觉5、6两章是最重要的内容

障碍物检测

• 基于图像
  • 二维
    • 一阶段：YOLO系列、SSD
    • 二阶段：FasterRCNN、MS-CNN《第一本无人驾驶技术书》
  • 三维：检测长方体。
    • 准确率：激光雷达>双目摄像头>单目摄像头
    • YOLO3D
      • 地面平行假设
• 基于激光雷达
  • 基于几何特征
  • VoxelNet：体素划分与分组、随机抽样。VoxeVoxel Feature Encoder将点云转换为描述性的volumetric表示形式
• 基于视觉和激光雷达融合 （感觉这里实际上是在说标定问题）
  • 需要考虑空间&时间上的融合

车道线检测

• 基于传统计算机视觉
  • 基于道路特征：颜色特征、纹理特征、多特征融合
  • 基于道路模型：直线模型、双曲线道路模型
• 基于深度学习：看做分割or分类问题
  • LaneNet（实例分割） + H-Net（转换矩阵）
  • SCNN：将第一片输出加到下一片作为输入，重复卷积，直到处理完最后一片
• 基于激光雷达：解决视觉检测在被水覆盖、光照不好时的问题
  • 基于反射强度信息的方法

红绿灯检测

相比于一般检测，红绿灯太小。针对小目标，大致方法有：图像金字塔、逐层卷积、特征金字塔、空洞卷积、RNN思想

• 基于传统视觉方法：