UniV2X：End-to-End Autonomous Driving through V2X Cooperation【过程中】

车路协同端到端

摘要

UniV2X目的：planning，
优点：

1. 提高感知、在线建图、障碍预测能力，最终提高规划
2. 传输通信友好
3. 带有可解释性混合数据的可靠数据融合

引言

引入概念

VICAD（vehicle-infrastructur cooperative autonomous driving），车路协同自动驾驶。可以被定义为有限带宽条件下的多视角传感器输入的planning优化问题。 本文中VICAD的输出是纯视觉信息。

VICAD存在的挑战：

1. 必须对关键模块以及最终的规划表现有所收益
2. 最小化传输成本
3. 数据必须是可解释/可判断的，可以让车端判断数据可用性，以及防止通信过程中出现的信息安全问题。

任务划分

为了实现规划，可以将前置操作划分为三个主要任务

1. 主体感知，即交通参与者的感知与追踪
2. 道路检测、交通元素检测（可用于无图方案）
3. 占用栅格预测（OCC）

当前已有方案：

1. CSA直接将其他车辆的原始图片输入基础网络来输出控制量
2. CooperNaut在车辆和基础设施之间传输来自于点云的特征，并使用基础的CNN来获取最终输出。

当前方案的缺点：

1. 使用简单方案
2. 缺少各个模块的显示表达，损失了安全性和可解释性。

本文工作

因此UniV2X搭建了一个将关键模块和多视角整合到统一网络中的协同自动驾驶框架。使用query来进行车端（自车）、路端（基础设施）以及多视角三个节点之间进行数据传输。
针对UniV2X的框架设计，主体感知（agent perception）和道路元素检测（road element detection）被划分为实例级别表达，占用预测（occ）划分为场景级别的表述。
通过混合传输（sparse-dense hybrid transmisstion）同时传递实例级别表达（实例的query和道路的query用于多视角交叉感知和在线建图）和场景级别的表达（障碍概率图特征用于occ）。

---

Method

3.2
场景表示

1. 对象感知
2. 在线建图
3. 占用栅格预测

数据传输

1. 原始数据
2. 感知结果
3. 中间过程数据

3.3 稀疏-稠密混合数据

3.4 多视角数据融合（感知目标）

3.5 多视角数据融合（车道线目标）

3.6 多视角数据融合（占用目标）

3.7 规划输出

3.8 训练

4.实验