Waymo Open Dataset中E2E驾驶数据的10Hz相机序列访问方法解析

Waymo Open Dataset中E2E驾驶数据的10Hz相机序列访问方法解析

waymo-open-dataset Waymo Open Dataset 项目地址: https://gitcode.com/gh_mirrors/wa/waymo-open-dataset

数据背景

Waymo Open Dataset的端到端驾驶(E2E)子集提供了丰富的传感器数据，其中包含8个方向(前、前左、前右、左侧、右侧、后、后左、后右)的相机图像。根据官方文档说明，每个驾驶片段都包含10Hz的相机视频序列，训练数据持续20秒，测试数据持续12秒。

技术挑战

许多开发者在实际使用中发现，虽然文档提到了完整的视频序列，但在提供的示例代码中只能获取当前时间戳的8张相机图像。这给需要时序分析的研究带来了困难，特别是需要访问历史帧图像时。

解决方案详解

数据组织结构

E2E数据集中的每个帧数据都包含两个关键标识符：

1. 序列名称(sequence_name)：标识所属的驾驶片段
2. 样本索引(sample_idx)：标识该帧在序列中的位置

这些信息可以通过解析帧数据中的context.name字段获得，格式为"序列名称-样本索引"。

完整序列获取方法

要获取完整的相机序列，需要以下步骤：

1. 数据遍历：首先需要遍历整个数据集中的所有帧
2. 序列聚合：将属于同一序列的帧按照样本索引排序
3. 图像提取：从排序后的帧中提取各时间点的相机图像

示例处理流程：

# 初始化数据集
dataset = tf.data.TFRecordDataset(filenames, compression_type='')
dataset_iter = dataset.as_numpy_iterator()

# 获取目标序列
target_frame = next(dataset_iter)
target_data = wod_e2ed_pb2.E2EDFrame()
target_data.ParseFromString(target_frame)
target_sequence, _ = target_data.frame.context.name.split('-')

# 聚合序列帧
sequence_frames = []
for frame_bytes in dataset:
    frame_data = wod_e2ed_pb2.E2EDFrame()
    frame_data.ParseFromString(frame_bytes.numpy())
    sequence, _ = frame_data.frame.context.name.split('-')
    
    if sequence == target_sequence:
        sequence_frames.append(frame_data)

# 按样本索引排序
sequence_frames.sort(key=lambda x: int(x.frame.context.name.split('-')[1]))

性能优化建议

由于数据集中的记录不是按序列顺序存储的，这种聚合方法在大型数据集上可能效率较低。建议：

1. 先建立序列索引表
2. 对数据进行预处理和缓存
3. 考虑使用并行处理加速数据加载

相关数据特性说明

1. 位姿信息：车辆的相对6-DoF位姿可以通过未来轨迹位置推算获得
2. 数据内容：E2E数据集主要包含轨迹和图像数据，不包含物体和地图标注
3. 时间分辨率：10Hz的采样率适合大多数行为预测和轨迹规划研究

最佳实践

对于需要处理完整序列的研究，建议：

1. 预先处理并缓存整个序列数据
2. 建立高效的数据索引机制
3. 考虑使用数据流水线技术优化IO性能

通过这种方法，研究人员可以充分利用E2E数据集提供的完整时序信息，为自动驾驶算法的开发提供更丰富的数据支持。

waymo-open-dataset Waymo Open Dataset 项目地址: https://gitcode.com/gh_mirrors/wa/waymo-open-dataset