MapBEVPrediction项目中使用Mini nuScenes数据集训练HiVT模型的实践指南

MapBEVPrediction项目中使用Mini nuScenes数据集训练HiVT模型的实践指南

MapBEVPrediction [ECCV 2024] Accelerating Online Mapping and Behavior Prediction via Direct BEV Feature Attention 项目地址: https://gitcode.com/gh_mirrors/ma/MapBEVPrediction

背景介绍

MapBEVPrediction是一个基于鸟瞰图(BEV)的自动驾驶预测框架，其中HiVT模型是其核心预测组件之一。在实际开发过程中，开发者经常需要使用Mini nuScenes数据集进行快速验证和调试，但官方文档中缺少关于如何准备Mini训练集的具体说明。

数据集准备的关键问题

在MapBEVPrediction项目中，完整的数据处理流程需要两个关键文件：原始数据集和经过预处理的轨迹数据。对于Mini nuScenes数据集，项目仓库中仅提供了验证集(gt_mini_val.pickle)，而缺少训练集(gt_mini_train.pickle)的生成方法。

数据预处理流程详解

1. 原始数据准备：首先需要按照标准流程准备nuScenes Mini数据集，包括下载和配置相关文件路径。

2. 轨迹数据处理：使用项目提供的adaptor.py脚本将原始数据转换为模型可用的格式，这需要gt_mini_train.pickle文件作为输入。

3. 数据结构解析：预处理后的数据采用特定结构组织：

   • 以sample_token作为主键
   • 包含gt_lines(地图元素坐标)和gt_labels(类别标签)两个主要字段
   • gt_labels使用0、1、2分别表示边界线、人行横道和分隔线等类别

生成gt_mini_train.pickle的解决方案

虽然官方未直接提供gt_mini_train.pickle，但开发者可以通过以下方法自行生成：

1. 参考可视化代码：项目中的可视化脚本包含了从原始数据提取地图元素坐标的关键逻辑，可以修改该脚本实现数据导出功能。

2. 数据提取要点：

   • 遍历Mini训练集中的所有样本
   • 对每个样本提取地图元素的坐标点和类别信息
   • 按照标准格式保存为pickle文件

3. 注意事项：

   • 类别标签顺序需要与模型预期保持一致
   • 坐标点需要转换为模型使用的统一坐标系

模型训练建议

1. 数据集限制：需要注意的是，nuScenes Mini训练集样本量较少，可能无法训练出性能良好的模型，更适合用于调试和验证流程。

2. 预训练模型适配：使用预训练模型时，需要注意模型架构版本与代码的兼容性，必要时需要进行适当的权重转换或模型结构调整。

实践总结

在MapBEVPrediction项目中使用Mini数据集进行开发和调试时，开发者需要自行完成训练集数据的预处理工作。通过理解项目的数据组织方式和参考现有代码，可以构建完整的数据处理流程。同时需要注意Mini数据集在模型训练中的局限性，合理设置开发预期。

MapBEVPrediction [ECCV 2024] Accelerating Online Mapping and Behavior Prediction via Direct BEV Feature Attention 项目地址: https://gitcode.com/gh_mirrors/ma/MapBEVPrediction