超级会员免费看
研究提出了一种名为GenAD的自动驾驶通用视频预测模型，该模型基于大规模数据集OpenDV-2K，包含2059小时的驾驶视频，旨在提升模型在不同环境下的泛化能力。GenAD采用了时间推理块，能进行因果推理和处理视角变化，通过两阶段学习，从图像生成到视频预测，展示了在零样本推广、语言和动作条件预测等方面的优势。此外，还介绍了数据集的多样化收集和标注方法，以增强模型的可控性和样本质量。
24年3月，上海AI Lab联合香港科技大学、香港大学等发布Generalized Predictive Model for Autonomous Driving。作者提出了通用的大规模自动驾驶视频预测模型GenAD，在实现过程中，进一步提出了迄今为止最大的自动驾驶场景训练数据集OpenDV-2K。
OpenDV-2K数据集具有开放领域的多样性：地理位置，地形，天气条件，安全关键场景，传感器设置，交通要素等。
- 从YouTuber获取公开驾驶视频数据，然后使用VLM（如BLIP-2）模型的语言上下文来标注、描述每个帧。
- 手工过滤带某些关键字（如Words, Watermark, Dark, Blurry）的黑帧或扭曲的过渡帧。
- 对来自YouTuber的视频构建了两种类型的文本，Ego-vehicle的驾驶命令Command和帧上下文Context，分别帮助模型理解自车动作和周边其他智能体行为。对于命令Co
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
