萤火跑模型 | 多卡并行助力 BEVFormer 三小时全精度训练

幻方AI小编

已于 2022-10-26 16:53:36 修改

阅读量2.2k

点赞数 1

分类专栏：幻方AI模型实践文章标签：深度学习计算机视觉人工智能

于 2022-10-08 16:39:20 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_66945478/article/details/127210734

版权

本文介绍了BEVFormer模型在自动驾驶感知中的重要性，以及在多GPU并行训练时遇到的性能下降问题。幻方AI通过3FS、ffrecord和hfai.autotune等工具进行优化，成功在3小时内用160张GPU重现了模型精度。文章详细探讨了训练优化过程，为研究者提供效率提升的思路。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

感知系统是自动驾驶系统中不可或缺的部分，系统中包括许多视觉任务，例如目标检测分割、目标跟踪、语义和实例分割、车道线检测等等。感知系统通过对周围环境状态的准确估计，为预测、规划等下游任务提供重要的依据。其中如何利用车载环视相机采集到的多个视角图像，实现精准的 3D 目标检测和分割是感知系统中最为基础且重要的任务。

2021年9月特斯拉的 AI Day 上，Karpathy 展示了他们的纯视觉自动驾驶感知框架，核心是基于 Transformer 网络结构，在鸟瞰图（BEV，Bird’s eye view）视角下进行感知，紧随其后，学术界也逐渐涌现了基于 Transformer 和 BEV 的优秀工作，其中 BEVFormer 通过构建时空融合网络，在 nuScenes 和 Waymo 的检测比赛上都榜上有名，受到了诸多关注。

然而，最近不少学者和开发者在复现优化 BEVFormer 模型时发现，当使用多显卡加速模型的训练时，随着并行 GPU 数的增加，训练最终的结果反而变差了。这无疑对自动驾驶模型的产业落地造成了不少制约。

幻方 AI 最近对 BEVFormer 进行了整理和优化，分析了其多显卡并行训练精度降低的原因。通过幻方自研的 3FS、ffrecord 对模型训练进行提速；利用 hfai.autotune 进行自动集群参数的搜索，最终在幻方萤火集群上耗时差不多三小时完成了 BEVFormer 的大规模多卡并行训练，并实现了最终精度的复现。

本期文章将为大家详细描述我们的训练优化过程，为研究者和开发者们提供效率提升的思路。

论文标题：BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers

原文地址：https://arxiv.org/abs/2203.17270

项目主页：https://github.com/HFAiLab/BEVFormer