博客探讨了如何从环视图像中获取Bird's Eye View（BEV）表示，特别是用于自动驾驶的BEV语义分割。IPM（逆透视映射）是一种传统方法，但其依赖固定相机外参和平坦地面假设。文章讨论了IPM的限制和改进，并指出收集标注数据的挑战。BEV Seg在预测和规划任务中优于SLAM，因为它不依赖高度信息。最后，文章提到了lidar和vision-based BEV转换的难度以及数据收集的不同策略。
参考：https://towardsdatascience.com/monocular-birds-eye-view-semantic-segmentation-for-autonomous-driving-ee2f771afb59
有源传感器（lidar or radar）得到的数据，天然就是一种bev表示（x-y平面）；
如何利用环视图像可以得到bev？
2D图像本质上是3D空间在2D平面上的投影，如果反过来得到bev表示是一个 inherently ill-posed problem。
这其中会有一些先验，可以简单分为硬先验和软先验；
硬先验
- 相机内参，外参
软先验
- 道路的布局等
- 在BEV下，汽车之间不存在重叠等
为了解决这个问题，传统上一个常见的做法是IPM（inverse perspective mapping，逆透视映射），但这个方法会依赖这些假设：1. 固定的相加外参；2. 地平面平坦假设。
但是当相机外参变化时，或者非平坦表面或崎岖不平的道路，该方法就逐渐失效了。
IPM也是一个研究方向，实际做IPM可以加一些直线约束。IPM变化的一个例子如下：
最低0.47元/天 解锁文章
扫一扫
914
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
