lovely_yoshino的博客

在研究自主运动规划问题之前，首先需建立相对较为完整的自主运动规划体系，再由该体系作为指导，对自主运动规划的各项具体问题进行深入研究。本节将根据自主机器人的思维方式、运动形式、任务行为等特点，建立与之相适应的自主运动规划体系。并按照机器人的数量与规模，将自主运动规划分为单个机器人的运动规划与多机器人协同运动规划两类规划体系。运动规划系统是自主控制系统中主控单元的核心部分，因此有必要先研究自主控制系统和其主控单元的体系结构问题。自主控制技术研究至今，先后出现了多种体系结构形式，目前被广泛应用于实践的是分布式体系

自动驾驶领域的传统方法多依赖于数据驱动模型，通过大量标注数据训练实现路径规划和控制。然而，现实世界中道路临时施工、突发障碍物等极端场景难以完全涵盖，导致系统在特殊情况下表现不佳。与此同时，大语言模型在自然语言处理领域展现出强大的理解和推理能力，能够处理复杂指令和丰富知识推理。将LLM引入自动驾驶，尤其是本地端部署，既能利用其认知智能，又能避免云端延迟、隐私和安全隐患。图1：所提出的增强型大型语言模型（LLM）自主驾驶系统（ADS）的示意概述。

近日，上海交通大学、上海人工智能实验室、同济大学与MAGIC团队联合推出了题为《ChatBEV: A Visual Language Model that Understands BEV Maps》的前沿论文，聚焦交通场景理解领域，特别是基于鸟瞰视图（BEV, Bird’s Eye View）地图的视觉语言模型（VLM）研究。

之前我们专门对bevformer系列的代码进行了介绍。其实bevformer作为这一系列比较关键的工作。也为了我们后续看这些端到端的文章非常有帮助。我们最近这一系列将会围绕这一篇三维占用预测的工作。上一讲主要是介绍了SurroundOcc与BEVFormer比较以及预处理的一些问题。这一讲我们将围绕主题结构展开。

之前我们专门对bevformer系列的代码进行了介绍。其实bevformer作为这一系列比较关键的工作。也为了我们后续看这些端到端的文章非常有帮助。我们最近这一系列将会围绕这一篇三维占用预测的工作。上一讲主要是介绍了SurroundOcc对应的原理以及结构梳理。这一讲我们将从代码看起。

在时间戳ttt时，给定周围的NNN视角相机图像ItIiti1NIt​Iit​i1N​和高层次导航指令 cmd，基于视觉的端到端自动驾驶（E2EAD）模型旨在预测规划轨迹TTT，该轨迹由一组在鸟瞰视图（BEV）空间中的点组成。SSR框架在端到端自动驾驶（E2EAD）领域中展现了显著的进步，挑战了传统对感知任务的依赖。通过利用导航引导的稀疏标记和时间自我监督，SSR克服了以感知为重的架构的局限性，以最小的成本实现了最先进的性能。

在自动驾驶和机器人视觉领域，激光雷达是获取环境3D信息的重要传感器。然而，激光雷达数据通常存在稀疏性和不完整性问题，尤其是对于远距离或被遮挡的物体。现有的激光雷达场景补全方法大多依赖于预定义的类别标签和大量标注数据，难以应对开放世界中的未知物体。近日，NVIDIA、ETH Zurich和Carnegie Mellon University的研究团队提出了一种名为CAL (Complete Anything in Lidar) 的创新方法，旨在实现激光雷达数据中的零样本对象形状补全。

视觉编码器和大型语言模型（LLM）。首先，视频通过视觉编码器被编码为一系列视觉标记。视觉标记在空间和时间上被合并，形成一个紧凑的视觉标记序列。然后，它们被投影到与语言标记对齐的空间中，这些标记被称为观察标记。与此类似，指令也被标记化为一组标记，称为指令标记。观察标记和指令标记被连接在一起，并传递给LLM，后者推断出代表接下来四个动作的四个动作标记。图2. Uni-NaVid的流程图。我们的方法仅将单视角RGB帧x1xTx1​xT​和自然语言指令III作为输入。对于每一帧，我们使用。

自动驾驶汽车 (AV) 的最新进展利用。然而，确保动态、高风险环境中的安全并管理，对安全至关重要的长尾事件仍然是一项重大挑战。为了解决这些问题，本文《》提出一个知识驱动和数据驱动的风险-敏感决策框架，提高 AV 的安全性和适应性。所提出的框架引入一个模块化系统，包括：(1) 一个；(2) 一个；(3) 一个由 LLM 驱动的推理模块，用于；(4) 一个。通过将知识驱动的洞察力与自适应学习机制相结合，该框架可确保在不确定条件下做出稳健的决策。

关于UCloud(优刻得)旗下的compshare算力共享平台UCloud(优刻得)是中国知名的中立云计算服务商，科创板上市，中国云计算第一股。Compshare GPU算力平台隶属于UCloud，专注于提供高性价4090算力资源，配备独立IP，支持按时、按天、按月灵活计费，支持github、huggingface访问加速。使用下方链接注册可获得20元算力金，免费体验10小时4090云算力。SF-Loc应该算是DBA-Fusion(RAL2024)的改进版。

本文介绍了BEVPlace++，一种新颖、快速且稳健的激光雷达全局定位方法，专为无人地面车辆设计。该方法利用，随后进行三自由度（3-DoF）姿态估计。。值得注意的是，两个具有大平移的BEV图像的关键点可以有效地使用CNN提取的特征进行匹配。基于这一洞察，我们设计了一个，同时增强对旋转变化的鲁棒性。随后，通过级联REM和描述符生成器NetVLAD，开发了一个旋转等变和不变网络（REIN），以顺序生成旋转等变的局部特征和旋转不变的全局描述符。全局描述符首先用于实现稳健的地点识别，而局部特征则用于准确的姿态估计。

集成端到端且模块化驾驶方法用于自动驾驶中在线极端情况检测。在线极端情况检测对于确保自动驾驶汽车的安全性是至关重要的。目前的自动驾驶方法可以分为模块化方法和端到端方法。为了利用这两者的优势，《》提出了一种在线极端情况检测方法，其将端到端方法集成到模块化系统中。模块化系统接管了主要的驾驶任务，而端到端网络作为辅助网络并行运行，然后将系统之间的差异用于极端情况检测。这篇文章没有开源，但是也许可以获取一些启发，毕竟李想说解决不了corner case，就解决corner case的人。

（已开源）

GaussianOcc 的概述如图 2 所示。其主要贡献在于引入了跨视角高斯点云渲染以实现尺度感知训练，以及体素网格高斯点云渲染以加快渲染速度。与用于场景特定三维重建的原始高斯点云渲染不同，我们探索了一种设置，其中高斯属性在二维和三维网格中均良好对齐。这种方法将三维场景在二维图像平面中建模为深度图，并在三维网格空间中建模为体素（占用）格式。图 2. 提出的 GaussianOcc 概述。通过一系列周围图像，我们采用 U-Net 架构在二维图像网格空间中预测高斯属性，以实现跨视角高斯点云渲染。

我曾经做过有关道路匹配(MapMatching)的相关研究，学习过几个重要的道路匹配算法，我将先对重要的匹配模型：隐马尔科夫模型（HMM）进行介绍，再介绍维特比算法Viterbi，最后对三种算法做一个简单的介绍，供大家参考。本文介绍了HMM模型、维特比算法、三种常见路网匹配算法（ST、STD、IVMM）。文中部分内容和图片来自学术论文，建议大家先去看论文，再看看文章中的介绍来增加自己的理解。希望对大家有用！本文转自，如有侵权，请联系删除。

随着Transformer爆火，也导致了许多以Transformer为主题框架的端到端网络的兴起，这也导致了传统自动驾驶模块化逐渐被取代，这里我们将围绕BEVFormer开始学习整体的架构，我们在上一讲《》中介绍了数据端输入。下面我们来继续学习图像特征提取与位置编码。

随着Transformer爆火，也导致了许多以Transformer为主题框架的端到端网络的兴起，这也导致了传统自动驾驶模块化逐渐被取代，虽然已经发展得相当成熟，通常采用模块化串联的部署方式：其核心模块涵盖感知、定位、预测、决策和控制等，每个主要模块及其子模块都承担着特定的职责，且每个模块的输入通常来源于前一模块的输出。这类模块化设计的优势在于能够将复杂的自动驾驶任务分解为更小、更易于管理的子任务，同时便于问题的追踪和定位；

本文介绍了探索端到端自动驾驶的因果关系。基于深度学习的模型被广泛部署在自动驾驶领域中，特别是越来越受关注的端到端解决方案。然而，题。尽管已有一些关于自动驾驶可解释性的研究，但是目前还没有系统性的解决方案来帮助研究者调试和识别导致端到端自动驾驶最终预测行为的关键因素。》提出了一种。首先，本文通过。然后，本文通过可视化和统计分析关键模型输入的响应，定量评估影响模型决策的因素。最后，根据多因素端到端自动驾驶系统的全面研究，本文开发了一个强大的基线和工具，用于。

SimuMap3D Pro是一个先进的自动驾驶仿真数据采集平台，基于Unity3D开发的仿真环境，旨在为研究和开发自动驾驶技术提供高质量的数据支持。该平台能够采集并输出以BEV（鸟瞰视角）为基础的车辆、车道线及其他相关数据，为自动驾驶算法的训练和测试提供必要的环境和条件。但是这个项目还没有完全开放源代码。这个软件平台目前只是开源了相关的工程以及调用接口，没有完全开源。个人如何从零构建SimuMap3D数据采集仿真平台。

但是这种方法如果想对移动的物体建模，就需要很大的感受野；第二类是基于感知的方法，该类方法可以通过稀疏的query来对移动的物体进行建模，但是由于每次都要查询之前所有的帧，会带来巨大的计算量。MLN: 该部分针对静态物体和动态物体分别进行建模，首先针对静态物体只需要考虑将之前帧通过姿态矩阵进行转换就行，但是对于运动的物体除了简单的平移之外还需要详细考虑物体的形变（刚体可以通过放射变换来实现），所以作者通过利用保存的物体属性（姿态矩阵，速度，时间间隔）通过一个MLP网络来预测放射变换的系数和偏移。

这张图演示的是相关方法的演进。这其中大部分都是基于BEV的方法，上图就是BEV-based相关方法的相关演进, 用某种方式将图像视角特征转到BEV特征空间，也就是一个高度方向拍扁的自车3D坐标系空间下，再用一个检测的Head实现目标检测。BEV这张图的尺寸通常比较大，比如一般常见的论文里面会用128×128 size，但在实际中，我们甚至会用两倍大小的BEV特征图。从图像特征空间向BEV层空间转换过程，是一个非常密集的计算过程。

在复杂环境中导航。尽管目前工业界和学术界已经提出了集成预测和规划框架的算法模型来解决这一问题，但这类算法仍然依赖于确定性规划，这对解决代理行为的不确定性、多模态性和相互作用的动态性提出了挑战。为了克服上述提到的这些挑战，我们建议在。这个方法的关键是将自车代理集成到社会互动环境中，。同时，我们考虑到生成模型在自动驾驶的仿真和预测任务中得到了广泛的应用，但它们在决策任务中的应用相对有限。我们认为是两个主要限制阻碍了生成模型在规划任务中的应用。评估生成的场景并选择符合人类期望和价值观的最佳决策场景非常复杂。

进一步设计了路径到图的后处理步骤，将路径上的每个点视为图结构中的节点，利用路径间的连续性表示点级别的连接关系，从而构建出连续且完整的车道拓扑结构，减少对后处理环节的依赖，提升整体模型性能和学习效率。局限性：该建模方案的主要缺陷在于，若需要图结构表示，则需要进行后处理才能获得。虽然作为端到端的路径生成器可以直接提供pass供下游任务使用，但如果需要Peace-wise那样的图形表示，则需要额外步骤。此外，还介绍了改进的损失函数设计和记忆融合结构，以更有效地提取历史信息，从而提升跟踪性能。

内置任务、任务开发套件和世界模型骨干。任务开发套件提供了各种API功能，包括车辆生成、交通流量控制和CARLA中的路线规划。一个观察模块自动收集多模态观测数据，例如传感器数据和鸟瞰图（BEVs），这些数据由独立且可定制的数据处理器管理。这些数据有两个用途：用于任务和训练可视化服务器。可视化服务器通过HTTP服务器显示实时驾驶视频和环境反馈，并通过Gym接口无缝集成世界模型算法。在接收到作为代理响应的动作后，观察者在随后的帧中从数据处理器收集数据，从而继续这个操作周期。现在我们将详细探讨每个模块。

最近在视觉定位和地图制图方面取得了显著的进展，成功地将点特征和线特征进行了整合。然而，将定位框架扩展到包括额外的地图组件往往会导致对匹配任务的内存和计算资源需求增加。》展示了。具体而言，我们利用一个单独的转换器块来编码线特征，有效地将其转换为独特的点状描述符。随后，我们将。在全面的实验中，我们的室内定位结果在基于点和辅助线配置方面均超过了Hloc和Limap。此外，在户外场景中，我们的方法取得了显著的领先优势，标志着对基于最新学习方法的最大增强。。

其实IPM估算在日常使用中其实挺关键的。在实际应用中，由于制动和不稳定的路面，地平面会动态变化。因此，车辆的位姿，特别是俯仰角，会从微妙到明显地波动。因此估计地平面法线是有意义的，因为它可以提高各种自动驾驶任务的鲁棒性（例如3D目标检测、道路表面重建和轨迹规划）。》提出的方法仅使用里程计作为输入，并实时估计准确的地平面法线向量。具体而言，它充分利用了自车位姿里程计（自我运动）与其附近地平面之间的基本关系。基于此设计了一种不变扩展卡尔曼滤波器（IEKF）来估计传感器坐标系中的法向量。

之前学习记录的文档，这里也拿出来分享一下~基本原理：随机选取预测域的 N NN 个点，称为粒子。以此计算出预测值，并算出在测量域的概率，即权重，加权平均就是最优估计。之后按权重比例，重采样，进行下次迭代。初始状态：用大量粒子模拟X（t），粒子在空间内均匀分布；预测阶段：根据状态转移方程，每一个粒子得到一个预测粒子；校正阶段：对预测粒子进行评价，越接近于真实状态的粒子，其权重越大；重采样：根据粒子权重对粒子进行筛选，筛选过程中，既要大量保留权重大的粒子，又要有一小部分权重小的粒子；

Yole在2023年8月的报告中，统计了从2018年到2022年，在全球范围内激光雷达累计定点车型。其中，以国别区分的分布如下。中国占据了全球车用激光雷达市场的79%，是最大的车用激光雷达市场。图片来源：Yole以速腾、禾赛、华为、图达通等优秀的中国公司的激光雷达产品，占据了绝大部分市场份额。禾赛和速腾刚刚发布的今年Q1的销量如下：图片来源：禾赛、速腾本文描述的很多弱势场景问题，在我们很多公司的产品中都有非常好的应对方案。

激光雷达地图中基于流的全局和度量雷达定位。自主机器人的定位是至关重要的。尽管基于相机和激光雷达的方法已经得到大量研究，但是它们会受到恶劣的光照和天气条件的影响。因此，最近雷达传感器由于其对这种条件固有的鲁棒性而受到关注。在《》中，我们提出了RaLF，这是一种。。我们通过跨模态度量学习来学习两种模态之间的共享嵌入空间，从而解决位置识别任务。此外，我们通过预测将查询雷达扫描与激光雷达地图对齐的像素级流向量来执行度量定位。

基于视觉的环视可用空间检测对于自动泊车辅助至关重要。在这项任务中，精确的边界定位是最受关注的问题。本文提出的方法可概括如下：通过建议将自由空间重新构建为自由空间边界的极坐标表示，明显简化表示并增强对边界定位的关注。利用变压器框架来解决长序列预测问题。此外，提出了 T-IoU 损失来提高相邻预测的相关性。在停车场景中引入了一个大规模数据集，带有边界注释和评估边界质量的有效指标。本文介绍的方法在大规模数据集上具有良好的性能，并且对新的停车场景表现出很强的泛化能力。

强化学习在自动驾驶中的应用已经日渐普及，虽然由于一些伦理问题，目前真正的使用这种强化学习的还不是很多，但是目前已经有很多应用在自动驾驶中的强化学习的工作，但是我们发现这类方法基本都是将卷积编码器与策略网络一起训练，然而，这种范式将导致环境表示与下游任务不一致，从而可能导致次优的性能。而《》一文提出了若干技术来增强RLfP算法在该领域的性能，包括：i）利用图像增强和自适应局部信号混合（A-LIX）层的图像编码器；ii）WayConv1D是一种路径点编码器，其使用1D卷积来利用路径点的2D几何信息；

自动泊车即在低速场景下有限停车场场景中进行的自动驾驶，是完全自动驾驶系统的关键产品。从较早一代的驾驶员辅助系统，包括碰撞警告、行人检测等方面的角度来看，它也是一个重要的里程碑。本文讨论了从计算机视觉算法的角度设计和实施自动泊车系统，设计一个低成本的具有功能安全性的系统具有挑战性，原型与最终产品之间存在巨大差距，以便处理所有边缘情况。我们演示了相机系统如何对处理各种自动泊车用例至关重要，同时为基于主动距离测量传感器（如超声波和雷达）的系统增加健壮性。

点集可以按两个方向进行组织。在图2（b）中，对于人行横道（多边形），**点集可以按两个相反的方向（顺时针和逆时针）进行组织。**而且，循环改变点集的排列对多边形的几何形状没有影响。对点集施加固定的排列作为监督是不合理的。这种固定的排列与其他等价的排列相矛盾，阻碍了学习过程。图2. 用于说明地图元素关于起点和方向模糊性的典型案例。(a) 折线：对于两条相对车道之间的车道分隔线，定义其方向是困难的。车道分隔线的两个端点都可以被视为起点，并且点集可以按两个方向进行组织。

1.处于安全考虑，Apollo中车道的判定相当谨慎。2.车道线从2D到3D的拟合非常细节，是从效率、鲁棒性和准确性的综合考虑。3.pitch计算依赖于：1.车辆走直线；2.车道线的检测成功。能适应与规范化城市道路。

Services Layer，BSW最高层，（任务）为应用、RTE和BSW提供基础服务。操作系统功能车辆网络通信及管理服务存储管理（NVRAM 管理）诊断服务（包括 UDS 通信及错误内存）ECU 状态管理注意：ISO 15765标准的缩写及其他说明见具体文件（重点是ISO_15765-2文件）。提取码: syabTP = TransPort，CAN TP是PDUR和CanIf模块之间，主要用于对超过8字节的IPDU的分段和重组。CAN TP只由事件触发模式下运行。I-

是一个很常见的定位方法。在知道当前时刻的位置，然后通过imu等传感器去估计下一个时刻的位置。在自动驾驶车辆定位的时候，GPS提供10Hz的定位信息。这每个GPS信息来临的0.1s的间隔里面，车辆位置也会移动很多。那么这个时候就需要航位推算来判断车辆到底移动了多少距离，在哪个地方。所以，航位推算是自动驾驶车辆最基本的，也是必须的一种算法之一。比如推算车辆在隧道中的位置。

智能驾驶操作系统的内核是基于标准的POSIX接口，兼容Adaptive AUTOSAR等国际主流系统软件中间件，满足智能驾驶不同应用所需的功能安全和信息安全要求。考虑当前主流的智驾操作系统能力，我们可以根据自身研发能力制定不同的策略要求，增值不同的研发手段。最终目的是应用智驾系统SOC异构硬件的单元架构和承载功能满足功能安全的不同要求：AI单元内核系统支持QM ~ ASIL B，计算单元内核系统支持QM ~ ASIL D，控制单元内核系统需要支持ASIL D安全级别。

为了实现精确定位，自动驾驶车辆通常依靠围绕移动平台的多传感器感知系统。校准是一个耗时的过程，机械畸变会导致外部校准误差。因此，《Lidar-Visual-Inertial Odometry with Online Extrinsic Calibration》提出了一种激光雷达-视觉-惯性里程计，结合了适应性滑动窗口机制，允许在线非线性优化和外部校准。在适应性滑动窗口机制中，进行空间-时间对齐以管理以不同频率到达的测量。

对于3d bounding box而言，近几年随着自动驾驶的火热，其标注工具也日渐多了起来，本篇文章不讲具体的算法，这里主要聚焦于这些开源的3d bounding box标注工具，以及他们是怎么使用的。这里借鉴了博主的博客作为基础，然后再结合自己的使用与了解完成扩充。

BEV车道线中粉色点是直接使用相机标定参数lift2D车道线点生成的3D车道线，黄色点是mobileye车道线，绿色为本文方法生成的车道线。上式在理想地平面的基础上叠加了动态外参的影响，由于车道线在地平面上，所以z坐标为0。相机标定参数是确定的，我们可以得到结论，3D车道线点的坐标是动态外参、2d车道线点坐标的函数：（根据2D深度学习算出来的uv以及偏差量可以计算出x和y值）从2D车道线到3D车道线的转换，最简单的方法是利用相机的外参和地平面假设求取车道线位置，即假设偏航角、俯仰角和横滚角的误差均为0。