YMWM_的博客

本文介绍了一种用于实时辐射场渲染的3D高斯溅射技术，该技术在SIGGRAPH 2023会议上发表，并收录于ACM Transactions on Graphics。该技术通过三个关键创新实现了在1080p分辨率下实时（≥30帧/秒）的高质量新视图合成。首先，使用三维高斯函数表示场景，保留了连续体辐射场的理想属性，同时减少了不必要的计算。其次，通过交错式优化和密度控制，特别是对各向异性协方差的优化，实现了对场景的精确表示。最后，开发了一种快速的可见性感知渲染算法，支持各向异性溅射，加速了训练过程并实现了实时渲

高精（HD）语义地图对于在城市环境中行驶的自动驾驶汽车至关重要。传统的离线高精地图是通过劳动密集型的手动标注创建的，不仅成本高昂，而且无法及时更新。最近，研究人员提出根据在线传感器观测来推断局部地图；然而，这种方法受到传感器感知范围的限制，并且容易受到遮挡。在这项工作中，我们提出了神经地图先验（NMP），一种全局地图的神经表示，有助于自动更新全局地图并提高局部地图推理性能。为了将强地图先验纳入局部地图推理，我们采用交叉注意力来动态捕捉当前特征和先验特征之间的相关性。

3D视觉感知任务对于自动驾驶系统至关重要，包括基于多相机图像的3D检测和地图分割。在这项工作中，我们提出了一个名为BEVFormer的新框架，它使用时空变换器学习统一的BEV表示，以支持多种自动驾驶感知任务。简而言之，BEVFormer通过预定义的网格状的BEV查询来进行时空交互，以此来利用时空信息。为了聚合空间信息，我们设计了空间交叉注意力，每个 BEV查询从跨相机视图的感兴趣区域中提取空间特征。对于时间信息，我们提出时间自我注意力来循环融合历史BEV信息。

我们提出了一种具有透视监督的新型鸟瞰图（BEV）检测器，其收敛速度更快并且更适合现代图像主干。现有的最先进的BEV检测器通常与某些深度预训练主干网络（如VoVNet）相关联，从而阻碍了蓬勃发展的图像主干网络和BEV检测器之间的协同作用。为了解决这一限制，我们优先通过引入透视图监督来简化BEV检测器的优化。为此，我们提出了一个两阶段BEV检测器，其中来自透视头的提议被输入到鸟瞰头中进行最终预测。为了评估我们模型的有效性，我们进行了广泛的消融研究，重点关注监督形式和所提出的检测器的通用性。

李群是一个古老的数学抽象对象，可以追溯到19世纪，当时数学家 Sophus Lie奠定了连续变换群理论的基础。多年后，它的影响已经蔓延到科学和技术的各个领域。在机器人领域，我们最近正在经历一个重要的趋势，至少在估计领域，特别是在导航的运动估计方面。然而，对于绝大多数机器人专家来说，李群是高度抽象的结构，因此难以理解和使用。在机器人估计技术中，通常不需要充分利用李群理论的能力，因此需要努力选择合适的阅读材料。在本文中，我们将通过李理论的最基本原理，目的是传达清晰和有用的想法，并留下一个重要的李理论语料库。

近年来，无序图像的运动结构恢复(SfM)已经发生了巨大的变化。早期的自标定度量重建系统为新型重建系统奠定了基础，这些新型系统通过城区的互联网图片来进行三维重建。受这些作品的启发，越来越大规模的重建系统被开发出来，从数十万张、数百万张到最近的1亿张互联网图像。已经提出了多种SfM策略，包括增量式、分层式和全局式方法。可以说，增量式SfM是重建无序图片集最流行的策略。尽管增量式策略被广泛使用，但我们仍然没有设计出一个真正通用的SfM系统。

论文阅读《MapTR: Structured Modeling and Learning for Online Vectorized HD Map Construction》

MapTRv2: An End-to-End Framework for Online Vectorized HD Map Construction

用于自动驾驶的高精地图生成技术综述。

用于自动驾驶的高精地图生成技术综述

视觉惯性直接稀疏里程计

直接稀疏里程计DSO

直接稀疏里程计DSO

全向相机DSO

Stereo DSO，双目直接稀疏里程计。

双目LSD-SLAM

大尺度直接单目SLAM

RGB-D SLAM

RGB-D视觉里程计

利用RGB-D图像流构建稠密视觉里程计

目录E EKF更新F 讨论4 实验结果5 结论附录参考文献E EKF更新在上一节中，我们提出了一个测量模型，该模型表示了通过从多个相机位姿观察一个静态特征所施加的几何约束。我们现在详细介绍了EKF的更新阶段，其中使用了观察多个特征的约束。EKF更新由以下两个事件之一触发：当在许多图像中被跟踪的特征不再被检测到时，那么使用第3-D节中介绍的方法对该特征的所有测量进行处理。这种情况经常发生，因为特征移动到相机的视场之外。每次记录新图像时，当前相机位姿估计的副本被包含在状态向量中(参见第3节-C)。如果

目录摘要1 介绍2 相关工作3 估计器描述A EKF状态向量的结构B 传播摘要本文提出了一种基于扩展卡尔曼滤波(EKF)的实时视觉辅助惯性导航算法。这项工作的主要贡献是推导出一个测量模型，该模型能够表达当从多个相机位姿观察到一个静态特征时产生的几何约束。该测量模型不需要将三维特征位置包含在EKF的状态向量中，并且在线性化误差范围内是最优的。我们提出的视觉辅助惯性导航算法的计算复杂度在特征数量上仅为线性，并且能够在大规模真实环境中进行高精度的位姿估计。该算法的性能在广泛的实验结果中得到了证明，包括在城市区

目录6 结论附录A附录B附录C6 结论本文从完好性的角度对北斗二号和北斗三号系统的SIS性能进行了描述。利用新提出的SISRE评价方案，分析了2016年至2020年年中4.5年的北斗二代数据和2019年1年半的北斗三代数据。主要的贡献是对个别卫星的故障概率和URA(σURA\sigma_{URA}σURA​)作出初步估计。本研究得出以下结论。SIS故障的定义会影响完好性性能的评估。在一个新的定义下，斜坡故障的阈值以下部分被认为是故障，σURA\sigma_{URA}σURA​倾向于以增加故障概率为代价

目录3 异常：检测和概率确定3.1 SIS故障的定义3 异常：检测和概率确定3.1 SIS故障的定义SIS异常(即故障)主要是由不正确的导航数据、轨道机动、轨道异常干扰、时钟跳变、时钟漂移等异常事件引起的。在航空应用中，SIS故障可能会导致较大的导航误差，对导航安全构成重大威胁。在本研究中，我们采用了两种不同的SIS故障定义，分别定义为定义a和定义b。...

目录摘要1 介绍摘要2020年6月，北斗卫星导航系统全面部署完成。为了支持安全关键型应用，系统必须提供可靠的空间信号(SIS)性能。本文从完好性的角度对区域(BDS-2)和全局(BDS-3)系统的测距误差(SISREs)进行了表征，作为北斗系统发展的关键步骤之一。根据航空安全标准，提出了一种数据驱动的SISRE评估方案。该方案通过评估包络用户测距精度(URA)和先验故障概率，分别捕获正常和异常SIS行为。通过对2016年开始的4.5年星历表和2019年开始的1.5年星历表数据的处理，初步揭示了北斗系统S

目录3 数值实验与讨论3.1 仿真数据3.1.1 GPS系统3.1.2 视觉系统3.1.3 进近和着陆操作3.2 修正视觉伪距3.3 性能指标3.3.1 可用性3.3.2 定位准确性3.3.3 时间成本3.4 故障检测3 数值实验与讨论本文设计了三个独立的数值实验来评估所提出方法的性能。第一个实验用来评估视觉伪距修正的性能。第二个实验是测试视觉辅助系统的可用性。最后将VA-RAIM算法与传统GPS RAIM算法进行对比，评价其故障检测性能。3.1 仿真数据由于进近和着陆阶段的真实飞行数据很难获得，因

目录2.2.2 校正方法2.3 VA-RAIM2.3.1 保护水平和可用性2.3.2 故障检测3 数值实验与讨论2.2.2 校正方法在本节中，采用GPS测量来校正视觉系统，以减少视觉测量的误差和故障。首先，去除由地标位置的误差和故障引起的偏差，即δdδ\pmb{d}δddd和ΔdΔ\pmb{d}Δddd。在此基础上，得到了具有视觉单故障的修正视觉方程。考虑离散时间kkk下的NG(k)N_{G(k)}NG(k)​个GPS卫星，线性测量方程描述为：zG(k)=HG(k)x(k)+εG(k)+bG(k)(

目录摘要1 介绍2 提出的VA-RAIM2.1 VA-RAIM概述2.2 带校正的视觉模型2.2.1 视觉模型摘要20世纪80年代，全球定位系统(GPS)接收机自主完整性监测(RAIM)被提出，通过检查GPS测量的一致性来提供导航系统的完好性。然而，在飞行路径的进近和着陆阶段，GPS能见度通常较低，现有的RAIM方法由于观测不足，可能无法满足对可用性和完好性的严格航空要求。为解决这一问题，提出了一种用于进近和着陆阶段GPS完好性监测的视觉辅助RAIM方法，即VA-RAIM。通过引入地标作为伪卫星，丰富了

目录摘要1 介绍2 背景3 视觉误差分析和自主完好性监测3.1 视觉误差分析3.1.1 不足的特征3.1.2 光照导致特征跟踪失败3.1.3 特征分布不均匀3.1.4 运动特征摘要视觉惯性里程计(VIOs)由于相机的通用性和便捷性，在室内定位领域受到越来越多的关注。然而，VIO的视觉观测更容易受到环境的影响，观测误差影响最终的定位精度。针对这一问题，我们分析了不同场景下产生视觉观测误差的原因及其对定位精度的影响。提出了一种利用短时可靠性的行人航迹推算(PDR)来辅助视觉完好性监测和减少定位误差的新方法。

目录摘要交叉参考相关专利申请技术领域1 背景2 总结摘要本发明提供一种视觉导航完好性监测的计算方法。该方法利用合适的视觉定位模型、数学算法和丰富的导航测量数据，提高了定位精度和定位结果的可用性。解决了GNSS在复杂环境下无法保证可用性而导致卫星完好性算法性能不足的问题，有助于实现飞机紧密进近和自主着陆，对确保航空飞行安全具有重要意义。 图1   图2   图3   图4 交叉参考相关专利申请略技术领域本发明涉及卫星导航技术领域，具体地说，涉及一种用于视觉导航完好性

5 结果该算法通过了50次的蒙特卡罗实验进行了验证。每个实验总共有100个测量值和不同数量的故障。由图4.2可知，经过100次迭代测试，P⃗\vec{P}P的和收敛到4.5。在收敛后，所有五个故障测量可以被隔离，没有任何假阳性与其它测量。应该注意的是，算法不需要运行到完全收敛来隔离故障，但可以在假设每个测量都包含在测试中的情况下，以更少的迭代来运行。然而，如果它没有收敛，隔离良好测量的可能性就会降低，但作为额外测试所需的计算时间的权衡，这是可以接受的。随着故障测量值的增加，P⃗\vec{P}P的总和增加

目录4.1 统计检验量4.2 分离故障测量的贝叶斯算法在3.7节中总结的[16-18]研究将使用奇偶空间和斜率的GPS完好性监测技术转换为视觉测量，并提供了一个两种导航系统通用的框架。然而，对GPS所做的假设并不适用于视觉系统。在GPS系统中，不太可能同时出现不止一个故障的测量结果。GPS星座受到严密地监控，而且很鲁棒。在视觉测量的情况下，有一个以上的不良测量的可能性要高得多。之前的研究没有解决这种可能性。第4.1节总结了上一节讨论的统计检验量，该统计检验量的设计目的是检测不好的测量。然后，在第4.2节中

目录3.1 卡尔曼滤波3.2 扩展卡尔曼滤波器3.3 姿态/方向表示3.3.1 欧拉角3.3.2 方向余弦矩阵CbnC_b^nCbn​3.3.3 小角度方向余弦矩阵CbnC_b^nCbn​3.1 卡尔曼滤波卡尔曼滤波是将各种类型的传感器信息和系统知识以模型的形式结合起来，生成系统状态的最优估计的有效手段。名称过滤器通常用于净化某物（去除不需要的污染物）。从本质上说，卡尔曼滤波器是一个测量滤波器，滤除不需要的不确定性（测量噪声和模型噪声）。卡尔曼滤波有两个不同的步骤，在离散时间的每个时刻内重复这两个步骤

目录1 摘要2 介绍1 摘要在航空应用中，导航完好性至关重要。GPS系统的完好性是建立在既定标准之上的。视觉导航系统已被认为是全球定位系统的适当替代品，在无法使用时，但在没有系统完好性的措施之前不太可能使用。我们已经做了一些工作来检测带有偏差的单个测量对的影响；然而，测量几何形状随环境变化很大。环境可以是稀疏的视觉特征来跟踪，或者环境可以是丰富的特征。有了更多的特征，就有更大的可能性有多个损坏的测量。为了保证系统的完好性和可靠性，检测和排除多个损坏测量是至关重要的。本文主要研究了现有的完好性监测方法，并

1 摘要视觉导航系统已越来越多地应用于许多城市安全至关重要的应用，如城市空中交通和高度自动化的车辆，它们必须不断地提供精确和安全的位姿估计。对于如何提供复杂环境下的视觉导航精度和鲁棒性，已有大量的研究，但对于如何在异常值存在的情况下保证导航安全的研究不足。从安全的角度来看，完好性是最重要的导航性能指标，因为它度量了对导航输出正确性的信任。通过利用完好性的概念，本文开发了一个完好性监测框架，以保护视觉导航系统不受误导性测量的影响，并量化导航输出的可靠性。首先，提出了基于迭代最小二乘（LS）的位姿估计算法，并

目录1 摘要2 介绍3 基于相机定位的测量模型1 摘要基于相机的视觉导航技术可以提供6个自由度的位置和方向（或位姿）估计，并可以在包括自动驾驶、室内定位和无人机着陆等应用中以低成本实现。然而，当将相机图像中的测量特征与路标点数据库中的投影特征相关联时，可能会出现特征匹配错误，特别是在看到重复模式时。重复模式的一个典型例子就是建筑墙上有规律间隔的窗户。量化数据关联风险及其对导航系统完好性的影响是安全关键应用的关键。但是，关于基于视觉的导航完好性的文献很少。这项工作的目的是在使用扩展卡尔曼滤波器的视觉导航中

目录1 摘要2 介绍3 相关的工作3.1 接收机自主完好性监测1 摘要无人机（UAV）越来越多地应用于安全、安保和救援任务中，因为它们需要对所处环境进行精确和可靠的位姿估计。为了保证视觉定位时的任务安全，有必要对视觉定位方案的完好性进行评估。然而，据我们所知，这种基于优化的视觉定位的完好性监测算法并不存在。接收机自主完好性监测（RAIM）在全球卫星导航系统（GNSS）中得到了广泛的应用，如飞机自主着陆等。本文受RAIM的启发，提出了一种新的方法来监测基于优化的视觉定位的完好性，并计算估计的位姿的保护水平

摘要航空应用最关键的要求之一是完好性。对于第I类精密进近，国际民航组织对每一种进近系统出现导致误导信息故障的概率规定了10−710^{-7}10−7的完好性要求。由于GNSS的性能会因卫星几何形状的不同而发生巨大变化，因此定义了位置误差的数学边界，以评估对特定进近的要求。这些边界是水平方向保护水平和垂直方向保护水平（分别是HPL和VPL），在RTCA和ICAO文件中定义。保护水平方程建立在假设误差分量（伪距误差）准确表征为方差已知的零均值正态分布的基础上。不幸的是，这一假设尚未得到证实。事实上，测试表明

摘要用于GPS的天基和地基增强系统（SBAS和GBAS）的一个重大挑战涉及导航完好性的验证，这需要建立飞机位置的误差范围。本文介绍了一种新的位置域完好性验证方法，即对每个测距源使用双向包络。这种双向包络方法允许任意形式的误差分布，从而改进了早期限制于零均值、对称的和单峰的分布的完好性验证方法。介绍在美国，联邦航空管理局（FAA）资助了两个项目，使民用飞机能够使用全球定位系统（GPS）精密进近和降落。这些系统中的第一个自2003年开始运行，是广域增强系统（WAAS）。这个天基增强系统（SBAS）在北美各

目录1 摘要2 介绍1 摘要基于相机的视觉导航技术可以使用视觉模式提供高精度的无基础设施定位解决方案，并在卫星导航可用性、准确性和完好性方面显著退化的环境中发挥重要作用。然而，视觉导航方法的完好性监测是一个重要但却难以解决的问题，因为相机几何误差建模是一个相当具有挑战性的问题。本文提出了一种高精度的几何误差模型，它用于棋盘状特征角点。该模型被称为棋盘角点几何误差模型（CCGEM）。将该模型应用于含有棋盘状图案的图像时，可以预测在不同光照条件下提取的角点的位置精度。模型中的参数可以通过标定以适应不同的相机