【智路】智路OS Perception Lidar Service

原创已于 2024-09-17 10:29:51 修改 · 258 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#自动驾驶 #交通物流 #物联网 #边缘计算 #云计算

于 2024-09-15 22:46:48 首次发布

智能交通专栏收录该内容

15 篇文章

订阅专栏

Perception Lidar Service

https://gitee.com/ZhiluCommunity/airos-edge/raw/r2.0/docs/02_Service/Perception_Lidar_Service.md
Lidar感知模块的主要任务是接收激光雷达的点云数据，通过算法识别点云中的障碍物。

智路OS未提供Lidar感知的算法示例实现，请根据实际需求，基于Lidar检测框架自行实现。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

gikod

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

自动驾驶---Perception之Lidar点云3D检测

智能汽车人的博客

06-24

1817

Lidar（Light Detection and Ranging，激光雷达）点云3D检测是一种利用激光雷达获取周围环境的三维数据，并对其进行处理和分析，以识别和定位物体的技术。Lidar点云3D检测是一种复杂而强大的技术，可以广泛应用于自动驾驶、机器人导航、地形测绘等领域。通过不断优化算法和提高数据处理能力，可以实现更高精度和更高效的3D检测。

【智路】智路OS Perception Camera Service

我的博客

09-15

528

通过深度学习算法实现物体识别，包括物体类别、2D框、长宽高、朝向角、底面中心点图像坐标等信息。输入图像首先经过yolov3的backbone进行特征提取，2D阶段输出目标的类别、置信度以及2D框，3D阶段输出目标的长宽高、朝向角以及物体底面中心点的2D坐标。根据模型预测的图像坐标系下底面中心点的图像坐标（u，v），利用地面方程和相机内参，计算得到相机坐标系下底面中心点的3D坐标（X, Y, Z）。然后，利用模型预测的物体高度h，计算得到物体中心点在相机坐标系下的3D坐标。

参与评论您还未登录，请先登录后发表或查看评论

【智路】智路OS Perception Fusion Service

我的博客

09-15

563

3D融合关联模块基于概率分布模型来建立关联矩阵，对于关联融合所需的所有维度的信息（障碍物位置、类别、尺寸、车道信息、轨迹等），通过其概率分布来得到融合概率分布，概率最高点则为融合后的结果，协方差则为本次融合结果的置信度及融合分布。该方案关键在于推导多维概率分布相乘后的分布模型，以及确定每一个维度分布形式并估计分布的参数，并对各个维度解耦，在各自维度上进行概率融合。每个维度的概率融合都会对关联进行check。关联内核：匈牙利匹配。

【智路】智路OS Perception Pipeline

我的博客

09-13

375

【代码】【智路】智路OS Perception Pipeline。

【智路】智路OS 服务组件开发

我的博客

09-17

1310

对于单相机检测模块，智路OS框架提供的输入是从camera视频解码的实时RGB图像数据，模块的输出为智路OS定义的感知障碍物结构化数据，单相机检测模块内部的算法和pipeline可以由开发者自定义。对于多传感器融合模块，智路OS框架提供的输入是多个传感器检测的感知障碍物结构化数据，模块的输出为智路OS定义的感知障碍物融合结构化数据，内部的相关的算法可以由开发者自定义。智路OS规定的传入Lidar感知的数据格式，开发者实现Perception接口时，根据传入的点云进行目标检测、跟踪等处理最终输出感知数据。

【智路】智路OS airos-edge

我的博客

09-13

1256

智路OS是一套完整的软件和服务开放系统，由路侧操作系统（airos-edge），车端（airos-vehicle）和云端开发者平台共同构成，为行业提供了统一的车路云开发环境。其中airos-edge自下而上分别由内核层，硬件抽象层、中间件层和服务层构成；airos-vehicle由V2X协议栈和应用服务框架组成；云端开放平台为开发者提供了标定，标注等开箱即用的工具集；开发者可基于智路OS快速搭建一套完整的车路协同或其他智能交通系统。

【智路】智路OS 设备接入开发

我的博客

09-17

920

智路OS规定的写入RSU接入模块和RSU模块输出的数据格式，开发者在继承抽象基类RSUDevice后，调用内部的RSUCallBack将数据发送给智路OS框架，数据为从RSU接收的数据，例如BSM，智路OS框架会将需要RSU发送的数据通过WriteToDevice写入设备接入模块，接入程序解析数据并将编码后的数据发送给RSU。公共参数配置了每个路口的RSU、信号灯、相机、Lidar等设备的参数，在自定义实现中可以读取设备参数进行设备连接，智路OS会在调用Init接口时传入参数路径或结构数据。

《A Simple Baseline for BEV Perception Without LiDAR》论文笔记

m_buddy的博客

08-29

1519

介绍：在这篇文章中提出了一种特别简单但效果不错的bev特征提取方法，也就是通过在构建的bev grid中向图像特征进行反向投影，并在投影点处对图像特征进行双线性插值采样得到图像模态下的bev特征。同时对于lidar和radar这些其它模态的传感器信息输入（若有），直接在编码之后与之前bev特征进行concat操作融合，以此来构建多模态bev特征。......

Adaptive Feature Fusion for Cooperative Perception using LiDAR Point Clouds

weixin_43635795的博客

09-29

1169

提出的基于特征融合的协同感知网络结构是从PointPillars扩展而来，以点云为输入，分5步处理数据：1）特征编码–用柱状特征网络（PFN）将点云转换为伪图像；2）中间特征提取–用2D pyramid network金字塔网络从伪图像中提取多尺度特征；3）特征投影–用LiDAR pose信息将CAV的中间特征图投影到自车坐标上；4）中间特征融合–用特征融合网络生成组合特征图；5）3D目标检测–用Single Shot Detector（SSD）回归边界框，预测检测到的物体类别。

51c自动驾驶~合集64

whaosoft~aiotの开发板商城

01-04

448

推理时，DriveLaW-Video 首先将历史帧、文本提示等编码为潜在特征并进行去噪生成视频，同时，其中间层的潜在特征被提取出来作为关键的感知信号，连同自车状态、高层指令一起输入给 DriveLaW-Act，后者通过流匹配（Flow Matching）生成最终的平滑轨迹。一个完全预训练的生成器比没有经过驾驶域预训练的生成器带来了 +3.2 PDMS 的提升，这表明更大的语料库加深了模型对驾驶物理规律的掌握，并转化为更强的规划能力，表现出明显的规模定律（scaling law）。

《自动驾驶与机器人中的slam技术:从理论到实践》笔记——ch7（4）

qq_74174950的博客

12-30

754

主要是通过激光雷达获取环境三维点云（也可以选择IMU、轮速计来进行辅助传感），软件核心模块是前端点云配准帧间匹配、实现相邻点云的对齐（可以先找到最近邻（暴力最近邻、栅格和体素法、二分树与k-d树、四叉树和八叉树），之后进行拟合（直线拟合、平面拟合））进行基础点云处理，处理完之后进行点云匹配（使用点到点ICP、点到线ICP、似然场法的匹配方法），之后利用栅格地图的方法建立子地图，可使用关键帧或者是体素的方法将子地图拼接构建成局部地图，并使用回环检测来进行地图优化。去畸变是去当前帧激光点云的畸变。

为何高阶自动驾驶偏爱 Raw Sensor？

最新发布

yuanmenghao

01-05

467

高阶自动驾驶系统普遍选择输出原始RAW数据的摄像头而非自带ISP处理的智能摄像头，这源于对信息完整性和算法自由的追求。RAW数据保留了12-14位光强信息，支持端到端AI训练和多摄协同HDR，而ISP处理会丢失动态范围并引入非线性失真。尽管RAW传输需要更高带宽（如8MP@30fps约3Gbps），但GMSL等高速接口能胜任。特斯拉、小鹏等L3+方案均采用Raw Sensor+中央ISP架构，而智能摄像头仍适用于L2及环视等场景。Raw Sensor为算法演进提供了原始信号基础，是实现真正机器视觉的关键。

自动驾驶-人工驾驶混行在无锡典型瓶颈路段的微观-宏观耦合仿真研究

huanghm88的专栏

01-05

109

自动驾驶-人工驾驶混行交通仿真研究摘要本研究针对无锡典型瓶颈路段，构建了自动驾驶(AV)与人工驾驶(HV)混行交通的微观-宏观耦合仿真系统。采用Python开发，结合SUMO微观仿真与宏观交通流理论，实现了多尺度交通分析。研究重点考察了梁溪大桥匝道、太湖大道交叉口等无锡典型瓶颈在不同AV渗透率下的交通特性变化。仿真结果表明：当AV渗透率达30%时，瓶颈路段通行能力提升15-22%；渗透率达70%时，拥堵延误减少40%以上。研究揭示了混行环境下AV渗透率、车联网通信能力等因素对交通效率的影响机制。

小鹏汽车端到端自动驾驶技术深度研究报告

luoganttcc的博客

01-04

631

小鹏汽车发布第二代VLA系统，实现端到端自动驾驶技术重大突破。该系统创新性地去除传统"视觉-语言-动作"架构中的语言转译环节，直接从视觉信号生成动作指令，响应速度提升300%。依托3万卡云端算力集群和720亿参数基座模型，训练数据量达1亿clips，覆盖场景相当于人类驾驶65000年。配合自研图灵AI芯片(总算力2250TOPS)，在22公里复杂路况测试中实现98%智驾占比和0接管。计划2026年Q1向Ultra车型全量推送，目前已覆盖全国2595个城市无图区域。小鹏坚持"跳过

长安大学与百度达成战略合作聚焦人工智能与自动驾驶协同创新

大力财经

12-30

353

中国科学院院士、长安大学校长李树涛，百度首席技术官王海峰，长安大学教授、西安建筑科技大学校长赵祥模，中国交通运输协会城市交通分会会长、中国交通报社原党委书记、董事长蔡玉贺，长安大学北京校友会会长季求知等出席并见证合作协议签署。12月28日，长安大学与百度公司正式达成战略合作，在古都西安举行合作签约仪式。此次签约标志着双方在产教融合、科教融汇方面迈出重要一步，随着战略合作持续推进，长安大学与百度将围绕人工智能和自动驾驶等重点方向深化协同创新，加快科研成果转化与人才培养实践，为我国科技进步与产业升级贡献力量。

自动驾驶汽车与人工驾驶汽车混行对交通影响的研究方案：基于宏观-微观耦合仿真的多场景分析

huanghm88的专栏

01-05

本研究提出一个宏观-微观耦合仿真框架，探究自动驾驶汽车（AV）与人工驾驶汽车（HV）混行交通的影响。通过扩展元胞传输模型（宏观）和SUMO仿真（微观），分析特定场景（如高速公路匝道、施工路段、隧道入口）在不同AV渗透率下的通行效率、拥堵机制及冲突变化。研究重点关注无信号灯交叉口的路权分配演化及高风险微观行为交互模型，探索最优AV比例。预期结果显示：协同模式AV在适当渗透率下可提升效率15%-25%，施工路段存在最佳AV比例（40%-50%），高AV渗透率交叉口可能形成"虚拟信号"通行流。

MindDrive：基于在线强化学习的自动驾驶视觉 - 语言 - 动作模型

m0_65010824的博客

12-31

760

本文是对论文《MindDrive: A Vision-Language-Action Model for Autonomous Driving via Online Reinforcement Learning》的深度解读。在自动驾驶领域，VLA模型依赖模仿学习存在分布偏移与因果混淆问题，在线强化学习应用受限于连续动作空间探索低效。该研究创新提出MindDrive框架，通过双LoRA专家架构实现语言动作动态映射，将探索转化为离散语言决策空间，基于CARLA模拟器完成在线RL训练，以轻量LLM实现优异性能。

小鹏汽车端到端 自动驾驶 最新进展

luoganttcc的博客

01-04

290

小鹏汽车2026年1月发布端到端自动驾驶最新进展：第二代VLA系统实现视觉信号到动作指令的直接输出，反应时间缩短至80ms，北京实测全程0接管。FastDriveVLA视觉Token剪枝框架提升模型推理速度3倍，准确率保持98.5%。硬件搭载自研2250TOPS算力AI芯片，XNGP系统覆盖全国2595城，支持AI代驾和无导航Super LCC+功能。该系统计划2026年一季度量产。

德思特Q&A | GNSS模拟器如何赋能自动驾驶？聚焦HIL、多实例与精准轨迹仿真的技术优势

hongke_weixin的博客

12-31

848

德思特解决方案通过灵活硬件架构+深度场景化仿真能力，解决了GNSS测试中频段兼容性、多频并发、高动态轨迹还原等关键挑战，尤其为自动驾驶提供了低成本、高保真、全链路的测试验证支撑，加速产品研发与全球合规认证。

Package lidar-cluster-component is not in /apollo_workspace/modules/perception/lidar_cluster_component

08-10

在 Apollo 项目中，若在指定路径 `/apollo_workspace/modules/perception/lidar_cluster_component` 中未找到名为 `lidar-cluster-component` 的包，可能的原因包括路径拼写错误、模块未被正确引入或模块本身不存在于当前版本的 Apollo 代码库中。针对此问题，可从以下几个方面进行排查与解决： - **检查路径是否正确** Apollo 项目中模块的存放路径通常遵循一定的结构规范，感知相关的模块通常位于 `/apollo/modules/perception` 目录下。确认路径是否为 `/apollo/modules/perception/lidar_cluster_component` 或者其他类似路径，而非 `/apollo_workspace` 开头的路径。如果使用了自定义工作空间，确保软链接或挂载路径配置正确[^4]。 - **确认模块是否存在于当前 Apollo 版本** `lidar-cluster-component` 可能并非 Apollo 官方默认提供的标准模块，或者在特定版本中被移除或重命名。建议查阅 Apollo 的官方文档或 GitHub 仓库的提交历史，确认该模块是否属于当前版本。若使用的是 fork 版本或第三方扩展版本，需检查对应分支或仓库是否包含该模块。 - **检查 Bazel 编译配置** Apollo 使用 Bazel 作为编译工具，模块的依赖关系通过 `BUILD` 文件定义。如果模块确实存在但未被识别，可能是 `BUILD` 文件中未正确声明该模块。检查 `/apollo/modules/perception/BUILD` 文件，确认是否包含 `lidar-cluster-component` 的子模块声明，或是否存在类似 `subpackages` 的指令用于包含子模块[^4]。 - **自定义模块或第三方模块的集成问题** 如果 `lidar-cluster-component` 是自定义模块或第三方提供的模块，可能未被正确集成到 Apollo 项目中。需确认该模块的源代码是否已放置在正确的路径下，并且其 `BUILD` 文件是否已正确配置。例如，确保其中的 `cc_library` 或 `cc_binary` 规则正确声明了模块的源文件与依赖项[^4]。 - **编译环境与架构适配问题** 若尝试在非 x86 架构（如 NVIDIA Jetson Orin）上编译该模块，可能存在架构适配问题。例如，部分库仅提供 x86 架构下的编译产物，需自行替换为适用于目标架构的实现。例如，`lidarcomponent` 等感知模块可能依赖 Apollo 提供的预编译库，若这些库未适配当前架构，需替换为本地实现或重新编译适配版本[^1]。 - **修改编译参数以适配 ARM 架构** 若目标平台为 ARM 架构（如 aarch64），需确保模块的 `BUILD` 文件中配置了正确的编译选项。例如，在 `/apollo/modules/perception/lidar/lib/ground_detector/spatio_temporal_ground_detector/BUILD` 中修改 `copts` 为 `["-march=armv8-a+fp+simd+crypto+crc"]`，以适配 ARMv8 架构的特性[^3]。 - **解决编译过程中的依赖问题** 若在编译过程中出现依赖问题，例如 zlib 的版本错误，需手动调整依赖配置。例如，在 `WORKSPACE` 文件中添加特定版本的 `zlib` 依赖，以修复编译错误。具体配置可参考 Apollo 的修复提交，确保使用的版本与目标平台兼容[^2]。 ### 示例：检查模块是否存在 ```bash # 进入 Apollo 项目目录 cd /apollo # 查找 lidar-cluster-component 模块 find . -type d -name "lidar_cluster_component" ``` ### 示例：修改 BUILD 文件以包含模块 ```python # 在 /apollo/modules/perception/BUILD 中添加如下内容 subpackages( "lidar_cluster_component", ) ``` ### 示例：修改编译选项以适配 ARM 架构 ```python # 修改 /apollo/modules/perception/lidar/lib/ground_detector/spatio_temporal_ground_detector/BUILD cc_library( name = "spatio_temporal_ground_detector", srcs = ["spatio_temporal_ground_detector.cc"], hdrs = ["spatio_temporal_ground_detector.h"], copts = ["-march=armv8-a+fp+simd+crypto+crc"], # 替换原有 -msse4.1 deps = [ "//modules/perception/lidar/lib/ground_detector:ground_detector_base", ], ) ``` ###