【智路】智路OS Perception Pipeline

原创已于 2024-09-17 10:28:52 修改 · 375 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#自动驾驶 #交通物流 #物联网 #云计算

于 2024-09-13 20:14:25 首次发布

智能交通专栏收录该内容

15 篇文章

订阅专栏

Perception Pipeline

1 模块介绍

功能	文档链接
单相机感知	Perception Camera Service
多传感器融合	Perception Fusion Service
Lidar感知检测	Perception Lidar Service

2 快速开始

获取项目产出

bash docker/scripts/docker_start.sh # 拉取docker镜像并启动容器
bash docker/scripts/docker_into.sh # 进入docker容器
bash build_airos.sh release # 编译且发布

运行感知Pipeline，执行以下命令：

source /home/airos/os/setup.bash # 初始化运行环境
airos_launch perception # 拉起感知pipeline

运行感知可视化，执行以下命令：

source /home/airos/os/setup.bash # 初始化运行环境
airos_launch camera_viz # 拉起相机感知可视化
airos_launch fusion_viz # 拉起多传感器融合可视化

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

gikod

关注关注

8
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【智路】智路OS Perception Camera Service

我的博客

09-15

528

通过深度学习算法实现物体识别，包括物体类别、2D框、长宽高、朝向角、底面中心点图像坐标等信息。输入图像首先经过yolov3的backbone进行特征提取，2D阶段输出目标的类别、置信度以及2D框，3D阶段输出目标的长宽高、朝向角以及物体底面中心点的2D坐标。根据模型预测的图像坐标系下底面中心点的图像坐标（u，v），利用地面方程和相机内参，计算得到相机坐标系下底面中心点的3D坐标（X, Y, Z）。然后，利用模型预测的物体高度h，计算得到物体中心点在相机坐标系下的3D坐标。

【智路】智路OS Perception Fusion Service

我的博客

09-15

563

3D融合关联模块基于概率分布模型来建立关联矩阵，对于关联融合所需的所有维度的信息（障碍物位置、类别、尺寸、车道信息、轨迹等），通过其概率分布来得到融合概率分布，概率最高点则为融合后的结果，协方差则为本次融合结果的置信度及融合分布。该方案关键在于推导多维概率分布相乘后的分布模型，以及确定每一个维度分布形式并估计分布的参数，并对各个维度解耦，在各自维度上进行概率融合。每个维度的概率融合都会对关联进行check。关联内核：匈牙利匹配。

参与评论您还未登录，请先登录后发表或查看评论

【智路】智路OS Perception Lidar Service

我的博客

09-15

258

智路OS未提供Lidar感知的算法示例实现，请根据实际需求，基于Lidar检测框架自行实现。Lidar感知模块的主要任务是接收激光雷达的点云数据，通过算法识别点云中的障碍物。

【智路】智路OS airos-edge

我的博客

09-13

1256

智路OS是一套完整的软件和服务开放系统，由路侧操作系统（airos-edge），车端（airos-vehicle）和云端开发者平台共同构成，为行业提供了统一的车路云开发环境。其中airos-edge自下而上分别由内核层，硬件抽象层、中间件层和服务层构成；airos-vehicle由V2X协议栈和应用服务框架组成；云端开放平台为开发者提供了标定，标注等开箱即用的工具集；开发者可基于智路OS快速搭建一套完整的车路协同或其他智能交通系统。

【智路】智路OS 服务组件开发

我的博客

09-17

1310

对于单相机检测模块，智路OS框架提供的输入是从camera视频解码的实时RGB图像数据，模块的输出为智路OS定义的感知障碍物结构化数据，单相机检测模块内部的算法和pipeline可以由开发者自定义。对于多传感器融合模块，智路OS框架提供的输入是多个传感器检测的感知障碍物结构化数据，模块的输出为智路OS定义的感知障碍物融合结构化数据，内部的相关的算法可以由开发者自定义。智路OS规定的传入Lidar感知的数据格式，开发者实现Perception接口时，根据传入的点云进行目标检测、跟踪等处理最终输出感知数据。

【智路】智路OS 设备接入开发

我的博客

09-17

920

智路OS规定的写入RSU接入模块和RSU模块输出的数据格式，开发者在继承抽象基类RSUDevice后，调用内部的RSUCallBack将数据发送给智路OS框架，数据为从RSU接收的数据，例如BSM，智路OS框架会将需要RSU发送的数据通过WriteToDevice写入设备接入模块，接入程序解析数据并将编码后的数据发送给RSU。公共参数配置了每个路口的RSU、信号灯、相机、Lidar等设备的参数，在自定义实现中可以读取设备参数进行设备连接，智路OS会在调用Init接口时传入参数路径或结构数据。

【智路】智路OS Apollo Cyber RT Developer Tools

我的博客

10-09

892

【代码】【智路】智路OS Apollo Cyber RT Developer Tools。

Transformer BEV perception

https://github.com/heatMa

04-12

1986

4.1-4.10日，花了约15个小时，入门了transformer和基于Transformer的BEV perception，记录一下分享给志同道合的人，以下是学习路径。一、 Transformer原理李宏毅2021深度学习课程，看了3遍self-attention和Transformer的原理，勉强看懂。因为这里是用语音识别作为例子的，和图片应用还是有点不一样。 DETR论文，官方代码。官方推理代码一定要看一下，很简单，而且在网页上能直接运行，非常有助于加深理解。两个B站的讲解视频：

OPV2V-An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle通信

qq_41545537的博客

05-17

588

OPVAV论文解析

51c自动驾驶~合集64

whaosoft~aiotの开发板商城

01-04

597

推理时，DriveLaW-Video 首先将历史帧、文本提示等编码为潜在特征并进行去噪生成视频，同时，其中间层的潜在特征被提取出来作为关键的感知信号，连同自车状态、高层指令一起输入给 DriveLaW-Act，后者通过流匹配（Flow Matching）生成最终的平滑轨迹。一个完全预训练的生成器比没有经过驾驶域预训练的生成器带来了 +3.2 PDMS 的提升，这表明更大的语料库加深了模型对驾驶物理规律的掌握，并转化为更强的规划能力，表现出明显的规模定律（scaling law）。

《自动驾驶与机器人中的slam技术:从理论到实践》笔记——ch7（4）

qq_74174950的博客

12-30

757

主要是通过激光雷达获取环境三维点云（也可以选择IMU、轮速计来进行辅助传感），软件核心模块是前端点云配准帧间匹配、实现相邻点云的对齐（可以先找到最近邻（暴力最近邻、栅格和体素法、二分树与k-d树、四叉树和八叉树），之后进行拟合（直线拟合、平面拟合））进行基础点云处理，处理完之后进行点云匹配（使用点到点ICP、点到线ICP、似然场法的匹配方法），之后利用栅格地图的方法建立子地图，可使用关键帧或者是体素的方法将子地图拼接构建成局部地图，并使用回环检测来进行地图优化。去畸变是去当前帧激光点云的畸变。

自动驾驶-人工驾驶混行在无锡典型瓶颈路段的微观-宏观耦合仿真研究

huanghm88的专栏

01-05

111

自动驾驶-人工驾驶混行交通仿真研究摘要本研究针对无锡典型瓶颈路段，构建了自动驾驶(AV)与人工驾驶(HV)混行交通的微观-宏观耦合仿真系统。采用Python开发，结合SUMO微观仿真与宏观交通流理论，实现了多尺度交通分析。研究重点考察了梁溪大桥匝道、太湖大道交叉口等无锡典型瓶颈在不同AV渗透率下的交通特性变化。仿真结果表明：当AV渗透率达30%时，瓶颈路段通行能力提升15-22%；渗透率达70%时，拥堵延误减少40%以上。研究揭示了混行环境下AV渗透率、车联网通信能力等因素对交通效率的影响机制。

为何高阶自动驾驶偏爱 Raw Sensor？

最新发布

yuanmenghao

01-05

478

高阶自动驾驶系统普遍选择输出原始RAW数据的摄像头而非自带ISP处理的智能摄像头，这源于对信息完整性和算法自由的追求。RAW数据保留了12-14位光强信息，支持端到端AI训练和多摄协同HDR，而ISP处理会丢失动态范围并引入非线性失真。尽管RAW传输需要更高带宽（如8MP@30fps约3Gbps），但GMSL等高速接口能胜任。特斯拉、小鹏等L3+方案均采用Raw Sensor+中央ISP架构，而智能摄像头仍适用于L2及环视等场景。Raw Sensor为算法演进提供了原始信号基础，是实现真正机器视觉的关键。

小鹏汽车端到端自动驾驶技术深度研究报告

luoganttcc的博客

01-04

639

小鹏汽车发布第二代VLA系统，实现端到端自动驾驶技术重大突破。该系统创新性地去除传统"视觉-语言-动作"架构中的语言转译环节，直接从视觉信号生成动作指令，响应速度提升300%。依托3万卡云端算力集群和720亿参数基座模型，训练数据量达1亿clips，覆盖场景相当于人类驾驶65000年。配合自研图灵AI芯片(总算力2250TOPS)，在22公里复杂路况测试中实现98%智驾占比和0接管。计划2026年Q1向Ultra车型全量推送，目前已覆盖全国2595个城市无图区域。小鹏坚持"跳过

长安大学与百度达成战略合作聚焦人工智能与自动驾驶协同创新

大力财经

12-30

355

中国科学院院士、长安大学校长李树涛，百度首席技术官王海峰，长安大学教授、西安建筑科技大学校长赵祥模，中国交通运输协会城市交通分会会长、中国交通报社原党委书记、董事长蔡玉贺，长安大学北京校友会会长季求知等出席并见证合作协议签署。12月28日，长安大学与百度公司正式达成战略合作，在古都西安举行合作签约仪式。此次签约标志着双方在产教融合、科教融汇方面迈出重要一步，随着战略合作持续推进，长安大学与百度将围绕人工智能和自动驾驶等重点方向深化协同创新，加快科研成果转化与人才培养实践，为我国科技进步与产业升级贡献力量。

自动驾驶汽车与人工驾驶汽车混行对交通影响的研究方案：基于宏观-微观耦合仿真的多场景分析

huanghm88的专栏

01-05

本研究提出一个宏观-微观耦合仿真框架，探究自动驾驶汽车（AV）与人工驾驶汽车（HV）混行交通的影响。通过扩展元胞传输模型（宏观）和SUMO仿真（微观），分析特定场景（如高速公路匝道、施工路段、隧道入口）在不同AV渗透率下的通行效率、拥堵机制及冲突变化。研究重点关注无信号灯交叉口的路权分配演化及高风险微观行为交互模型，探索最优AV比例。预期结果显示：协同模式AV在适当渗透率下可提升效率15%-25%，施工路段存在最佳AV比例（40%-50%），高AV渗透率交叉口可能形成"虚拟信号"通行流。

MindDrive：基于在线强化学习的自动驾驶视觉 - 语言 - 动作模型

m0_65010824的博客

12-31

761

本文是对论文《MindDrive: A Vision-Language-Action Model for Autonomous Driving via Online Reinforcement Learning》的深度解读。在自动驾驶领域，VLA模型依赖模仿学习存在分布偏移与因果混淆问题，在线强化学习应用受限于连续动作空间探索低效。该研究创新提出MindDrive框架，通过双LoRA专家架构实现语言动作动态映射，将探索转化为离散语言决策空间，基于CARLA模拟器完成在线RL训练，以轻量LLM实现优异性能。

小鹏汽车端到端 自动驾驶 最新进展

luoganttcc的博客

01-04

292

小鹏汽车2026年1月发布端到端自动驾驶最新进展：第二代VLA系统实现视觉信号到动作指令的直接输出，反应时间缩短至80ms，北京实测全程0接管。FastDriveVLA视觉Token剪枝框架提升模型推理速度3倍，准确率保持98.5%。硬件搭载自研2250TOPS算力AI芯片，XNGP系统覆盖全国2595城，支持AI代驾和无导航Super LCC+功能。该系统计划2026年一季度量产。

德思特Q&A | GNSS模拟器如何赋能自动驾驶？聚焦HIL、多实例与精准轨迹仿真的技术优势

hongke_weixin的博客

12-31

848

德思特解决方案通过灵活硬件架构+深度场景化仿真能力，解决了GNSS测试中频段兼容性、多频并发、高动态轨迹还原等关键挑战，尤其为自动驾驶提供了低成本、高保真、全链路的测试验证支撑，加速产品研发与全球合规认证。

perception

02-27

### 感知技术及其在计算机科学中的应用感知计算是指让机器能够理解并响应周围环境的能力。这种能力依赖于多种技术和算法的发展，包括但不限于传感器融合、模式识别以及人工智能。 #### 1. 多模态数据处理为了实现有效的感知功能，通常会采用多模态的数据输入方式来增强系统的鲁棒性和准确性。例如，在自动驾驶汽车中，车辆不仅依靠摄像头捕捉视觉信息，还会利用激光雷达(LiDAR)获取距离测量值，并通过麦克风监听声音信号[^1]。 ```python import numpy as np from sklearn.preprocessing import StandardScaler def preprocess_multimodal_data(image_features, lidar_distances, audio_signals): scaler = StandardScaler() # 对不同类型的特征分别标准化 image_scaled = scaler.fit_transform(image_features.reshape(-1, 1)) lidar_scaled = scaler.transform(lidar_distances.reshape(-1, 1)) audio_scaled = scaler.transform(audio_signals.reshape(-1, 1)) return np.hstack((image_scaled, lidar_scaled, audio_scaled)) ``` #### 2. 自然语言处理(NLP) 自然语言处理是另一个重要的感知领域，它使计算机可以理解和生成人类的语言。这涉及到词法分析、句法解析等多个层次的理解过程。近年来，随着深度学习模型的进步，NLP已经取得了显著成就，比如自动翻译服务的质量得到了极大提升[^4]。 #### 3. 计算机视觉(CV) 作为最成熟的感知分支之一，CV致力于教给计算机如何解释图像或视频流的内容。典型的应用场景有面部检测与识别、物体分类等。卷积神经网络（CNNs）已经成为解决这些问题的标准工具集. ```python import tensorflow as tf from tensorflow.keras.applications.resnet50 import ResNet50, preprocess_input, decode_predictions model = ResNet50(weights='imagenet') def predict_image_class(img_path): img = tf.keras.utils.load_img(img_path, target_size=(224, 224)) x = tf.keras.utils.img_to_array(img) x = np.expand_dims(x, axis=0) x = preprocess_input(x) preds = model.predict(x) decoded_preds = decode_predictions(preds, top=3)[0] return [(class_name, prob) for (_, class_name, prob) in decoded_preds] ``` #### 4. 物联网(IoT) 物联网设备广泛分布于各个角落，它们持续不断地收集着关于物理世界的各类参数变化情况。这些海量而实时更新的信息构成了构建智能城市、智能家居的基础架构的一部分[^3].