【JETSON+FPGA+GMSL+AI】自动驾驶与移动机器人的摄像头如何实现高精度时间同步?

图片

RGB点云图(来源于网络)

在自动驾驶、机器视觉等领域,多传感器协同感知是系统可靠运行的核心,无论是定位导航、构建地图、还是障碍物检测,都必须依赖摄像头和其他传感器(如激光雷达、IMU等)的数据融合。而时间同步在数据融合中扮演了关键的角色,特别是在自动驾驶、移动机器人等高速运动场景中,对同步性要求更高,通常需要达到1毫秒(ms,1e-3s)以内精度。

英伟达 Jetson AGX Orin 凭借高算力与灵活扩展性,成为自动驾驶、移动机器人等领域的主流计算平台。然而,如何实现接入Orin平台的摄像头高精度同步仍是关键挑战。

当前,市面主流的摄像头方案各有特点:USB 摄像头即插即用,但连接不稳定,无同步机制,易丢帧;网络摄像头适配性好,但需额外同步信号,且传输时延长(约 100ms);GMSL 摄像头连接稳定,低时延,支持同步信号透传,同步精度理论上可达微秒(μs,1e-6s)级,是自动驾驶、机器人视觉传感器的优选方案。

当GMSL 摄像头接入 Jetson AGX Orin 平台时,通常利用 Orin 内置定时器生成触发信号,经 FPC 排线传输至解串器,再通过 GMSL 链路透传控制摄像头曝光。

图片

Orin主机软件驱动同步示例图

GMSL 2协议具有高达6Gbps的传输带宽,支持点对点链路通信,硬件信号直接收发的机制,确保主机发出的硬件触发信号以极低的时延(<20μs)到达设备端(例如摄像头),同时多路设备接收到的触发信号时间差非常小(<2μs)。

图片

GMSL摄像头时间同步逻辑示意图

注:τ 是触发信号(Trigger)到Sensor曝光控制信号(FSYNC)的传输延迟 < 20μs;ΔT是两相机间 Trigger 信号到达 CMOS 的时间差 < 2μs,体现了GMSL 具备低时延与高同步性的特点。

GMSL摄像头两路外同步曝光Trigger时序实测图

然而,在Jetson Orin系统里,通常使用PWM(脉宽调制)信号或GPIO脉冲作为触发信号。PWM可以输出固定频率(例如30Hz)的周期信号,更适合作为摄像头的触发控制信号。但摄像头因内部采用多帧融合工作机制,对时序要求极为严格,控制信号精度需达到微秒级,否则易出现丢帧、错帧等问题。而在Jetson Orin系统中,除非使用专门的硬件控制PWM时序,否则其精度无法满足摄像头的要求。

解决方案与技术架构

此前已推出配套 Jetson AGX Orin 的视觉开发套件,结合在视觉传感与自动驾驶领域的技术积累,创新性地提出“硬件触发 + 协议授时”组合策略,打造跨平台、高精度时间同步解决方案,覆盖从多路摄像头同步到多传感器融合的全场景需求。

微秒级视觉同步:硬件触发,规避系统延迟

图片

同步盒高精度同步示例图

核心机制: CS300同步盒可生成 10-120Hz 高精度触发信号,精度达亚微秒级,经 GMSL 通道传递至摄像头以控制曝光同步。

同时,CS300同步盒还支持外接同步信号源并进行分频处理,例如将 IMU 输出的 200Hz 同步信号分频至 20Hz,实现与摄像头的同步。

关键优势: 绕过Jetson AGX Orin主机软件层及操作系统调度,彻底消除由此引入的抖动和延迟,实现稳定可靠、亚微秒级别的视觉设备硬件同步,并且支持摄像头与外部传感器的同步控制。

系统级时钟对齐:PTP授时,构建统一时间基准

由于不同传感器硬件特性与传输链路差异(例如激光雷达通常支持 PTP 授时并自带时间戳,而摄像头与 IMU 则无),因此为满足多传感器的高精度融合需求,需构建统一的系统级时间基准。而CS300同步盒支持PTP 和 gPTP 主/从模式,可作为精准时钟源。

图片

CS300同步盒授时同步示例图

核心机制: CS300同步盒与Jetson AGX Orin(配置为PTP从时钟)、支持PTP的激光雷达等传感器,共同构建分布式时间同步网络。

关键优势: 通过PTP协议实现系统内所有设备(Orin、摄像头、LiDAR、IMU等)的高精度时钟溯源与对齐,授时精度优于10微秒(μs),确保多源数据融合时具备严格的时空一致性。对于非PTP设备(如普通摄像头),其触发时刻或采集数据的时间戳可基于此统一时钟基准进行对齐。

方案优势与应用价值

基于 Jetson AGX Orin 平台打造的时间同步方案,通过 “硬件触发 + 协议授时” 的组合策略,实现了从高精度同步到多传感器融合的灵活覆盖,同时具备三大核心价值:

1.场景适配性:支持多种同步模式,能够满足从消费级到车规级的差异化需求,在精度与成本之间达到良好平衡,且具备跨平台适用能力。

2.开发便捷性:提供适配摄像头的完整驱动与配置,支持 V4L2 协议及 ROS 框架,配套 SDK 可快速完成摄像头参数设置与同步控制,显著缩短开发周期。

3.可靠性保障:采用硬件级同步机制与抗干扰设计,可确保在复杂车载环境下稳定运行,为系统的可靠工作提供坚实保障。

目前,时间同步方案已在自动驾驶多传感器融合、移动机器人导航等对时空一致性要求严苛的领域得到广泛应用,为高可靠感知系统提供了坚实的底层技术支撑,助力相关行业的技术升级与发展。

M/D-CAPVPX是天津雷航光电科技有限公司推出的一款复合加速计算平台,由Xilinx的28nm制程的FPGA — XC7K325T-3FFG900I和Nvidia的Jetson Xavie的GPU互联构成。 规格 l 集成1片 Nvidia的Jetson Xavier嵌入式GPU处理器; 是目前主流的GPU,主要用于实时处理高速的图像和雷达数据; 而Xavier则是目前功能最强大的嵌入式GPU处理单元,一般的服务器也无法匹敌其处理性能;Xavier可以使得实时处理能力获得成倍的提升;另外Xavier具备PCIE-4.0接口,Virtex-7的PCIE-3.0连接可以获得极高的带宽; l 集成1 片 Xilinx XC7VX690T 芯片(或Ultrascale系列)作为主处理器;外挂 2 组动态存储器QDRII+ SRAM,存储容量72Mb,位宽72bits,存储速度1000Mb/s; 也可以独立挂接DDR3-2166,以最廉价的方案获得最高的数据缓存速率; l FPGA通过板载QSFP/SFP+/FMC等接口可以自由灵活的配置包括用于雷达和软件无线电领域的AD/DA,图像领域的CameraLink/CXP/光纤相机等不同的前端;做到了前端的Fully-Scalable/Fully-Extensible lXavier 和 XC7VX690T 之间通过 PCIE Gen2 x4/PCIE gen3 x8 互联,实现全双工高速数据共享; l FPGA XC7VX690T 上有三组PCIE,其中1组用于和Xavier通信,另 外两组则扩展为2个独立的M.2 M Key NVME PCIE SSD(每个SSD容量为 64GB~2TGB) l FPGA上通过通用的GTH扩展出16~32个SATA接口用于连接RAID0,实现10~22GB/s的超高速存储速度(完全自主知识产权的RAID0/SATA的IP),可以完成高速的CameraLink/CXP/雷达SDR AD数据的实时非易失性存储;其中CXP相机几乎可以适应所有的标准厂家的协议 对外接口 l 2 x QSFp l 2 x SFP+ l 双FMC子卡槽/面板则根据FMC前端连接器类型可选 l RAID0高速连接器(根据RAID0产品接口可定制,一般是镀金线) l M.2本地连接器(在机箱内部,或者也可以通过高速线对板连接器引出) l 以太网/USB/RS422/HDMI/VGA液晶屏 等辅助接口(可选)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值