从 TPAMI 2025 看连续时间目标分割：事件相机驱动的视觉新方向

一、论文主要贡献

该论文首次提出了一个 连续时间（Continuous-Time）视频目标分割框架，充分利用事件相机（Event Camera）提供的高时间分辨率，实现低延迟、高精度的目标分割。主要贡献包括：

提出连续时间目标分割任务（Continuous-Time Object Segmentation）

• 与传统基于帧的视频分割不同，该任务可在任意时间点对事件流输出前景目标掩膜；
• 将视频分割的时间粒度提升至 亚毫秒级，适用于高速运动和动态交互场景。

设计事件驱动的稀疏监督框架（Sporadic Groundtruth Supervision）

• 利用离散关键帧的标注，将监督信号传播至整个事件流；

• 极大降低了标注成本，同时保持连续时间分割精度。

提出基于连续时间神经表示的方法

• 采用基于时间的 MLP / 递归网络进行隐状态建模；
• 支持事件序列递归更新目标表示，实现任意时间插值与前景恢复。

构建高质量事件分割数据集与采集平台（MOTChallenge 风格）

• 数据集具有亚毫秒级时间同步；

• 使用 DAVIS346 事件相机搭建平台，包含真实场景与稀疏标注；

• 提供开源采集工具及标准评测代码，便于社区复现。

二、方法框架解读

论文提出的 连续时间分割模型（Continuous-Time Segmentation Model） 核心组成如下：

1. 输入数据

• 事件流：由事件相机产生，格式 (x, y, t, p) 表示位置、时间戳与极性；

• 稀疏标注帧：选定关键时间点的图像或伪标签，用于监督训练；

• 可选 APS / RGB 图像帧：用于可视化或初始化。

1. 模型组成

a. Event Encoder

• 将事件块输入卷积或图神经网络，提取局部空间–时间特征；

• 输出时序嵌入用于隐状态更新。

b. Continuous-Time Latent Memory (CTLM)

• 类似 LSTM 的递归单元，整合连续时间信息；

• 支持任意时间点查询和插值，具有时间记忆能力。

c. Segmentation Decoder

• 输入隐状态，输出前景分割掩膜；

• 通过稀疏关键帧监督进行训练。

1. 训练与监督策略

• 利用稀疏帧监督指导整个时间线的目标位置学习；

• 引入时间插值损失与事件前后约束，增强时间一致性

三、数据集与实验设置

1. 数据采集平台

论文构建了高精度事件相机采集系统：

项目	配置
事件相机	DAVIS346（解析度 346×260）
数据接口	USB3 高速传输
时间同步	亚毫秒级 (<1ms)
场景类型	室内/室外真实动态

设备同时输出：

• 事件流：由光强变化触发；

• APS 帧：灰度图，用于可视化和辅助。

1. 采集方式与标注

• 每段视频长度 1–5 秒，事件数百万；

• 每段仅选取 10–15 帧关键时间点进行人工标注；

• 标注文件包含像素级前景掩膜与时间戳映射表（PNG + JSON/TXT）。

1. 数据集规模与划分

项目	数量
总序列数	50+
每序列标注帧	10–15
分割目标数	1–3
数据划分	训练 / 验证 / 测试

四、实验评估指标

针对连续时间事件分割任务，采用多维评价：

• IoU / mIoU：空间分割精度；

• Temporal Stability：时间一致性；

• Latency-aware Accuracy：低延迟条件下的预测精度。

从系统解决方案角度来看，论文方法对输入传感器形态提出了明确工程假设：事件相机需提供高时间分辨率、低延迟事件流，同时在关键时间点提供可对齐图像帧以支撑稀疏监督。

在实验中，DAVIS 系列设备验证了“事件 + 图像”融合输入的可行性。这种输入形式与实际工业和科研系统高度契合，说明连续时间分割方法不仅是算法创新，也具备真实硬件运行潜力。

在这一背景下，灵光一号作为 RGB + EVS 融合视觉相机，提供了与论文方法天然匹配的硬件能力：

• 同步输出高分辨率 RGB 图像和高时间分辨率事件流；

• 硬件级时间对齐保证数据一致性；

• 可直接支撑稀疏监督训练与连续事件建模。

因此，该方法可在灵光一号平台上直接落地运行，形成完整的“融合感知硬件 + 连续时间目标分割算法”解决方案，适用于高速运动感知、低延迟交互及复杂动态场景。

六、总结

该论文开创性地提出了连续时间目标分割方法，并提供了完整的数据、实验与算法体系；在工程视角下，方法与灵光一号融合视觉相机天然适配，展示了从学术算法到工业落地的可行路径，为下一代高动态、高精度视觉系统提供了理论和实践参考。

申明：本文基于 TPAMI 2025 发表的相关研究进行技术解读与应用分析，论文成果归原作者所有，本文仅从工程与产业视角探讨事件相机（EVS）连续时间目标分割的发展趋势及应用价值。

paper:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10713285

code: •https://github.com/BIT-Vision/ECOS