Event-based vision

Event-based vision 论文阅读笔记

一下内容仅仅是记录自己的论文阅读。

一、Event-based Vision: A Survey

该论文属于综述性文章，对基于事件视觉做了全面的阐述。论文主要介绍了事件相机的原理及事件的处理等等。

1.事件相机的原理

异步的监察每个像素感知器的亮度变化情况，从而产生一个事件，多个像素的变化就产生了事件流。（DVS128、DAVIS240、ATIS等），输出事件格式为AER格式。

2.事件相机与传统相机的区别

优点：
1)高时间分辨率：能够更快的捕捉亮度的变化，从而不会像传统相机那样产生运动模糊。
2)低延迟：APS相机成像都是按照固定的频率，一般1s/30fps,而事件相机的频率在1kHZ。
3)低能耗：由于事件相机是异步的对每个像素点进行监测，只有当强度变化超过预设阈值时才会产生事件流。故在无运动发生时将会一直处于待机状态。
4)高动态范围：事件相机能够在更大的动态范围内对运动做出响应（120dBvs60dB)。
5)低冗余：只输出动态变化信号，其背景等信息不会输出，故相比APS数据少了很多冗余数据。

3.事件的表示方式

1）一维：将事件作为一个一个单独的脉冲序列进行处理（event-by-event)，常采用基于概率模型的处理方式或SNN（脉冲神经网络进行处理）。
2）二维：二维的表示方式也是最常用的方式，因为它可以与我们传统的方式就行模型的学习。常用的处理方式有：堆积成帧（按事件个数、按时间间隔）、Time-Surface（时间平面）、Grid（随机采样生成图）。
3）三维：直接将T作为三维轴，然后使用PointNet等直接进行特征学习。

应用

由于时间相机只是一种样本的获取方式，所以只要对事件进行合理的处理，其可以应用到APS所能应用的所有的应用中。例如：目标检测、目标跟踪、姿态估计等。

<