Event-based vision 论文阅读笔记
一下内容仅仅是记录自己的论文阅读。
一、Event-based Vision: A Survey
该论文属于综述性文章,对基于事件视觉做了全面的阐述。论文主要介绍了事件相机的原理及事件的处理等等。
1.事件相机的原理
异步的监察每个像素感知器的亮度变化情况,从而产生一个事件,多个像素的变化就产生了事件流。(DVS128、DAVIS240、ATIS等),输出事件格式为AER格式。
2.事件相机与传统相机的区别
优点:
1)高时间分辨率:能够更快的捕捉亮度的变化,从而不会像传统相机那样产生运动模糊。
2)低延迟:APS相机成像都是按照固定的频率,一般1s/30fps,而事件相机的频率在1kHZ。
3)低能耗:由于事件相机是异步的对每个像素点进行监测,只有当强度变化超过预设阈值时才会产生事件流。故在无运动发生时将会一直处于待机状态。
4)高动态范围:事件相机能够在更大的动态范围内对运动做出响应(120dBvs60dB)。
5)低冗余:只输出动态变化信号,其背景等信息不会输出,故相比APS数据少了很多冗余数据。
3.事件的表示方式
1)一维:将事件作为一个一个单独的脉冲序列进行处理(event-by-event),常采用基于概率模型的处理方式或SNN(脉冲神经网络进行处理)。
2)二维:二维的表示方式也是最常用的方式,因为它可以与我们传统的方式就行模型的学习。常用的处理方式有:堆积成帧(按事件个数、按时间间隔)、Time-Surface(时间平面)、Grid(随机采样生成图)。
3)三维:直接将T作为三维轴,然后使用PointNet等直接进行特征学习。
应用
由于时间相机只是一种样本的获取方式,所以只要对事件进行合理的处理,其可以应用到APS所能应用的所有的应用中。例如:目标检测、目标跟踪、姿态估计等。