Anomaly Detection in Traffic Scenes via

通过空间感知运动重构在交通场景中进行异常检测

摘要

       从驾驶者的角度来看，在驾驶时进行异常检测对自动驾驶至关重要。作为高级驾驶员辅助系统（ADAS）的一部分，它可以及时提醒驾驶员注意危险。与大学校园和市场监控视频等传统研究场景相比，由于摄像头晃动，持续移动背景，车速急剧变化等原因，很难从驾驶员的角度检测异常事件。为解决这些特定问题，提出了一种用于交通场景异常检测的空间局限约束稀疏编码方法，该方法首先分别测量运动方向和幅度的异常，然后融合这两个方面以获得鲁棒的检测结果。主要贡献有三点：1）这项工作以一种新的方式分别描述了物体的运动方向和大小，这被证明比传统的运动描述符更好。 2）考虑到对象的空间定位，该稀疏重建框架利用了场景的结构信息，并且优于传统的稀疏编码方法。 3）通过贝叶斯模型对运动方向和幅度的结果进行自适应加权和融合，从而使该方法更加健壮，可以处理更多种类的异常事件。通过对我们自己捕获的九个困难视频序列进行测试，验证了该方法的效率和有效性。从实验结果看，提出的方法比流行的竞争者更有效和高效，并且产生了更高的性能。

介绍

       驾驶时有许多潜在的危险，如不安全的驾驶行为、突然的行人过路和车辆超车。 图1 显示了一些具有潜在危险的典型例子。 由于司机的注意力不能集中在每一秒，注意到所有的危险，许多交通事故每天都会发生。 因此，有必要从驾驶员的角度自动检测潜在的危险。 但是几乎不可能设计出一个能够无故障地检测各种异常事件的系统，因为异常的定义在不同的情况下可能是不同的。 因此，许多研究人员通过专注于特定的对象和事件（如行人，车辆和过路行为）来简化问题。

       为了解决上述简化的问题，训练物体检测器是一种简单的方法。仅举几例，Xu等。 [1]着重于在驾驶时检测突然过路的行人，并学习一种行人检测器以尽早检测到过路的行人。 Sivaraman和Trivedi [2]提出了一种基于零件的车辆检测器，用于在驾驶时检测汽车。此外，为了提高检测器的准确性，Garcia等人。 [3]，[4]融合了基于视觉的行人检测结果和激光数据，以估计正面行人。除了这些传统方法之外，近年来，通过采用深度学习，尤其是卷积神经网络（CNN）[5]，计算机视觉的领域已发生了巨大变化并得到了进一步的发展。基于CNN的物体检测器几乎在所有物体检测基准中均达到了最新水平。例如，基于区域的CNN [6]通过使用深层ConvNet对目标提议进行分类，实现了出色的目标检测精度。基于类似的框架，有很多加快R-CNN的工作，例如空间金字塔池网络（SPPnet）[7]和快速R-CNN [8]。尽管基于CNN的物体检测方法在静态图像中表现出色，但是经过训练的模型仅捕获外观信息，不能用于立即识别特定动作。

       在驾驶时能够识别威胁的系统的理想特性是解开特定的对象类别。基于检测器和基于跟踪的方法总是将注意力放到相当多的对象中。因此，这项工作采用基于运动流的方法。但是，为了使基于运动流的方法可行，应谨慎考虑一些困难。首先，由于摄像机安装在行驶中的车辆上，因此几乎一直在晃动，捕获的视频通常模糊不清。这个使估计的运动信息嘈杂且不稳定。其次，与静态摄像机相反，场景的背景由于其相对于摄像机的相对运动而全部在移动，这使得场景的运动模式非常复杂。此外，不断变化的背景使背景的影响更加严重。第三，车速会有剧烈变化，加剧了物体之间相对运动的差异。由于动态不确定性，相同的行为（例如突然的车辆横穿）可能会在不同的车辆速度下显示出完全不同的运动模式。

       为了解决上述问题，这项工作计算了两个直方图分别表示运动幅度和方向，这对局部运动模式进行了更全面的描述，并且单独的描述符对运动模式的表达更加清晰，从而导致了运动噪声的抵抗。 另外，通过空间感知重建生成了两个异常图，这可以通过空间约束减轻动态背景的影响。 最后，采用贝叶斯积分模型融合先前获得的异常图，以计算最终的异常图，这对于车速的急剧变化具有鲁棒性。 基于获得的最终异常图，可以定位异常对象。

        此外，最近的研究已经观察到并验证了局部性比稀疏性更重要[24]-[26]。 局部约束线性编码(LL C)[38]是这方面的一个很大进展。 应用局部性约束选择相似的局部图像描述符基。 在这项工作的启发下，我们用空间局部受限稀疏重建来测量异常。

A. 提出的主要方法的内容

       （1）补充运动描述： 给定一个视频序列，这项工作计算了每个帧的光流场，它将每个像素的运动特性表示为二维矢量。 利用得到的光学流 计算并收集每个像素的运动方向和大小，分别形成运动方向场(MOF)和运动幅度场(MMF)。 由于物体的不同部分可能具有相似的运动特性，因此采用超像素技术对获得的MOF和MMF进行过分割，它们可以通过 保持局部运动模式的一致性。 利用分段结果，本工作计算了每个超像素的直方图，以表示其运动方向和大小。 因为这个技术 考虑到这两个方面，该方法可以同时检测运动方向和幅度异常。

       （2） 通过空间感知重建进行异常测量： 利用得到的运动方向和幅度直方图，通过基于字典的方法同时检测运动方向和幅度异常。 具体而言，这项工作通过增量学习方法分别学习了两个用于方向和方向描述的标准字典，该增量学习方法在标准运动模式集中找到了代表性样本（方向或大小的直方图）。 然后，我们将它们作为学习字典的基础来构造字典。 因为运动特征的位置(即 相应超像素的空间位置)对于交通场景中的异常检测是必不可少的，本工作在学习的空间近子集上重建新观察到的运动特征。 在图像分类中，ED字典受局部受约束线性编码(L LC)[24]方法的启发。此外，为了更合理地测量运动特征的差异，采用了推土机距离（EMD）[33]代替了传统的χ2距离。根据重建成本，生成两个异常图，分别表示运动方向和大小异常。

       （3） 基于贝叶斯的异常检测集成： 如上所述，这项工作同时测量运动方向和运动幅度的异常，其背后的想法是一些异常行为表现出不同的运动方向 但有些是运动幅度，这主要是由车辆速度的剧烈变化引起的。 为了解决这一问题，我们在贝叶斯积分模型的基础上对两个异常映射进行了整合 通过自适应权值，可以利用这两个映射之间的互补性，得到鲁棒的检测结果。