66、创新技术：SURVANT监控视频与预训练Transformer模型检测假新闻

创新技术：SURVANT监控视频与预训练Transformer模型检测假新闻

1. SURVANT：创新的基于语义的监控视频系统

SURVANT产品定义了多种用例，包括攻击（殴打后逃跑）、盗窃（扒窃）、破坏行为（针对停放车辆、建筑物涂鸦）、场景监控（建筑物监控）、寻人（报告失踪的弱势群体）以及人员跟踪（对人员的攻击、跟踪感兴趣的人员、检测后续犯罪行为）。马德里市政警察为测试这些用例，录制了5天演员按照特定情节表演的视频，SURVANT算法在近100GB的素材上进行了测试。

1.1 视频分析：目标跟踪与事件检测

• 目标检测模型 ：SURVANT使用基于检测的跟踪范式进行目标跟踪。在目标检测方面，采用了改进的PVANet模型，该模型速度提高了15%，大小减小了79%，在相同训练过程下与原始PVANet产生了相当的结果，但在监控素材上表现欠佳。
• 数据集创建 ：为满足上述用例需求，创建了一个新的数据集，包含近430K个样本，涵盖人物、手提包、背包、行李箱、汽车、卡车、公共汽车、摩托车、自行车、手机、笔记本电脑和涂鸦等类别。使用该数据集和一些增强技术对目标检测网络进行重新训练，以更好地模拟引入运动模糊的真实情况。
• 目标轨迹生成 ：SURVANT利用基于深度学习的检测关联模型生成目标轨迹，该模型使用包括外观、位置、交互、体积和速度等多种信息线索。网络能够以约1522 FPS的速度对批量图像进行预测，精度达到90%。此外，还使用了轨迹片段关联模型，能够实时识别并连接同一人的轨迹片段，准确率达到91%。
<