10、SNVA：SHRP2 NDS视频分析软件的设计、开发与未来展望

SNVA：SHRP2 NDS视频分析软件的设计、开发与未来展望

1. 核心软件组件

SNVA应用开发使用了多个核心软件组件，每个组件都发挥着重要作用，具体如下：
| 组件名称 | 作用 |
| ---- | ---- |
| TensorFlow和TF - Slim图像分类模型库 | 是项目的主要支撑，TF - Slim库提供的高质量示例代码加速了神经网络模型的实验和开发。除预训练模型外，还包含模型训练、评估、创建TFRecord数据集以及模型文件转换等脚本。可扩展代码以满足特定需求，如主动学习中的增量训练数据集构建、支持NCHW格式、添加命令行参数方便多GPU和CPU运行脚本、添加基于数据集统计的通道标准化预处理功能。Tensorboard可用于监控训练和评估、比较架构性能以及研究模型结构和运行状态。 |
| FFmpeg视频/音频转换程序 | 用于将MPEG - 4格式视频解码为原始字节供分析器使用，还可从视频中提取单个帧并保存到磁盘用于模型开发。 |
| Numpy科学计算库 | 在处理视频帧时间戳和对模型输出的类概率分布进行加权平均平滑的算法中大量使用。其广播和向量化特性显著加速了操作。 |
| Python编程语言 | SNVA应用完全用Python实现，便于集成其他软件组件。TF的模型开发API用Python编写，可通过Python的subprocess模块轻松调用FFmpeg二进制文件。 |

2. 视频帧时间戳提取

SHRP2视频作为补充数据存储在文件系统中，未直接集成到RID。为将其信息集成到RID，需识别检测场景的开始和结束时间戳。由于RID中没有每个视频的帧号到时间戳的映射，因此要直接从视频帧上的