33、SRN：基于社交网络的电影角色关系分析

SRN：基于社交网络的电影角色关系分析

1. 引言

在信息时代，人们的视听消费逐渐发生变化，电视、电影等视频资源的数量迅速增加。同时，随着视频分析技术的不断发展，对自动获取视频故事情节、角色等信息的需求也日益增长。社交网络分析作为一种有效的视频故事分析技术，被广泛应用于视频分析领域。

社交网络技术通过将视频设计为加权图来应用于视频故事分析，其中节点代表角色，边代表角色之间的关系，权重代表关系的紧密程度。目前已经有多种构建视频社交网络的方法，应用领域也十分广泛。本文将基于前人的研究，继续深入研究视频角色关系，提出一种基于 SRN（Social Relationship Network）的视频角色社区分析方法。该方法分为三个阶段：角色识别、SRN 网络构建和社区分析。

2. 角色识别

在为电影构建 SRN 之前，需要进行角色识别，以确定每个场景中出现的主要角色。角色识别是基于角色的视频分析的重要步骤，可分为两个阶段：
1. 视频结构化分析 ：包括场景边界检测和镜头检测。在实现中，使用特定方法检测电影的场景边界，完成后使用 libfacedetection 引擎进行人脸检测。
2. 人脸聚类 ：进行人脸检测和人脸特征提取，使用聚类算法进行人脸聚类。具体来说，使用 SeetaFace2 开源人脸识别引擎进行人脸特征提取，将 VIPLFaceNet 中 FC2 层的 2048 个节点的输出作为输入人脸的特征。由于人脸遮挡、角度变化、光照变化等因素可能导致人脸聚类不准确，因此在一轮聚类完成后，选择聚类数为 1 的人脸，降低相似度阈值进行下一轮聚类，循环多次以提高聚类准确性。