52、社交机器人如何分析情绪？

社交机器人如何分析情绪？

1. 数据与实验方案

为了分析情绪，我们采用了一组来自网络的法语视频数据，涵盖报道、访谈和纪录片。选择这些真实场景视频是为了获取真实的情绪表达，而非演员表演的情绪。整个实验分为三个阶段：
1. 数据预处理 ：将视频中的图像、声音和文本流进行协调索引，使它们的数据类型对齐。同时对图像和声音流数据进行过滤，聚焦于与情绪分析相关的属性。
2. 数据分析 ：分别对图像、声音和文本流进行分析，获取面部表情类和韵律标记类。
3. 结果解释 ：评估分析结果，验证或否定研究提出的假设。

2. 实验步骤

2.1 语料库构建

语料库由网络视频组成，分为三个子语料库：
- 测试语料库 ：用于开发实验分析工具。
- 验证语料库 ：验证分析工具的质量。
- 评估语料库 ：验证分析结果的质量。

选择信息源时，需满足以下条件：
1. 人物面对镜头且面部无遮挡。
2. 音轨无杂音。
3. 录制的是被拍摄者的话语。

2.2 数据分割

首先，使用 VOSK 作为语音转文本工具，将连续的声音流分割成话语。通过 FFmpeg 软件从视频中提取 WAV 格式的声音流，该软件能提供与 VOSK 处理兼容的声音文件。然后，利用 Python 的 moviepy 模块分割视频文件，pydub 模块分