10、俄罗斯大屠杀幸存者情感语音识别与Wav2vec 2.0嵌入聚合策略

俄罗斯大屠杀幸存者情感语音识别与Wav2vec 2.0嵌入聚合策略

1. 俄罗斯大屠杀幸存者语音识别

在处理大屠杀幸存者的俄罗斯语音数据时，自动语音识别（ASR）面临着诸多挑战。其中一个重要原因是采访者语音的多变性，其语音具有自发性，缺乏平稳部分。而受访者最初回答问题时使用正式语言，但在讲述经历中的严峻时刻变得情绪化时，很多人会转而使用口语化表达。

1.1 数据预处理

为了优化数据以用于后续的语音识别模型训练，进行了一系列的数据预处理操作：
1. 视频分段 ：将视频分割成较小的片段，并尽可能移除包含采访者语音的部分，因为在这些片段中，两位说话者可能会同时说话。
2. 去除无效片段 ：删除带有空字幕的片段。
3. 文本清理 ：去除标点符号和多余的空格，并将文本转换为全小写。
4. 时长筛选 ：原始数据集总时长为25.8小时，平均记录时间为5.04秒，最大记录时长为90.37秒。为了优化数据集，删除了时长超过10秒的记录，处理后数据集时长减少到17.5小时，其中男性说话者的语音时长为7.5小时，女性为10小时。
5. 数据集划分 ：将数据按80%和20%的比例划分为训练集和测试集。
6. 字符转换 ：使用Python的 transliterate 模块将拉丁字母和希伯来字母转换为西里尔字母，使用 num2text 模块将数字转换为文本形式