6、情感计算中的机器学习方法及多模态数据处理

情感计算中的机器学习方法及多模态数据处理

1. 情感感知系统的评估

在情感计算领域，情感感知系统的评估是一项极具挑战性的任务。因为这类系统往往存在多个能被用户接受的正确响应。例如，在合成情感语音以生成自动对话系统的回复时，正确回复的选择非常主观，且依赖于具体情境。

1.1 评估方法

• 基于人类的评估 ：这可能是正确评估情感感知系统的最佳方法。它让一组潜在用户使用李克特量表，评估系统每个回复的自然度或真实感。也可以进行偏好研究，向潜在用户展示多个回复，让他们进行偏好比较，从而收集接近人类判断的评估结果。然而，这种基于人类的评估方法非常耗时且成本高，还需要不同用户的参与，以减少可能的年龄、性别和文化偏差。
• 常用评估指标 ：对于离散情感类别，常用的指标有准确率、平衡准确率、F1 分数、精确率和召回率。值得注意的是，许多情感任务处理的类别是不平衡的，这在模型训练阶段和评估模型性能时都应考虑。对于连续情感分数的预测，均方误差、皮尔逊相关系数和一致性相关系数是广泛使用的指标。

1.2 系统泛化问题

目前大多数情感感知系统依赖于特定用户。这些系统能很好地识别参与构建和训练系统的用户的情感，但对未见过的用户数据表现不佳，这意味着情感感知系统的泛化能力有限。因此，对能够泛化到新用户的独立于用户的情感感知系统的研究是有必要的。

2. 情感及情感行为的合成

生成逼真的人工语言和非语言行为，已成为与人类积极互动的情感感知系统（如虚拟代理、虚拟角色和类人机器人）的重要组成部分。情感感知系统的