35、多模态情感分析与图聚类编码方法创新

多模态情感分析与图聚类编码方法创新

在人工智能和机器学习领域，情感分析和图聚类是两个重要的研究方向。情感分析有助于让聊天机器人更好地理解用户情绪，提供更贴心的服务；图聚类则在众多领域有着广泛的应用，如社区检测、软件组件提取等。下面将详细介绍这两方面的研究进展。

多模态情感分析

训练数据

如今，很多情感分析研究都使用 Twitter 数据，但对于聊天机器人来说，常见的从“负面”到“正面”的三分类情感分类法不足以描述真实的情感情况。研究采用了微软认知服务情感 API 的情感分类法，并进行了定制。针对处理医院预约请求的聊天机器人，将情感维度从八个改为五个，即幸福、惊讶、愤怒、悲伤和中立，这足以应对可能患者的预约请求。

为构建大规模训练数据集，使用了韩国 Twitter 数据。由于社交媒体帖子包含表情符号、缩写和非正式词汇，手动收集了 100 多个常用表达，如下表所示：
| 情绪 | 情感表达 |
| — | — |
| 幸福 | ^^ ^.^ :) ㅋㅋㅎㅎ |
| 惊讶 | O_O :O 헐; 헉; |
| 愤怒 | >:O >:( >:-< |
| 悲伤 | :’( ㅠㅠㅠ.ㅠㅜㅜ |
| 中立 | o - o |

手动为每个情绪类别标记了 1000 多个语句，构建种子词字典，并使用 WordNet 的同义词集进行扩展。为简化和精确，排除了包含多个相反情感词汇的表达。此外，开发了基于 GRU 的分类器，将手动标记的语句输入并训练该分类器，作为第二阶段工具来确定第一阶段处理后语句的情感类别。

为训练递归神经网络（RVNN），手动