31、信息处理与分析技术：从事件识别到情感洞察

信息处理与分析技术：从事件识别到情感洞察

1. 中俄经贸数据概览

今年前 7 个月，中俄进出口总值达 468.22 亿美元，较去年同期增长 21.8%。中俄经贸合作基础坚实、合作意愿强烈，预计今年双边贸易额将达 800 亿美元。

2. 事件识别技术设计

不同国家和媒体组织可能对同一事件进行重复报道，因此区分新报道是新事件还是与历史报道属于同一媒体事件，是进行相关性分析、情感分析和趋势预测的关键。

2.1 文本相似度计算

常见的文本相似度计算算法基于空间向量模型（VSM）和余弦距离扩展。它将文本内容处理简化为向量空间中的向量运算，用空间相似度表示语义相似度，直观易懂，广泛应用于短文本相似度计算和检测。但网络媒体报道数据常为长文本，存在大量冗余信息，影响基于 TF - IDF 的空间向量模型性能。因此，需自动提取媒体报道的关键信息，将长文本浓缩为短文本，提高事件识别效率和准确性。

2.2 事件识别流程

• 对历史报道和新报道进行分句、分词和主题提取，实现自动抽象，并保存分割结果。
• 从分割结果中提取摘要句的相应部分，用于进一步构建空间向量模型。
• 去除分割结果中的停用词，将剩余的单词或短语作为空间模型的特征向量。
• 将计算得到的特征的 TF - IDF 值标准化为向量权重，构建空间向量模型。
• TF（词频）：关键词在文章中出现的频率，若一篇 M 字文章中有 N 个关键词，则 TF = N/M。
• IDF（逆文档频率）：用于衡量关键词权重的指标，计算公式为 (IDF = log