71、媒体文本事件提取与进化聚类技术

媒体文本事件提取与进化聚类技术

1. 媒体文本事件提取

1.1 事件聚类方法

在媒体文本事件提取中，有两种聚类方法用于识别事件，各有优缺点。
- 欧洲媒体监测方法 ：以批量模式工作，使识别的事件更稳定，但不适合实时监测和突发新闻检测。
- 事件注册表方法 ：能在有足够相关文章时立即识别新事件，但由于算法的在线模式，识别的聚类在其生命周期内可能会合并或拆分，导致聚类更不稳定。

聚类维护方法包括：
- 聚类拆分 ：第一次迭代使用原始聚类的第一个主成分作为投影线，后续步骤将文章投影到通过上一次迭代得到的两组质心的直线上。当两组稳定后，使用贝叶斯信息准则比较原始聚类和两个识别的组，以确定是否拆分聚类。
- 移除过时聚类 ：媒体对事件的报道有时间限制，为避免将新文章分配到过时聚类，当最旧的成员文章达到一定年龄时，移除（微）聚类。例如，在事件注册表中，聚类在5天后被移除。

1.2 跨语言事件检测

由于新闻文章使用不同语言编写，而聚类方法依赖文章文本，因此各语言内容需单独聚类，导致聚类代表的事件仅包含单一语言的文章。为识别不同语言中描述同一事件的聚类，可将问题表示为二元分类问题。
- 特征计算 ：
- 文章相关性特征 ：使用规范相关分析（CCA）计算不同语言两篇文章的相关性估计得分。该方法在可比语料库（如维基百科）上训练，可比较测试聚类中的文档对，计算特征如两个聚