Large Language Model Enhanced Clustering for News Event Detection

本文是LLM系列文章，针对《Large Language Model Enhanced Clustering for News Event Detection》的翻译。

摘要

随着来自世界各地的信息量不断增加，新闻格局正在不断演变。在这个庞大的数据存储库中进行自动事件检测对于监控、识别和分类不同平台上的重大新闻事件至关重要。本文提出了一个事件检测框架，该框架利用大型语言模型（LLM）与聚类分析相结合，从全球事件、语言和语气数据库（GDELT）中检测新闻事件。该框架通过事件前检测任务（关键词提取和文本嵌入）和事件后检测任务（事件摘要和主题标签）来增强事件聚类。我们还评估了各种文本嵌入对聚类结果质量的影响，确保了稳健的新闻分类。此外，我们引入了一种新的聚类稳定性评估指数（CSAI）来评估聚类结果的有效性和稳健性。CSAI利用多个特征向量来提供一种测量聚类质量的新方法。我们的实验表明，在事件检测框架中使用LLM嵌入显著改善了结果，在CSAI得分方面表现出更大的稳健性。此外，事件后检测任务产生有意义的见解，有助于有效解释事件聚类结果。总体而言，我们的实验结果表明，所提出的框架提供了有价值的见解，并可以提高新闻分析和报道的准确性。

1 引言

2 相关工作

3 研究框架

4 质量评估与嵌入

5 聚类可视化与后检测

6 结论

在本文中，我们提出了一个使用全球GDLET新闻数据库的事件检测框架。该框架包括各种组件，包括关键词提取、文本嵌入和LLM辅助的事件摘要，以及降维和聚类算法。我们探索了使用不同的文本嵌入来表示新闻文章，并研究了这些嵌入