GRAPH-CONVOLUTIONAL NETWORKS: NAMED ENTITY RECOGNITION AND LARGE LANGUAGE MODEL EMBEDDING

本文是LLM系列文章，针对《GRAPH-CONVOLUTIONAL NETWORKS: NAMED ENTITY RECOGNITION AND LARGE LANGUAGE MODEL EMBEDDING IN DOCUMENT CLUSTERING》的翻译。

摘要

机器学习的最新进展，特别是BERT和GPT等大型语言模型（LLM），提供了丰富的上下文嵌入，改善了文本表示。然而，当前的文档聚类方法往往忽略了命名实体（NE）之间更深层次的关系和LLM嵌入的潜力。本文提出了一种将命名实体识别（NER）和LLM嵌入集成在基于图的文档聚类框架中的新方法。该方法构建了一个图，其中节点表示文档，边由命名实体相似性加权，并使用图卷积网络（GCN）进行优化。这确保了语义相关文档的更有效分组。实验结果表明，我们的方法在聚类方面优于传统的基于共现的方法，特别是对于富含命名实体的文档。

1 引言

2 相关工作

3 模型和算法

4 实验

5 结论

本研究介绍了一种创新的文档聚类方法，该方法将NER和LLM嵌入集成到属性图框架中。通过使用实体相似性构建文档图并结合上下文嵌入，我们的方法优于传统的聚类技术。GCN的应用有助于同时优化嵌入和聚类，从而更有效地对语义相似的文档进行分组。
未来的工作可以集中在探索特定类型的命名实体（例如组织、位置或事件）是否比其他类型的实体更适合某些集群任务。这一方向可以提供更