LinkNER: Linking Local Named Entity Recognition Models to Large Language Models using Uncertainty-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137583339

本文介绍了LinkNER框架，它将微调的NER模型与大型语言模型（如GPT-4）结合，通过不确定性估计的RDC链接策略，解决NER任务中看不见的实体识别问题，提高性能和稳健性。实验显示，LinkNER在标准NER测试集和社交媒体数据上超越SOTA模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《LinkNER: Linking Local Named Entity Recognition Models to
Large Language Models using Uncertainty》的翻译。

摘要

命名实体识别（NER）是自然语言理解的一项基本任务，对网络内容分析、搜索引擎和信息检索系统具有直接意义。微调后的净入学率模型在标准净入学率基准上表现出令人满意的性能。然而，由于有限的微调数据和缺乏知识，它在看不见的实体识别方面表现不佳。因此，网络相关应用程序中NER模型的可用性和可靠性受到损害。相反，像GPT-4这样的大型语言模型（LLM）拥有广泛的外部知识，但研究表明，它们缺乏NER任务的专业性。此外，非公开和大规模的权重使得调整LLM变得困难。为了应对这些挑战，我们提出了一个框架，将小型微调模型与LLM（LinkNER）和一种称为RDC的基于不确定性的链接策略相结合，使微调模型能够补充黑盒LLM，实现更好的性能。我们对标准的NER测试集和嘈杂的社交媒体数据集进行了实验。LinkNER增强了NER任务性能，在稳健性测试中显著超过了SOTA模型。我们还定量分析了不确定性估计方法、LLM和上下文学习等关键组成部分对不同NER任务的影响，提供了具体的网络相关建议。