Distilling Named Entity Recognition Models for Endangered Species from Large Language Models

UnknownBody

于 2024-06-10 11:03:51 发布

阅读量204

点赞数 2

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139574447

LLM Daily 同时被 2 个专栏收录

1389 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM for NLP

31 篇文章

订阅专栏

本文探讨如何从大型语言模型GPT-4中学习，通过知识蒸馏创建针对濒危物种的命名实体识别（NER）数据集。通过生成和验证合成数据，构建了包含3.6K个句子的高质量数据集，用于微调BERT模型。实验证明，这种方法在濒危物种NER任务上实现了超过90%的F1平均得分，显示了知识蒸馏的有效性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Distilling Named Entity Recognition Models for Endangered Species
from Large Language Models》的翻译。

摘要

自然语言处理（NLP）从业者正在利用大型语言模型（LLM），在不具备特定领域知识的情况下，从专利、论文和论文等半结构化和非结构化数据源创建结构化数据集。与此同时，生态专家正在寻找各种方法来保护生物多样性。为了促进这些努力，我们专注于濒危物种，并通过上下文学习，从GPT-4中蒸馏知识。实际上，我们通过两个阶段的过程为命名实体识别（NER）和关系提取（RE）创建了数据集：1）我们从四类濒危物种的GPT-4中生成了合成数据，2）人类验证了合成数据的事实准确性，得到了黄金数据。最终，我们的新数据集总共包含3.6K个句子，平均分为1.8K个NER和1.8K个RE句子。然后，由于GPT-4是资源密集型的，因此使用构建的数据集来微调一般的BERT和特定领域的BERT变体，完成从GPT-4到BERT的知识蒸馏过程。实验表明，我们的知识迁移方法在创建适用于从文本中检测濒危物种的NER模型方面是有效的。