A Few-Shot Approach for Relation Extraction Domain Adaptation using Large Language Models

本文是LLM系列文章，针对《A Few-Shot Approach for Relation Extraction Domain Adaptation using Large Language Models》的翻译。

摘要

知识图谱 （KGs） 已成功应用于复杂科学和技术领域的分析，自动 KG 生成方法通常建立在捕获文本中领域实体之间细粒度关系的关系提取模型之上。虽然这些关系完全适用于各个科学领域，但现有模型是在少数特定领域的数据集（如 SciERC）上训练的，并且在新的目标领域表现不佳。在本文中，我们尝试利用大型语言模型的上下文学习功能来执行模式约束的数据注释，为部署在结构、构造、工程和运营 （AECO） 领域研究论文的标题和摘要上的基于 Transformer 的关系提取模型收集域内训练实例。通过评估在域外数据上训练的基线深度学习架构的性能提升，我们表明，通过使用带有结构化提示和最少专家注释的少量学习策略，所提出的方法有可能支持科学 KG 生成模型的领域适应。

1 引言

2 数据

3 实验设置

4 结果和讨论

5 结论

本贡献介绍了我们目前正在进行的关于大型语言模型 （LLM），特别是 ChatGPT，在关系提取域适应背景下进行小样本学习的潜力的工作。特别是，该研究旨在通过利用 LLM 的上下文学习功能，为结构、构建、工程和运营 （AECO） 领域内基于 Transformer 的关系提取模型生成域内训练数据。实验涉及使用结构化提示和最少的专家注释从 AECO 研究论文标题和摘要中收集训练实例。
结果表明，LLM 生成的注释的质量可能不足以支持 RE 模型的域自定义。但是，当与精选的域外标签结合使用时，它可以显著提