文章主要内容
文章聚焦于利用大语言模型(LLMs)从GitHub仓库文本中自动检测数据集和软件实体,旨在解决知识图谱构建过程中相关实体识别的难题。研究分析了LLaMA 2、Mistral 7B及其量化模型在特定任务中的表现,并探讨了不同少样本提示学习方法对模型识别能力的影响。
- 研究背景与动机:知识图谱构建任务中,传统实体检测方法依赖大量训练数据,而在专业领域缺乏大规模训练数据的场景下,大语言模型的零样本(ZSL)和少样本(FSL)学习能力提供了新机遇。现有知识图谱构建工作忽视了科研论文相关的代码仓库、数据集和机器学习模型等资源,同时数据集共享存在查找和引用不便等问题。本文利用大语言模型自动发现GitHub仓库README页面中隐藏的数据集和软件,并提取它们用于知识图谱填充。
- 方法与实验设置:定义了提取和分类(E+CL)、分类(CL)两个任务,使用不同提示模板进行实验。选用LLaMA 2、Mistral 7B及其量化模型,用从unarXiv数据集提取的GitHub URL构建金标准数据,对模型输出进行后处理以实现自动评估,采用严格、精确、部分、类型匹配等评估指标。
- 实验结果与分析:在输出解析方面,Mistral模