Hidden Entity Detection from GitHub Leveraging Large Language Models

文章主要内容

文章聚焦于利用大语言模型（LLMs）从GitHub仓库文本中自动检测数据集和软件实体，旨在解决知识图谱构建过程中相关实体识别的难题。研究分析了LLaMA 2、Mistral 7B及其量化模型在特定任务中的表现，并探讨了不同少样本提示学习方法对模型识别能力的影响。

1. 研究背景与动机：知识图谱构建任务中，传统实体检测方法依赖大量训练数据，而在专业领域缺乏大规模训练数据的场景下，大语言模型的零样本（ZSL）和少样本（FSL）学习能力提供了新机遇。现有知识图谱构建工作忽视了科研论文相关的代码仓库、数据集和机器学习模型等资源，同时数据集共享存在查找和引用不便等问题。本文利用大语言模型自动发现GitHub仓库README页面中隐藏的数据集和软件，并提取它们用于知识图谱填充。
2. 方法与实验设置：定义了提取和分类（E+CL）、分类（CL）两个任务，使用不同提示模板进行实验。选用LLaMA 2、Mistral 7B及其量化模型，用从unarXiv数据集提取的GitHub URL构建金标准数据，对模型输出进行后处理以实现自动评估，采用严格、精确、部分、类型匹配等评估指标。
3. 实验结果与分析：在输出解析方面，Mistral模型生成符合要求输出的稳定性优于Llama模型。在任务表现上，LLMs在检测URL的精确和部分匹配结果上不如非LLM方法，存在漏检和幻觉非存在URL的问题，量化模型性能总体有所下降，但Mistral量化模型在分类任务上超过Llama 2 7b原模型，且动态样本提示未提升模型性能。在CL任务中，模型难以准确匹配输入URL与上下文URL。