Exploring LLM Capabilities in Extracting DCAT-Compatible Metadata for Data Cataloging

文章主要内容和创新点

主要内容

本文聚焦于大型语言模型（LLMs）在自动化生成符合DCAT（数据目录词汇标准）的元数据方面的能力，以解决数据编目中元数据手动创建耗时、需要专业知识的问题。

• 研究背景：随着数据增长，数据消费者需花费25%-98%的时间寻找合适数据，数据编目可通过元数据加速数据探索，但元数据的创建和维护多为手动，效率低下。
• 研究问题：自回归LLMs能否生成与人类质量相当的、符合DCAT标准的描述性元数据？
• 研究方法：测试了零样本（zero-shot）和少样本（few-shot）提示策略，涉及多个LLM（如GPT-4o、Llama 3.1/3.2、Gemini 1.5等），并对分类任务进行模型微调；使用9个数据集，针对DCAT的8个核心属性（如标题、描述、创作者、关键词、主题等），采用ROUGE、F1分数、余弦相似度等指标评估。
• 核心结果：
  • LLM生成的元数据质量接近人类，尤其在需要高级语义理解的任务中表现优异；
  • 大模型（如GPT-4o、Llama 3.1 70B）整体优于小模型（如Llama 3.2 3B）；
  • 少样本提示在多数任务中提升效果，微调显著提高分类准确性；
  • 不同任务对模型要求不同：基础信息提取可用小模型，复杂语义任务需大模型。

创新点<