RELRaE: LLM-Based Relationship Extraction, Labelling, Refinement, and Evaluation

文章主要内容总结

本文提出了RELRaE框架，旨在将实验室机器人产生的XML数据转换为知识图谱（KG）的基础本体，以解决不同实验室间数据的互操作性问题。该框架通过四个阶段实现XML schema到RDFS本体的转换：

1. 概念关系提取：从XML schema中提取概念对之间的层次关系；
2. 基于规则的标签生成：使用预设规则为关系生成初始标签；
3. 标签优化：利用大型语言模型（LLMs）结合领域上下文优化初始标签；
4. 自动标签评估：使用另一LLM作为领域专家代理，评估优化后标签的适用性。

通过以分析化学领域的AnIML schema为基准进行实证评估，对比纯规则方法、纯LLM方法和RELRaE混合方法，结果表明RELRaE生成的标签准确性显著更高；同时验证了LLM作为标签评估者的可行性，为半自动化本体生成提供了有效支持。

创新点

1. 提出RELRaE框架：结合规则方法与LLMs的优势，构建了从XML schema生成骨架本体的结构化多阶段流程，减少了对领域专家的依赖。
2. 实证评估验证：通过对比实验证明了RELRaE在标签生成准确性上的优势，并验证了“LLM作为评估者”（LLM-as-a-judge）在复杂领域标签评估中的有效性。

</