Optimizing the Interface Between Knowledge Graphs and LLMs for Complex Reasoning

论文主要内容总结

研究背景与目的

大型语言模型（LLMs）在自然语言处理任务中表现出色，但存在事实性错误和知识更新困难等问题。检索增强生成（RAG）通过外部知识检索缓解这些问题，而结合知识图谱（KGs）的GraphRAG进一步支持多步推理和结构化知识访问。然而，此类系统的超参数优化（如分块大小、检索策略、提示模板等）尚未被系统研究。本文利用Cognee框架，在多跳问答基准上优化KG与LLM接口的超参数，探索性能提升的可能性及评估指标的局限性。

方法与实验设计

1. 框架与参数：使用Cognee模块化框架，优化分块大小、检索类型（文本块或图三元组）、Top-k值、QA与图构建提示模板、任务处理方法等6个核心参数。
2. 基准与指标：在HotPotQA、TwoWikiMultiHop、MuSiQue三个多跳QA基准上测试，采用Exact Match（EM）、F1分数及DeepEval的LLM-based正确性指标评估。
3. 优化算法：使用Tree-structured Parzen Estimator（TPE）算法搜索参数空间，每个实验包含50次独立 trial。

主要结果

1. 性能提升：优化后各基准和指标均有显著提升。例如，HotPotQA的EM分数从基线0.042提升至0.667（增益1496%），MuSiQue的F1从0.145提升至0.654