KnowGPT: Black-Box Knowledge Injection for Large Language Models-优快云博客

本文是LLM系列文章，针对《KnowGPT: Black-Box Knowledge Injection for Large Language Models》的翻译。

KnowGPT:大型语言模型的黑匣子知识注入

摘要
1 引言
2 问题定义
3 KnowGPT框架
4 实验
5 相关工作
6 结论和未来工作

摘要

生成型大型语言模型（LLM），如ChatGPT，提供交互式API，可以在人类专家级别回答常见问题。然而，当面对需要特定领域或专业知识的问题时，这些模型往往会给出不准确或不正确的回答，而这些问题在其训练语料库。此外，许多最先进的LLM不是开源的，这使得仅使用模型API注入知识具有挑战性。在这项工作中，我们介绍了KnowGPT，这是一个用于问答LLM的黑匣子知识注入框架。KnowGPT利用深度强化学习（RL）从知识图谱（KGs）中提取相关知识，并使用MAB为每个问题构建最合适的提示。我们在三个基准数据集上进行的广泛实验表明，KnowGPT显著增强了现有方法。值得注意的是，KnowGPT比ChatGPT平均提高了23.7%，比GPT-4平均提高了2.9%。此外，KnowGPT在OpenbookQA官方排行榜上的准确率为91.6%，与人类水平的表现相当。