本文是LLM系列文章,针对《Infusing Knowledge into Large Language Models with Contextual Prompts》的翻译。
摘要
知识注入是一种很有前途的方法,可以增强特定领域NLP任务的大型语言模型,而不是从头开始对大型数据进行预训练模型。这些增强的LLM通常依赖于来自现有知识图谱的额外预训练或知识提示,这在许多应用中是不切实际的。相比之下,直接从相关文档中注入知识更具普遍性,减轻了对结构化知识图的需求,同时对通常在任何知识图谱中都找不到的实体也很有用。基于这一动机,我们提出了一种简单而通用的知识注入方法,通过在输入文本中的上下文中生成提示。我们的实验表明了我们的方法的有效性,我们通过探索微调LLM来评估该方法。
订阅专栏 解锁全文
540



被折叠的 条评论
为什么被折叠?



