Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models

UnknownBody

已于 2024-06-27 14:18:59 修改

阅读量803

点赞数 10

CC 4.0 BY-SA版权

分类专栏： RAG for LLM LLM Daily 文章标签： prompt 语言模型人工智能

于 2024-04-08 18:00:33 首次发布

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137518083

LLM Daily 同时被 3 个专栏收录

1389 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM 日更

828 篇文章

已下架不支持订阅

RAG for LLM

38 篇文章

订阅专栏

本文研究了大型语言模型（LLM）在检索增强生成（RAG）中的鲁棒性，发现提示的微小变化可能导致生成不准确的答案。通过提出梯度引导提示扰动（GGPP）技术，评估了这种扰动对RAG的影响，揭示了RAG在某些情况下可能易受干扰。此外，还介绍了一种方法来检测和增强LLM的鲁棒性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models》的翻译。

摘要

随着大型语言模型在广泛领域的使用迅速增长，其稳健性变得越来越重要。检索增强生成（RAG）被认为是提高LLM文本生成可信度的一种手段。然而，基于RAG的LLM的输出如何受到略有不同的输入的影响还没有得到很好的研究。在这项工作中，我们发现，即使在提示中插入一个短前缀，也会导致生成远离事实正确答案的输出。我们通过引入一种名为梯度引导提示扰动（GGPP）的新优化技术，系统地评估了这些前缀对RAG的影响。GGPP在将基于RAG的LLM的输出引导到有针对性的错误答案方面实现了高成功率。它还可以处理提示中请求忽略无关上下文的指令。我们还利用LLM在有GGPP扰动和没有GGPP扰动的提示之间的神经元激活差异，提出了一种方法，通过对GGPP生成的提示触发的神经元激活进行高效检测器训练，提高基于RAG的LLM的鲁棒性。我们对开源LLM的评估证明了我们方法的有效性。