Enhancing Robustness in Large Language Models: Prompting for Mitigating the Impact of Irrelevant

本文是LLM系列文章，针对《Enhancing Robustness in Large Language Models: Prompting for Mitigating the Impact of Irrelevant Information》的翻译。

摘要

近年来，大型语言模型 （LLM） 因其在复杂推理任务中的卓越表现而受到广泛关注。然而，当问题描述包含不相关的信息时，即使使用高级提示技术，最近的研究也可能会显着削弱他们的推理能力。为了进一步研究这个问题，构建了一个包含不相关信息的小学数学问题数据集，名为 GSMIR。在此数据集上测试突出的 LLM 和提示技术表明，虽然 LLM 可以识别不相关的信息，但一旦识别出来，它们并不能有效减轻它造成的干扰。为了解决这一缺点，提出了一种新的自动构造方法 ATF，它增强了 LLM 识别和自我减轻不相关信息影响的能力。此方法分两步进行：首先，分析不相关的信息，然后进行过滤。实验结果证明，ATF 方法显著提高了 LLM 和提示技术的推理性能，即使在 GSMIR 数据集上存在不相关的信息时也是如此。

1 引言

2 相关工作

3 GSMIR数据库

4 LLM 受不相关信息影响的主要原因

5 分析到过滤提示

6 实验

7 结论

在这项研究中，创建了 GSMIR 数据集，以探索 LLM 在问题描述包含不相关信息的情况下的推理能力。此外，还调查了 LLM 受不相关信息影响的原因。我们的研究揭示了一个重要的现象：即使 LLM 可以识别不相关的信息，它仍然可能无法自主排除它。为了解决这个问题，设计了一种称为 A