Explicit Inductive Inference using Large Language Models

本文是LLM系列文章，针对《Explicit Inductive Inference using Large Language Models》的翻译。

摘要

据报道，大型语言模型 (LLM) 在推理任务上存在不良证明偏差：当被要求预测前提 P 是否包含假设 H 时，LLM 倾向于使用脱离上下文的假设 H，而不是考虑 P 所包含的 H 的条件真实性。 H 作为脆弱代理的真值标签。在本文中，我们提出了一种利用这种偏差进行显式归纳推理的管道。我们的管道使用LLM将前提转换为一组经过验证的替代方案，然后汇总派生的新蕴涵查询的答案以支持原始推理预测。在定向谓词蕴涵基准上，我们证明，通过应用这个简单的管道，我们可以提高LLM在推理方面的整体性能，并大大减轻其证明偏差的影响。

1 引言

2 相关工作

3 显示归纳推理

4 实验设置

5 结果和讨论

6 结论

我们提出了一个显式归纳管道，利用LLM的证明偏差来进行更稳健的谓词推理。通过对定向 Levy/Holt 数据集及其证明偏差分割子集的实验，我们表明，我们的基线比 LLM 的主要推理性能有了显着提高，并大大减少了 LLM 证明偏差造成的性能损失。在没有外部知识的情况下，EIDI 利用LLM自己的生成来利用他们的证明偏差。我们的结果表明，尽管LLM的偏见通常是不受欢迎的障碍，但在某些情况下，通过仔