Zero-Shot Position Debiasing for Large Language Models

本文是LLM系列文章，针对《Zero-Shot Position Debiasing for Large Language Models》的翻译。

摘要

微调已被证明是提高大型语言模型（LLM）领域性能的有效方法。然而，LLM可能符合数据集的偏差和预测的快捷方式，导致生成性能较差。先前的工作已经证明，LLM容易表现出位置偏差，即利用位于开始或结束的信息，或输入中的特定位置线索。LLM的现有去偏方法需要外部偏误知识或注释的非偏误样本，这在位置去偏方面是缺乏的，在现实中是不切实际的。在这项工作中，我们提出了一个零样本位置去偏（ZOE）框架，以减轻LLM的位置偏差。ZOE利用来自预训练的LLM的无监督响应进行去偏，而不依赖任何外部知识。为了提高无监督响应的质量，我们提出了一个MSA模块来修剪这些响应。在八个数据集和五个任务上的实验表明，ZOE在减轻三种类型的位置偏差方面始终优于现有方法。此外，ZOE通过在有偏差的样本上仅牺牲很小的性能来实现这一点，这是通用且有效的。为了便于结果的再现性，我们在https://anonymous.4open.science/r/ZOE-F06B上共享所有方法和数据集的代码。

1 引言

2 前言

3 方法

4 实验

5 结果

6 分析

7 相关工作

</