Mitigating Biases of Large Language Models in Stance Detection with Calibration

本文是LLM系列文章，针对《Mitigating Biases of Large Language Models in Stance Detection with Calibration》的翻译。

摘要

大型语言模型（LLM）在许多自然语言处理任务中取得了显著的进展。然而，我们的实验表明，在立场检测任务中，LLM可能会由于虚假的情绪-立场相关性和对某些个人和主题的偏好而产生有偏见的立场，从而损害他们的表现。因此，在本文中，我们建议通过校准（MB-Cal）来减轻LLM在立场检测中的偏差。其中，设计了一种新的门控校准网络来减轻LLM对立场推理结果的偏差。此外，为了使校准更加准确和可推广，我们构建了反事实增强数据来纠正立场偏差。在目标内和零样本立场检测任务上的实验结果表明，所提出的MB-Cal可以有效地减轻LLM的偏差，实现状态启动结果。

1 引言

2 相关工作

3 LLM在立场检测中的偏差

4 通过校准缓解偏差

5 实验设置

6 实验结果

7 结论

在本文中，我们从因果关系的角度将LLM在立场检测中的偏差分为两类，并提出了量化这些偏差的指标。然后，我们提出了用校准来减轻LLM在立场检测中的偏差，称为MB-Cal。其中，探索了一个可训练的门控校准网络和反事实数据增强，以减轻LL