The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition

本文是LLM系列文章，针对《The Strong Pull of Prior Knowledge in Large Language Models and
Its Impact on Emotion Recognition》的翻译。

摘要

与传统的基于梯度的微调相比，上下文学习（ICL）已经成为一种强大的范式，可以在不更新模型参数的情况下使用大型语言模型（LLM）执行自然语言任务。ICL的承诺是，LLM可以以很小的成本适应以具有竞争力或最先进的水平执行当前任务。LLM以这种小样本方式执行任务的能力取决于它们对任务的背景知识（或任务先验）。然而，最近的工作发现，与传统学习不同，LLM无法完全整合来自对比任务先验的演示的信息。这可能导致次优水平的性能饱和，尤其是对于情绪识别等主观任务，由于人类注释的可变性，从文本到情绪的映射可能会有很大差异。在这项工作中，我们设计了实验并提出了测量方法，以明确量化LLM先验的代理的一致性及其对后验的影响。我们发现LLM在情感识别中具有强大但不一致的先验，这使它们的预测僵化。我们还发现，模型越大，这些影响就越强。我们的研究结果表明，当使用具有较大LLM的ICL进行预训练域之外的以影响为中心的任务时，以及在解释ICL结果时，需要谨慎。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在这项工作中，我们研究了LLM及其先验知识在挑战多标签情绪识别基准中的影响。我们发现，在这种情况下，它们的表现严重不如传统的基于BERT的模型，并探讨了我们的假设，即这是由于上下文内学习（ICL）无法推动模型远离其先验知识，或者换句话说，因为先验知识对模型的预测施加了强大的拉动。
我们发现，与之前在更简单的环境中所做的工作相