A Question on the Explainability of Large Language Models and the Word-Level Univariate First-Order

本文是LLM系列文章，针对《A Question on the Explainability of Large Language Models
and the Word Level Univariate First Order Plausibility Assumption》的翻译。

摘要

最近，大型语言模型的解释被证明对其训练中使用的随机性很敏感，这就需要描述这种敏感性。在本文中，我们提出了一个特征，质疑为此类模型提供简单和信息性解释的可能性。为此，我们给出了解释的信号、噪声和信噪比的统计定义。我们强调，在一个典型的案例研究中，使用一阶统计工具分析单词水平的单变量解释，简单的基于特征的模型的解释比transformer模型的解释携带更多的信号和更少的噪声。然后，我们讨论了用信号和噪声的替代定义来改进这些结果的可能性，这些定义将捕捉更复杂的解释和分析方法，同时也质疑读者对其合理性的权衡。

引言

背景

实验设置

实验结果

结论

我们的结果强调，如果仅限于简单的解释，与基于Transformer的模型（如CamemBERT）相比，简单的模型可能携带更多的统计信号（即，产生将注意力集中在具有更多对比度的更少单词上的解释）和更少的噪声（即，对训练随机性不那么敏感）。除非其他简单的解释工具导致不同的结论，否则这意味着将这种LLM与简单模型一样好的解释性相结合可能需要更复杂的解释。诚然，这一结论是基于单一的分类任务得出的。因此，需要用其他数据集对其进行评估，以评估其范围。更普遍地说，在所有情况下，这一结论都是基于信号和噪声的统计定义，这可能偏离更语义的定义。因此，我们的研究结果也要求挑战（1，1，1）合理性假设，并调查考虑到单词的t对、每个单词的d个注意力值和高阶统计，人类读者是否能够理解更复杂的（t，d，o）解释，这些都有