论文阅读：Examining the robustness of LLM evaluation to the distributional assumptions of benchmarks

https://arxiv.org/pdf/2404.16966v2
这篇论文主要探讨了大型语言模型（LLMs）在基准测试中的评估问题，特别是关注了基准测试中提示的分布假设对模型评估的影响。

背景与动机：
大型语言模型（LLMs）在自然语言处理领域取得了显著进展，但它们的评估方法存在挑战。传统的评估方法通常假设基准测试中的提示是独立同分布（i.i.d.）的样本，这种假设可能不准确，因为实际应用中提示的分布可能因用例而异。因此，研究者们提出了研究LLMs评估的鲁棒性，特别是针对基准测试中提示的分布假设。

研究问题：
论文主要研究了以下问题：基准测试中的提示权重是否对模型的评估结果有显著影响；模型在不同提示上的表现是否相关；以及这种相关性是否由提示的语义相似性所驱动。

实验设置与方法：

• 基准测试选择：研究者选择了ANLI、HellaSwag、CommonsenseQA和CNN/Daily Mail四个不同的基准测试，覆盖了自然语言推理、常识推理和文本摘要等任务。
• 评估指标：对于二元结果的基准测试（如ANLI），使用平均准确率；对于连续结果的CNN/Daily Mail，使用ROUGE得分和余弦相似度。
• 模型选择：包括来自不同开发者的多种LLMs，如GPT、Llama和其他流行的模型。
• <