15、推理可重复性分析

推理可重复性分析

1. 数据与代码获取

用于分析的所有命令和相关结果的详细汇编可从以下链接下载： https://github.com/StatNLP/empirical_methods/blob/master/inferential_reproducibility/example-large_language_model.ipynb 。

2. 可重复性问题讨论

研究中的可重复性问题讨论至少可以追溯到2005年的Ioannidis，而机器学习领域的相关讨论至少可以追溯到2006年的Hand或1998年的Dietterich。从那时起，已经有大量论文探讨了机器学习各个领域中不可重复性的各种来源，但在量化可重复性的具体技术方面投入的工作相对较少。

目前存在两种主要的研究方向：
- 单一统计指标衡量可重复性 ：部分研究尝试通过单一统计指标来衡量重复训练运行下评估的可重复性，例如：
- Belz等人（2022）使用变异系数。
- Henderson等人（2018）使用均值和置信区间。
- Agarwal等人（2021b）使用四分位均值。
然而，我们的目标是将测量噪声分解为不同组件，并分析噪声因素与数据属性的相互作用，这与上述研究不同。基于方差分析（ANOVA）技术的方差分量分析已应用于信息检索模型，但这些方法忽