Assessing Consistency and Reproducibility in the Outputs of Large Language Models: Evidence Across

文章主要内容总结：

该研究首次全面评估了大型语言模型（LLMs）在金融和会计任务中的输出一致性与可重复性。研究使用OpenAI的GPT-3.5-turbo、GPT-4o-mini和GPT-4o模型，针对分类、情感分析、摘要、文本生成和预测五大任务，通过50次独立运行生成超过340万次输出，覆盖财务报告、新闻、会议记录等多类文本数据。主要发现如下：

1. 任务依赖性一致性：二元分类和情感分析的一致性接近完美（Fleiss’ Kappa >0.93），复杂任务如多分类和数值预测的一致性较低。
2. 模型差异：高级模型（如GPT-4o）在数值预测中表现更优，但在多分类任务中未必优于旧版本（如GPT-3.5-turbo）。
3. 聚合策略：通过3-5次运行的多数投票或平均策略可显著提升一致性，成本增加有限。
4. 人类对比：LLMs在分类任务中的一致性显著高于人类专家，尤其在文本歧义场景中表现更稳定。
5. 下游分析鲁棒性：尽管存在输出差异，统计推断仍保持高可靠性（97.35%正确推断），有效缓解了"G-hacking"风险。

创新点：

1. 首次系统性评估：填补了LLMs在金融会计领域一致性研究的空白，建立了不同任务的可靠性基准。
2. G-hacking概念提出：首次定义选择性报告LLM有利结果的行为，