本文研究了输入长度对大型语言模型（LLM）推理性能的影响。发现即使在远低于技术最大值的输入长度下，性能也会显著下降。通过FLenQA数据集，揭示了长度对推理性能的显著影响，且传统困惑度量不适用于长输入推理任务。研究确定了失败模式，为改进LLM提供了方向。
本文是LLM系列文章，针对《Same Task, More Tokens: the Impact of Input Length on the Reasoning Performance of Large Language Models》的翻译。
相同任务，更多token：输入长度对大型语言模型推理性能的影响
摘要
本文探讨了扩展输入长度对大型语言模型（LLM）能力的影响。尽管LLM在最近取得了进步，但它们在不同输入长度上的性能一致性还没有得到很好的理解。我们通过引入一种新的QA推理框架来研究这一方面，该框架专门用于评估输入长度的影响。我们使用同一样本的多个版本来隔离输入长度的影响，每个版本都使用不同长度、类型和位置的填充进行扩展。我们的研究结果表明，在比技术最大值短得多的输入长度下，LLM的推理性能显著下降。我们表明，退化趋势出现在我们数据集的每个版本中，尽管强度不同。此外，我们的研究表明，传统的困惑度量与LLM在长输入推理任务中的表现并不相关。我们分析了我们的结果，并确定了故障模式，这些模式可以作为未来研究的有用指南，有可能为解决LLM中观察到的局限性的策略提供信息。
已下架不支持订阅
扫一扫
213
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
