本文是LLM系列文章,针对《Remember This Event That Year? Assessing Temporal Information and Reasoning in Large Language Models》的翻译。
摘要
大型语言模型(LLM)正变得越来越普遍,但它们推理和保留时间信息的能力仍然有限。这阻碍了它们在现实世界场景中的应用,在现实世界中,理解事件的顺序性质至关重要。本文在一个新的大规模时间数据集TempUN上对最先进的模型进行了实验,以揭示时间保持和推理能力的显著局限性。有趣的是,闭源模型更频繁地表明知识差距,这可能表明在不确定性意识和错误反应之间存在权衡。此外,探索各种微调方法并没有带来重大的性能改进。相关联的数据集和代码可在以下URL中获得。
1 引言
2 相关工作
3 TempUN数据集
4 实验
5 结果
6 结论和未来方向
在这项工作中,我们发现LLM在理解和处理时间信息和推理能力方面存在不足。为了解决这一差距,