Assessing Temporal Information and Reasoning in Large Language Models

本文是LLM系列文章，针对《Remember This Event That Year? Assessing Temporal Information and Reasoning in Large Language Models》的翻译。

摘要

大型语言模型（LLM）正变得越来越普遍，但它们推理和保留时间信息的能力仍然有限。这阻碍了它们在现实世界场景中的应用，在现实世界中，理解事件的顺序性质至关重要。本文在一个新的大规模时间数据集TempUN上对最先进的模型进行了实验，以揭示时间保持和推理能力的显著局限性。有趣的是，闭源模型更频繁地表明知识差距，这可能表明在不确定性意识和错误反应之间存在权衡。此外，探索各种微调方法并没有带来重大的性能改进。相关联的数据集和代码可在以下URL中获得。

1 引言

2 相关工作

3 TempUN数据集

4 实验

5 结果

6 结论和未来方向

在这项工作中，我们发现LLM在理解和处理时间信息和推理能力方面存在不足。为了解决这一差距，我们引入了两种基于时间的数据集变体，包括数字模态，占随时间变化的事实的83.87%，即TempUN和TempUNs。我们提出的数据集旨在促进对时间知识的评估，增强他们对时