Assessing Temporal Information and Reasoning in Large Language Models

最新推荐文章于 2025-12-12 17:54:27 发布

UnknownBody

最新推荐文章于 2025-12-12 17:54:27 发布

阅读量97

点赞数

CC 4.0 BY-SA版权

分类专栏： Causal and Reasoning 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137709868

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

Causal and Reasoning

132 篇文章

订阅专栏

本文分析了大型语言模型（LLM）在处理时间信息和推理上的局限性，通过TempUN数据集揭示了这些模型的知识缺口。尽管尝试了不同的微调方法，但性能提升不明显。研究提出了六种度量标准，并指出当前LLM在涉及时间的数字信息处理上存在问题。未来工作将扩大数据集以增强模型的时间推理能力。

本文是LLM系列文章，针对《Remember This Event That Year? Assessing Temporal Information and Reasoning in Large Language Models》的翻译。

摘要

大型语言模型（LLM）正变得越来越普遍，但它们推理和保留时间信息的能力仍然有限。这阻碍了它们在现实世界场景中的应用，在现实世界中，理解事件的顺序性质至关重要。本文在一个新的大规模时间数据集TempUN上对最先进的模型进行了实验，以揭示时间保持和推理能力的显著局限性。有趣的是，闭源模型更频繁地表明知识差距，这可能表明在不确定性意识和错误反应之间存在权衡。此外，探索各种微调方法并没有带来重大的性能改进。相关联的数据集和代码可在以下URL中获得。