Temporal Blind Spots in Large Language Models

本文是LLM系列文章，针对《Temporal Blind Spots in Large Language Models》的翻译。

摘要

大型语言模型（LLM）由于其无与伦比的执行各种自然语言处理任务的能力，最近引起了人们的极大关注。这些模型得益于其先进的自然语言理解能力，展示了令人印象深刻的零样本性能。然而，LLM中使用的预训练数据通常局限于特定的语料库，导致固有的新鲜度和时间范围限制。因此，这引起了人们对LLM在涉及时间意图的任务中的有效性的担忧。在这项研究中，我们旨在研究通用LLM在部署用于需要时间理解的任务时的潜在局限性。我们特别注意通过三个流行的时态QA数据集处理事实时态知识。具体来说，我们观察到在关于过去的详细问题上表现不佳，令人惊讶的是，在获得相当新的信息时表现不佳。在手动和自动测试中，我们发现了多个时间误差，并描述了QA性能恶化的条件。我们的分析有助于理解LLM的局限性，并为开发能够更好地满足时间导向任务需求的未来模型提供了有价值的见解。该代码https://github.com/jwallat/temporalblindspots可用。

1 引言

2 相关工作

3 研究细节

4 分析

5 时间误差

6 讨论和结论

在这项研究中，我们旨在通过评估语言模型（LLM）在时态QA任务中的表现来确定它们的时态理解程度。我们的研究结果揭示了LLM时间理解能力的几个