迷失在上下文的迷雾中：多事实检索的迭代革命

在人工智能的浩瀚领域中，语言模型（Large Language Models, LLMs）如同一位擅长从信息海洋中打捞珍珠的潜水员。然而，当需要同时找到多颗珍珠时，这位潜水员却常常迷失在深海的迷雾中。这种现象被称为“迷失在中间”（lost-in-the-middle），它揭示了 LLMs 在多事实检索任务中的关键弱点。为了解决这一问题，一项名为 FACT（Find All Crucial Texts）的全新方法横空出世，为语言模型的多事实检索能力注入了新的活力。

本文将带领您深入探讨 FACT 方法的背景、原理及其在实验中的表现，揭示这一方法如何通过迭代上下文重写，帮助模型逐步聚焦于关键事实，从而克服传统方法的局限性。

---

🌌 从单点到多点：LLMs 的挑战与困境

🧠 单事实检索的强项

近年来，LLMs 在单事实检索任务中表现出色。无论是从长文本中提取关键信息，还是回答单一问题，这些模型都能如同“从干草堆中找到针”般精准（Shi et al., 2023; Izacard and Grave, 2021）。例如，在经典的问答任务中，模型可以轻松从上下文中找到一个具体