SEALONG：LLM（Large Language Model）在长上下文推理任务中的自我改进

LLMs在处理长上下文推理任务时，面临着显著挑战。现有方法多依赖于人类专家或高级模型（如GPT-4）的注释，通过合成数据进行微调，这无疑限制了LLMs的进一步发展。为了克服这一难题，研究人员提出了一种名为SEALONG的方法，旨在使LLMs在长上下文推理任务中实现自我改进。今天我们一起来了解一下SEALONG。

一、SEALONG方法的提出与背景

长上下文推理是LLMs面临的一个重要挑战。在处理包含复杂信息和逻辑推理的长文本时，LLMs往往难以准确捕捉上下文中的关键信息，导致推理结果不尽如人意。传统的解决方法，如使用合成数据进行微调，依赖于外部注释，不仅耗时费力，而且限制了LLMs的自主性和泛化能力。

SEALONG方法的提出，正是为了解决这一问题。该方法利用LLMs自身的推理能力，通过采样多个输出、评分和优选，实现自我监督下的微调与偏好优化。这种方法不仅减少了对外部注释的依赖，还提高了LLMs在长上下文推理任务中的表现。

二、SEALONG方法的核心原理

SEALONG方法的核心原理可以概括为两个阶段：自我监督和微调。

1. 自我监督阶段

在自我监督阶段，SEALONG利用“计划-解决”提示策略，为每个问题及其对应的长上下文采样多个推理轨迹。这些推理轨迹反映了LLMs在给定上下文中的不同推理路径。基于正确推理轨迹通常表现出更高语义一致性的假设，SEALONG使用最小贝叶斯风险（MBR࿰