An Effective Framework to Help LLMs Handle Numeric-involved Long-context Tasks-优快云博客

本文是LLM系列文章，针对《An Effective Framework to Help LLMs Handle Numeric-involved Long-context Tasks》的翻译。

帮助LLM处理涉及数字的长上下文任务的有效框架

摘要
1 引言
2 方法
3 实验
4 结论
5 局限性

摘要

大型语言模型（LLM）在处理长文本方面表现出了卓越的能力，并且在传统检索任务中具有近乎完美的表现。然而，当涉及长上下文中的数值计算时，它们的性能会显着下降。目前的LLM在正常情况下通常无法解决涉及数字的长上下文任务，因为它们在同时处理复杂和大量信息方面存在固有的局限性。一些CoT之类的提示方法可以提高准确性，但需要大量输出token，成本高且速度慢。为了解决这个问题，我们提出了一种工作流程，将涉及数字的长上下文任务分解为 4 个低级子任务：判断、提取以及用代码和结论进行处理。前两个子任务相对简单，这使得我们可以使用较小的模型来有效地处理长上下文。当需要进行数值计算时，我们使用LLM生成的代码，以避免LLM不擅长计算的缺点。 2 个涉及数字的长上下文基准测试的结果表明，我们的工作流程不仅可以提高准确性，还可以显着降低 API 调用的成本。

1 引言

2 方法

3 实验

4 结论

在这项研究中，我们引入了一种新颖的工作流程，旨在增强大型语言模型在涉及数字的长上下文任务中的性能。通过将这些复杂的任务分解为更简单的子任务，进行判断、提取、用代码处理并得出结论，我们利用较小的模型进行高效的长上下文处理，并利用LLM来生成和执行代码以进行精确的数值计算。我们的方法在两个不同的基准上进行了评估，表明与传统的提示方法相比，准确性显着提高，成本大幅降低。这种方法不仅解决了LLM在处理数值计算方面的固有局限性，而且还为涉及数值数据的长上下文任务提供了可扩展且经济高效的解决方案。</