Naive Bayes-based Context Extension for Large Language Models

本文是LLM系列文章，针对《Naive Bayes-based Context Extension for Large Language Models》的翻译。

摘要

大型语言模型（LLM）已经显示出很有前途的上下文学习能力。然而，传统的上下文学习（ICL）方法往往受到Transformer架构长度限制的阻碍，这在试图有效集成大量演示示例的监督时带来了挑战。在本文中，我们介绍了一种新的框架，称为基于朴素贝叶斯的上下文扩展（NBCE），通过显著扩展现有LLM的上下文大小，使其能够在增加演示次数的情况下执行ICL。重要的是，这种扩展不需要微调或依赖于特定的模型架构，同时保持线性效率。NBCE最初将上下文拆分为大小相等的窗口，以适应目标LLM的最大长度。然后，它引入了一种投票机制来选择最相关的窗口，作为后验上下文。最后，利用贝叶斯定理生成测试任务。我们的实验结果表明，NBCE显著提高了性能，特别是随着演示示例数量的增加，始终优于其他方法。NBCE代码将公开。代码NBCE位于：https://github.com/amurtadha/NBCE-master

1 引言

2 方法

3 实验设置

4 评估

5 相关工作

6 结论

本文介绍了一种用于大型语言模型的新框架——基于朴素贝叶斯的上下文扩展（NBCE）。NBCE创新性地引入了投票机制来选择最合适的窗口上下文，然后利用贝叶斯定理生成任务文本。我们的结果表明，NBCE在一