TRACE: A COMPREHENSIVE BENCHMARK FOR CONTINUAL LEARNING IN LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《TRACE: A COMPREHENSIVE BENCHMARK FOR CONTINUAL LEARNING IN LARGE LANGUAGE MODELS》的翻译。

摘要

对齐的大型语言模型（LLM）在解决任务、遵循说明和确保安全方面表现出非凡的能力。然而，这些一致LLM的持续学习方面在很大程度上被忽视了。现有的持续学习基准对领导一致的LLM缺乏足够的挑战，因为它们的简单性和模型在指令调整过程中的潜在暴露性。在本文中，我们介绍了TRACE，这是一种新的基准测试，旨在评估LLM中的持续学习。TRACE由8个不同的数据集组成，涵盖了具有挑战性的任务，包括特定领域的任务、多语言功能、代码生成和数学推理。所有数据集都被标准化为统一的格式，可以轻松地自动评估LLM。我们的实验表明，经过TRACE训练后，对齐的LLM在一般能力和指令跟随能力方面都表现出显著下降。例如，在我们的数据集上训练后，llama2 chat 13B在gsm8k数据集上的准确率从28.8%急剧下降到2%。这突出了在保持LLM的原始能力的同时，在实现特定任务的性能之间找到合适的折衷方案的挑战。经验发现表明，天生具备推理路径的任务有助于保持LLM的某些能力，以抵御潜在的衰退。基于此，我们引入了推理增强持续学习（RCL）方法。RCL将任务特定线索与元理性相结合，有效地减少了LLM中的灾难性遗忘，同时加快了新任务的收敛。

1 引言

2 相关工作

3 前言

4 TRACE：大型语言模型中持续学习的综合基准

5 推理增强的持续学习

6 讨论