Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models

本文是LLM系列文章，针对《Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models》的翻译。

摘要

Transformer模型，尤其是大型语言模型（LLM），具有执行上下文学习（ICL）的非凡能力——在没有任何明确的模型训练的情况下，在使用看不见的输入输出示例提示时执行新任务。在这项工作中，我们研究了Transformer如何有效地在由多个不同任务族组成的预训练数据混合物之间架起桥梁，以在预训练分布内外的环境中识别和学习新任务。在先前工作的基础上，我们在受控环境中研究了这个问题，在受控环境下，我们研究了在$(x,f(x))$