DATAMAN: DATA MANAGER FOR PRE-TRAINING LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《DATAMAN: DATA MANAGER FOR PRE-TRAINING LARGE LANGUAGE MODELS》的翻译。

摘要

由数据缩放规律驱动的大型语言模型（LLM）的性能出现使得预训练数据的选择变得越来越重要。然而，现有的方法依赖于有限的启发式和人类直觉，缺乏全面明确的指导方针。为了解决这个问题，我们受到了“逆向思维”的启发，促使LLM自我识别哪些标准有利于其表现。由于其预训练能力与困惑度（PPL）有关，我们从文本困惑度异常的原因中推导出了14个质量标准，并引入了15个常见的应用领域来支持领域混合。在本文中，我们训练了一个数据管理器（DataMan），从逐点评级中学习质量评级和领域识别，并使用它来注释一个447Btoken预训练语料库，其中包含14个质量评级和域类型。我们的实验验证了我们的方法，使用DataMan选择30Btoken来训练1.3B参数的语言模型，与最先进的基线相比，在上下文学习（ICL）、困惑度和指令遵循能力方面有了显著提高。基于总分l=5的最佳表现模型超过了使用均匀采样的数据多50%训练的模型。我们继续使用DataMan注释的高评级、特定领域的数据进行预训练，以提高特定领域的ICL性能，从而验证DataMan的领域混合能力。我们的研究结果强调了质量排名的重要性、质量标准的互补性及其与困惑度的低相关性，分析了PPL和ICL表现之间的不一致性。我们还彻底分析了我们的预训练数据集，检查了它的组成、质量评级的分布和原始文档来源。

1 引言

2 相关工作

3 用DATAMAN注释文本

4 用DATAMAN管理数据

<