Data Management For Large Language Models: A Survey

本文是LLM系列文章，针对《Data Management For Large Language Models: A Survey》的翻译。

摘要

数据在大型语言模型（LLM）的训练中起着至关重要的作用。有效的数据管理，特别是在制定一个非常适合的训练数据集方面，对于增强模型性能和提高预训练和监督微调阶段的训练效率具有重要意义。尽管数据管理具有相当重要的意义，但当前的研究界仍未能对管理策略选择背后的原理、其后果、评估策划数据集的方法以及对改进策略的持续追求进行系统分析。因此，数据管理的探索越来越受到研究界的关注。本调查全面概述了LLM预训练和监督微调阶段的数据管理研究现状，涵盖了数据管理策略设计的各个值得注意的方面：数据量、数据质量、领域/任务组成等。展望未来，我们推断了现有的挑战，并概述了该领域有希望的发展方向。因此，这项调查为那些希望通过有效的数据管理实践构建强大LLM的从业者提供了指导资源。最新论文集可在https://github.com/ZigeW/data_management_LLM上找到。

1 引言

2 LLM的预训练

3 LLM的监督微调

4 挑战和未来方向

5 相关综述

6 结论

本文综述了LLM训练中的数据管理。我们依次讨论了LLM的预训练和监督微调阶段，并总结了每个阶段在数据量、数据质量和领域/任务组成方面的最新研究成果。还讨论了预训练阶段的数据管