LLM预训练recipe — 摘要版

文章核心主题：

本文深入探讨了从零开始进行大型语言模型（LLM）预训练（pretrain）的各个环节，侧重方法论和实践细节，旨在普及预训练过程中的关键步骤、常见问题及避坑技巧，而非技术原理的深入分析。作者强调了数据处理的重要性，并强调了自主预训练的价值。

要点总结：

1. 背景篇：自研 Pretrain 模型的意义

• 开源模型的局限性： 虽然大型模型（如qwen）开源了模型参数，但训练框架、训练数据等核心内容仍未开源，使得用户无法参与模型的迭代优化。
• 技术掌握的必要性： 在LLM全面开源前，掌握预训练技术仍然有意义。通用模型的变现能力不如领域模型，而持续预训练（continue-pretrain）是刚需，其技术栈与预训练相似。
• 数据透明度的重要性： 自主预训练可以掌握模型训练数据的细节（如数据配比、知识掌握程度），从而在后续的对齐（alignment）阶段进行针对性优化，最大化模型潜力。
• Tokenizer 的重要性： 使用开源模型时，tokenizer 不可控会导致解码速度不可控，自研模型可以自定义 tokenizer，优化特定任务的性能。
• 其他动机： 自研模型可以作为公司科研能力的象征，也可以在预训练阶段植入个性化知识或价值观。

2. 数据篇：预训练数据的准备与处理

• 数据获取：
  • 需准备大量训练数据（约10T），可逐步收集，数据来源包括爬虫、购买、开源数据集等。
  • 强调专业数据团队的重要性，避免因爬虫行为引发法律风险。
  • 高质量数据（如论文、书籍）常以PDF格式存在，需使用专业服务或自研OCR模型进行解析，Python库解析效果有限，大模型解析成本较高。
  • 开源数据集（如FineWeb、pile、Skypile、RedPajama）可作为启动资金，但质量参差不齐。
  • 开源数据下载复杂，需解决服务器网络、下载速度、文件处理等问题。
• 数据质量：
  • 数据知识密度差异大，高知识密度数据（如唐诗三百首）价值更高。