字节大模型面经——超细节大模型训练与微调实操经验总结

本篇主要从训练数据预处理、模型结构、训练参数设置与错误处理四大角度比较细节地分享大模型微调经验。

大模型的训练和微调过程相对于以前NLP中fine-tuning模式存在一些新的坑，并且做一些简单的消融实验相对于以前的模式试错成本也更高；此外目前很多算法工程师更多精力都放在了处理数据上， 工作之余很难有精力去做探索实验。

所以小伙伴们在实践前可以多看看一些通用的实践经验，带着一些先验知识去探索，尽量规避自己陷入一些无意义的坑中。

本篇将开启一个新系列，尽量细节的讲讲大模型中训练和微调的经验。

本篇主要从训练数据预处理、模型结构、训练参数设置与错误处理四大角度来谈经验，下面是一个问题的快捷目录。

\1. 拿到业务产生的一批新的对话数据，需要进行SFT，怎样对这批数据进行优化？

\2. 模型训练时，历史对话长度是不是设置得越长越好，一般设置多少？

\3. 模型训练样本量规模增大，导致训练任务直接报OOM了，该怎么办？

\4. 微调大模型的时候在模型结构方面有哪些经验？

\5. 微调大模型的时候训练配置一般是怎样的？

\6. 微调大模型时出现错误崩溃该怎么办？

拿到业务产生的一批对话数据，需要进行SFT，怎样对这批数据进行优化？

1. 上下文内容处理

考虑具体模型历史对话长度，输入历史对话数据进行左截断， 保留最新的对话记录。

2. 语句顺滑处理

把一些口语化的语气词、语法错误等进行顺滑，如嗯嗯、呃、啊啊之类的口语词。

3. 去掉一些敏感或不合适的内容

这里可以从整句和词的角度来考虑。

• 整句

可以基于如fasttext等模型训练一个简单的文本分类模型，把价值观不正确的或不合适的样本数据筛出来；

还可以训练一个奖励模型。

• 词

这里比较直接，可以设置一个敏感词列表。

4. 扩充用户特征标签

基于年龄、性别、地域、人群等，针对对话的用户做一个特征标签，可以便于后期分析，做其他实验等。

模型训练时，历史对话长度是不是设置得越长越好，一般设置多少？

这个消融实验是这么设计的，选同一个模型，分别用两种方案训练，变量是max_source_length和max_target_length，对训练好之后的模型从Loss、Bleu指标、离线人工评估等角度进行对比分析。

下面直接附上结论：

基于现有显存条件，从人工评估少量样本以及loss下降来看，历史对话长度设置得越长越好。历史对话长度1024比512长度好，后续如果训练可能上线模型，可以扩大到1024长度。

模型训练样本量规模增大，导致训练任务直接报OOM了，该怎么办？

1. 方案

对数据并行处理，核心思想是使数据向量化耗时随处理进程的增加线性下降，训练时数据的内存占用只和数据分段大小有关，可以根据数据特点，灵活配置化。

2. 具体操作

• 均分完整数据集到所有进程（总的GPU卡数）；
• 每个epoch训练时整体数据分片shuffle一次，在每个进程同一时间只加载单个分段大小数据集；
• 重新训练时可以直接加载向量化后的数据。

微调大模型的时候在模型结构有哪些经验？

• 模型结构：目前都用Causal Decoder + LM。有很好的zero-shot和few-shot能力，涌现效应
• Layer normalization: 使用Pre RMS Norm
• 激活函数: 使用GeGLU或SwiGLU
• Embedding层后不添加layer normalization，否则会影响LLM的性能
• 位置编码: 使用ROPE或ALiBi。ROPE应用更广
• 去除偏置项: 去除dense层和layer norm的偏置项，有助于提升稳定性

微调大模型的时候在训练配置方面有哪些经验？

• Batch size: 大模型在硬件显存满足的情况下，一般batch size越大越好， 建议选用很大的batch size; 后期动态地增加batch size的策略，GPT3逐渐从32K增加到3.2M tokens。
• 学习率设置: 先warmup再衰减。学习率先线性增长，再余弦衰减到最大值的10%。最大值一般在 5e-5到1e-4之间。
• 梯度裁剪: 通常将梯度裁剪为1.0。
• 权重衰减: 采用AdamW优化器，权重衰减系数设置为0.1Adamw相当于Adam加了一个L2正则项。
• 混合精度训练: 采用bfloat16，而不是foat16来训练。

微调大模型时出现错误崩溃该怎么办？

前面都好好的，过某个shard的时候突然崩溃了大概率是数据问题。

选择一个好的断点，跳过训练崩溃的数据段，进行断点重训。

选择一个好的断点的两点标准:

• 损失标度 lossscale>0；
• 梯度的L2范数<一定值 且 波动小。

如何学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。