weixin_47012180的博客

【代码】如何提升大模型的训练效率deepspeed 和 flash attition。

∇θJθ∂J∂θ1∂J∂θ2∇θ​Jθ∂θ1​∂J​∂θ2​∂J​$ J(\theta) $：损失函数（如交叉熵、均方误差）$ \theta $：模型参数（权重矩阵、偏置项等）

​LoRA（Low-Rank Adaptation）​：通过低秩矩阵分解调整部分参数，减少计算量。​梯度检查点（Gradient Checkpointing）​：用时间换空间，减少显存占用。​优化器选择：AdamW、LAMB（适合大模型）、8-bit Adam（节省显存）。​评价指标：ROUGE（文本生成）、BLEU（翻译）、准确率/F1（分类）。​Megatron-LM​（NVIDIA）：专为大规模模型训练优化。​早停（Early Stopping）​：根据验证集性能终止训练。