qq_62610910的博客

原创 LLMs模型参数与显存占用的估算

如果采用lora训练策略的话，可训练的参数其实与target_model有关，替换就可以，混合训练策略这部分可能会导致模型加载精度与优化器状态参数的精度不一致，但是仍然可以做估算，另外如果训练过程中使用了deepspeed的offload的话，会把部分优化器参数状态给copy到CPU上，可以减少显存的占用。训练阶段如果采用Full finetuning的策略，依旧是考虑以半精训练，训练过程大致需要考虑三个因素，即模型参数、优化器状态参数、梯度缓存。与推理阶段一样的参数占比，1.86nGB。