突报错显存不足

在训练深度学习模型时，如果模型在之前的 epoch 正常运行，但在某个 epoch 突然报错“超出显存” (Out of Memory, OOM)，这通常是由于以下几个可能的原因：

1. 批次大小 (Batch Size) 突然增大
   原因：有时候，训练过程中的批次大小可能不小心被增加了，或者在某个 epoch 中，模型的输入数据量突然增大。例如，如果使用数据增强或者其他变换操作，可能会导致某些批次的数据量较大，从而导致显存溢出。
   解决方法：检查训练过程中批次大小是否变化。可以尝试减小批次大小（例如，减少为原来的一半）来降低显存消耗。
2. 显存碎片化
   原因：显存碎片化可能导致某些显存区域无法分配，即使整体显存的使用量未超过限制。显存碎片化常见于长时间训练或频繁地分配和释放显存时。
   解决方法：可以尝试通过清理显存来解决，使用 torch.cuda.empty_cache() 来手动清理显存缓存。也可以尝试重启训练过程以消除显存碎片化。
3. 模型的某些操作导致显存使用突然增加
   原因：有些网络层或操作（如 LSTM、Transformer 的注意力机制等）会在训练时消耗大量显存。例如，当你使用较大的输入数据或序列长度时，模型中某些操作（如反向传播时的计算图）会变得更加复杂，从而导致显存需求突然增加。
   解决方法：检查是否有某些层在某个 epoch 使用了更大的输入（例如，序列长度或图像尺寸），导致显存使用量增加。可以考虑调整模型结构或减少输入数据的尺寸。
4. 梯度累积导致显存增加
   原因：如果使用梯度累积（Gradient Accumulation）来模