mT5系列模型在使用fp16时返回0 loss

诸神缄默不语-个人优快云博文目录

这个bug的出现大概来说就是在用mT5_small + Seq2SeqTrainer的时候，设置fp16=True，打印的日志中损失函数直接为0了。显然这是个bug，网上说在T5/mT5中这是个普遍的问题，解决方案就是将fp16改设置为False。

参考资料：

1. T5 variants return Training Loss 0 and Validation loss nan while fine tuning - 🤗Transformers - Hugging Face Forums
2. Mt5 fine-tuning using fp16 yields zero loss - 🤗Transformers - Hugging Face Forums