训练过程中出现loss为nan的问题

问题描述

• 这是一场由学习率引发的血案

在训练时，第一个batch打印出来的loss还很正常，但是后面逐渐增大的不可控制，直接显示为nan值，之前设计对比学习损失函数的时候也出现过类似的情况，当时的问题出在抽取的特征向量没有归一化，导致两向量的乘积过大。但是这次我真的无解了。。
就在我回头检查训练参数的时候，我发现优化器中的学习率调用的是超参中的args.num_classes=5，也就是说，我把学习率默认设置成了5🥴

综上，学习率过大也可能会导致loss出现无穷大的情况。
完结撒花🎇🎇🎇