Pytorch交叉熵损失函数 个人解读

官方文档链接：https://pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html#crossentropyloss

这里的n和N理解为batch的index，c和C理解为class的index，yn为该batch的label（正确的class），由此可见Xn,yn（log后面的分数的分子）是未经过softmax计算的该batch的正确的class的预测值。Wyn是正确的class的权重，ln为该batch的loss，ln始终大于等于0，可见Wyn越大，对应于这个正确的class，要让loss降低相对也更困难。当训练样本不平衡时，可赋予样本数较小的class一个更高的权重，宏观来看不至于让模型训练“投机取巧”（因为样本过少即便不预测这些class也能让loss很小）而使损失函数收敛（样本数量少的class的有更大的Wyn）。