Python和PyTorch对比实现多标签softmax + cross-entropy交叉熵损失及反向传播

摘要

本文使用纯 Python 和 PyTorch 对比实现多标签softmax + cross-entropy交叉熵损失函数及其反向传播.

相关

原理和详细解释, 请参考文章 :

多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导

系列文章索引 :

https://blog.youkuaiyun.com/oBrightLamp/article/details/85067981

正文

import torch
import numpy as np


class SolfmaxEntropyLoss:
    def __init__(self):
        self.nx = None
        self.ny = None
        self.softmax = None
        self.entropy = None
        self.loss = None
        self.dnx = None

    def __call__(self, nx, ny):
        self.nx = nx
        self