Python和PyTorch对比实现多标签softmax + cross-entropy交叉熵损失及反向传播

BrightLampCsdn

于 2018-11-14 21:18:14 发布

阅读量8k

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习编程

本文链接：https://blog.youkuaiyun.com/oBrightLamp/article/details/84073485

本文对比介绍了如何使用纯Python和PyTorch实现多标签的softmax结合cross-entropy交叉熵损失函数，并详细阐述了反向传播的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

本文使用纯 Python 和 PyTorch 对比实现多标签softmax + cross-entropy交叉熵损失函数及其反向传播.

正文

import torch
import numpy as np


class SolfmaxEntropyLoss:
    def __init__(self):
        self.nx = None
        self.ny = None
        self.softmax = None
        self.entropy = None
        self.loss = None
        self.dnx = None

    def __call__(self, nx, ny):
        self.nx = nx
        self