验证 CrossEntropyLoss 内部运算过程

yunpeng.zhou

已于 2022-02-09 09:39:10 修改

阅读量626

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： pytorch 深度学习机器学习

于 2022-02-09 09:37:45 首次发布

本文链接：https://blog.youkuaiyun.com/a1314_521a/article/details/122835543

机器学习专栏收录该内容

10 篇文章

订阅专栏

import torch
from torch.nn import CrossEntropyLoss
from torch.optim import SGD

# 假设三分类真实值real 和预测值pred
real = [0,1,1,2]
pred = [[0.7,0.2,0.1],
        [0.1,0.6,0.3],
        [0.1,0.6,0.3],
        [0.2,0.2,0.6]]
real = torch.tensor(real)
pred = torch.tensor(pred)

# 使用torch 内置模块计算
cel = CrossEntropyLoss()
print(cel(pred,real)) --> # 得出结果tensor(0.8312)


# 按自己理解计算，先把真实标签转化为one-hot编码，再乘以log(softmax(pred)),每个样本结果求和再求平均数
#1. 先真实标签one-hot化
def func(x):
    res = np.zeros(len(set(real.tolist())))
    res[x] = 1
    return res
real_ = torch.tensor(list(map(func,real)))
real_
'''
tensor([[1., 0., 0.],
        [0., 1., 0.],
        [0., 1., 0.],
        [0., 0., 1.]], dtype=torch.float64)
'''

#2. 将预测值转化为softmax值
pred_softmax = torch.softmax(pred,dim=1)
pred_softmax
'''
tensor([[0.4640, 0.2814, 0.2546],
        [0.2584, 0.4260, 0.3156],
        [0.2584, 0.4260, 0.3156],
        [0.2864, 0.2864, 0.4272]])
'''
#3. 计算交叉熵

-1*(torch.mv(real_[0].unsqueeze(dim=0).float(),torch.log(pred_softmax[0]).float())
+torch.mv(real_[1].unsqueeze(dim=0).float(),torch.log(pred_softmax[1]).float())
+torch.mv(real_[2].unsqueeze(dim=0).float(),torch.log(pred_softmax[2]).float())
+torch.mv(real_[3].unsqueeze(dim=0).float(),torch.log(pred_softmax[3]).float()))/4

# --> tensor([0.8312]) 与上述函数求出结果一样