用numpy实现交叉熵函数

用numpy实现交叉熵函数

公式：

在pytorch中计算交叉熵之前自动加了一个softmax函数。

1. 当计算交叉熵时，通常需要先对输入进行softmax操作，以将输入转换为概率分布。在PyTorch中，nn.CrossEntropyLoss()函数会在内部自动对输入进行softmax操作，然后计算交叉熵损失。而在Numpy中，我们需要手动实现这一步骤。
2. 首先定义了输入x和标签y，然后通过Numpy手动实现了softmax函数的计算。然后定义了一个函数one_hot()来将标签y转换为One-Hot编码的形式，用于后续的损失计算。
3. 在cross()函数中，首先获取批量大小和类别数量，然后调用one_hot()函数将标签转换为One-Hot编码。接着计算模型预测概率分布q，最后根据交叉熵公式计算损失值并除以批量大小。
4. 在PyTorch部分，将输入x和标签y转换为PyTorch张量后，直接使用nn.CrossEntropyLoss()函数进行交叉熵损失的计算，无需手动实现softmax操作。这样可以大大简化代码，并且保证了实现的效率和正确性。
5. 最终打印出通过Numpy手动实现的交叉熵损失值和使用PyTorch自带函数计算得到的损失值，可以看到结果一致，说明两种方法都可以正确计算交叉熵损失。

import torch
import numpy as np
import torch.nn as nn

x = [[0.1, 0.2, 0.3, 0.4],
     [0.8, 0.5, 0.1, 0.2]]
y = [1, 2]

softmax = np.exp(x)/np.sum(np.exp(x), axis=-1, keepdims=True)

def one_hot(x, y):
     res = np.zeros((softmax.shape))
     for (index, value) in enumerate(y):
          res[index][value] = 1
     return res

def cross(x, y):
     batch_size, _ = np.shape(x)
     p = one_hot(x, y)
     q = np.exp(x)/np.sum(np.exp(x), axis=-1, keepdims=True)
     return -np.sum(p*np.log(q))/batch_size
print(cross(x, y))
# 1.5836098155182408

x = torch.FloatTensor(x)
y = torch.LongTensor(y)
cross = nn.CrossEntropyLoss()
loss = cross(x, y)
print(loss)
# tensor(1.5836)