PyTorch Softmax函数的实现

最新推荐文章于 2025-04-11 15:55:15 发布

国槐盛开

最新推荐文章于 2025-04-11 15:55:15 发布

阅读量419

点赞数 3

文章标签： pytorch 人工智能 python

本文链接：https://blog.youkuaiyun.com/DiDaDeepWater/article/details/143457694

版权

1、Softmax函数简介

Softmax是一种激活函数，它可以将一个数值向量归一化为一个概率分布向量，且各个维度上的概率值相加之后的和为1。在深度学习领域，Softmax函数可以用来作为神经网络的最后一层，用于多分类问题的输出。另外，Softmax层常常和交叉熵损失函数一起结合使用。

2、Softmax函数的计算公式

对于向量中的每个元素，Softmax函数的计算公式如下：
Softmax(xi)=exp(xi)∑jexp(xj)Softmax(xi)=∑jexp(xj)exp(xi)

其中，xixi 是向量中的第 ii 个元素，分母是所有元素经过指数函数计算后的和。这样，每个元素的输出都在 00 到 11 之间，并且所有输出的和为 11。

3、在PyTorch中使用Softmax

在PyTorch中，可以通过torch.nn.functional模块中的softmax函数来实现Softmax操作。使用时需要指定输入数据以及在哪个维度上进行Softmax操作。例如，对于二维数据，dim=0会在列上应用Softmax，而dim=1会在行上应用。

以下是一个使用PyTorch中Softmax函数的示例代码：

import torch
import torch.nn.functional as F

# 创建一个浮点型张量
data = torch.FloatTensor([[1.0, 2.0, 3.0], [4.0, 6.0, 8.0]])

# 在列上应用Softmax
prob = F.softmax(data, dim=0)

# 输出Softmax后的概率分布
print(prob)

输出结果将是一个与输入形状相同的张量，其中包含了转换后的概率值。如下所示：

tensor([[0.0474, 0.0180, 0.0067],
        [0.9526, 0.9820, 0.9933]])

4、关于维度的理解

关于维度的理解，请大家移步：Tensor的维度理解

5、参考

本文参考自《PyToch面试精华》。