Softmax函数大揭秘:从原理到应用,你了解多少?

深入理解softmax ​ 前言 本文代码基于Pytorch实现。 一、softmax的定义及代码实现 1.1 定义 softmax(xi)=exp(xi)∑jnexp(xj) softmax(x_i) = \frac{exp(x_i)}{\sum_j^nexp(x_j)} softmax(xi​)=∑jn​exp(xj​)exp(xi​)​ 1.2 代码实现 def softmax(X): ''' 实现softmax 输入X的形状为[样本个数,输出向量维度] ''' return torc 阅读详情

1. Softmax函数的广泛应用

多分类输出、归一化概率、注意力权重、配分函数等场景都用到Softmax函数。但人们很少真正思考其内部工作原理。

2. Softmax对分布的作用

Softmax函数看似简单,其公式为$\mathrm{softmax}(x_i) = \frac{e^{x_i}}{\sum_{j} e^{x_j}}$ ,它将任意实数向量转换为0到1之间且总和为1的值,是一个伪概率分布。它把向量映射到概率单纯形,在三维空间中像三角形,高维空间原理类似。在语言模型场景中,它能将无界分数转换为总和为1的概率分布,放大值之间的相对差异,但在需要不确定性估计时可能有问题。

3. 数值稳定性与溢出问题

对于较小输入,简单实现方式效果好,但包含指数的Softmax函数存在溢出问题。如输入 `x = [1000, 1001, 1002]` 会导致 `inf / inf = nan` 。Softmax相互关联特性使问题更糟,一个输入溢出会使所有输出变成NaN。解决方案是移动输入值,利用指数函数性质,将输入值减去最大值,即 `c = -max(x)` ,可避免溢出。在NumPy中实现如下:

def stable_softmax(x, axis=-1):  # axis=-1 表示最后一个维度    shift_x = x - np.max(x, axis=axis, keepdims=True)    exp_shift_x = np.exp(shift_x)    return exp_shift_x / np.sum(exp_shift_x, axis=axis, keepdims=True)

4. 雅可比矩阵

Softmax是向量函数,需考虑雅可比矩阵。雅可比矩阵是向量函数所有一阶偏导数组成的矩阵。Softmax将所有维度耦合在一起,增加一个输入会增加自身输出并减少其他输出。

4.1 计算雅可比矩阵

Softmax从 `ℝⁿ` 到 `ℝⁿ` ,雅可比矩阵是 `n x n` 矩阵,元素由$J_{ij} = \frac{\partial \mathrm{softmax}(x_i)}{\partial x_j}$ 给出。当 `i = j` 时,$J_{ii} = \frac{\partial \mathrm{s}(x_i)}{\partial x_i} = \mathrm{s}(x_i) \cdot (1 - \mathrm{s}(x_i))$ ;当 `i != j` 时,$J_{ij} = \frac{\partial \mathrm{s}(x_i)}{\partial x_j} = -\mathrm{s}(x_i) \cdot \mathrm{s}(x_j)$ 。整个雅可比矩阵可写成$J_{ij} = \mathrm{diag}(s) - s \cdot s^T$ 。

4.2 结构:对角矩阵加秩为1的矩阵

雅可比矩阵是对角矩阵加秩为1的修正项,这使反向传播能高效计算。

4.3 大小的重要性

雅可比矩阵形状为 `n x n` ,在典型Transformer模型中可能非常大,需避免完全实例化。

5. 反向传播

在神经网络反向传播中,根据链式法则$\frac{dL}{dx} = J^T \cdot \frac{dL}{ds}$ 。可将其展开为$\frac{dL}{dx_i} = s_i\left(\frac{dL}{ds_i} - \sum_{j} s_j \cdot \frac{dL}{ds_j}\right)$ ,代码实现如下:

def softmax_backward(dL_ds, s):    # s 是前向传播中缓存的Softmax输出    dot = np.sum(dL_ds * s)    return s * (dL_ds - dot)

这样无需实例化雅可比矩阵,避免大量存储。

6. 与交叉熵损失的联系

Softmax函数常与交叉熵损失一起使用,二者组合为反向传播提供简单表达式$\frac{dL}{dx} = s - y$ ,其中 `s` 是Softmax输出,`y` 是one - hot编码的真实标签。

7. 批量维度 - 轴的重要性

实际中常处理批量数据,`axis` 参数很重要。如形状为 `(batch_size, n_classes)` 的预测批量,在NumPy中用 `axis = 1` 对每个样本的类别独立应用Softmax。`keepdims = True` 确保广播正确。在注意力机制中,可能会用到 `axis = 2` 或 `axis = 3` 。

7.1 温度缩放

Softmax函数会集中概率分布,可通过引入温度参数控制集中程度。

一分钟理解softmax函数(超简单) 做过多分类任务的同学一定都知道softmax函数。softmax函数,又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法: 下面为大家解释一下为什么softmax是这种形式。 首先,我们知道概率有两个性质:1)预测的概率为非负数;2)各种预测结果概率之和等于1。 softmax就是将在负无穷到正无... 阅读详情

相关推荐

常用激活函数activation function(Softmax、Sigmoid、Tanh、ReLU和Leaky ReLU) 附激活函数图像绘制python代码

激活函数是确定神经网络输出的数学方程式。 激活函数的作用:给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数。 1、附加到网络中的每个神经元,并根据每个神经元的输入来确定是否应激活。 2、有助于将每个神经元的输出标准化到1到0或-1到1的范围内。 常用非线性激活函数对比 激活函数 公式 函数图像 适合场景 Softmax 多分类任务输出层 Sigmoid 二分类任务输出层,模型隐藏层 Tanh

记录知识,学习分享 5万+

softmax详解

softmax又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来。它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类!假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的softmax值就是 下图展示了softmax的计算方法: 指数函数的值域是(0,∞)。...

苦逼的程序猿 4万+

深入理解激活函数之softmax

本篇文章将解释 softmax 函数,它与负对数似然(negative log-likelihood)的关系以及它在执行反向传播算法时的导数。 什么是 Softmax 函数 softmax 函数首先是一个函数,它将含有K 个实值的向量转换为 K 个总和为1的实值向量。向量的K个输入值可以是正数、负数、零或大于 1,但 softmax 能将它们转换为介于0 和 1,因此它们可以被解释为概率。如果其中一个输入较小或为负,则softmax将其变成小概率,如果输入较大,则将其变成大概率,但始终保持在0和1之间。 s

zhuguiqin1的专栏 1万+

一文彻底搞懂 Softmax 函数,数学原理分析和 PyTorch 验证

Softmax 函数的数学原理分析和 PyTorch 使用

qq_43799400的博客 5万+

softmax函数

本文先介绍了softmax的函数公式,并详细推导了softmax函数公式的求导过程,然后说明了softmax的溢出问题,并探讨了解决方法,最后提及了softmax函数在多分类问题中的应用。

这个函数可导的博客 7327

Softmax函数的数学原理及推导

Softmax函数的数学原理及推导 作者:禅与计算机程序设计艺术 1. 背景介绍 Softmax函数是机器学习和深度学习中非常重要的一个概念和算法。它广泛应用于分类问题中,是一种将原始值转换为概率分布的数学函数。Softmax函数的输出可以被解释为样本属于各个类别的概率。它

AI天才研究院 817

softmax函数的正推原理——softmax前世今生系列(1)

导读: softmax的前世今生系列是作者在学习NLP神经网络时,以softmax层为何能对文本进行分类、预测等问题为入手点,顺藤摸瓜梳理了整个神经网络工作的基本原理。其中包含: 1.softmax函数的正推原理,softmax的代数和几何意义,softmax为什么能用作分类预测,softmax链式求导的过程。 2.从数学的角度上研究了神经网络为什么能通过反向传播来训练网络的原理,神经网络的...

AI量化交易实验室 9630

Softmax 函数及其作用(含推导)

Softmax是一种形如下式的函数:P(i)=exp(θTix)∑Kk=iexp(θTkx) P(i)=\dfrac{exp(\theta_i^Tx)}{\sum_{k=i}^{K}exp(\theta_k^Tx)} , 其中θi\theta_i和x是列向量,θTix\theta_i^Tx可能被换成函数fi(x)f_i(x)通过这个函数,可以使得P(i)P(i)的范围在[0,1]之间。通常θ\the

Nicoder的专栏 5万+

Softmax函数原理及Python实现

Softmax原理 Softmax函数用于将分类结果归一化,形成一个概率分布。作用类似于二分类中的Sigmoid函数。 对于一个k维向量z,我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果,具体计算公式为: softmax(xi)=exp(xi)∑jexp(xj) softmax(x_i) = \frac{exp(x_i)}{\sum_j exp(x_j)} softmax(xi​)=∑j​exp(xj​)exp(xi​)​ 对于k维向量z来说,其中zi∈Rz_i

Viking的博客 6071

Softmax 函数

Softmax 函数是一种归一化指数函数(Normalized Exponential Function),通常用于将一组实数(通常是模型的原始输出,称为logits)转换为一个概率分布。输出值在01[0, 1]01范围内,且所有输出值的和为 1。σziezi∑j1nezjσzi​∑j1n​ezj​ezi​​Softmax 是一个将 logits 转换为概率分布的函数,广泛用于多分类任务。

Rhett_Butler0922的博客 1467

softmax函数原理

做过多分类任务的同学一定都知道softmax函数。softmax函数,又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法: 下面为大家解释一下为什么softmax是这种形式。 首先,我们知道概率有两个性质:1)预测的概率为非负数;2)各种预测结果概率之和等于1。 softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。 1)将预测结果转化为非负数 下图为y=exp(x)的图像,我们可以知道指数函

qq_25475917的博客 1948

softmax函数名字的由来(代数&几何原理)——softmax前世今生系列(2)

导读: softmax的前世今生系列是作者在学习NLP神经网络时,以softmax层为何能对文本进行分类、预测等问题为入手点,顺藤摸瓜进行的一系列研究学习。其中包含: 1.softmax函数的正推原理,softmax的代数和几何意义,softmax为什么能用作分类预测,softmax链式求导的过程。 2.从数学的角度上研究了神经网络为什么能通过反向传播来训练网络的原理。 3.结合信息熵理论...

AI量化交易实验室 8497

从维纳滤波到Richardson-Lucy:图像去模糊算法的原理与实践

本文深入解析了图像去模糊的核心原理,重点对比了维纳滤波与Richardson-Lucy两种经典去卷积算法。维纳滤波在频域进行快速权衡,适用于高斯噪声场景;而Richardson-Lucy算法基于泊松噪声模型迭代优化,更适用于天文、显微等科学成像。文章通过Python代码实践,详细阐述了PSF(点扩散函数)的关键作用及算法选型指南。

weixin_29285605的博客 389

Softmax 函数全面而详细的解读,原理、图像、应用

Softmax 函数全面而详细的解读

m0_64132509的博客 3506

保姆级教程:手把手教你为STM32F407和W25Q128制作Keil MDK的SPI Flash下载算法(FLM文件)

本文提供了一份详细的教程,指导开发者如何为STM32F407和W25Q128制作Keil MDK的SPI Flash下载算法(FLM文件)。从理解下载算法的核心机制到实现FlashPrg.c的核心操作,再到链接脚本与地址映射实战,手把手教你完成定制化SPI Flash下载算法的开发与优化。

weixin_28716769的博客 410

基于Meteoinfo与TrajStat的后向轨迹聚类分析实战:从数据准备到可视化制图

本文详细介绍了基于Meteoinfo与TrajStat进行后向轨迹聚类分析的完整实战流程。从Java环境配置、Meteoinfo软件与TrajStat插件安装,到精准获取NOAA气象数据、设置参数进行批量轨迹计算,再到利用聚类分析提炼主要气流路径,并最终完成专业地图可视化与制图。文章旨在帮助环境与气象研究者快速掌握从数据准备到成果输出的全链路操作。

p4q5r6s7t的博客 805

Softmax函数与交叉熵

Softmax函数与交叉熵

behamcheung的博客 4万+

Python气象数据处理实战:用PyCINRAD轻松绘制雷达PPI图像(附避坑指南)

本文详细介绍了如何使用Python库PyCINRAD处理中国CINRAD系列天气雷达的基数据,并绘制专业的PPI图像。内容涵盖从环境配置、数据读取、核心绘图到高级定制与批量处理的完整流程,并针对安装依赖、中文乱码、数据范围等常见问题提供了实用的避坑指南,帮助气象工作者高效完成雷达数据可视化。

dog123的博客 226

关于SoftMax函数的一些介绍

前言 SoftMax函数是在机器学习中经常出现的,时常出现在输出层中。对于这个函数,大部分blog作者对于它介绍已经很完善了,包括如何玄学设计,如何使用等等,这里只是从数学来源上讨论下这个函数名字的来历,或者说数学的来源,为什么叫做Soft Max(有没有Hard Max)等等。 1.Soft Max的形式 Soft Max 函数,全名Soft Maximum函数。其形式为σ(z)j=ezjΣk=...

三石的后花园 1万+

华为2024机考真题集合

2.中位数是指把一组数据从小到大排列,最中间的那个数,如果这组数据的个数是奇数,那最中间那个就是中位数,如果这组数据的个数为偶数,那就把中间的两个数之和除以 2,所得的结果就是中位数。在实际考试中会随机抽三道题目进行考察,其中两道100分卷题和一道200分卷题,总共400分。幼儿园组织活动,老师布置了一个任务:每个小朋友去了解与自己同一个小区的小朋友还有几个。3.查找整型数组中元素的众数并组成一个新的数组,求新数组的中位数。1.众数是指一组数据中出现次数量多的那个数,众数可以是多个。

qq_25360769的博客 5094

Python实现商品价格监控与波动分析爬虫项目

本文通过完整的代码示例和详细的技术讲解,展示了如何实现商品价格的自动监控和波动分析。该项目不仅适用于个人购物助手,还可以扩展为商家的竞品监控工具。通过结合数据抓取、存储、分析与可视化,能够帮助我们更好地理解市场趋势并做出优化决策。

2201_76125261的博客 1745

softmax激活函数

Softmax激活函数是一种用于多类别分类问题的激活函数,通常用于神经网络的输出层。它将原始分数(也称为logits)转换为表示概率分布的数值,使得每个类别的概率值都在0和1之间,并且所有类别的概率之和等于1。这使得它适用于多类别分类问题,其中每个样本只能属于一个类别。Softmax函数的数学定义如下:对于给定的原始分数(logits)z = [z1, z2, …, zn],Softmax函数将这些分数转换为概率分布p = [p1, p2, …, pn]

thy0000的博客 1万+

【学习系列】SAP RAP 17:RAP应用部署集成至Fiori Launchpad 【S4HC Public Edition】

本文详细介绍了在SAP S/4HANA Cloud环境中部署RAP应用集成到Fiori Launchpad的两种方法:使用BAS(SAP Business Application Studio)和VSCode。主要步骤包括:1)在BTP中配置Destination连接ES环境;2)设置信任关系;3)创建BAS开发空间;4)通过Fiori应用生成器部署RAP应用;5)创建IAM App、Business Catalog和Business Role;6)配置Launchpad Space和Pages。文章还提供

DeveloperMrMeng的博客 968

softmax函数的定义及求导

softmax函数的定义及求导本文中(x0,x1,...,xm)(x_0, x_1, ..., x_m)代表一个向量,也就是一个mm行1列的矩阵。在监督式的深度学习中,输入通常是一个向量,用xx表示,输出yy则可以分为多种情况。 布尔型标量。yy为0或者1表示输入xx是否属于某一类别。 向量。此时输入xx可能属于多个类别。y=(y0,y1,...,yn)y=(y_0, y_1, ..., y_n)。

softee的专栏 1万+

VTK:受约束的 Delaunay 2D用法实战

VTK:受约束的 Delaunay 2D用法实战程序输出程序完整源代码 程序输出 程序完整源代码 #include <vtkActor.h> #include <vtkCellArray.h> #include <vtkDelaunay2D.h> #include <vtkMath.h> #include <vtkMinimalStandardRandomSequence.h> #include <vtkNamedColors.h>

希望我的博客,能帮上你解决学习中工作中所遇到的问题 951

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

softmax及函数求导

softmax 1. 概念 softmax 的核心在于 soft,而 soft 有软的含义,与之相对的是 hard 硬。很多场景中需要我们找出数组所有元素中值最大的元素,是指上都是求的 hardmax。 softmax 定义: softmax(zi)=ezi∑j=1nezj softmax(z_i) = \frac{e^{z_i}}{\sum^n_{j=1}e^{z_j}} softmax(zi​)=∑j=1n​ezj​ezi​​ 其中,ziz_izi​ 为第i个结点的输出值,n为输出结点的个数,即分类的类

ywm_up 7641

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

上一篇: CVE-2026-31431:Linux 本地权限提升漏洞的受影响版本与修复情况
下一篇: 2026 年用 1978 年终端 VT - 100,体验如何?虽问题多但感受超棒!
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值