Softmax激活函数

最新推荐文章于 2025-06-15 11:53:48 发布
最新推荐文章于 2025-06-15 11:53:48 发布
阅读量624 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BigData_Mining/article/details/108415570
博客提及e1、e5、e3分别代表e的1次方、5次方等指数形式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
在这里插入图片描述

其中e1,e5,e3代表e^1 ,e^5…

从零开始大模型开发与微调：Softmax激活函数
AI架构师小马
12-27 996
大模型开发, 微调, Softmax激活函数, 激活函数, 神经网络, 概率分布, 分类任务 1. 背景介绍 近年来，深度学习在计算机视觉、自然语言处理等领域取得了突破性进展，其核心驱动力是大型语言模型（LLM）的快速发展。这些模型拥有数十亿甚至数千亿的参数，能够处理海量数据，学习复
深度学习笔记:详解Softmax激活函数
weixin_53765658的博客
02-22 5080
欢迎Star我的Machine Learning Blog:https://github.com/purepisces/Wenqing-Machine_Learning_Blog。 Softmax Softmax激活函数是一种向量激活函数，主要应用于神经网络的末端，将向量或原始输出转换为概率分布，其中输出元素总和为1。但是，它也可以像前面讨论过的其他激活函数一样应用在神经网络的中间。 Softmax前向方程 给定一个CCC维输入向量ZZZ，其第mmm个元素表示为zmz_mzm​，softmax.forwar
激活函数之softmax函数
weixin_45590490的博客
04-23 6097
softmax函数 分类问题中使用的 softmax 函数可以用下面的式表示： exp(x ) 是表示 ex 的指数函数（e 是纳皮尔常数 2.7182 …）。式（3.10）表示假设输出层共有 n 个神经元，计算第 k 个神经元的输出 yk 。如式（3.10）所示，softmax 函数的分子是输入信号 ak 的指数函数，分母是所有输入信号的指数函数的和。 import numpy as np def softmax(x): exp_a = np.exp(x) sum_exp_a =np
softmax激活函数
thy0000的博客
10-14 1万+
Softmax激活函数是一种用于多类别分类问题的激活函数，通常用于神经网络的输出层。它将原始分数（也称为logits）转换为表示概率分布的数值，使得每个类别的概率值都在0和1之间，并且所有类别的概率之和等于1。这使得它适用于多类别分类问题，其中每个样本只能属于一个类别。Softmax函数的数学定义如下：对于给定的原始分数（logits）z = [z1, z2, …, zn]，Softmax函数将这些分数转换为概率分布p = [p1, p2, …, pn]
深度学习一些基础笔记
2401_88476097的博客
06-15 969
均匀分布和正态分布可通过修改参数进行改进改进后的初始化方法能与网络结构更好结合均匀分布可调整起始值和终止值正态分布可调整均值和标准差构建神经网络层使用nn.Linear示例：3输入2输出的全连接层PyTorch默认使用Xavier正态分布初始化权重全零初始化：使用zero_方法，生成2×3全零矩阵全一初始化：使用ones_方法生成全1矩阵固定值初始化：通过constant方法指定数值（如100）正态分布初始化：采用normal方法，默认均值为0、方差为1。
softmax 激活函数
SYP___
03-05 2604
目录 softmax函数 softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0，1）区间，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 更形象的如下图表示 softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（
softmax激活函数理解
qq_43460068的博客
11-19 1198
这篇讲的非常详细易懂！
【机器学习】激活函数（Softmax）
fzy2003的博客
09-13 3470
Softmax 是一种常用于多分类任务的激活函数，其作用是将未归一化的输出向量转换为概率分布，使每个类别的概率值介于 0 到 1 之间，且所有类别的概率和为 1。在卷积神经网络（CNN）中，Softmax 通常用于最后一层，处理多分类问题。通过将全连接层的输出（各类别的“原始分数”）经过 Softmax 转换为概率，可以直观地确定模型对每个类别的信心。例如，在手写数字识别任务中，Softmax 的输出概率可用于确定模型对数字类别的预测结果。
Softmax激活函数详解
y1679894291的博客
02-13 1189
softmax函数是一种用于将一组数值转换为概率分布的激活函数。它的主要作用是将每个元素变换成一个介于0和1之间的值，并且这些值的总和等于1。数学公式如下：其中，( z_i ) 是输入向量中的第 ( i ) 个元素，( K ) 是输入向量的长度。Softmax函数：将一组数值转换为概率分布，每个值介于0和1之间，总和为1。用途：主要用于多分类问题，将模型的输出转换为概率分布。优势：提供概率解释，归一化输出，与交叉熵损失函数结合良好。示例：展示了如何在神经网络中使用softmax。
【Pytorch】Softmax激活函数
宫瑞阳的博客
03-03 3060
Softmax激活函数
sigmoid和softmax激活函数的区别
A book super
03-03 3242
一、简单说下sigmoid激活函数 解析： 常用的非线性激活函数有sigmoid、tanh、relu等等，前两者sigmoid/tanh比较常见于全连接层，后者relu常见于卷积层。这里先简要介绍下最基础的sigmoid函数（btw，在本博客中SVM那篇文章开头有提过）。 sigmoid的函数表达式如下: 其中z是一个线性组合，比如z可以等于：b + w1x1 + w2x2。通过代入很大的正数或很小的负数到g(z)函数中可知，其结果趋近于0或1。 （一般用于全连接+激活函数） 总之，sigmod函数，是逻
激活函数---softmax
xys430381_1的专栏
12-20 490
softmax 小白都能看懂的softmax详解 转载自：https://blog.youkuaiyun.com/bitcarmanlee/article/details/82320853
【漫话机器学习系列】146.Softmax 激活函数（Softmax Activation Function）
IT古董
03-18 2089
Softmax 函数（Softmax Activation Function）是一种常用于多分类任务的激活函数，广泛应用于机器学习和深度学习模型，特别是在神经网络的输出层。它的主要作用是将输入的多个实数值转换为 0 到 1 之间的概率分布，使得输出的所有数值之和等于 1，从而可以用作分类任务的概率预测。Softmax 作为一种重要的激活函数，广泛应用于神经网络的多分类任务中。它的指数特性可以放大数值之间的差异，使得类别之间的区分更加明显，同时归一化操作确保所有输出值形成一个有效的概率分布。
机器学习中的数学——激活函数（七）：Softmax函数
热门推荐
冯·诺依曼
10-06 12万+
Softmax函数是用于多类分类问题的激活函数，在多类分类问题中，超过两个类标签则需要类成员关系。对于长度为KKK的任意实向量，Softmax函数可以将其压缩为长度为KKK，值在[0,1][0,1][0,1]范围内，并且向量中元素的总和为1的实向量。 Softmax(x)=exi∑iexi\text{Softmax}(x)=\frac{e^{x_i}}{\sum_ie^{x_i}}Softmax(x)=∑i​exi​exi​​ Softmax函数与正常的max函数不同：max函数仅输出最大值，但Softma
激活函数-softmax
后端博客，UE博客，数据库博客，C++博客，数字孪生应用，Python（小工具，爬虫等），没事儿写写AI的博客，算法博客，不定时更新
07-06 493
激活函数：softmax
softmax 函数
家门口的知鸟
07-22 2万+
关于logistic regression中的softmax 函数 是用来柔化输出值，减小值之间的差。 总结为：   将一组数变换为  总和为1,各个数为0~1之间的软性归一化结果。  用来归一化一组值到0~1之间，  总和为1.  求出最大值max由exp表达式将各个值转化为0~1之间的数  x[i] =  exp(x[i] - max)求sum，归一化。
Softmax 激活函数
qq_40794377的博客
04-23 698
https://blog.youkuaiyun.com/Softdiamonds/article/details/80101440
闲谈神经网络softmax激活函数
sunhaoran98的博客
04-20 2072
（首先说明一下我只是个大四在读学生，在自学深度学习，期间遇到很多问题，通过各种资料解开了疑问。写这篇博客的目的是加深对理论的理解，同时也希望能给和我一样存在疑问的初学者一些参考。所以请各位大佬在看到错误的时候指出来，不胜感激！） 学过深度学习的小伙伴们想必对神经网络的工作原理都有所了解。这里拿用于分类的神经网络举例。它通过一层层神经元，将输入的数据不断进行特征提取，将数据映射成一列概率值，并由这个...
softmax激活函数与softmax损失函数
weixin_44646187的博客
08-27 4956
解决办法是先对每个元素进行指数操作，全部转换为正数，然后再用刚才的方法得到每个类别的概率。softmax 函数将每个单元的输出压缩到 0 和 1 之间，是标准化输出，输出之和等于 1。在二分类任务中，输出层使用的激活函数为 sigmoid，而对于多分类的情况，就需要用到softmax 激活函数给每个类都分配一个概率。多分类的情况下，神经网络的输出是一个长度为类别数量的向量，比如输出是(1,1,2)，为了计算概率，可以将其中的每个除以三者之和，得到 (0.25, 0.25, 0.5)。...
SoftMax激活函数
最新发布
07-15
Softmax 是一个常用于神经网络输出层的激活函数，特别适用于**多分类任务**。它的作用是将一组实数（logits）转换为一个概率分布，使得输出值可以被解释为每个类别的**预测概率**。 --- ## 🧮 Softmax 函数定义 给定一个输入向量 $ \mathbf{z} = [z_1, z_2, ..., z_n] $，Softmax 函数定义为： $$ \text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{n} e^{z_j}} $$ 输出是一个向量，其中每个元素的值在 $[0, 1]$ 范围内，并且所有元素之和为 1，表示一个概率分布。 --- ## ✅ Python 实现 Softmax ```python import numpy as np def softmax(z): exp_z = np.exp(z - np.max(z)) # 防止数值溢出 return exp_z / np.sum(exp_z, axis=0) # 示例 z = np.array([2.0, 1.0, 0.1]) probabilities = softmax(z) print("Softmax 输出:", probabilities) ``` ### 输出示例： ``` Softmax 输出: [0.6590 0.2447 0.0964] ``` --- ## 🔍 函数解释： - `np.exp(z)`：将输入值映射到正值区间； - `np.max(z)`：用于数值稳定性，防止指数爆炸； - `np.sum(..., axis=0)`：对所有指数值求和； - 最终每个输出值表示该类别的概率。 --- ## 📈 Softmax 的图像（二维情况） 虽然 Softmax 本身是多维函数，但我们可以可视化二维输入的情况： ```python import matplotlib.pyplot as plt import numpy as np def softmax_2d(z1, z2): exp_z1 = np.exp(z1) exp_z2 = np.exp(z2) total = exp_z1 + exp_z2 return exp_z1 / total, exp_z2 / total # 生成数据 z1 = np.linspace(-5, 5, 100) z2 = np.linspace(-5, 5, 100) # 计算 Softmax 输出 p1, p2 = softmax_2d(z1, z2) # 绘图 plt.plot(z1, p1, label="P(class 1)") plt.plot(z2, p2, label="P(class 2)") plt.title("Softmax Activation Function (2D Case)") plt.xlabel("Input Value") plt.ylabel("Probability") plt.legend() plt.grid(True) plt.show() ``` --- ## 💡 Softmax 的应用场景 - **多分类问题**（如 MNIST 手写数字识别、图像分类）； - 神经网络的最后一层，通常与 **交叉熵损失函数**（Cross-Entropy Loss）配合使用； - 语言模型中用于预测下一个词的概率分布； --- ## ⚠️ 注意事项 1. **数值稳定性**： - 使用 `np.exp(z - np.max(z))` 避免指数爆炸； 2. **维度问题**： - 多维输入时注意 `axis` 参数设置； 3. **梯度计算**： - Softmax 与交叉熵损失函数联合求导更高效，避免单独求导。 --- ## ✅ Softmax 与 CrossEntropyLoss 的配合（PyTorch 示例） ```python import torch import torch.nn as nn # 模型输出（logits） logits = torch.tensor([[2.0, 1.0, 0.1]]) # 真实标签（类别索引） labels = torch.tensor([0]) # 定义损失函数 criterion = nn.CrossEntropyLoss() # 计算损失 loss = criterion(logits, labels) print("Loss:", loss.item()) ``` --- ## ✅ 总结 | 特性 | 描述 | |----------------|------| | 输入 | 任意实数向量 | | 输出 | 概率分布（每个元素在 0~1 之间，总和为 1） | | 可微性 | ✔️ | | 适用任务 | 多分类任务 | | 常见损失函数 | 交叉熵损失（CrossEntropyLoss） | --- ##
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值