Softmax函数与交叉熵

已于 2023-05-06 09:56:47 修改
阅读量454 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： python 文章标签： python
于 2019-05-16 21:14:46 首次发布
原文链接：https://blog.youkuaiyun.com/behamcheung/article/details/71911133
本文深入探讨了Softmax函数和交叉熵损失函数在机器学习中的应用，解析其原理及如何在分类任务中发挥作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

softmax函数与交叉熵损失详解
酒酿小圆子呀～
05-13 4187
由于Softmax函数的数值计算过程中，很容易因为输出节点的输出值比较大而发生数值溢出的现象，在计算交叉熵的时候也可能会出现数值溢出的问题。softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标！结果还是挺明显的，经过使用指数形式的Softmax函数能够将差距大的数值距离拉的更大。
模型常见损失函数、softmax、交叉熵损失函数
最新发布
2302_78558540的博客
05-24 777
在模型的训练过程中，最重要的是在计算出参数的梯度值以后，利用梯度下降算法对模型参数进行更新。如果要得到梯度值，必须先定义损失函数。损失函数主要用于衡量模型的预测值与实际值之间的误差,然后模型根据这个损失值调整参数以减小误差,从而找到最优参数值。在深度学习中，根据完成的任务，损失函数可分为两类，第一类为用于回归任务的损失函数，第二类为用于分类任务的损失函数。例如，若有 3 个类别且真实类别为第 2 类，则 y=[0,1,0]。​（未归一化的原始分数），记为 z=[z1​,z2​,...,zC​]。
softmax和交叉熵
q1552211的博客
11-14 3723
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 目录1.softmax初探2.softmax的定义3.softmax与交叉熵损失函数4.softmax VS k个二元分类器5、各种损失函数1.均方差损失函数(Mean Squared Error)2.均方差损失函数(Mean Squared Error)3.MSE与sigmoid函数不适合配合使用4.交叉熵损失函数与sigmoid函数配合使用5.交叉熵损失函数与softmax函数配合使用2.读入数据总结 1.softmax初探 在机器学
softmax函数与交叉熵
fengchuixingchen的博客
12-15 302
推荐博客： https://blog.youkuaiyun.com/behamcheung/article/details/71911133
python编写softmax函数、交叉熵函数实例
12-17
# the list of values given by the softmax function. def softmax(L): pass expL = np.exp(L) sumExpL = sum(expL) result = [] for i in expL: result.append(i*1.0/sumExpL) return result python编写...
【AI知识】Softmax函数和交叉熵损失函数介绍
想买很多漂亮衣服但是买不起的博客
12-14 575
【AI知识】Softmax函数和交叉熵损失函数介绍
softmax+交叉熵
Dear_learner的博客
02-23 2959
1、softmax函数 softmax函数的定义为： softmax函数的特点： ● 函数值在[0,1]之间； ● 所有的softmax(xi)相加的总和是1 面对一个分类问题，能将输出的yi转换成[0,1]的概率，选择最大的概率yi作为分类的结果。 sigmoid函数定义为： sigmoid函数将每个yi映射到[0,1]之间，但每个yi之间是相互独立的，∑yi与1没有关系，可以用作二分类；而softmax函数的本质是将一个k维数据[a1,a2,a3,…,ak]映射成另外一个K维向量[b1,b2,b3
softmax与交叉熵
lanbamboo的博客
04-21 1176
内容预览一、期望(Expect)二、熵(Entropy)三、相对熵(KL散度)四、交叉熵(Cross entropy)五、Softmax六、One-hot编码 一、期望(Expect) 随机变量的均值：E(x)=x1∗P(x1)+x2∗P(x2)+…+xn∗P(xn)E(x)=x_1*P(x_1)+x_2*P(x_2)+…+x_n*P(x_n)E(x)=x1​∗P(x1​)+x2​∗P(x2​)+…+xn​∗P(xn​) 如果变量x满足均匀分布，那么期望=均值 二、熵(Entropy) 信息量：I(x0)=
深度学习之 softmax和交叉熵
ClarkChang的博客
07-08 1041
   记录 深度学习经典输出单元函数softmax和损失函数cross- entropy组合的推理过程    以识别0~9的手写例子来尝试描述这个问题，假设输入数据集为28x28的手写数字（单通道）。 那么输入图片X为28x28 = 784 维的一个向量。并，简单起见使用单层网络W_i x + b。  假设  等式右边：   输入图片X像素0~784 * Wij + bi   其中Wij 是i数...
softmax 交叉熵
YChanging的博客
04-19 207
softmax函数，把评分归一化到0~1。 概率分布p（x）的熵定义： 在“真实”分布p(x)和估计分布q(x)之间的交叉熵定义:
softmax交叉熵
jshazhang的专栏
12-26 216
多分类问题 神经网络输出多个类型，每个类型需要判断正确的概率，这个时候logisticregression就不行了，我们就需要新的函数来解决这个问题，也就是softmax，称归一化指数函数。 softmax 公式 δ(z)=exp⁡zi∑j=1mexp⁡zj,i=1,...,m \delta(z) ={ {\exp^{z_i}}\over{ \sum_{j=1}^m \exp^{z_j}}},i=...
交叉熵与softmax函数
weixin_43003274的博客
10-27 497
交叉熵与softmax函数 在神经网络中，在对超参数进行优化过程当中，需要有一个优化的目标值，也就是真实值与预测值之间的差距要尽量小，差距越小说明预测越精确。这个差距往往用loss表示 在分类问题当中，我们用交叉熵来表示这个loss值。 1. 熵的概念 熵是物理学中的一个名词，表示体系混乱的程度，越混乱熵越大。在神经网络中，交叉熵越大说明预测的越不准确，越混乱。 2. 交叉熵的计算公式 Hy′(y...
为什么使用交叉熵代替二次代价函数_薰风AI知识点：Softmax与交叉熵的数学意义（信息论与概率论视角）...
weixin_39980002的博客
11-23 179
这是薰风AI知识点的第1篇投稿薰风说经过我长时间的观察，发现很多人对人工智能/机器学习的理解只停留在“这是个经典/最新棒槌，我拿这个棒槌敲钉子贼6……”这个level。当然，如果真的敲得很6，那也是一个很厉害的大佬了（我觉得我敲的一点都不6……）但是，随着人工智能行业的“爆火”和“过热”，会抡棒槌的人只会越来越多。因为这个越来越多的人会撰写文章，告诉你怎么抡棒槌。但他们很少告诉你这个棒槌是怎么来的...
softmax以及交叉熵
qq_29507011的博客
05-01 408
softmax 计算方式为数组中的每一项分子是e的xi次方，分母是e的xi次方求和,所以softmax数组的和为1 代码实现： import tensorflow as tf a = tf.cast([1,2,3,4,5],dtype=float) b = tf.nn.softmax(a) with tf.Session() as sess: c = sess.run([b]) ...
Softmax和交叉熵的联系
Francis_s的博客
10-17 468
刚开始上DL的课就很好奇，为什么大家都选softmax是交叉熵是搭配使用的，老师也不讲.... 1. softmax + crossentropy 首先是理解softmax究竟做了什么事，它就是把模型的输出向量都规整到用概率的形式去表达了，这里softmax的公式就不放了。 譬如这个predict总共有5个类别，某一个样本进网络后的softmax输出是一个vector，[0.1, 0.2, 0.5, 0.1, 0.1]，这里表示的是这个样本一个概率分布：P(X,Y) ...
Softmax函数交叉熵及其求导
Hansry的博客
04-14 1657
1. 简介 SoftmaxSoftmaxSoftmax 函数 SoftmaxSoftmaxSoftmax 函数在神经网络分类是十分常用的函数，如下所示，在神经元output layer中，可以输出一个R4R4R^{4} 维度的向量，来进行分类，例如输出层为向量 O=[0.2,0.1,0.4,0.3]O=[0.2,0.1,0.4,0.3]O=[ 0.2,0.1,0.4,0.3 ], 可根据向量中...
softmax函数与交叉熵的反向梯度传导
09-02
softmax函数和交叉熵是深度学习中经常使用的重要概念。 首先来解释一下softmax函数。softmax函数是一种常用的激活函数，它将输入的实数向量转换为一组概率分布。其定义如下： $$ softmax(\mathbf{z})_i = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}} $$ 其中，$\mathbf{z}$是输入的实数向量，$K$是向量的维度。该函数通过对每个输入值应用指数函数并进行归一化，得到一组概率值。softmax函数常用于多分类问题的输出层，将原始的得分或概率转化为每个类别的概率。 接下来是交叉熵，它是常用的损失函数，用于衡量模型输出的概率分布与真实标签的差异。对于二分类问题，交叉熵的定义如下： $$ H(p, q) = -\sum_{i=1}^{2} p_i \log(q_i) $$ 其中，$p$是真实标签的概率分布，$q$是模型输出的概率分布。交叉熵损失函数希望模型的预测概率分布尽可能接近真实分布，从而提供一个优化目标。 当使用softmax函数作为激活函数并使用交叉熵作为损失函数时，我们可以使用反向梯度传导算法来更新模型参数，以减小损失函数的值。具体来说，我们首先计算损失函数对输出的梯度，然后通过链式法则将梯度传递回网络的每一层，并将参数按梯度方向更新。对于softmax函数，其梯度计算如下： $$ \frac{\partial softmax(\mathbf{z})_i}{\partial z_j} = \frac{\partial}{\partial z_j} \left( \frac{e^{z_i}}{\sum_{k=1}^{K} e^{z_k}} \right) = \begin{cases} softmax(\mathbf{z})_i (1 - softmax(\mathbf{z})_i) & i = j \\ - softmax(\mathbf{z})_i \cdot softmax(\mathbf{z})_j & i \neq j \end{cases} $$ 对于交叉熵损失函数，其对模型输出的梯度计算如下： $$ \frac{\partial H(p, q)}{\partial q_i} = - \frac{p_i}{q_i} $$ 通过将以上两种梯度进行链式法则的组合运算，我们可以计算出损失函数对模型输入的梯度，从而实现反向梯度传导，以调整模型参数使其逐渐趋近于最优值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值