Softmax分类器及交叉熵损失（通俗易懂）

原创 已于 2022-06-23 16:16:45 修改 · 置顶 · 8.2k 阅读 · 121 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能 #深度学习

于 2022-06-23 13:44:39 首次发布
本文介绍了线性分类的基本概念，包括线性分类函数的定义和参数学习。接着，讨论了损失函数的作用，特别是对数似然损失和百叶窗损失。进一步讲解了Softmax分类器，解释了Softmax如何将输出归一化，并引入了交叉熵损失作为评估分类性能的指标。通过实例展示了交叉熵损失如何衡量模型预测与真实标签的匹配程度，以及在模型优化过程中损失的变化情况。

在说分类器前我们先了解一下线性分类

线性函数y = kx + b ，在对于多种类别、多个特征时可将W看做一个矩阵，纵向表示类别，横向表示特征值，现在有3个类别，每个类别只有2个特征

 线性分类函数可定义为：

f(x i, W, b)=W x_{i}+b

我们的目标就是通过训练集数据学习参数W，b。一旦学习完成就可以丢弃训练集，只保留学习到的参数。

1. 损失函数

损失函数是用来告诉我们当前分类器性能好坏的评价函数，是用于指导分类器权重调整的指导性函数，通过该函数可以知道该如何改进权重系数。通俗都来说一组参数（W,b）对应一个损失L，一般的损失越小模型越好，我们目标是通过各种优化，使损失达到最优值（不一定最小是最优的）。

常见的损失函数：

  • 对数似然损失

\small L(y, \hat y)=-y\log\hat y-(1-y)\log(1-\hat y)

  • 百页损失

\small L_i = \sum_{j\neq y_i} \max(0, s_j - s_{y_i} + \Delta)

现

最低0.47元/天 解锁文章
Peyzhang
关注
softmax函数与交叉熵损失详解
酒酿小圆子呀～
05-13 4344
由于Softmax函数的数值计算过程中，很容易因为输出节点的输出值比较大而发生数值溢出的现象，在计算交叉熵的时候也可能会出现数值溢出的问题。softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标！结果还是挺明显的，经过使用指数形式的Softmax函数能够将差距大的数值距离拉的更大。
【PyTorch】第九节：Softmax 函数与交叉熵函数
荷叶田田的博客
04-17 3889
本实验主要讲解了分类问题中的二分类问题和多分类问题之间的区别，以及每种问题下的交叉熵损失的定义方法。由于多分类问题的输出为属于每个类别的概率，要求概率和为 1 。因此，我们还介绍了如何利用 Softmax 函数，处理神经网络的输出，使其满足损失函数的格式要求。
softmax回归与交叉熵损失
m0_60561065的博客
09-30 1112
回归与分类是机器学习中的两个主要问题，二者有着紧密的联系，但又有所不同。在一个预测任务中，回归问题解决的是多少的问题，如房价预测问题，而分类问题用来解决是什么的问题，如猫狗分类问题。分类问题又以回归问题为基础，给定一个样本特征，模型针对每一个分类都返回一个概率，于是可以认为概率最大的类别就是模型给出的答案。但有时模型给出的每一类的概率并不满足概率的公理化定义，这时就要用到softmax回归。
深度学习中的SoftMax
最新发布
S1531585571的博客
11-01 880
Softmax函数摘要 Softmax函数是深度学习中处理多分类问题的关键工具，它将神经网络的原始输出（logits）转换为概率分布。其核心价值在于：1）提供直观的概率解释，突出最大得分；2）便于与交叉熵损失结合进行模型训练。相比Sigmoid函数（仅适用于二分类）和Argmax函数（仅返回索引），Softmax能同时输出所有类别的概率。 工作原理：通过指数化操作消除负值并放大差距，再归一化为总和为1的概率分布。为防止数值不稳定（上溢/下溢），实际计算时会先减去最大值。 优缺点：优势包括输出标准化、数学性质
关于交叉熵（Cross Entropy）与Softmax
qqq_aaa_zzz1的博客
08-20 4931
目录 写在前面 KL散度 交叉熵 Softmax 交叉熵与Softmax的关系 交叉熵损失 Softmax的求导 堆叠+向量化 其他关于Softmax函数的问题 赠品 写在前面 Softmax、交叉熵、交叉熵损失是机器学习与神经网络模型的重要组成部分，一般来说，Softmax一般用于criterion(标准)，交叉熵与交叉熵损失用来衡量模型预测与实际结果间的差别并产生用于反向传播的梯度。...
Softmax 和交叉熵损失函数
weixin_44853840的博客
08-10 5005
目录Softmax 函数交叉熵损失函数学习率衰减策略 Softmax 函数 Softmax 函数函数是机器学习和深度学习中相当常用到的函数，它的公式如下: softmax(S)=esk∑jesj softmax(S)=\frac { e ^ { s _ { k } } } { \sum _ { j } e ^ { s _ { j } } } softmax(S)=∑j​esj​esk​​ 其中 ???????? 表示的是输入到 Softmax 函数的数据。Softmax 函数具体的作用是将输入标准化到
softmax函数与交叉熵损失
weixin_44296865的博客
11-05 833
在处理多分类问题时，常使用softmax函数搭配交叉熵损失函数。线性层的输出结果经过softmax运算得到该输出样本划分到每类的概率，且各类概率之和等于1。交叉熵损失用于衡量同一个输入样本数据的真实概率分布与预测概率分布这两个概率分布之间的差异程度，交叉熵损失值越小 ，模型预测的效果就越好。
pytoch人工神经网络基础：最简单的分类（softmax回归+交叉熵分类）
hustlei的专栏
03-21 2282
softmax回归分类原理 对于回归问题，可以用模型预测值与真实值比较，用均方误差这样的损失函数表示误差，迭代使误差最小训练模型。 那么分类问题是否可以用线性回归模型预测呢。最简单的方法就是用softmax方法，softmax的原理： 以in_features个特征，out_features个类别为例。比如用花瓣大小、生长位置、花瓣形状三个因素，判断荷花和梅花，则in_features为3，out_feautures为2。 模型为 y1=x11w11+x12w12+x13w13+b1y2=x21w2
softmax分类器
07-27
- *1* *2* [Softmax分类器及交叉熵损失（通俗易懂）](https://blog.youkuaiyun.com/Peyzhang/article/details/125418625)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_...
从深度学习通俗易懂的说一说，然后在pytouch的使用
03-11
好的，用户让我用通俗易懂的方式介绍一下softmax，然后在PyTorch中的使用。之前已经用分苹果的例子解释了softmax的基本概念，现在需要扩展到深度学习，并结合PyTorch的具体应用。 首先，用户可能对深度学习中的...
通俗易懂学习“知识蒸馏”（Knowledge Distillation, KD）
m0_63512689的博客
09-07 679
知识蒸馏 = 让小模型学大模型的“解题思路”（软标签），而不是只背“答案”（硬标签），最终实现“又小又准又快”。是不是像极了好老师教学生：不逼你死记硬背，而是教你思考逻辑——学生既学得轻松，又能举一反三。找老师（性能好的大模型）和学生（轻巧的小模型）；老师写“详细解题思路”（软标签，用温度T调整）；学生既学思路（蒸馏损失），又对答案（分类损失）；学生反复练习（训练优化），直到损失变小；考试检验（评估），不行就补课调整。
Softmax分类器
01-20
Softmax 函数用于多分类，他将多个神经元的输出的值映射到（0,1）区间内的一个值，，并且映射的所有值相加为1，这些值可以理解为输出的概率，输出概率较大的一般作为预测的值 计算公式 分子：fyi 表示第i个类别指数值 分母求和fj 所有元素的指数和 softmax作用过程：假如对于神经元的输出值3,1,-3通过softmax函数，映射成为(0,1)之间范围的值，而这些值的累和为1， P(3∣score)=e3/(e3+e1+e-3)=0.88 P(1∣score)=e1/(e3+e1+e-3)=0.12 P(-3∣score)=e-3/(e3+e1+e-3)=0 计算softmax和
softmax 分类器
weixin_30448685的博客
07-17 1594
softmax 分类器 两种常用的分类器之一。 1.从两个角度理解 （1）信息论中交叉熵 H(p,q)=−∑xp(x)log(q(x))=H(p)+DKL(p||q)H(p,q)=−∑xp(x)log(q(x))=H(p)+DKL(p||q) p是指真实的分布，q是估计的分布。 式中H(p)是真实分布的熵，当给定分布，熵就确定； DKL(p|...
二分类交叉熵损失函数python_【深度学习基础】第二课：softmax分类器和交叉熵损失函数...
weixin_39650745的博客
12-22 1333
【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。1.线性分类如果我们使用一个线性分类器去进行图像分类该怎么做呢？假设现在我们有一张$2\times2\times1$的图像(即图像大小为$2\times 2$，通道数为1)，像素值见下：\[\begin{bmatrix} 56 & 231 \\ 24 &...
【深度学习笔记（二）】之Softmax分类器
开发小鸽
07-16 5453
一. Softmax分类器        用SVM损失函数得出的只是一个个的分数，还要通过对比分数来分类。那么，如果直接输出结果为分类的概率，岂不是更好？        这里，给出了softmax分类器，直接输出分类的概率。 二．Sigmoid函数        由于概率是在【0，1】之间，这时就需要引入sigmoid函数      
交叉熵损失函数和softmax笔记
scar2016的博客
11-24 1059
文章目录1. 交叉熵定义 1. 交叉熵定义 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性，要理解交叉熵，需要先了解下面几个概念 信息量 香农大佬说过"信息是用来消除随机不确定的东西",就是用信息量来表示一个事件从不确定到确定这种状态的量度单位。信息量的大小和信息发生的概率成反比。假设某一事件发生的概率为P(X),我们将信息量I(X)定义如下 I(X)=−log⁡(P(X))(1)I(X)=-\log(P(X))\tag1I(X)=−log(P(X))(1) 信息熵 H(X) 信息熵表
9.1 mnist_softmax 交叉熵多分类器
FontTian的博客
10-23 1491
softmax交叉熵多分类器具体含义不再解释,这是一个我们比较常用的一个多分类器.深度学习的一大优点就是特征的自动构建,也正是因为该优点,使得分类器层显得不再那么重要,在Tensorflow的官方源码中,softmax是很常见的一个多分类器.其调用也十分的简单.此处再此单独拿出来介绍,是为了下一步的学习做准备.使用方法 cross_entropy = tf.reduce_mean( t
CrossEntropy交叉熵损失函数及softmax函数的理解
热门推荐
qq_44629163的博客
04-22 1万+
参考链接1 参考链接2 参考链接3 （一）什么是Sigmoid函数和softmax函数？ 1、提到二分类问题容易想到逻辑回归算法，而逻辑回归算法最关键的步骤就是将线性模型输出的实数域映射到[0, 1]表示概率分布的有效实数空间，其中Sigmoid函数和softmax函数刚好具有这样的功能。 2、Sigmoid函数 当分类结果可以只用一个节点表述时，使用Sigmoid函数： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值