交叉熵与softmax的初步了解

最新推荐文章于 2025-05-24 17:42:50 发布
原创 最新推荐文章于 2025-05-24 17:42:50 发布 · 583 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#交叉熵 #softmax

本文介绍了在神经网络训练中，交叉熵作为损失函数与softmax函数的作用。交叉熵用于衡量预测概率分布与实际标签之间的差异，而softmax将非概率值转换为概率分布。相较于线性转换，softmax能更好地模拟真实标签的一类突出特性，有利于后续计算。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言：

在调试tensorflow官方教程代码时，我发现了交叉熵（Cross Entropy）损失和其之前所用的softmax函数。我还没在《神经网络与机器学习第3版》中看到交叉熵，就大概先了解一下，并且记录下我目前了解到的信息。

 

正文：

先说交叉熵的公式：

 

如果是在训练神经网络的情况下，p(i)代表标签中当前样本属于i类的概率。在mnist的标签中

最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 34万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
交叉熵与softmax的概念
hexueqiang93的博客
07-11 477
信息量: 越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。信息量的公式如下： 熵: 用来表示所有信息量的期望，熵的公式如下： 然而有一类比较特殊的问题，比如投掷硬币只有两种可能，字朝上或花朝上。买彩票只有两种可能，中奖或不中奖。我们称之为0-1分布问题（二项分布的特例），对于这类问题，熵的计算方法可以简化为如下算式： 相对熵： 相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用 KL 散度（
交叉熵与softmax函数
weixin_43003274的博客
10-27 497
交叉熵与softmax函数 在神经网络中，在对超参数进行优化过程当中，需要有一个优化的目标值，也就是真实值与预测值之间的差距要尽量小，差距越小说明预测越精确。这个差距往往用loss表示 在分类问题当中，我们用交叉熵来表示这个loss值。 1. 熵的概念 熵是物理学中的一个名词，表示体系混乱的程度，越混乱熵越大。在神经网络中，交叉熵越大说明预测的越不准确，越混乱。 2. 交叉熵的计算公式 Hy′(y...
交叉熵 与 softmax
qq_41198463的博客
07-06 245
交叉熵损失函数原理讲解 相关信息 信息熵 ， 相对熵（KL散度），交叉熵 KL散度 = 交叉熵 - 信息熵 线性回归问题 loss函数一般选择MSE ， 分类问题loss函数一般选择交叉熵。 公式以及解释： 交叉熵损失函数原理讲解 交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。 交叉熵在分类问题中常常与softmax是标配，softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来
模型常见损失函数、softmax、交叉熵损失函数
最新发布
2302_78558540的博客
05-24 771
在模型的训练过程中，最重要的是在计算出参数的梯度值以后，利用梯度下降算法对模型参数进行更新。如果要得到梯度值，必须先定义损失函数。损失函数主要用于衡量模型的预测值与实际值之间的误差,然后模型根据这个损失值调整参数以减小误差,从而找到最优参数值。在深度学习中，根据完成的任务，损失函数可分为两类，第一类为用于回归任务的损失函数，第二类为用于分类任务的损失函数。例如，若有 3 个类别且真实类别为第 2 类，则 y=[0,1,0]。​（未归一化的原始分数），记为 z=[z1​,z2​,...,zC​]。
softmax与交叉熵(Cross Entropy)的区别与联系
weixin_42423701的博客
05-26 3357
最初的疑惑 看到一篇关于训练词向量的论文当中提到了用CBOW训练词向量时，目标是使用上下文推断缺失词的后验概率最大，目标函数是后验概率，而后验概率的表示为softmax，也就是下面的公式 P(wj∣wI)=exp(vjTvI)∑j′=1nexp(vj′TvI)P(w_j|w_I)=\frac{exp(v_j^Tv_I)}{\sum_{j'=1}^n exp(v_{j&#...
【pytorch】pytorch 计算 CrossEntropyLoss 需要先经 softmax 层激活吗
热门推荐
zkq_1986的博客
09-09 1万+
答案是不需要。 碰到一个坑，之前用pytorch实现自己的网络时，如果使用CrossEntropyLoss我总是将网路输出经softmax激活层后再计算交叉熵损失。刚刚查文档时发现自己大错特错了。 考虑样本空间的类集合为{0,1,2}，网络最后一层有3个神经元（每个神经元激活值代表对不同类的响应强度），某个样本送入网络后的输出记为net_out： [1,2,3]， 该样本的真...
softmax交叉熵
AI_girl的博客
10-30 811
softmax应用 实例描述 下面的代码中，假设有一个标签labels和一个网络输出值logits。 这个例子以这两个值来计算一下3次试验。 （1） 两次softmax试验：将输出的logits分别进行1次和2次softmax，观察两次的区别及意义。 （2） 观察交叉熵：将步骤（1）中的两个值分别进行softmax_cross_entropy_with_logits，观察它们的区别。 ...
4-pytorch前馈网络简单（分类）问题搭建、torch.max()函数、F.softmax()函数
smalltorch的博客
04-09 1070
本博客会搭建输入层（2节点），隐藏层（10节点），输出层（2节点）分类问题在我看来可比回归问题复杂多了，在搭建网络前，需要先介绍几个在分类问题里面的常用函数，了解了这几个函数的用法看网络搭建代码才会轻松点。分类与回归相比。网络搭建有一些小的细节需要特别注意哟！具体的细节我写在了代码的注释上面。看到这里，恭喜，监督学习里的分类和回归网络你可以初步搭建网络了。接下来一起搭建更加复杂有趣的网络吧。
损失函数选择的艺术：多层感知器中的均方误差与交叉熵详解
[损失函数选择的艺术：多层感知器中的均方误差与交叉熵详解](https://img-blog.csdnimg.cn/8c7661e8dba748eebf9619b14124101f.png) # 1. 损失函数在多层感知器中的作用 在构建多层感知器（MLP）时，损失函数（Loss ...
Keras模型构建：初步了解神经网络架构
# 1. 第一章 引言 ## 1.1 介绍Keras和神经网络架构的基本概念 在计算机科学领域，神经网络是一种模拟人类神经系统工作原理的算法模型。它由大量的人工神经元组成，通过连接和传递信号来处理复杂的问题。...
[机器学习基础]为什么要使用 softmax 和 交叉熵 ?
weixin_44834206的博客
03-22 1354
通过数学推导来解释 为什么我们要使用 交叉熵 和 softmax
机器学习——交叉熵和softmax
weiwei935707936的博客
07-19 317
1.交叉熵 （1）用处：分类问题的损失函数 （2）取值：只可能为非负 （3）要理解交叉熵，就要一步步理解：信息量->信息熵->相对熵->交叉熵 信息量 概率的对数的负数 想一想：一个概率越小的时间发生了则信息量越大 信息熵 信息量的均值（用所有概率加起来为1的那一个集） PS:没有加和，单个时的图...
[深度学习]Softmax 交叉熵
nwpuxhld
09-16 668
交叉熵代表的是不同概率分布的相似情况,他的计算方法如下所示：其中ｙ代表的是每种类比出现的概率 cross\_entropy = -\sum y * log(y) 对于深度学习中的分类问题来说，当分类越准确的时候，上述值就越小。 但是对于神经网络来说，怎么把一个神经网络的输出转化成相应的概率呢？这就是我们接下来要说的softmax函数的作用 softmax函数的定义如下所示：我们可以看到sof
softmax和交叉熵。上
weixin_41982696的博客
07-30 776
这里插播一个东西，这个时候在公司跑yolov3的时候，看的一些东西，你不用看，我只是不想写字，又不想重新开个word或者博客什么的就写在这了，反正这博客也没人看也就你一个。 v3使用的是二元交叉熵损失，这里突然搞混了softmax和交叉熵，百度一波。 激活函数和损失函数 激活函数，如sigmoid，主要是提供网络的非线性建模能力。可微性{优化采用梯度}、单调性{能保证是凸函数}、输出值的范围...
使用交叉熵（CrossEntropyLoss）做多分类问题最后一层是否使用softmax
alone_Messi的博客
06-03 4293
最近在一个自己的数据集上做多分类问题，使用的是CrossEntropyLoss作为loss，但是训练效果一直不好。就疯狂找问题，快二十天了，未果。昨天在github上找了一段代码，移植之后。训练居然有效果，在看它的模型时，发现最后一层没有加softmax，手痒就加上去了，网络又没有了学习能力。于是怀疑是不是最后一次softmax的问题。在知乎上找到了一个提问，就是关于这个的，链接如下： 这是个链接 和我这段时间遇到的问题十分的相似，但是我自己的网络还是跑，不知道最后的结果会不会有改善。趁着等网络结果的时间，
关于交叉熵（Cross Entropy）与Softmax
qqq_aaa_zzz1的博客
08-20 4890
目录 写在前面 KL散度 交叉熵 Softmax 交叉熵与Softmax的关系 交叉熵损失 Softmax的求导 堆叠+向量化 其他关于Softmax函数的问题 赠品 写在前面 Softmax、交叉熵、交叉熵损失是机器学习与神经网络模型的重要组成部分，一般来说，Softmax一般用于criterion(标准)，交叉熵与交叉熵损失用来衡量模型预测与实际结果间的差别并产生用于反向传播的梯度。...
softmax+交叉熵
Dear_learner的博客
02-23 2959
1、softmax函数 softmax函数的定义为： softmax函数的特点： ● 函数值在[0,1]之间； ● 所有的softmax(xi)相加的总和是1 面对一个分类问题，能将输出的yi转换成[0,1]的概率，选择最大的概率yi作为分类的结果。 sigmoid函数定义为： sigmoid函数将每个yi映射到[0,1]之间，但每个yi之间是相互独立的，∑yi与1没有关系，可以用作二分类；而softmax函数的本质是将一个k维数据[a1,a2,a3,…,ak]映射成另外一个K维向量[b1,b2,b3
softmax函数与交叉熵损失详解
酒酿小圆子呀～
05-13 4173
由于Softmax函数的数值计算过程中，很容易因为输出节点的输出值比较大而发生数值溢出的现象，在计算交叉熵的时候也可能会出现数值溢出的问题。softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标！结果还是挺明显的，经过使用指数形式的Softmax函数能够将差距大的数值距离拉的更大。
实验２ 比较不同激活函数的识别效果 一、实验目的 1、了解神经网络结构，理解激活函数的作用 2、初步了解参数调化的技巧与方法。 １、第１层、２层隐藏层分别采用哪种激活函数，也可自主设计一个新的函数 四、实验结果 二、实验内容 1、以MNIST数据集为数据源，采用３层神经网络，加载“sample_weight.pkl”中最优参数，对２层的隐藏层采用不同激活函数，比较其识别效果 2、探讨不同隐藏层采用不同激活函数对识别准确率的影响。 三、实验设计 不同隐藏层采用不同激活函数对识别准确率的影响 五、实验小结 设计的思路。 在调试过程中出现的问题是什么？如何解决的？
03-15
<think>嗯，用户想在MNIST数据集上用三层神经网络比较不同激活函数的识别准确率差异，还要解决实验中遇到的问题。首先，我需要确认用户的三层神经网络结构是什么样的。通常三层神经网络包括输入层、两个隐藏层和输出层。输入层是784个节点（对应28x28像素的MNIST图片），输出层是10个节点（对应0-9的数字分类）。两个隐藏层可能需要用户指定不同的激活函数进行比较，比如ReLU、Sigmoid、Tanh等。 接下来，用户需要比较不同激活函数的效果，所以可能需要设计几组实验，比如第一隐藏层用ReLU，第二隐藏层用Sigmoid，或者都用ReLU，或者都用Tanh，然后观察准确率的变化。同时，用户可能会遇到梯度消失或爆炸的问题，特别是在使用Sigmoid或Tanh时，因为它们的梯度在极端值时会趋近于零，导致训练困难。 然后，我需要考虑如何指导用户进行实验。比如，如何搭建这样的神经网络，使用Keras或者PyTorch框架。可能需要给出示例代码，展示如何设置不同的激活函数。同时，要提醒用户注意权重初始化和批量归一化，以缓解梯度问题。例如，使用He初始化配合ReLU可能更好，而使用Xavier初始化配合Tanh或Sigmoid。 另外，用户可能遇到准确率不高或者训练不稳定的情况，需要调试方法。比如检查激活函数的输出是否合适，是否存在死神经元（特别是在使用ReLU时），梯度是否正常。建议用户使用梯度裁剪、学习率调整、添加Dropout层防止过拟合，或者尝试不同的优化器。 还要考虑到用户的引用资料，比如引用[1]中提到了使用交叉熵损失和Adam优化器，这可能是一个基准配置。引用[3]提到了残差单元和调参的重要性，可能需要建议用户尝试更复杂的结构或调整学习率。 用户的问题调试部分可能需要具体步骤，比如检查数据预处理是否正确（归一化、one-hot编码），监控训练过程中的损失和准确率曲线，使用TensorBoard等工具可视化激活函数的输出分布和梯度情况。如果出现NaN损失，可能需要检查学习率是否过高，或者激活函数是否存在数值不稳定（如Sigmoid输出太大导致交叉熵计算溢出）。 最后，生成相关问题时要涵盖激活函数的选择、实验设计、常见问题解决方法以及优化策略，帮助用户进一步深入理解。</think>### 步骤分析：激活函数对比实验设计 1. **实验设计** - **输入层**：固定为$784$个节点（对应MNIST的$28 \times 28$像素） - **隐藏层**：两层均采用$128$个节点（可调整），分别尝试以下组合： - 组合1：ReLU + ReLU - 组合2：Sigmoid + Sigmoid - 组合3：Tanh + Tanh - 组合4：ReLU + LeakyReLU（对比梯度特性） - **输出层**：Softmax激活函数（多分类标准配置） - **损失函数**：交叉熵（与MNIST任务适配）[^1] 2. **关键代码示例（Keras框架）** ```python from tensorflow.keras.layers import Dense # 示例：ReLU + Sigmoid组合 model.add(Dense(128, activation='relu', input_shape=(784,))) model.add(Dense(128, activation='sigmoid')) model.add(Dense(10, activation='softmax')) ``` 3. **典型问题与调试方法** - **梯度消失**（Sigmoid/Tanh组合易发）： - 现象：训练初期准确率停滞在$10\%$（随机猜测水平） - 解决：改用ReLU系列激活函数，或添加批量归一化层（Batch Normalization） - **Dead ReLU问题**： - 现象：大量神经元输出为$0$（可通过`model.layers[1].get_weights()[0]`检查权重分布） - 解决：使用LeakyReLU（$\alpha=0.01$）或调整权重初始化（He正态分布）[^3] - **数值不稳定**： - 现象：训练过程中出现`NaN`损失值（常见于Sigmoid输出层未配对交叉熵） - 解决：确保输出层使用Softmax+交叉熵组合，输入数据归一化到$[0,1]$[^2] 4. **预期结果对比** | 激活函数组合 | 测试准确率范围 | 收敛速度 | 典型问题 | |--------------|----------------|----------|----------| | ReLU + ReLU | 97-98% | 快 | 过拟合 | | Sigmoid + Sigmoid | 85-90% | 慢 | 梯度消失 | | Tanh + Tanh | 93-95% | 中等 | 输出饱和 | ### 优化建议 1. **组合改进**：第一层用ReLU提取特征，第二层用Tanh增强非线性（准确率可提升至$97.5\%$） 2. **梯度监控**：使用`tf.GradientTape()`记录隐藏层梯度范数，若小于$1e-5$需调整激活函数 3. **可视化验证**：通过`matplotlib`绘制隐藏层输出分布直方图（ReLU应右偏，Sigmoid应集中在$0/1$附近）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值