信息量，熵，交叉熵，KL散度的手写总结

最新推荐文章于 2023-12-21 15:56:08 发布
原创 最新推荐文章于 2023-12-21 15:56:08 发布 · 735 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #神经网络 #人工智能

本文解析了神经网络中Softmax函数如何将输出转化为概率分布，及其与逻辑回归的关系。对比了交叉熵与MSELoss在梯度计算上的区别，阐述了交叉熵如何通过消除sigmoid函数的导数来加速梯度下降。

大致过程

首先上图，简单的神经网络：
在这里插入图片描述

1 输出的y向量经过softmax变成概率分布向量

在这里插入图片描述
也意味着，你只可能是属于1类，因为通常你选择最大概率对应的类别作为预测类别。
但是实际中如果出现，人和女人这种类别，有包含关系，最好用逻辑回归。

!注意：
softmax 只有两种类别时候就是逻辑斯特回归！
在这里插入图片描述

在这里插入图片描述

2 对应于真实的标签分布，计算交叉熵。

在这里插入图片描述

注意： KL散度类似于</

最低0.47元/天 解锁文章
[算法导论] 手写系列—1.attention & 交叉熵 & ID3
心宝的博客
04-19 1759
​​​​​​​【手撕Self-Attention】self-Attention的numpy实现和pytorch实现_顾道长生'的博客-优快云博客 1. 无碉堡，手写 self_attention_layer 注意： 1. q、k维度相同，v维度可以不同（=输出维度） 2. 矩阵乘法np.matmul(m,n)。 矩阵点乘 np.multiply(m, n)。 2. 手写交叉熵损失（2元/多元） 1. 不确定性是 -logp，信息熵是 sum_i(- pi * logpi)， 交叉熵 -y_c
大模型手撕汇总 | AUC计算、交叉熵损失、Focal Loss、KL散度、MSE&MAE、手撕MLP、手撕MHA、手撕LayerNorm、scaling law、一面概率题
最新发布
m0_56231308的博客
09-17 1020
AUC = 随机抽取一个正样本和一个负样本时，正样本得分更大的概率。交叉熵HPQ−∑xPxlog⁡QxHPQ−x∑​PxlogQx其中PPP为真实分布，QQQ为预测分布。它刻画了用分布QQQ来编码PPP的平均信息量。KL散度DKLP∥Q∑xPxlog⁡PxQxDKL​P∥Qx∑​PxlogQxPx​表示分布QQQ相对PPP的差异。熵HP−∑xP。
手写交叉熵损失
weixin_40777649的博客
12-21 847
二元交叉熵：loss=−1/n ∑​[ylna+(1−y)ln(1−a)]多元交叉熵：loss=−1/n ∑​y​lna。
pytorch学习（九）——交叉熵代价函数原理及其在MNIST手写数字识别中的应用
11-09
上传时间：2020/11/09 最后测试：2020/11/09 内容：pytorch框架：交叉熵代价函数原理及其在MNIST手写数字识别中的应用（神经网络） 其他：pytorch学习练习代码 相关介绍：https://blog.youkuaiyun.com/jerry_liufeng/article/details/109573157
信息量、熵、交叉熵、KL散度、JS散度杂谈及代码实现
weixin_44966641的博客
12-16 704
信息量、熵、交叉熵、KL散度、JS散度杂谈 信息量 任何事件都会承载着一定的信息量，包括已经发生的事件和未发生的事件，只是它们承载的信息量会有所不同。如昨天下雨这个已知事件，因为已经发生，既定事实，那么它的信息量就为 0。如明天会下雨这个事件，因为未有发生，那么这个事件的信息量就大。 从上面例子可以看出信息量是一个与事件发生概率相关的概念，而且可以得出，事件发生的概率越小，其信息量越大。这也很好理解，比如某明星被爆出轨、逃税等，这种事件信息量就很大，我们在口语中也会称这种新闻 “信息量很大” ，因为是小概率
kl散度度量分布_信息量、信息熵、交叉熵、KL散度、JS散度、Wasserstein距离
weixin_32129195的博客
01-15 416
前两篇介绍了目标检测中的回归损失函数，本来这篇打算介绍目标检测中的分类损失函数。但是介绍classification loss function自然绕不过交叉熵，所以还是简单的把信息论中的一些概念在这里普及下。(以前研究GAN网络时在优快云写过类似的概念，这里迁移一下)信息量也叫做香农信息量，常用于刻画消除随机变量X在x处的不确定性所需的信息量大小。假设只考虑连续型随机变量的情况，设p为随机变量...
一文绝对让你完全弄懂信息熵、相对熵、交叉熵的意义《繁凡的深度学习笔记》第 3 章 分类问题与信息论基础（中）（DL笔记整理系列）
繁凡さん的博客
02-10 2422
绝对通俗易懂！一文绝对让你完全弄懂信息熵、相对熵、交叉熵的意义，看不懂你来打我 ~
机器学习中的优化算法、加速训练机制、损失函数、KL散度和交叉熵
Rosun
11-17 3624
1.优化算法为了说明梯度下降法、随机梯度下降法、批量梯度下降法三者区别，我们通过一组数据来拟合 y=θ1∗x1+θ2∗x2 y = \theta_1*x_1 +\theta_2*x_2梯度下降(gradient descent)：在梯度下降中，对于θθ的更新，所有的样本都有贡献，也就是所有样本参与调整θθ.其计算得到的是一个标准梯度。因而理论上来说一次更新的幅度是比较大的。如果样本不多的情况下，当
透彻理解熵（包括信息熵和交叉熵）
张家四少
08-19 5514
信息论（熵的基础） 熵 相对熵（KL散度） 交叉熵 机器学习中交叉熵的应用 为什么要用交叉熵做loss函数？ 交叉熵在单分类问题中的使用 交叉熵在多分类问题中的使用 sigmoid激活函数（承接上面多分类用Sigmoid不用Softmax） 代码实现 画图 softmax激活函数 Softmax主要优点 实现代码 多类分类及多标签分类（承接上面Sigmoid在多标签中的...
手写Cross Entropy Loss Function
mawonly的博客
12-13 955
最近准备在cross entropy的基础上自定义loss function， 但是看pytorch的源码Python部分没有写loss function的实现，看实现过程还得去翻它的c代码，比较复杂。写这个帖子的另一个原因是，网络上大多数Cross Entropy Loss 的实现是针对于一维信号，或者是分类任务的，没找到关于分割任务的。因此，准备手写一个Cross Entropy Loss Function，也供大家参考。
手写数据集识别（方法一）
海涛高软
03-04 2215
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data minist=input_data.read_data_sets("D://MNIST_data",one_hot=True) batch_size=100 #定义一个批次数量大小 nbatch=minist.train.num...
深度学习－－手写数字识别＜二＞－－交叉熵损失函数(cross entropy cost function)
akadiao的博客
10-13 6395
交叉熵损失函数(cross entropy cost function):当激活函数采用sigmoid()函数，损失函数使用二次和成本函数时： C=12∥∥y−aL∥∥=12∑j(yj−aLj)2\ C=\frac{1}{2}\left \| y-a^{L} \right \|=\frac{1}{2}\sum_{j}^{ }(y_{j}-a_{j}^{L})^{2} 其中： a=σ(z)\ a
散度(Divergence)和旋度(Curl)
热门推荐
無名黑洞
11-26 4万+
散度(Divergence) 散度的讨论应从向量和向量场说起。向量是数学中研究多维计算的基本概念。比如，速度可以分解为相互独立的分量，则速度就是一个多维的向量。假如空间中的每一个位置都有一个向量属性的话，这个空间就叫做向量场。比如，游泳池里的水的速度就是一个向量场。 散度就是作用在向量场上的算子。它把向量场映射到标量场。其中某点的标量代表该点的向量是“流入”的，还是“流出”的。 比如
Kullback–Leibler divergence(相对熵，KL距离，KL散度)
风翼冰舟的博客
10-06 3万+
KL距离
Bregman散度
xingzhe123456789000的博客
08-28 1588
@TOC(Bregman散度) Bregman散度 为方便，我直接将我的理解手写上传： 常用Bregman散度族
信息量、信息熵、KL散度、交叉熵
Roaddd的博客
12-15 1764
信息量 定义：        香农（C. E. Shannon）信息论应用概率来描述不确定性。信息是用不确定性的量度定义的。一个消息的可能性愈小，其信息愈多；而消息的可能性愈大，则其信息量愈少；事件出现的概率小，不确定性越多，信息量就大，反之则少。香农认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。 示例： 1）“明天太阳从东边升起”，信息量为0。 2）“明天我会中500W彩票”，信息量
KL散度详解
Eli_Code
04-07 3万+
1、KL散度的概念 2、两类KL散度拟合效果的定性分析 3、两类KL散度拟合效果的数学推导 4、KL散度的计算 5、KL散度 Python 实现 6、References
交叉熵代价函数+方向导数+梯度（详细作用及公式推导）
蓁蓁尔的博客
03-04 4839
交叉熵代价函数（作用及公式推导） http://blog.youkuaiyun.com/u014313009/article/details/51043064交叉熵代价函数 http://blog.youkuaiyun.com/u012162613/article/details/44239919两篇结合着看。
2023-简单点-机器学习中常用的特殊函数，激活函数[sigmoid tanh ]
万物琴弦存于你的泡沫之中，光锥之外
11-28 1万+
sigmoid函数可以将输入映射到0-1之间，常用于机器学习和深度学习中的激活函数。因此，logistic函数可以用于将输入映射到0或1之间。常用的激活函数，其实也是特殊的logistic函数。特殊点记忆： 经过 [0 , 1]定义域：【负无穷,正无穷】
深度学习基础 1. LN和BN的原理和区别 2. 交叉熵的数学推导 3. 交叉熵的代码手写 4. sigmoid的代码手写 5. 手撕多头注意力 6. ReLU为什么能缓解梯度消失 7. Adam优化器原理 8. AUC计算方法 9. Python装饰器作用 10. KL散度 11. softmax公式 12. 梯度消失和梯度爆炸如何缓解 13. 手撕 NMS过程 14.L1和L2正则的区别 15. BN 中可学习参数如何获取 16. 如何缓解过拟合 17. 介绍一下 dropout 每个问题都至少200字介绍
04-01
- 在分类任务中，$P$ 是one-hot编码，$H(P)=0$，因此交叉熵等价于最小化KL散度。 --- ### **3. 交叉熵的代码手写** ```python import numpy as np def cross_entropy(y_true, y_pred, epsilon=1e-15): y_pred ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

万物琴弦光锥之外

给个0.1,恭喜老板发财

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值