信息熵,交叉熵,相对熵

本文深入探讨了信息熵的概念,即衡量系统不确定性的指标,以及交叉熵在神经网络中的应用,特别是在分类任务中作为损失函数的角色。同时,介绍了相对熵(散度)的概念,即编码方案不完美时平均编码长度的增加部分。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

信息熵:衡量系统中不确定的程度、编码方案完美时,最短平均编码长度
交叉熵:码方案不一定完美时(由于对概率分布的估计不一定正确),平均编码长度。是神经网络常用的损失函数
相对熵又称为散度:交叉熵-信息熵,relative entropy。编码方案不一定完美时,平均编码长度相对于最小值的增加值。
参考链接:https://www.zhihu.com/question/41252833
神经网络中为什么使用交叉熵与softmax组合的原因?
交叉熵刻画的是预测的分布与真实分布之间的差异,softmax可以将预测的值转化成一个概率分布。

为什么用交叉熵作为分类的损失函数?

https://blog.youkuaiyun.com/weixin_37567451/article/details/80895309

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值