基础知识
关注
分享
扫一扫
文章平均质量分 91
cufewxy2018
对量化投资、机器学习感兴趣
展开
-
熵相关概念（二）——交叉熵、JS散度、Wasserstein距离
上一篇其实已经给出了交叉熵的定义在深度学习的训练中，KL散度可以表示真实分布与拟合分布之间的距离，而KL散度=交叉熵-熵，真实分布的熵是固定的，不管拟合出什么分布，真实分布的熵是不变的，因此经常会看到使用交叉熵作为损失函数。使用交叉熵代替均方误差还可以缓解梯度消失问题，见此文的说明。原创 2025-01-20 14:06:32 · 649 阅读 · 0 评论 -
熵相关概念（一）——熵、KL散度
事件的信息量与其概率有关，假设X是离散型随机变量，X=x的信息量为，概率越大，信息量越低。关于这一点的解释，网上有很多例子，比如说太阳从东方升起概率为100%，提供的信息量很低；太阳从西边升起概率为0%，提供的信息量很大，笔者隐约觉得这种解释有偷换概念嫌疑，等深入理解信息论后再举例。熵为事件的期望/平均信息量，表示为。原创 2025-01-18 22:08:24 · 757 阅读 · 0 评论