本文深入探讨了信息论中的核心概念——信息熵与交叉熵。详细解释了信息熵作为衡量随机变量不确定性的重要指标，以及交叉熵在机器学习中评估模型预测与实际标签差异的应用。通过数学公式和实例，帮助读者理解这两个概念的本质及其在实际场景中的运用。
一，熵(信息熵)
1.定义
信息熵描述的是对随机变量不确定性的度量，不确定性越大，信息熵值就越大。
2.公式
Lθ(x)=−p(x)log(p(x))L_\theta(x) =- p(x)log(p(x))Lθ(x)=−p(x)log(p(x))
二，交叉熵
2.公式
Lθ(x)=−p(x)log(q(x))L_\theta(x) =-p(x)log(q(x))Lθ(x)=−p(x)log(q(x))
3.机器学习中的交叉熵
Lθ(x)=−1m∑i=1m(yiloghθ(xi)+(1−y)ilog(1−hθ(xi)))L_\theta(x) =- \frac{1}{m}\sum_{i=1}^{m}(y^{i}logh_\theta(x^i)+(1-y)^{i}log(1-h_\theta(x^i)))Lθ(x)=−m1∑i=1m(yiloghθ(xi)+(1−y)ilog(1−hθ(xi)))
扫一扫
5818
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
