【漫话机器学习系列】094.交叉熵(Cross-Entropy)

交叉熵(Cross-Entropy)详解

1. 引言

在机器学习和深度学习中,交叉熵(Cross-Entropy)是一种常见的损失函数,广泛用于分类任务,特别是二分类和多分类问题。交叉熵的核心思想是衡量两个概率分布之间的差异,并通过最小化这个差异来优化模型,使预测结果尽可能接近真实分布。

在本篇文章中,我们将详细探讨:

  • 交叉熵的定义与公式
  • 交叉熵的数学推导
  • 交叉熵的作用与直观理解
  • 交叉熵在机器学习中的应用
  • 交叉熵与其他损失函数的对比

2. 交叉熵的定义

2.1 交叉熵公式

交叉熵的数学定义如下:

其中:

  • D 表示交叉熵损失(Cross-Entropy Loss)
  • K 是类别的总数
  • ​ 表示样本在类别 k 上的真实概率
  • ​ 是对数操作(一般以自然对数 ln 计算)

2.2 交叉熵的作用

交叉熵用于衡量两个概率分布之间的相似性,当真实分布和预测分布一致时,交叉熵最小(接近 0);当两个分布相差越大时,交叉熵值越大。

例如:

  • 如果模型的预测概率完全匹配真实标签(如 100% 置信度地预测正确),交叉熵损失趋近于 0。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值