详解Softmax多分类算法及交叉熵(Cross-Entropy)成本函数(附代码实现、计算过程、公式)

本文介绍了用于多类别分类问题的激活函数Softmax,它将实数向量转换为概率分布。还提到了One-hot独热编码技术,用于处理分类特征。阐述了softmax的成本函数——多分类交叉熵,最后给出了Tensorflow代码实现及优化思路,以减少精度丢失。

Softmax简介

Softmax 是一个用于多类别分类问题的激活函数,它通常用于神经网络的输出层。

Softmax 函数将一个实数向量转换为概率分布,其中每个元素表示一个类别的概率。

简单来说,Softmax的输出代表了一个样本属于某一类别的概率。

  1. 输出是概率分布:Softmax 将输入转换成一个概率分布,其中每个元素表示相应类别的概率。这意味着所有输出元素的总和将等于 1。

  2. 分类任务:Softmax 常用于多类别分类问题,其中有多个互斥的类别需要被分配概率。

图中,an代表了该y=n的概率预测。

注意:实际操作中,并不推荐使用y=10这样的形式,因为会使得成本函数计算时产生偏见,即10本身会让成本函数变大。推荐使用下文中的one-hot独热编码对标签进行重构。

One-hot独热编码

独热编码(One-Hot Encoding)是一种用于将分类数据转换成机器学习算法可以更好理解的形式的技术。它常用于处理分类特征,将每个分类

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值