一分钟理解softmax函数(超简单)

softmax函数是多分类任务中将模型预测结果转换为概率分布的方式。它通过指数函数确保非负性,再通过归一化使概率和为1。文章通过一个三分类例子详细解释了softmax的计算过程,分为将预测结果转为非负数和归一化两步。

做过多分类任务的同学一定都知道softmax函数。softmax函数,又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法:

下面为大家解释一下为什么softmax是这种形式。

首先,我们知道概率有两个性质:1)预测的概率为非负数;2)各种预测结果概率之和等于1。

softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。

1)将预测结果转化为非负数

下图为y=exp(x)的图像,我们可以知道指数函数的值域取值范围是零到正无穷。softmax第一步就是将模型的预测结果转化到指数函数上,这样保证了概率的非负性。

2)各种预测结果概率之和等于1

为了确保各个预测结果的概率之和等于1。我们只需要将转换后的结果进行归一化处理。方法就是将转化后的结果除以所有转化后结果之和,可以理解为转化后结

逻辑回归的损失函数是交叉熵损失函数。交叉熵损失函数在逻辑回归中起到了关键作用。如果使用平方误差作为损失函数,由于逻辑回归是处理分类问题,损失函数一般不是凸约束的。因此,我们使用交叉熵损失函数来定义逻辑回归的损失。交叉熵损失函数的数学表达式为[-2]: L(w) = -(y * log(a) + (1-y) * log(1-a)) 其中,y是样本的实际标签(0或1),a是逻辑回归的预测值(概率值),log表示自然对数。我们的目标是找到一组使得交叉熵损失函数最小的参数w。为了最小化这个损失函数,可以使用梯度下降等优化算法来找到使得损失函数最小的参数w。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [逻辑回归、交叉熵函数Softmax函数理解](https://blog.youkuaiyun.com/qq_40950382/article/details/88716877)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [大白话5分钟带你走进人工智能-第十七节逻辑回归之交叉熵损失函数概念(2)](https://blog.youkuaiyun.com/LHWorldBlog/article/details/89678897)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 110
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值