机器学习心得（三）——softmax回归

最新推荐文章于 2023-12-11 23:06:39 发布
置顶 最新推荐文章于 2023-12-11 23:06:39 发布
阅读量1.5k 收藏 1
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DZF_zuishuai/article/details/79779197
本文介绍了softmax回归在多分类问题中的应用，详细解析了softmax回归的假设函数、代价函数，以及它与logistic回归的关系。文章还通过TensorFlow展示了softmax回归的代码实现，并用MNIST数据集进行演示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

机器学习心得（三）——softmax回归


在上一篇文章中，主要以二分类为例，讲解了logistic回归模型原理。那么对于多分类问题，我们应该如何处理呢？当然，选择构建许多二分类器进行概率输出自然是一个不错的思路，但是softmax函数为我们解决多分类问题提供了一个更好的方法。记得上周看一篇讲RNN的博客时，看示意图一时没有想明白softmax层的意义所在，于是傻逼兮兮的请教了五道口某机器学习大佬，大佬一语道破天机，让我意识到了softmax层作为全连接层对隐层输出进行分类的功能所在（如下图， 博主地址）。

softmax回归

如同logistic回归原理一样，均可以视为一种映射关系：x->z->y，只不过softmax回归是进行多分类的而已。下面给出softmax回归的假设函数。


我们的目的很简单，就是对于每一个输入的x，假设函数都能输出x属于每一个类别的概率。如图所示，右侧的函数构造即可满足我们的要求。其中，分母项是为了归一化，使得概率之和为1.

代价函数

最低0.47元/天 解锁文章

200万优质内容无限畅学
DZF_zuishuai
关注
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 34万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（4）：训练模型
Morganfs的博客
04-16 1891
第四章 训练模型 · Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.04.16~2022.04.？ 到目前为止，我们已经探讨了不同机器学
关于softmax回归
AzureL
05-17 569
softmax的思想是为神经网络定义新类型的输出层。它开始的方式和sigmoid层(符号层？)一样，通过形成加权来输入： 但是我们不使用sigmoid函数来获得输出，而是在softmax层将softmax函数应用到 根据这个函数，第j个输出神经元的激活(activation)就为(记为式子1)： ‘ 在分母中，我们对所有输出神经元求和。 假定我们有一个具有4个神经元的神经网络，分别...
softmax回归
胡图图的博客
09-13 488
softmax回归 和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。 1 分类问题 考虑一个简单的图像分类问题，其输入图像的高和宽均为2像素，且色彩为灰度。每个像素值都可以用一个标量表示。我们将图像中的4像素分别记为x1,x2,x3,x4x_1,x_2,x_3,x_4x1​,x2​,x3​,x4​。假设训练数据集中图像的真实标签为狗、猫或鸡（假设可以用4种像素表示出这3种动物），这些标签分别对应离散值y1,y2,y3y_1,y_2,y_
机器学习之Softmax回归
MachineLP的专栏
08-27 2245
  机器学习之Softmax回归 - Softmax回归模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 y 可以取两个以上的值。 - Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。 - Softmax回归是有监督的 在 logistic 回归中，我们的训练集由 个已
Softmax回归
最新发布
m0_56312629的博客
12-11 2752
Softmax回归虽然叫“回归”，但是回归是估计一个连续值，而分类是预测一个离散类别。
吴恩达深度学习第二课第三周作业及学习心得体会 ——softmax、batchnorm
weixin_42604446的博客
08-31 2183
写在前面 本周课程用了两周完成，因为课程让用tensorflow实现，编码时还是更希望自己手写代码实现，而在实现过程中，低估了batchnorm反向计算的难度，导致算法出现各种bug，开始是维度上的bug导致代码无法运行，等代码可以运行时，训练神经网络的时候成本又总会发散，于是静下心来把整个运算的前向和反向过程认真推导了好几遍，期间参考网上一些资料，但感觉都没有把问题真正说清楚，连续三天的推导后...
【机器学习】——为什么softmax搭配cross entropy是解决分类问题的通用方案？
努力学挖掘机的李某某的博客
04-18 1127
众所周知，softmax+cross entropy是在线性模型、神经网络等模型中解决分类问题的通用方案，但是为什么选择这种方案呢？它相对于其他方案有什么优势？笔者一直也困惑不解，最近浏览了一些资料，有一些小小心得，希望大家指正~ 损失函数：交叉熵Cross Entropy 我们可以从三个角度来理解cross entropy的物理意义 从实例上直观理解 我们首先来看Cross Entropy 的公...
机器学习之softmax回归
lankuohsing的博客
06-29 824
@(机器学习)[回归]Softmax回归详解在softmax回归中，我们解决的是多分类问题（相对于logistic回归解决的二分类问题），标记yy可以取kk个不同的值。对于训练集{(x(1),y(1)),⋯,(x(m),y(m))}\{(x^{(1)},y^{(1)}),\cdots,(x^{(m)},y^{(m)})\}，我们有y(1)∈{1,2,⋯,k}y^{(1)}\in \{1,2,\cdo...
【深度学习/机器学习】Softmax回归
第三季度的博客
05-04 482
开始之前，需要了解信息论的一些基本概念。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值