机器学习——线性模型之softmax回归

最新推荐文章于 2025-09-17 14:11:28 发布
原创 最新推荐文章于 2025-09-17 14:11:28 发布 · 880 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了softmax回归模型，它是logistic回归在多分类问题上的推广。文章详细解释了假设（预测）函数、代价函数及其求解过程，并探讨了softmax回归的特点，包括参数冗余问题、模型的凸性以及与logistic回归的关系。

一、简介

1、 softmax回归模型是logistic回归模型在多分类问题上的推广，即类标签可取两个以上的值。

2、 假设（预测）函数


3、 每一个样本估计其所属类别的概率： p(y^{(i)}=j|x^{(i)};θ)=e^{θ_j^T x^{(i)}} / ∑_{l=1}^k {e^{θ_l^T x^{(i)}} }

二、代价函数及其求解

1、 指示函数


2、 Softmax回归的代价函数（可参考LR的代价函数）

J(θ)=-1/m \{ ∑_{i=1}^m∑_{j=1}^k [I(y^{(i)}=j) \ log \ (e^{θ_j^T x^{(i)} } / ∑_{l=1}^k e^{θ_l^T x^{(i)} } )]\}

3、 使用梯度下降法进行求解

    a) 对代价函数进行求梯度，得 ∇_(θ_j ) J(θ)=-1/m ∑_{i=1}^m x^{(i)} [I(y^{(i)}=j)-p(y^{(i)}=j|x^{(i)};θ)]

    b) 更新公式 θ_j≔θ_j-α∇_{θ_j} J(θ)

三、Softmax回归特点

1、 softmax回归中存在参数冗余的问题，冗余参数对预测结果没有任何影响，即存在多组最优解（过度参数化）

p(y^{(i)}=j|x^{(i)};θ)=e^{(θ_j^T-φ) x^{(i)}} / ∑_{l=1}^k {e^{(θ_l^T-φ) x^{(i)}} }=e^{θ_j^T x^{(i)}}e^{φ x^{(i)}} / ∑_{l=1}^k {e^{θ_l^T x^{(i)}} e^{φ x^{(i)}}}=e^{θ_j^T x^{(i)}} / ∑_{l=1}^k {e^{θ_l^T x^{(i)}} }

2、 J(θ) 依然是凸函数，梯度下降是不会遇到局部最优，但是Hessian矩阵时非奇异的，牛顿法优化遇数值计算问题

3、 当类别k=2时，softmax回归退化为logistic回归


4、 解决k分类问题：类别间互斥，可采用softmax回归；否则可采用k个独立的二元分类器

Softmax 回归
北漂人家
06-25 307
Softmax 回归（Softmax Regression），也称为多项（multinomial）或多类（multi-class）的logistic 回归，是logistic 回归在多类分类问题上的推广。 同样，我们贴一下wiki百科对softmax函数的定义： 　　 softmax is a generalization of logistic fun...
机器学习-softmax
m0_49499340的博客
02-16 591
softmax
Softmax回归模型(matlab代码)
03-30
softmax回归模型是一种常用的分类器，也是与深度结构模型相结合最多的分类方法。本代码包中的程序对图像构建softmax分类器，并按照图像所属类别进行分类。程序是在matlab平台上实现的，简单易懂。
动手学深度学习——softmax回归
2301_78985220的博客
09-07 707
本文介绍了Softmax回归在分类问题中的应用及其实现方法。主要内容包括：1) Softmax回归原理，用于多分类问题并能输出类别概率；2) 核心数学推导，包括softmax函数、交叉熵损失函数；3) 使用PyTorch从零实现，包含数据加载、模型构建、训练评估等完整流程；4) 在Fashion-MNIST数据集上的应用，展示了训练过程、损失曲线和预测结果可视化。文章提供了两种实现版本：详细注释版和精简优化版，内容涵盖模型参数初始化、前向传播、损失计算、优化器设置、训练循环和性能评估等关键环节。
Softmax回归 -- from ufldl wiki
xceman1997的专栏
07-15 2151
Stanford 教授 Andrew Ng 的 Deep Learning 教程的节选。原文地址：http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92  Softmax回归Contents [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logis
机器学习之Softmax回归
MachineLP的专栏
08-27 2273
  机器学习之Softmax回归 - Softmax回归模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 y 可以取两个以上的值。 - Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。 - Softmax回归是有监督的 在 logistic 回归中，我们的训练集由 个已
动手学深度学习（一）——线性回归&softmax回归&多层感知机
weixin_42218089的博客
02-14 1050
武汉加油！中国加油！ 一、线性回归 线性回归的目的是根据训练集中的输入和输出，构造它们之间的线性数学表达，从而对同类数据进行有效预测。 以2个输入参数（x1、x2）的模型为例，线性回归的运行过程如下： 1. 预测模型表达式 写成矢量形式： 2.损失函数 在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。...
深度学习模型系列一——多分类模型——Softmax 回归
热门推荐
weixin_45666566的博客
08-05 3万+
Softmax 回归1、概述 1、概述 softmax 回归(softmax regression)其实是 logistic 回归的一般形式，logistic 回归用于二分类，而 softmax 回归用于多分类，关于 logistic 回归可以看我的这篇博客????机器学习笔记九——线性模型原理以及python实现案例 参考资料： https://blog.youkuaiyun.com/weixin_38169413/article/details/103598534 ...
机器学习——线性模型及训练方法概要
yasin的技术博客
12-24 1805
线性回归 线性回归模型就是对输入特征加权求和，再加上一个“偏置项”的常数，以此来预测。 梯度下降 批量梯度下降 随机梯度下降 小批量梯度下降 多项式回归 岭回归 Lasso回归 弹性网络 逻辑回归 Softmax回归 ...
线性回归和 softmax 回归
最新发布
yelan963的博客
09-17 1373
本文系统介绍了两种基础机器学习模型：线性回归用于连续值预测（如房价），通过最小化平方损失函数优化参数，可采用梯度下降及其变体算法；Softmax回归扩展至多类分类（如手写数字识别），通过Softmax函数输出概率分布，使用交叉熵损失评估预测效果。文章详细解析了模型结构、损失函数选择、优化算法（重点讨论批量大小和学习率的调优）以及任务与模型的匹配原则，为理解回归和分类任务提供了清晰框架。
机器学习第三章——线性模型填空
qq_61422884的博客
10-15 855
4、训练对数几率回归分类模型，如果在模型中引入正则项，正则化参数会对模型的性能有很大的影响，如果设置的过大则不能缓解过拟合问题，如果设置的过小。6、线性回归模型是用线性模型的预测值逼近样本的真实标记，对数几率回归模型是用线性回归模型的预测结果去逼近真实标记的。3、如果使用数据集的全部特征，学习模型在训练集上达到100%的准确率，但在测试集上仅能达到70%左右，这说明存在。1、在梯度下降过程中，学习率控制着算法每一轮迭代中的更新步长，如果学习率设置的太大容易振荡，设置太小则。的性能，就要把学习器预测结果。
softmax回归
piaodexin的博客
08-22 722
在分类中，我们会碰到二分类，这个时候我们就可以使用logistic回归，然后多分类的任务在现实中才是常见的，例如让你分类某一个电影属于哪一类，以及文章类型属于哪一类，这个时候我们就需要softmax回归。   在Logistic回归中，样本数据的值，而在softmax回归中，其中是类别种数， 比如在分析电影类别时中，表示要识别的10种类型的电影。设          
线性模型softmax _ 机器学习
4AM_明朝百晓生
11-06 266
前言： logistic 回归只能应用于二分类问题，softmax 可以处理多分类问题。 目录： 预测模型 求解参数 梯度推导过程 例子 一 预测模型 为n 维列向量 样本对应的标签，为1-k的整数 输出为K维的概率向量，元素和为1 ...
SOFTMAX回归
托尼stark的博客
05-13 2767
一、softmax回归与线性回归适用于输出为连续值的情景不同，它适用于像图像类别这样的离散值，主要解决分类问题，且softmax回归的输出单元从一个变成了多个。 然而直接使用输出层会面临两个问题：一是由于输出层的范围不确定，难以直观的判断这些值的意义。二是由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。 二、softmax运算符：解决了以上两个问题，它通过将输出值变换成值为正且和为1的概率分布。 交叉熵损失函数：前面提到使用softmax运算后可以更方便的计..
Softmax回归
daydaydreamer的博客
11-11 170
softmax回归和线性回归都是将输入特征与权重做线性叠加,然后不断利用标签与输出结果算损失函数,再做小批量随机梯度下降来不断优化参数. 不同点: 1.线性回归解决连续值的预测问题 softmax解决离散的分类问题 2.线性回归直接将线性运算的值作为输出值,当预测值 softmax回归将线性运算的值进一步处理做softmax运算(指数运算并归一化,来代表概率),最后输出值的个数等于类别数,值表示的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值