Linear/Logistic/Softmax Regression对比

Logistic Regression实战指南:从概率解释到工业级部署 Logistic Regression本质上是一种基于线性组合与Sigmoid映射的概率建模方法,其核心原理是将特征加权和转化为[0,1]区间内的可解释概率输出。这种设计兼顾了数学可追溯性与业务可操作性,使模型系数能直接对应业务动因(如用户流失风险、转化意愿),在金融风控、电商推荐、医疗诊断等强解释性场景中具备不可替代的技术价值。它不追求复杂边界,而以线性决策面保障规则对齐与快速归因;通过Platt Scaling实现概率校准,结合L1/L2正则注入业务先验,并支持在线学习与阈值成本优化。本文聚焦真实工程落 阅读详情

Linear/Logistic/Softmax Regression是常见的机器学习模型,且都是广义线性模型的一种,有诸多相似点,详细对比之。原文见Linear/Logistic/Softmax Regression对比。

概述

Linear Regression是回归模型,Logistic Regression是二分类模型,Softmax Regression是多分类模型,但三者都属于广义线性「输入的线性组合」模型「GLM」。

其中Softmax Regression可以看做Logistic Regression在多类别上的拓展。

Softmax Regression (synonyms: Multinomial Logistic, Maximum Entropy Classifier, or just Multi-class Logistic Regression) is a generalization of logistic regression that we can use for multi-class classification (under the assumption that the classes are mutually exclusive).

符号约定

  • 样本 ( x ( i ) , y ( i ) ) (x^{(i)}, y^{(i)}) (x(i),y(i))
  • 样本数 m m m
  • 特征维度 n n n
  • Linear Regression输出 y ( i ) y^{(i)} y(i)
  • Logistic Regression类别 y ( i ) ∈ { 0 , 1 } y^{(i)}\in\{0,1\} y(i)∈{ 0,1}
  • Softmax Regression类别 y ( i ) ∈ { 1 , … , K } y^{(i)}\in\{1,\ldots,K\} y(i)∈{ 1,…,K}
  • Softmax Regression类别数 K K K
  • 损失函数 J ( θ ) J(\theta) J(θ)
  • Indicator函数 I { b o o l e a n } I\{boolean\} I{ boolean}

模型参数对比

Linear Regression,维度为 ( n ⋅ 1 ) (n \cdot 1) (n⋅1)的向量

θ = [ ∣ θ ∣ ] \theta = \begin{bmatrix} \vert \\ \theta \\ \vert \end{bmatrix} θ=⎣⎡​∣θ∣​⎦⎤​

Logistic Regression,维度为 ( n ⋅ 1 ) (n \cdot 1) (n⋅1)的向量

θ = [ ∣ θ ∣ ] \theta = \begin{bmatrix} \vert \\ \theta \\ \vert \end{bmatrix} θ=⎣⎡​∣θ∣​⎦⎤​

Softmax Regression,维度为 ( n ⋅ K ) (n \cdot K) (n⋅K)的矩阵

θ = [ ∣ ∣ ∣ ∣ θ ( 1 ) θ ( 2 ) … θ ( K ) ∣ ∣ ∣ ∣ ] \theta = \begin{bmatrix} \vert & \vert & \vert & \vert \\ \theta^{(1)} & \theta^{(2)} & \dots & \theta^{(K)} \\ \vert & \vert & \vert & \vert \\ \end{bmatrix} θ=⎣⎡​∣

Logistic Regression多分类实战:OvR与OvO策略详解 逻辑回归(Logistic Regression)常被误认为仅适用于二分类,实则通过一对多(OvR)和一对一(OvO)等策略可高效支撑多分类任务。其核心原理在于权重矩阵扩展与Softmax概率归一化,兼顾线性可解释性与多类判别能力。技术价值体现在轻量部署、类别不平衡鲁棒性强、参数可控性高,广泛应用于客户分群、工业故障诊断、文本主题分类等场景。本文聚焦scikit-learn中LogisticRegression的multi_class参数机制、solver与C值调优、class_weight平衡策略及OvR 阅读详情

相关推荐

56-FMC连接器电路设计

FMC连接器电路设计

weixin_66510961的博客 4724

Linux内核同步原语之队列自旋锁(Queued Spin Lock)深度解析

本文深度解析了Linux内核中的队列自旋锁(Queued Spin Lock)机制。通过对比传统自旋锁的瓶颈,详细阐述了队列自旋锁如何利用紧凑的4字节结构、每CPU节点数组和pending位优化,有效解决多核(SMP)系统中的缓存行乒乓和惊群效应,实现公平、高效的锁等待队列,从而显著提升内核在高并发场景下的可扩展性与性能。

weixin_29205061的博客 306

Dr_can Kalman Filter学习笔记(一)

本文是在b站Dr_can的卡尔曼滤波课程学习过程中的学习笔记

苏大侠的博客 1054

USRP X410 MPM版本与主机UHD版本不匹配问题记录与解决

至此大功告成!之前安装软件的坑算是填起来了,再次记录一下,希望能帮到有同样问题的小伙伴~

yanzuwu233的博客 1437

Chronos:学习时间序列的大语言模型(论文解读)

《Chronos:学习时间序列的大语言模型》论文翻译

qq_20144897的博客 9087

飞控算法-姿态解算之互补滤波

飞控乱入之姿态解算 姿态解算是通过读取各个传感器的数据进行融合最终得到当前飞行器的姿态,姿态通常用Euler角(Roll-Pitch-Yaw)来表示 姿态解算框架 姿态解算的数据源可来自于陀螺仪或加速度计,他们分别都可以得到当前姿态,但实际上他们都有各自的传感器性能的优缺点,需要取长补短,进行数据融合才能得到真实的姿态,这种方法简称 互补滤波 算法 传感器特性 互补滤波 姿态解...

GoolyOh的专栏 1万+

【知识图谱】实践篇——基于知识图谱的《红楼梦》人物关系可视化及问答系统实践:part1项目介绍与环境准备

看到这篇文章的你,相信对知识图谱相关概念不在陌生。知识图谱相关内容在实际开发中包含两个部分:1.知识图谱构建,2.知识图谱使用。知识图谱构建过程中涉及内容、技术都比较多。知识图谱的应用也逐渐在我们的生活中随处可见,其中基于知识图谱的问答系统就是其中的一个应用。基于知识图谱的问答系统称做KGQA(knowledge graph question answer),也有人称其为KBQA(knowledge based question answ).基于知识图谱的问答系统通常是使用的是领域知识图谱。下面就结合Git

让算法融入生活,改变生活! 4721

【Unity 实用工具篇】 | Book Page Curl 快速实现翻书效果

游戏和应用开发中,真实感的交互设计能显著提升用户体验。Unity3D图书翻页效果插件为开发者提供了一种便捷方式,可在项目中实现高度拟真的书籍翻页动画。 本文介绍该插件的快速使用方法,涵盖从基础导入到自动翻页效果创建的全过程,让我们快速实现翻页效果。

努力前行,总会成为自己心中的那道光 1万+

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

上一篇: 一文掌握XGBoost核心原理
下一篇: 经典损失函数一览
「已注销」
博客等级 码龄10年 4粉丝 18原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值