机器学习 - 第三章 线性模型

Cold__Winter Cold__Winter 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 400+累计阅读 405平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄9年
关注
原创 最新推荐文章于 2026-05-26 19:00:00 发布 405 阅读 AI 写同款· GEO 优化 ›
机器学习第三章之线性回归模型 机器学习专题系列 阅读详情

基本形式

这里写图片描述

线性回归

这里写图片描述

这里写图片描述

多元线性回归的模型：

这里写图片描述

这里写图片描述

这里写图片描述

广义线性模型：

这里写图片描述

其中，函数g( · )称为联系函数，
对数线性回归是在g( · ) = ln( · )时的特例

对数几率回归

这里写图片描述

图中可看出单位阶跃函数不连续，因此不能直接用作广义线性模型中的g-( · ) ，于是找到一个近似单位阶跃函数的“替代函数” ，对数几率函数：

这里写图片描述

这里写图片描述

线性判别分析

这里写图片描述

这里写图片描述

多分类学习

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

收录于
机器学习

当前文章被收录于：

机器学习
3 篇文章 0 人学习
订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Pattern Recognition and Machine Learning 第三章 线性回归模型 标签： 机器学习线性回归模型线性，即关于参数的线性函数；回归，表示需要预测的量是连续的。建模后可以对任意未知的变量求出目标量，或者是目标的概率分布以表示结果的不确定性。线性基函数模型y(x⃗ ,w⃗ )=w0+∑wjϕj(x⃗ )y(\vec x, \vec w) = w_0 +\sum w_j \phi_j (\vec x)其中ϕj(x⃗ )\phi_j (\vec x)为基函数，参数w中有w0w 阅读详情

相关推荐

Zlib1.2.11源码编译（Win10+VS2019）

下载 下载网址： zlib Home Site 得到文件： 解压缩到“D:\SourceCodes\zlib-1.2.11” 使用CMake配置、生成并打开项目 将CMakeLists.txt拖入CMake，配置（Configure）： 生成（Generate） 打开项目（Open Project），CMake调用VS2019打开项目 生成debug版本 构建项目ALL_BUILD。成功生成debug版本 在“D:\Sourc...

Alexabc3000的专栏 1894

机器学习（西瓜书） 第三章 线性模型

本文是《机器学习》（周志华）第三章"线性模型"的学习笔记，以通俗易懂的方式讲解核心概念。文章首先介绍了线性模型的基本形式和优势，然后详细解析了线性回归、对数几率回归、线性判别分析等算法。在多分类学习部分，重点讨论了OvO、OvR和MvM三种策略，特别介绍了纠错输出码（ECOC）技术。最后针对类别不平衡问题，提出了欠采样、过采样和阈值移动三种解决方法。作者刻意简化数学公式，强调理解算法思想和应用场景，适合机器学习初学者阅读。文中还穿插了数据预处理、模型评估等实用技巧，并预告下一章将讲解决策

在猴站学算法 949

快速入门必看！RT-DETR手把手训练自己的数据集去跑实验，基于 ultralytics 仓库源码改进，配置虚拟环境，准备数据集、训练、验证、推理测试 ，实现0到1的完整教学过程。

本文介绍了使用Ultralytics框架训练RT-DETR模型的全流程。首先需要创建Python 3.10虚拟环境，安装指定版本的PyTorch和相关依赖包。然后准备数据集，修改配置文件，并详细介绍训练、验证和推理三个核心步骤的代码实现。训练阶段使用RTDETR类加载模型配置，设置训练参数；验证阶段评估模型性能；推理阶段可对图片、视频等进行预测。文中还提供了清华大学镜像源加速下载，以及详细的参数配置说明，帮助用户快速搭建RT-DETR目标检测模型。

Ai缝合怪、助力小伙伴高效发论文 5564

周志华《Machine Learning》学习笔记--第三章--线性模型

可解释性强：每个特征的权重直接反映了它对结果的影响程度，这在医疗、金融等需要解释性的领域至关重要计算效率高：训练和预测都非常快，适合处理大规模数据扩展性好：很多复杂模型都是线性模型的扩展，比如神经网络的每一层都是线性变换加激活函数，支持向量机是线性模型在核空间的扩展当然，线性模型也有局限性：它只能处理线性关系，对于非线性数据效果不好。但这并不影响它的地位——就像数学中的加减乘除，虽然简单，但却是所有复杂运算的基础。

weixin_46200189的博客 498

RT-DETR算法优化改进：轻量级上采样CARAFE算子 | 注意力机制大作战

上采样操作CARAFE，具有感受野大、内容感知、轻量级、计算速度快等优点，引入RT-DETR二次创新；1）代替Upsample进行使用；

①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体； 1266

osgPython

osgPython是一组 Python 模块，为 OpenSceneGraph 的 C++ 库提供了完整的 Python 接口。这意味着你可以在 Python 中调用几乎所有的 OSG 功能，从创建简单的场景到复杂的渲染效果。核心优势开发速度快：Python 语法简洁，无需编译，快速迭代易于学习：比 C++ 更易上手，适合原型开发和教学生态丰富：可以结合 NumPy、Matplotlib 等科学计算库跨平台：与 OSG 一样支持 Windows、Linux、macOS性能考虑。

深之JohnChen的专栏 457

【ML笔记】第三章 线性模型

第3章 线性模型基本形式给各个属性分配权值，和数对应到预测函数线性回归 定义：给定离散的数据点（属性，标记）数据对，学习线性模型预测输出 对于输入属性 输入属性数目只有一个 离散属性：存在序关系的转换为大小不同的值，不存在序关系的转化为0/1向量 基于均方误差最小化进行模型求解的方法：「最小二乘法」 求解w，b使得均方误差最小的过程称为最小二乘「参数估计」 对均方误差函数E(w,b)分别关于w

尽吾之力，以达天际 577

OData 请求里的 Nextlink 实战：在 ABAP Client Proxy 中优雅处理长列表分页

本文介绍了OData v4标准中的@odata.nextLink分页机制及其在SAP ABAP中的实践应用。重点解析了该机制通过服务端提供的完整URL实现分页获取，客户端只需循环处理直到该字段消失的特点。文章提供了清晰的ABAP代码模板，展示如何通过Remote Client Proxy实现分页数据获取，并强调了仅支持OData v4和远程消费的限制条件。通过HR员工数据聚合的实际案例，说明了流式分页处理的最佳实践，包括服务端过滤、稳定排序和内存控制等关键技术要点，为ABAP开发者提供了可直接落地的解决方案

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 273

机器学习（西瓜书）——第三章线性模型（知识点思维导图）

我这里只是写了点只是框架，更多的是靠大家来学习

qq_51999794的博客 2095

锂电池寿命预测 | Pytorch实现基于Transformer 的锂电池寿命预测（NASA数据集）

锂电池寿命预测 | Pytorch实现基于Transformer 的锂电池寿命预测（NASA数据集）

算法如诗的博客 5588

2025华为od面试手撕代码【求字符串表达式结果】

2025华为od面试手撕代码【求字符串表达式结果】

MISAYAONE的博客 1353

Machine Learning第三章线性模型读书笔记

多分类学习的基本思路是将多分类任务拆为多个二分类任务求解，具体来说，先对问题进行拆分，然后为拆出的每个二分类任务训练一个分类器;在现实的分类学习任务中，我们经常会遇到类别不平衡，例如在通过拆分法解决多分类问题时，即使原始问题中不同类别的训练样例数目相当，在使用OvR、MvM策略后产生的二分类任务仍可能出现类别不平衡现象。对数几率函数是其近似函数。对于N个类别的数据集来说，OvO要产生N（N-1)/2个二分类任务，OvR则需要产生N个二分类任务，因此，OvO的存储开销和测试时间开销通常比OvR更大。

fresh_birds_chen的博客 674

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox（带书签），MATLAB统计学习工具

【机器学习第三章——线性模型】

机器学习第三章——线性模型3.线性模型3.1基本形式3.2线性回归3.3 对数几率回归3.4 线性判断分析(LDA)3.5 多分类学习3.6 类别不平衡问题 3.线性模型 3.1基本形式 线性模型试图学得一个通过属性的线性组合来进行预测的函数 f(x)=w1x1+w2x2+...+wdxd+b f(x)=w_1x_1+w_2x_2+...+w_dx_d+b f(x)=w1​x1​+w2​x2​+...+wd​xd​+b 向量形式：f(x)=wTx+bx=(x1,x2,...,xd)T 向量形式：f(x)=

m0_53694086的博客 666

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

IEM模型，地表粗糙度模拟

利用微波反演土壤水分时候，利用IEM模型可以实现对随机地表的模拟

机器学习——第三章 线性模型

假设，d表示x的维度（属性），表示x在第i个属性上的值。线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即:向量形式为：其中，w和b学得之后，模型就确定了。w直观的表达了各个属性在预测中的重要性，因此线性模型具有很好的可解释性（comprehensibility）。

weixin_46002351的博客 783

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

周志华《机器学习》第三章 - 线性模型

第三章 - 线性模型1.1 基本形式1.2 线性回归 1.1 基本形式 给定由 d 个属性描述的示例 x = (X1; X2;…; Xd) ， 其中xi是 x在第 i个属性上的取值，线性模型 (linear model)试图学得一个通过属性的线性组合来进行预测的函数，即 一般用向量形式写成 其中 ω=(ω1 ;ω2;… ;ωd) ω 和 b 学得之后，模型就得以确定. 线性模型形式简单、易于建...

lens_的博客 935

机器学习第三章-线性模型

因此，需要使用更合适的评估指标如精确率（Precision）、召回率（Recall）、F1分数等来评估模型在不同类别上的表现。个类别C1,C2,C3.....,CN多分类学习的基本思路是 "拆解法飞即将多分类任务拆为若干个二分类任务求解.具体来说，先对问题 进行拆分，然后为拆出的每个二分类任务训练一个分类器;例如，在医疗诊断中，罕见病的患者比例可能非常低，而正常人的比例较高。5.层级分类：将多个少数类别合并为一个类别，从而减少类别的数量，使得问题变得更平衡。是每次将若干个类作为正类，若干个其他类作为反类.

wastec的博客 1099

机器学习笔记 第三章线性模型

线性判别分析（简称LDA）是一种经典的线性学习方法，LDA的思想非常朴素，给定训练样例集，设法将样例投影到一条直线上，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；“一对其余”（简称OvR）则是每次每次将一个类的样例作为正例、所有其他类的样例作为反例来 训练N个分类器，训练N个分类器，存储开销和测试时间小；作为正例的相对可能性，对几率取对数得到“对数几率”。以上式子实际上是用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应的模型称为“对数几率回归”。

qq_53034510的博客 1111

《机器学习》 第三章线性模型 总结

写在前面 前三章是机器学习的基础知识，其中涉及了非常多的数学公式推到。特别是第二第三章，初学者对这些公式的具体推导比较吃力，看书也是一点一点磨着看的。。。我磨了一个星期总算是磨完了=_=，期间发现一本好书《南瓜书》，把西瓜书简略的公式推导补充了很多，网址：https://datawhalechina.github.io/pumpkin-book/#/ 基本形式 线性模型（linear model）：由属性的线性组合来进行预测的模型，预测的函数形式为公式(3.1)，许多更复杂的非线性模型（nonlinear

weixin_44249784的博客 522

机器学习第三章——线性模型

它通过引入Sigmoid函数（或称对数几率函数），将线性回归模型的预测值转化为一个介于0和1之间的概率值，从而进行分类。线性判别分析是一种监督学习的降维技术，它通过将数据投影到低维空间，使得同类样本的投影点尽可能接近，异类样本的投影点尽可能远离，从而实现分类效果。线性模型试图学得一个通过属性的线性组合来进行预测的函数，即f(x)=wTx+b，其中w是权重向量，b是偏置项，x是输入样本。测试时，若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果。：去除一些多数类样本，使得正负样本数目接近。

qq_67725022的博客 974

机器学习第三章：线性模型

假设一个数据集：D={（x1，y1），（x2，y2），...（xn，yn）} ，其中yi为0或1。每次对n个类做m次划分，这样可以产生m个训练集，进而可以训练出m个分类器，再用这m个分类器对测试样本进行预测，把预测的结果组成一个编码，将预测编码与每个类别各自的编码进行比较，把距离最小的类别作为最终的结果。假设一个数据集：D={（x1，y1），（x2，y2），...（xm，ym）} ，yi属于{C1，C2，...，Cn}；这个方法是每次一个类的样例作为例，其余的类作为反例，最后可以训练n个分类器。

Schnappi_cc的博客 803

机器学习西瓜书第三章 线性模型

目录 3 线性模型 3.1 基本形式 3.2 线性回归 3.3 对数几率回归 3.4 线性判别分析 3.5 多分类学习 3.6 类别不平衡问题 课后习题 3 线性模型 3.1 基本形式 线性模型：试图学得一个通过属性的线性组合来进行预测的函数，即 用向量形式写成 非线性模型可以由线性模型转化而成。 3.2 线性回归 误差平方和 所谓线性回归，就是已知...

yanyiting666的博客 2114

线性模型 机器学习第三章

西瓜书 机器学习第三章

G_Shengn的博客 860

机器学习第三章——线性模型填空

4、训练对数几率回归分类模型，如果在模型中引入正则项，正则化参数会对模型的性能有很大的影响，如果设置的过大则不能缓解过拟合问题，如果设置的过小。6、线性回归模型是用线性模型的预测值逼近样本的真实标记，对数几率回归模型是用线性回归模型的预测结果去逼近真实标记的。3、如果使用数据集的全部特征，学习模型在训练集上达到100%的准确率，但在测试集上仅能达到70%左右，这说明存在。1、在梯度下降过程中，学习率控制着算法每一轮迭代中的更新步长，如果学习率设置的太大容易振荡，设置太小则。的性能，就要把学习器预测结果。

qq_61422884的博客 945
上一篇： 数字图像处理 表示与描述（ 部分）
下一篇： 机器学习 第五章 神经网络
点赞 0
评论 0
书签 书签 0
Cold__Winter
Cold__Winter
博客等级 码龄9年 16粉丝 71原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值