【机器学习-西瓜书】第3章-线性模型

最新推荐文章于 2023-03-08 23:33:20 发布
原创 最新推荐文章于 2023-03-08 23:33:20 发布 · 2.1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文深入探讨线性模型，包括一元和多元线性回归，强调最小二乘法在参数估计中的应用。进一步讲解对数几率回归，解释其在分类任务中的作用，以及如何通过极大似然估计来求解参数。线性判别分析（LDA）也作为重要概念被介绍，用于二分类问题，旨在最大化类间距离和最小化类内距离。

3.1 基本形式

示例x由 d个属性描述，x_{i} = (x_{i1},x_{i2}, ..., x_{id})

线性模型 试图学得一个通过属性的线性组合来进行预测的函数，即

f(x) = w_{1}x_{1}+w_{2}x_{2}+ ... + w_{d}x_{d} + b \\ f(x)=w\top x + b,\ w=(w_{1}, w_{2}, ..., w_{d})

3.2 线性回归

3.2.1 一元线性回归：for regression

给定数据集 D=\{(x_{1}, y_{1}), (x_{2}, y_{2}), ..., (x_{m}, y_{m})\}

先考虑最简单的情形：输入只有一个属性，此时线性回归试图学得: f(x_{i}) = wx_{i} + b

 使得f(x_{i })\approx y_{i}. 

如何确定w和b？=> 让均方误差最小化，即

\left ( w^{\ast } , b^{\ast }\right ) = arg\ min_{\left ( w,b \right )}\sum_{i=1}^{m}\left ( f\left ( x_{i} \right )-y_{i} \right )^{2}\\=arg \min_{\left ( w,b \right )}\sum_{i=1}^{m}\left ( y_{i} - wx_{i}-b \right )^{2}

基于均方误差最小化进行模型求解的方法，称为“最小二乘法 (Least Square Method)”。即找到一条直线，是所有样本导致线上的欧式距离之和最小。

最小二乘“参数估计 (parameter estimation)”:求解w和b使得下式最小化的过程。

最低0.47元/天 解锁文章
wayaya112
关注
周志华机器学习西瓜书第三章 线性模型学习笔记(超详细)
Sodas的博客
01-22 1085
本章笔记非常详细适合基础薄弱者，整理了很多大佬的笔记和自己的理解，希望读者认真研究仔细推敲。
【机器学习-西瓜书】第5章 神经网络
wayaya112的博客
03-25 3018
5.1 神经元模型 定义： 神经网络是由具有适应性的简单单元组成的、广泛并行互连的网络，其组织能够模拟神武神经系统对真实世界物体所做出的交互反应。这里的简单单元指 神经元neuron。 在神经网络中，每个神经元与其他神经元相连，当超过一个”阈值 (threshold)“，该神经元将被激活，产生神经元输出。 沿用至今的M-P神经元模型 5.2 感知机与多层网络 感知机 (perceptron)由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。如下图：
西瓜书第三章——线性模型
qq_42929168的博客
11-22 1808
西瓜书学习笔记——第三章前言一、一元线性回归0、一些基本概念1、算法原理2、线性回归的最小二乘估计和极大似然估计2.1、最小二乘法2.2、极大似然估计法3、求解ω和b3.1、凸函数3.2、海塞矩阵及其半正定性3.3、海塞矩阵的半正定性证明3.4、向量化成矩阵简化python编写4、机器学习三要素二、多元线性回归1、多元线性模型2、最小二乘法估计以及向量化3、求解ω ̂ 和矩阵求偏导的一些公式3.1、海塞矩阵的正定性3.2、矩阵求偏导简单了解及相关公式三、对数几率回归1、算法原理2、极大似然估计角度推导损失函
机器学习入门-西瓜书总结笔记第三章
weixin_45867990的博客
03-28 2271
西瓜书第三章-线性模型一、基本形式二、线性回归 一、基本形式 后续还要进行精简 “线性模型”（linear model） 试图学得一个通过属性得线性组合来进行预测的函数 f(x)=w1x1+w2x2+...+wdxd+b, f(x) = w_1x_1+w_2x_2+...+w_dx_d+b, f(x)=w1​x1​+w2​x2​+...+wd​xd​+b, 向量形式 f(x)=wTx+b f(\pmb x) = \pmb {w^Tx}+b f(xxx)=wTxwTxwTx+b 其中 w=(w1;w2;.
（二）线性回归模型
dyk2013的博客
03-08 331
通过案例解释了线性回归的作用和计算过程，并讨论了梯度下降算法的求解过程。
机器学习（西瓜书）--第三章：线性模型
smithllxf的博客
07-29 655
一：基本形式 二:线性回归 x是给的数值，f(x)是预测值，w，b是变量；通过选择w、b，使得均方误差最小。 对于由开头说的d个属性描述，则是多元线性回归（multivariate linear regression）。   三:对数几率的回归 四:线性判别分析 LDA是一种经典的线性学习方法也被称为“Fisher准则”，其基本内容为：给定训练样例集，...
《机器学习》（西瓜书）第三章
m0_72969350的博客
11-18 994
1：模型：根据实际问题，确定假设空间2：策略：根据评价标准，确定选取最优模型的策略（通常会产出一个“损失函数”）（损失函数：每次训练集送入模型后，输出预测值，通过损失函数计算出预测值和真实值之间的差异值，通过模型反向传播更新参数，降低损失值）3：算法：求解损失函数，确定最优模型。
精选资源
西瓜书《机器学习》---第三章 线性模型python代码实现
03-08
【对应博客内本章内容】 3.3 编程实现对率回归，并给出西瓜数据集3.0α上的结果 3.4 选择两个 UCI 数据集，比较 10 折交叉验证法和留一法所估计出的对率回归的错误率。 3.5 编辑实现线性判别分析，并给出西瓜数据...
精选资源
《机器学习》（周志华-西瓜书）（深度之眼-第十期）
10-29
第一周 1 学习机器学习绪论 2 达观杯NLP算法大赛 第二周 3 学习线性模型 4 学习sklearn包中逻辑回归算法的使用
机器学习西瓜书——第03章线性模型
grizzly的博客
01-16 931
本文是关于周志华老师编写的机器学习书籍『西瓜书』的第三章线性模型. 主要的内容有: 线性回归的基本形式、最小二乘法、广义线性回归、对数几率回归（逻辑回归）、最大似然估计和分类数据连续化等. 3.1 基本形式 线性模型(linear model)是一个通过属性的线性组合来进行预测的函数, 形如: f(x)=w1x1+x2w2+⋯+wdxd+b f(x) = w_{1}x_{1} + x_{2}w_{2} + \dots + w_{d}x_{d} + b f(x)=w1​x1​+x2​w2​+⋯+wd​xd.
机器学习(西瓜书第三章笔记)
qq_37004793的博客
05-16 361
3.线性模型 在这里插入图片描述
西瓜书解读 第三章 线性模型
Avery123123的博客
03-30 588
西瓜书解读 第三章 线性模型西瓜书解读 第三章 线性模型基本形式问题描述函数形式向量的形式线性回归问题描述一元线性回归问题描述目标函数目标函数求解多元线性回归对数线性回归广义线性模型对数几率回归（逻辑回归）线性判别分析多分类学习类别不平衡问题补充：梯度下降法 西瓜书解读 第三章 线性模型 基本形式 问题描述 函数形式 向量的形式 线性回归 问题描述 一元线性回归 问题描述 目标函数 ...
西瓜书第三章
faye的爬坡旅程
07-19 212
学习目标： 西瓜书第三章 学习内容： 1、一元线性回归 2、多元线性回归 3、对数几率回归 4、二分类线性判别分析 学习时间： 周一晚上八点 学习产出： 一元线性回归是有一个因素，根据这个因素进行判断，e.g. 西瓜的颜色与甜度之间的关系； 损失函数E(w,b)，最小二乘法、正交法 argmin：并不是说损失函数最小等于多少，而是损失函数最小时，此时的参数分别为多少？ ...
西瓜书知识总结（第三章）
weixin_44605171的博客
01-17 1467
线性模型 机器学习三要素：模型、策略、算法。 1.基本形式 什么是线性模型？通过属性的线性组合构成预测函数，该函数就是属于线性模型 f(x)=w1x1+w2x2+…+wdxd+b f(\pmb{x}) = w_1x_1+w_2x_2+\ldots+ w_dx_d+b f(xxx)=w1​x1​+w2​x2​+…+wd​xd​+b 向量形式是 f(x)=wTx+bf(x)=\pmb{w}^{\mathrm{T}}\pmb{x}+bf(x)=wwwTxxx+b，这里的 w\pmb{w}www 和 b\pmb{b
【西瓜书笔记】——第三章：线性模型
锟金铐鏜鏜鏜
09-23 1006
1、基本形式 定义：最简单的线性函数为： f(x)=wx+bf(x) = wx + bf(x)=wx+b 将其扩展为矩阵形式，其中xi=(xi1,xi2,xi3,…,xij)Tx_i=(x_{i1},x_{i2},x_{i3}, …, x_{ij})^Txi​=(xi1​,xi2​,xi3​,…,xij​)T表示对于单个样本xi，它拥有j个不同的特征，而针对每个特征的重要度不同，自然有权重矩阵： ...
【机器学习-西瓜书】-第3章-线性回归-学习笔记-上
weixin_44944046的博客
10-17 779
周志华《机器学习》，学习笔记，第三章线性回归
西瓜书 第3章 线性模型 读书笔记
Gaia0321的博客
05-17 380
第3章 线性模型 1.基本形式 1.1线性模型（linear model） 试图学得一个通过属性的线性组合来进行预测的函数 函数形式： 向量形式： 1.2非线性模型（nonlinear model） 在线性模型的基础上通过引入层级结构或高位映射而得 1.4可解释性（comprehensibility/understandability） ω直观表达了各属性...
西瓜书学习笔记——第三章：线性模型
Andrewings
05-16 1694
第三章：线性模型3.1 基本形式3.2 线性回归对离散变量的处理3.2.1 对于样本只有一种属性的情况3.2.2 对于样本由d个属性描述的情况用矩阵形式表示：①当$X^{T}X$为满秩矩阵或正定矩阵时：②当$X^{T}X$不为满秩矩阵或正定矩阵时：3.2.3 广义线性模型（$y$的衍生）3.3 对数几率回归（用线性模型做分类任务） 3.1 基本形式 线性模型：试图学得一个通过属性的线性组合来进行...
【西瓜书阅读笔记】第三章 决策树
岛民浩哥的博客
04-13 547
第三章 决策树4.1 基本流程4.2 划分选择4.2.1 信息增益4.2.2 增益率4.2.3 基尼指数4.3 剪枝处理4.3.1 预剪枝4.3.2 后剪枝4.4 连续与缺失值4.4.1 连续值处理4.4.2 缺失值处理（跳过）4.5 多变量决策树 4.1 基本流程 创建树对数据进行分类（或者回归）。 根结点，内部结点（属性测试），叶结点（决策的结果） 4.2 划分选择 关键：如何划分（希望结点的...
机器学习西瓜书第三章答案
最新发布
02-12
在探讨《机器学习》西瓜书中第三章的内容时，该章节主要聚焦在线性模型及其应用[^3]。线性模型作为监督学习中的基础方法之一，广泛应用于分类和回归任务中。 #### 1. 线性回归 线性回归是最简单的预测建模技术之一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值