机器学习 周志华 第三章 推导详细过程

最新推荐文章于 2024-11-17 01:51:35 发布
最新推荐文章于 2024-11-17 01:51:35 发布
阅读量1.1k 收藏 2
点赞数 2
文章标签： 机器学习 线性模型 公式推导
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_37076955/article/details/88714893
版权
博客讲述作者在阅读第三章关于线性模型推导内容时，因作者略去部分步骤，自己查阅 matriccookbook 中的矩阵运算公式及 wiki 百科计算公式，对线性模型公式进行自主推导，目前推导未完待续。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

第三章主要介绍了线性模型的推导过程，但是作者略去部分简单的步骤，虽然作者认为是简单的，但是对我这种数学渣渣来说，并不简单，因此我还是差了 matriccookbook中的矩阵运算的公式，自己推导了一遍。

首先推导 公式（3.10）到公式（）

Wloss=\left ( y-XW \right )^{T}\left (y-XW \right )

=\frac{\partial \left ( yy^{T}-y^{T}XW-W^{T}X^{T}y+W^{T}X^{T}XW \right )}{\partial W}

=0-\left ( y^{T}X \right )-\left ( X^{T}y \right )+\left ( x^{T}XW \right )+\left ( W^{T}X ^{T}X\right )

令导数=0，则可以求出

W=\left ( X^{T}X \right )^{-1} X^{T}y

参考公式如上图，取自 wiki百科上计算公式。

未完待续。

Destin055
关注
周志华机器学习西瓜书 第八章 集成学习-学习笔记(超详细)
Sodas的博客
03-01 238
举个例子：假如集成学习器有9个个体，求的是集成学习错误率，即预测失败的概率。即在训练过程中每一轮中，根据样本分布为每个训练样本重新赋予一个权重，对无法接收带权样本的基学习算法，则可通过“重采样法”来处理，即在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样而得的样本集对基学习器进行训练。随机森林的训练效率常优于Bagging，因此在个体决策树的构建过程中，Bagging使用的是“确定型”决策树，在选择划分属性时要对结点所有的属性进行考察，而随机森林使用的“随机型”决策树则只需考察一个属性子集。
周志华《机器学习》自学知识点笔记（第八章）
m0_74756644的博客
11-20 718
集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifer system)、基于委员会的学习(committee-based learning)等。图8-1显示出集成学习的一般结构：先产生一组“个体学习器”(individual learner)，再用某种策略将它们结合起来。图8-1 集成学习示意图。
周志华——机器学习 第三章笔记
m0_62833130的博客
01-16 797
机器学习的线性模型、对数几率回归、线性判别分析LDA、多分类学习。
【公式推导】机器学习（周志华） 第3章 线性模型
lzbmc的博客
08-25 445
多元线性回归（均方误差） 目标函数求导过程 对数几率回归/逻辑回归（分类任务，极大似然法）目标函数简化：
机器学习_周志华 第三章 线性模型 学习笔记 3.3 3.4-3.6（略）
jugexiaolizi的博客
10-31 1205
文章仅用来记录学习，若有侵权行为，联系我，将删除 3.3 对数几率回归 对数几率回归是线性模型在进行分类任务时的一种运用。 当我们要用线性模型去进行分类任务时，我们可以根据 3.2 中所提到的广义线性模型，找到一个单调可微函数  ,将分类任务的真实标记  与线性回归模型的预测值联系起来。 对于二分类的任务，输出标记  ，但我们由线性回归模型所产生的预测值  是一个实值，所以我们要办法，...
机器学习 -- 《机器学习》(周志华) 第三章
Zhou_Yulong的博客
08-24 1256
机器学习 – 《机器学习》(周志华) 第三章 笔记 正交回归 点距离线的距离是正交回归 线性回归 点垂直方向到线的距离 将离散特征转为线性公式 极大似然估计 用途：估计概率分布的参数值 方法： 写出随机变量X的概率密度函数 写出似然函数 求出使得L(μ，σ^2) 取到最大值的μ，σ 概率密度函数 最小二乘法 基于方误差最小化来进行求解的方法 凸集1 凸函数时需要，最优化领域凹凸性与高数中不同 梯度 梯度为 多元 函数的一阶导数 线性判别分析 给定训练集，将样例
《机器学习》-周志华 第三章：线性模型 读书笔记二
虎哥的铲屎员
07-01 345
文章目录3.4线性判别分析LDA(linear discriminant analysis)3.4.1 二分类推导3.4.2 多分类推导3.5 多分类学习3.6类别不平衡问题 3.4线性判别分析LDA(linear discriminant analysis) 给定训练样例集，将样例投影到一条直线上，是同类样例的投影点尽可能近，非同类样例投影点尽可能远。在新样本分类时，投影到同样的直线上，再根据投...
周志华《机器学习》第一章笔记+公式推导+课后习题
Zoro的博客
07-02 1734
之前五月份因为要做一个水果分类的比赛，强行突击了台湾大学李宏毅老师的机器学习视频课，做比赛是够用了，但是没有系统的学习梳理过知识体系。暑假争取把导师推荐的书刷一遍，再做几个小项目，在开学之前把自己与别人的差距尽量缩小一些。Go fighting！     用作者的话说，本书的主要目的就是为读者提供一张“初级地形图“，给初学者指路。故本书第一章主要介绍何为机器学习、机器学习相关基础概念、发展...
周志华《机器学习》-所有公式推导集合
lqfarmer的博客
05-30 4463
周志华老师的《机器学习》（西瓜书）是机器学习领域的经典入门教材之一，周老师为了使尽可能多的读者通过西瓜书对机器学习有所了解, 所以在书中对部分公式的推导细节没有详述，但是这对那些想深究公式推导细节的读者来说可能“不太友好”，本书旨在对西瓜书里比较难理解的公式加以解析，以及对部分公式补充具体的推导细节。 读到这里，大家可能会疑问为啥前面这段话加了引号，因为这只是我们最初的遐想，后来我们了解到，周老师之所以省去这些推导细节的真实原因是，他本尊认为“理工科数学基础扎实点的大二下学生应该对西瓜...
周志华《机器学习》自学知识点笔记（第六章）
m0_74756644的博客
11-17 820
给定训练样本集，分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。直观上看，应该去找位于两类训练样本“正中间”的划分超平面，因为该划分超平面对训练样本局部扰动的“容忍”性最好。换言之，这个划分超平面所产生的分类结果是最鲁棒的，对未见示例的泛化能力最强。在样本空间中，划分超平面可通过如下线性方程来描述：其中为法向量，决定了超平面的方向；b为位移项，决定了超平面与远点之间的距离。显然，划分超平面可被法向量w和位移b确定，下面我们将其记为(w,b)。
【机器学习-周志华】学习笔记-第三章
vircorns的博客
08-22 794
周志华《机器学习》第三章啃书笔记
周志华《机器学习》第三章 - 线性模型
lens_的博客
05-16 808
第三章 - 线性模型1.1 基本形式1.2 线性回归 1.1 基本形式 给定由 d 个属性描述的示例 x = (X1; X2;…; Xd) ， 其中xi是 x在第 i个属性上的取值，线性模型 (linear model)试图学得一个通过属性的线性组合来进行预测的函数，即 一般用向量形式写成 其中 ω=(ω1 ;ω2;… ;ωd) ω 和 b 学得之后，模型就得以确定. 线性模型形式简单、易于建...
<机器学习>(周志华)读书笔记 -- 第三章 线性模型
ANONYMOUSLYCN的专栏
02-19 1491
3.1 基本形式 为啥叫做线性模型呢？因为这个很像是f（x）=ax+b的形式，在图形上看是一个直线，只是斜率和截距不一样而已。 3.2 线性回归 这个就有意思了，这里x是给的数值，f(x)是预测值，w，b是变量，那么变量的更新就是个大问题，其实神经网络在这里也是面临了这个问题，就是变量的更新。 这里先是放置了一个w，b的更新的大致方向，就是使得预测和真实值接近嘛。然后化简一
周志华机器学习第三章理解
小x的博客
06-04 815
下面即将是一个大坑~~~：嗯，这里貌似不好推导出来啊，然后无奈之下，上网找到了这个~： 
机器学习周志华第三章笔记
ha_ha515的博客
01-16 334
线性回归回顾 linear Algebra 线性代数 matrix 矩阵 vector 向量 只有一列的矩阵
机器学习(周志华) 参考答案 第三章 线性模型 3.4
濯君
08-28 3666
4.选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。 选取了UCI上iris数据集，内部共150个数据，3种类别，每类50个样本。 每次选择两类做二分类计算，做3轮计算。每轮选取100个样本，10折法选45正45反，剩下10个作为验证，一共10组，共验证100例；留一法每次留1个做验证，一共100组，也是100例。每个方法最终验证300例，直接比较错误分类的个数...
周志华《机器学习》笔记（三）——第3章 线性模型
CSU干饭人的博客
07-15 290
第3章 线性模型1、线性回归2、逻辑回归（对数几率回归）3、线性判别分析（LDA）4、多分类学习5、类别不平衡 线性模型是神经网络和深度学习的基础，原理比较简单，主要看书就行，重点是线性回归和对数几率回归这两节。 1、线性回归 求解方法：用最小二乘法使均方误差最小化，可以求出最优解。 2、逻辑回归（对数几率回归） 线性模型外面套上一层Sigmoid函数，就可以解决二分类问题。求解方法与线性回归一样，用最小二乘法最小化均方误差。 3、线性判别分析（LDA） 将数据的特征点（坐标）投影到一条直线上，使同类样
2019/9/12，机器学习（周志华）第三章及学习笔记
qq_31688497的博客
09-12 245
本章的内容是线性模型，先从简单的线性回归到应用于二分类的对数回归。 f(xi)=wxi+b, 为了确定线性模型中的w和b，用上一章提到的均方误差mse来求解，试图将mse最小化来得到线性模型中较好的w和b（理论上是最好的），这种方法称为最小二乘法。 最小二乘法在其他领域也有用途，例如在我之前的视差图精化的亚像素插值中也用到了最小二乘法拟合。而此处线性回归中的最小二乘法是指找到一条直线，使所有样本到...
周志华-机器学习-第三章线性模型-学习总结
weixin_44776390的博客
02-04 617
周志华-机器学习-第三章线性模型-学习总结 这篇博客以我制作的思维导图为主要介绍，再加上一些文字解释帮助读者理解 一、大体脉络 线性模型这章主要讲述了几个点：线性回归、对数几率回归、线性判别分析LDA、多分类学习和类别不平衡问题。 二、线性模型的基本形式 三、线性回归 问题描述 一元线性回归 只有一个属性值w，函数式为y=wx + b 所谓线性回归就是用已有的数据集来拟合一条线，从而达到...
机器学习周志华第四章
最新发布
02-14
### 周志华《机器学习》第四章内容概述 周志华编著的《机器学习》第四章主要聚焦于决策树这一重要的监督学习方法[^3]。该章节深入探讨了决策树的学习过程及其应用，具体涵盖了以下几个方面： #### 1. 决策树简介 介绍了决策树作为一种基本分类工具的概念和发展历史。 #### 2. 划分选择标准 讨论了几种不同的划分选择标准，包括但不限于： - **ID3算法** 使用信息增益作为衡量指标来决定如何分割数据集；然而这种方法倾向于选择具有更多取值可能性的特征。 - **C4.5算法** 改进了这一点，采用信息增益率代替简单的信息增益，从而更公平地对待不同数量级别的离散变量。 - **CART (Classification And Regression Trees)** 方法，则基于基尼系数来进行节点分裂的选择。 ```python def calculate_information_gain(data, feature): # 计算给定数据集的信息熵 entropy_before_split = compute_entropy(data) weighted_entropies_after_split = [] for value in set([row[feature] for row in data]): subset = [row for row in data if row[feature] == value] probability_of_value = len(subset)/len(data) entropy_for_subset = compute_entropy(subset) weighted_entropies_after_split.append(probability_of_value * entropy_for_subset) information_gain = entropy_before_split - sum(weighted_entropies_after_split) return information_gain def choose_best_feature_to_split(data): best_info_gain = -1 best_feature_index = None num_features = len(data[0]) - 1 # 减去标签列 for i in range(num_features): info_gain = calculate_information_gain(data, i) if(info_gain > best_info_gain): best_info_gain = info_gain best_feature_index = i return best_feature_index ``` #### 3. 过拟合处理 解释了过拟合现象以及通过剪枝等方式减少这种风险的方法和技术细节。 #### 4. 实践案例分析 提供了多个实际应用场景中的例子，并指导读者理解如何构建有效的决策树模型。 对于希望进一步了解或获取更多关于此主题资料的朋友来说，《机器学习》这本书本身就是一个非常好的起点。此外，在线平台上也有许多开源项目和教程可以帮助加深理解和实践操作技能[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值