【公式推导】机器学习（周志华） 第3章 线性模型

最新推荐文章于 2025-01-22 13:56:36 发布
最新推荐文章于 2025-01-22 13:56:36 发布
阅读量437 收藏 4
点赞数
分类专栏： 机器学习（周志华）笔记 文章标签： 机器学习公式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lzbmc/article/details/100063528
版权
本文深入探讨了多元线性回归的均方误差目标函数求导过程，对数几率回归及逻辑回归在分类任务中的应用，并通过极大似然法简化目标函数。此外，还解析了线性判别分析LDA在最大化目标函数方面的推导过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 多元线性回归（均方误差） 目标函数求导过程
    多元线性回归
  • 对数几率回归/逻辑回归（分类任务，极大似然法）目标函数简化：
    对数几率回归
  • 线性判别分析LDA 最大化目标推导
    LDA目标函数
机器学习算法 - 线性模型（公式推导+代码）
qq_42994177的博客
07-21 3011
​ 一、线性回归 1.线性回归描述 是一种预测模型，利用各个特征的数值去预测目标值。线性回归的主要思想是给每一个特征分配一个权值，最终的预测结果是每个特征值与权值的乘机之和再加上偏置。所以训练的目标是找到各个特征的最佳权值和偏置，使得误差最小。线性回归的假设前提是噪声符合正态分布。线性回归也可以做分类，但是效果不好。 2.线性回归公式 1.一元回归公式推导 假设输入属性的数目只有一个 ​​ 如何确定 w 和 b ?关键在于如何衡量f(x)与y之间的差别。我们可以让均方误差最小化，使每一个样本的预测值与真
【学习笔记】西瓜书机器学习之第三章：一元线性回归公式推导(一)
For-4946的博客
01-19 286
都在图里了 下章多元线性推导
机器学习 周志华 第三章 推导详细过程
weixin_37076955的博客
03-21 1122
第三章主要介绍了线性模型的推导过程，但是作者略去部分简单的步骤，虽然作者认为是简单的，但是对我这种数学渣渣来说，并不简单，因此我还是差了 matriccookbook中的矩阵运算的公式，自己推导了一遍。 首先推导 公式（3.10）到公式（） 令导数=0，则可以求出 参考公式如上图，取自 wiki百科上计算公式。 未完待续。 ...
机器学习--线性模型（公式结论）
qq_43535213的博客
07-24 733
本文记录周志华《机器学习》线性模型内容： 主要分为线性回归、对数几率回归和线性判别分析问题。 一.线性回归问题 线性回归目的为拟合出相应曲线公式 注意在构建输入数据X时，为方便公式运算，可对数据集x扩充一项特征，其值为常数1，并令w=(w;b)，此时可得到W和 此时可将拟合公式变化为 而在确定w和b两参数时，均方误差为回归问题的最常用评判优劣标准，即 结论： 二.对数几率回归问题 此方法主要解决分类问题，将sigmoid函数将线性回归预测值与概率值联系起来，由于sigmoid函数值正是0-1，对
线性模型——机器学习(周志华)
htfenght的博客
09-27 2197
线性模型 f(x)=ω1x1+ω2x2+ω3x3+...+ωdxd+bf(\bm{x}) = \omega_1x_1 + \omega_2x_2 + \omega_3x_3 + ... + \omega_dx_d + bf(x)=ω1​x1​+ω2​x2​+ω3​x3​+...+ωd​xd​+b f(x)=ωTx+bf(\bm{x}) = \bm{\omega^Tx} + bf(x)=ωTx+b...
《机器学习by周志华》学习笔记-线性模型-02对数几率回归与线性判别分析
vanilla698的博客
04-17 1216
上一节我们考虑了线性模型的回归学习，但是想要做分类任务就需要用到上文中的广义线性模型。当联系函数连续且充分光滑，考虑单调可微函数。多分类与二分类的线性判别分析（LDA）
周志华机器学习西瓜书第三章 线性模型学习笔记(超详细)
最新发布
Sodas的博客
01-22 683
本章笔记非常详细适合基础薄弱者，整理了很多大佬的笔记和自己的理解，希望读者认真研究仔细推敲。
机器学习西瓜书（周志华）第三章 线性模型 （LR 对数几率函数\LDA\类别不平衡）
小蜗牛的博客
05-16 1909
第三章 线性模型1. 线性回归1.1 基本形式：1.2 对数线性回归2. 对数几率回归（logistic regression）2.1 对数几率函数（logistic function）3. 线性判别分析5. 课后练习参考答案 1. 线性回归 1.1 基本形式： 许多功能更为强大的非线性模型可通过在线性模型的基础上通过引入层级结构或者高维映射得到。 若将无序属性连续化，则会不恰当的引入序关系，对...
《机器学习by周志华》学习笔记-线性模型-01基本形式与线性回归
vanilla698的博客
04-11 944
给定由d个属性描述的示例x：其中每个属性的权重：其中xi是x在第i个属性上的值，线性模型试图学习一个通过属性线性作何来预测的函数，即：用向量形式写成：当w和b的参数学得之后，模型就可以确定。也叫「可理解性」
小白学机器学习西瓜书-第三章线性回归
jiang1350的博客
07-05 538
介绍了机器学习西瓜书上的第三章线性回归这一部分的算法推导和逻辑推理
机器学习公式推导
daisyliudi的专栏
03-29 2006
上个星期帮别人推导公式，主要是机器学习算法的优化。在网上找了一份资料，还没来得及好好研究，总结了机器学习中常见的求导，百度云里面有，之后有时间仔细研究。反正我基本都是根据这个推出来的，最后人家给了我1000块钱，还说我推导的很不错。虽然我也不知道我推的是啥！！！ 直接把图片传上来做个记录
机器学习周志华第三章笔记
ha_ha515的博客
01-16 323
线性回归回顾 linear Algebra 线性代数 matrix 矩阵 vector 向量 只有一列的矩阵
机器学习笔记（周志华著2016版）第三章 线性学习
m0_37607242的博客
09-09 541
机器学习 线性学习
机器学习之线性回归
学习笔记
09-05 1982
一元的情况确实特殊，用各种方法都能乱解，但是多元的情况才是更加符合实际的，因此计算起来还是需要通过矩阵运算会比较有效率，之前遍历套公式就显得效率低下不太行了。这里我们可以考虑成有那么一个wxi + bi的解析式，带入我们数据的x得出的y与真实的y越接近那么这个模型肯定拟合的越好的。SSR为回归平方和，是指预测值和真实值之间的波动情况。以我们一元的数据为例，那么就是一元线性回归，比较简单。看图我们可以发现，拟合出的直线k一定是大于0的。不过计算的思路还是一样的，只不过换成矩阵运算了。
【ML模型详细推导1】- 线性回归
牧码杭城
10-20 996
线性回归0. 数据集和目标1. 模型2. 策略3. 算法 学习过程主要顺着 周志华《机器学习》第三章线性模型 内容，本次线性回归模型总结按照 “模型 + 策略 + 算法 ” 的统计学习三要素整理。 0. 数据集和目标 1. 模型 2. 策略 3. 算法 参考： ML模型2：线性回归模型 ...
机器学习（西瓜书）第三章 3.5
AI_xue
08-23 754
我真傻，真的。代码链接： https://github.com/taijizuomantou/machine_learning_zhouzhihua 和3.3一样都可以用一个二维图形来表示。横轴表示一个属性，纵轴表示另一个属性。另求的的线性式子 = 0。这条线就是划分线。因为这个线性式子只有x，没有y。所以根本不用考虑三维，直接当做二维处理即可。 1.np.mean np.mean(ax0...
周志华《机器学习》第一章笔记+公式推导+课后习题
Zoro的博客
07-02 1712
之前五月份因为要做一个水果分类的比赛，强行突击了台湾大学李宏毅老师的机器学习视频课，做比赛是够用了，但是没有系统的学习梳理过知识体系。暑假争取把导师推荐的书刷一遍，再做几个小项目，在开学之前把自己与别人的差距尽量缩小一些。Go fighting！     用作者的话说，本书的主要目的就是为读者提供一张“初级地形图“，给初学者指路。故本书第一章主要介绍何为机器学习、机器学习相关基础概念、发展...
周志华机器学习3.7公式推导
qq_34472273的博客
01-25 1524
先推出b的，然后b带入w的b把b消掉，在得到w的。就是将3.8替换3.5得到3.7
机器学习周志华 线性模型思维导图
06-16
机器学习领域中的周志华，通常指的是北京大学计算机科学技术系的周志华教授，他是机器学习领域的知名学者，特别在统计学习方法和线性模型方面有着深入的研究和丰富的经验。他的《统计学习方法》这本书对中国机器学习...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值