【统计学习方法】学习笔记——第一章：统计学习及监督学习概论（实践）

已于 2023-03-13 19:31:41 修改
阅读量837 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习与机器学习 文章标签： 线性代数 机器学习 统计学习 最小二乘法 正则化
于 2022-01-16 22:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ARPOSPF/article/details/122415328
本文介绍了最小二乘法的基本原理、矩阵解法、几何解释及其局限性，探讨了其在监督学习中的应用。此外，还讨论了在Python中实现最小二乘法，并引入正则化来防止过拟合。

学习笔记——第一章：统计学习及监督学习概论

1. 最小二乘法

1.1 最小二乘法的原理与要解决的问题

高斯于1823年在误差e1 ,… , en独立同分布的假定下，证明了最小二乘方法的一个最优性质: 在所有无偏的线性估计类中，最小二乘方法是其中方差最小的！
最小二乘法是由勒让德在19世纪发现的，形式如下式：
目标函数 = ∑ ( 观测值 − 理论值 ) 2 目标函数 = \sum (观测值-理论值)^2 目标函数=

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【统计学习方法】学习笔记——第一章：统计学习及监督学习概论（理论）
小哲的博客
01-10 1233
统计学习及监督学习概论第一章：统计学习及监督学习概论1.1 统计学习 第一章：统计学习及监督学习概论 1.1 统计学习 统计学习的特点 统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测分析的学科。 统计学习的主要特点： a. 建立在计算机与网络上的； b. 以数据为研究对象； c. 目的是对数据进行预测与分析； d. 以方法为中心，构建模型； e. 涉及概率论、统计学、计算机等的交叉学科 对象：统计学习研究的对象是数据 (data)
【机器学习】特征选择之最小冗余最大相关性(mRMR)与随机森林(RF)
热门推荐
小哲的博客
12-13 1万+
特征选择之最小冗余最大相关性(mRMR) 最小冗余最大相关性(mRMR)是一种滤波式的特征选择方法，由Peng et.al提出。主要用途有机器学习，图像识别等。 一种常用的特征选择方法是最大化特征与分类变量之间的相关度，就是选择与分类变量拥有最高相关度的前k个变量。但是，在特征选择中，单个好的特征的组合并不能增加分类器的性能，因为有可能特征之间是高度相关的，这就导致了特征变量的冗余。这就是P...
使用最小二乘法拟合曲线
literacy_wang的博客
06-20 7929
使用最小二乘法拟合曲线并对过拟合进行正则化处理 引言 高斯于1823年在误差????1,…,????????独立同分布的假定下，证明了最小二乘法的一个最优性质：在所有无偏的线性估计类中,最小二乘方法是其中方差最小的！ 对于数据(????????,????????)(????=1,2,3…,????)，拟合出函数ℎ(????)有误差，即残差：????????=ℎ(????????)−????????，此时????2范数（残差平方和）最小时，ℎ(????)和 ????相似度最高，说明两者最具有拟合性。 一般的
用Skiti-learn和pandas实现岭回归
tendency
09-18 455
Ridge回归的损失函数： J(θ)=1/2 (Xθ-Y)T (Xθ-Y) +1/2 α||θ||²2 对于算法的实现，一般先确定模型，然后根据模型确定目标函数。而机器学习的实现基础是数据，对数据的处理分析必不可少，算法实现后还需对模型评估对比。 设置线性回归模型如下： PE=θ0+θ1∗AT+θ2∗V+θ3∗AP+θ4∗RH 数据的读取以及数据集的划分 import matplotlib....
第1章 统计学习方法概论（第2版）
weixin_42674018的博客
05-13 398
第1章 统计学习方法概论（第2版） 使用最小二乘法拟和曲线 高斯于1823年在误差e1,…,ene_1,…,e_ne1​,…,en​独立同分布的假定下,证明了最小二乘方法的一个最优性质: 在所有无偏的线性估计类中,最小二乘方法是其中方差最小的！ 对于数据(xi,yi)(i=1,2,3...,m)(x_i, y_i) (i=1, 2, 3...,m)(xi​,yi​)(i=1,2,3...,m) 拟合出函数h(x)h(x)h(x) 有误差，即残差：ri=h(xi)−yir_i=h(x_i)-y_iri​=
最小二乘法和正则化
Einstellung的博客
02-03 5080
最小二乘法和正则化 高斯于1823年在误差e1 ,… , en独立同分布的假定下,证明了最小二乘方法的一个最优性质: 在所有无偏的线性估计类中,最小二乘方法是其中方差最小的！ 使用最小二乘法拟和曲线 对于数据(xi,yi)(i=1,2,3...,m)(x_i, y_i)(i=1, 2, 3...,m)(xi​,yi​)(i=1,2,3...,m) 拟合出函数h(x)h(x)h(x) 有误差，即残差...
最小二乘法
暮雨听轩的专栏
06-23 183
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小 使用最小二乘法拟和曲线 高斯于1823年在误差e1,...en独立同分布的假定下,证明了最小二乘方法的一个最优性质: 在所有无偏的线性估计类中,最小二乘方法是其中方差最小的！ 对于数据（,)(1=1,2,3,...m) 拟合出函数 h(x),有误差，即残差=h(x) - 此时 L2 范数(残差平方和)...
《统计学习方法》第1章——统计学习及监督学习概论【学习笔记】
最新发布
玦尘的博客
11-25 1279
这些笔记主要是我个人的学习记录，如果恰好对你也有帮助，那就更好了。希望通过这个过程，能让自己对机器学习的理论基础有更扎实的理解。
《统计学习方法》读书笔记——第一章统计学习方法概论
qq_35190319的博客
04-15 297
总结：本章主要是介绍一些基本的概念，起到统揽全书的作业。 1.1 统计学习 统计学习是基于数据构建概率模型并运用模型对数据进行预测分析的学科。 统计学习由监督学习、非监督学习、半监督学习、强化学习等组成。这本书主要讨论监督学习。 1.2 监督学习 输入空间：所有可能的输入值 输出空间：所有可能的输出值 假设空间：简单说就是可能的模型的集合 联合概率分布：P(x,y)表示。举个例子，...
统计学习方法第二版读书笔记——第一章 统计学习及监督学习概论
不负如来不负卿
08-29 637
统计学习及监督学习概论统计学习的分类基本分类按模型分类概率模型和非概率模型【确定性模型】判别式模型和生成式模型 统计学习的分类 基本分类 统计学习一般包括监督学习、无监督学习、强化学习，有时还有半监督学习和主动学习。 按模型分类 概率模型和非概率模型【确定性模型】 概率模型与非概率模型的定义： 在监督学习中，概率模型取条件概率分布形式P(y∣x)P(y|x)P(y∣x)，非概率模型取函数形式y=f...
李航《统计学习方法（第二版）》笔记：第一章——统计学习及监督学习概论（一）
Jelly's Blog
09-06 1068
目录1. 统计学习概念2. 统计学习分类2.1 基本分类2.2 按模型分类2.3 按算法分类2.4 按技巧分类3. 统计学习方法三要素3.1 模型3.2 策略3.3 算法4. 模型评估与模型选择4.1 训练误差与测试误差4.2 过拟合与模型选择5. 正则化与交叉验证5.1 正则化5.2 交叉验证6. 泛化能力6.1 泛化误差6.2 泛化误差上界7. 生成模型与判别模型8. 监督学习应用8.1 分类问题8.2 标注问题8.3 回归问题 1. 统计学习概念 赫尔伯特·西蒙：“如果一个系统能够通过执行某个过程改进
统计学习方法_第一章：统计学习及监督学习概论
zxy479547584的博客
10-28 349
李航——统计学习方法笔记_第一章
《统计学习方法第二版》学习笔记1——概论
sd3145265的博客
09-07 1127
第1章 统计学习及监督学习概率论 目录第1章 统计学习及监督学习概率论前言1 理论部分1.1 统计学习1.2 统计学习的分类1.3 统计学习方法三要素1.4 模型评估与模型选择1.5 正则化与交叉验证1.6 泛化能力1.7 生成模型与判别模型1.8 监督学习应用 前言 本文主要参考资料： 《统计学习方法》第二版 李航 《统计学习方法》第二版PPT 袁春 这次学习笔记主要记录《统计学习方法》的一些重要知识点及其拓展、相关代码实现和一些思考，起因是我们可爱美丽的V同学发动的组队学习打卡活动。本人并非计
第一章-统计学习方法概论
Cecilia
09-25 414
统计学习 统计学习是关于计算机 基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。总的来说，统计学习也称为统计机器学习。 统计学习的特点 以计算机以及网络为平台； 以数据为对象，是数据驱动的学科； 目的是对数据进行预测和分析； 以方法为中心，构建模型并应用模型进行预测和分析； 是概率论、统计学、信息论、计算理论、最优化理论以及计算机科学等多个领域的交叉学科，具...
【AI理论学习】多模态介绍及当前研究方向
小哲的博客
11-17 1万+
什么是多模态？多模态指的是多种模态的信息，包括：文本、图像、视频、音频等。顾名思义，多模态研究的就是这些不同类型的数据的融合的问题。目前大多数工作中，只处理图像和文本形式的数据，即把视频数据转为图像，把音频数据转为文本格式。这就涉及到图像和文本领域的内容。
【机器学习】随机森林处理数据实践（基于R语言）
小哲的博客
12-10 1万+
随机森林处理鸢尾花数据实践（基于R语言和Python语言） 基于R语言使用随机森林处理鸢尾花数据实战 R：randomForest包 R语言中的randomForest包主要功能是分类和回归分析，一共提供了39个函数，最常用的就是randomForest来实现分类(Classification)和时间序列回归(Regression) 实验准备：设置工作空间 ## 设置工作空间 setw...
【数据挖掘】关联规则之灰色关联分析法
小哲的博客
01-24 1万+
灰色关联分析法 利用灰色关联分析的九个步骤： 1．根据分析目的确定分析指标体系，收集分析数据。        设n个数据序列形成如下矩阵：                       其中m为指标的个数， 2．确定参考数据列 参考数据列应该是一个理想的比较标准，可以以各指标的最优值（或最劣值）构成参考数据列，也可根据评价目的选择其它参照值．记作   3．对指标数据进行无量纲化 ...
【机器学习】使用R语言进行机器学习特征选择
小哲的博客
12-12 1万+
通过R语言进行机器学习中的特征选择 特征选择是实用机器学习的重要一步，一般数据集都带有太多的特征用于模型构建，如何找出有用特征是值得关注的重要内容。 基于caret包，使用递归特征消除法，其中rfe参数如下： x，预测变量的矩阵或数据框 y，输出结果向量（数值型或因子型） sizes，用于测试的特定子集大小的整型向量 rfeControl，用于指定预测模型和方法的一系列选项  一些列函...
【统计学习】一篇文章理解什么是组间差异检验
小哲的博客
10-26 9053
理解什么是组间差异检验参数检验与非参数检验抽样分布展示差异的常用图表箱线图（boxplot）散点图（Scatter plot）热图（heatmap）树状图如何寻找差异？基于类别标签的差异检验基于距离的检验方法总结参考资料 首先，看一张图，对于组间差异分析有一个整体的了解： 那么问题来了，什么是组间差异检验？就是组间的差异分析以及显著性检验，应用统计学上的假设检验方法，检验组间是否有差异及其差异程度。 坦率地讲，所有的差异检验都基于一个假设：组间没有差异，变量之间没有关系（即原假设，H0H_0H0​）。也说
数据工程导论学习笔记：核心概念与工具解析
首先，在第一章“数据工程导论”中，课程介绍了数据工程的基本定义及其在现代企业中的重要地位。数据工程不仅仅是数据库管理员或开发人员的工作延伸，而是一个独立且关键的技术职能，负责搭建可靠、高效、可扩展的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

镰刀韭菜

看在我不断努力的份上，支持我吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值