机器学习2 机器学习误差分析与代表性算法

最新推荐文章于 2024-03-26 09:58:02 发布
原创 最新推荐文章于 2024-03-26 09:58:02 发布 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #集成学习 #机器学习

本文深入解析了机器学习中的误差分析方法，包括偏差、方差的概念及其与欠拟合、过拟合的关系，并介绍了逻辑回归、随机森林和支持向量机等代表性监督学习算法，以及K-means等无监督学习算法。

机器学习2 机器学习误差分析与代表性算法

目录

1. 误差分析

（1）误差公式

  数据集上需要预测的样本为Y，特征为X，潜在模型为 Y = f ( X ) + ε Y=f(X)+ε Y=f(X)+ε，其中 ε ∼ N ( 0 , σ ε ) ε \sim N(0,σ_ε) ε∼N(0,σε​)是噪声, 估计的模型为 f ^ ( X ) \hat{f}(X) f^​(X). Err ⁡ ( f ^ ) = E [ ( Y − f ^ ( X ) ) 2 ]   Err ⁡ ( f ^ ) = E [ ( f ( X ) + ε − f ^ ( X ) ) 2 ]   Err ⁡ ( f ^ ) = E [ ( f ( X ) − f ^ ( X ) ) 2 + 2 ε ( f ( X ) − f ^ ( X ) ) + ε 2 ]   Err ⁡ ( f ^ ) = E [ ( E ( f ^ ( X ) ) − f ( X ) + f ^ ( X ) − E ( f ^ ( X ) ) ) 2 ] + σ ε 2   Err ⁡ ( f ^ ) = E [ ( E ( f ^ ( X ) ) − f ( X ) ) ] 2 + E [ ( f ^ ( X ) − E ( f ^ ( X ) ) ) 2 ] + σ ε 2   Err ⁡ ( f ^ ) = Bias ⁡ 2 ( f ^ ) + Var ⁡ ( f ^ ) + σ ε 2 \begin{array}{l}\operatorname{Err}(\hat{f})=\mathrm{E}\left[(Y-\hat{f}(\mathrm{X}))^{2}\right] \ \operatorname{Err}(\hat{f})=\mathrm{E}\left[(f(X)+\varepsilon-\hat{f}(\mathrm{X}))^{2}\right] \ \operatorname{Err}(\hat{f})=\mathrm{E}\left[(f(X)-\hat{f}(\mathrm{X}))^{2}+2 \varepsilon(f(X)-\hat{f}(\mathrm{X}))+\varepsilon^{2}\right] \ \operatorname{Err}(\hat{f})=\mathrm{E}\left[(E(\hat{f}(\mathrm{X}))-f(X)+\hat{f}(\mathrm{X})-E(\hat{f}(\mathrm{X})))^{2}\right]+\sigma_{\varepsilon}^{2} \ \operatorname{Err}(\hat{f})=\mathrm{E}[(E(\hat{f}(\mathrm{X}))-f(X))]^{2}+\mathrm{E}\left[(\hat{f}(\mathrm{X})-E(\hat{f}(\mathrm{X})))^{2}\right]+\sigma_{\varepsilon}^{2} \ \operatorname{Err}(\hat{f})=\operatorname{Bias}^{2}(\hat{f})+\operatorname{Var}(\hat{f})+\sigma_{\varepsilon}^{2}\end{array} Err(f^​)=E[(Y−f^​(X))2] Err(f^​)=E

最低0.47元/天 解锁文章
【机器学习-14】K-means聚类算法：原理、应用与优化
qq_38614074的博客
04-07 10万+
在众多聚类算法中，K-means算法因其简单高效而备受青睐。K-means算法的基本思想是：通过迭代的方式，将数据划分为K个不同的簇，并使得每个数据点与其所属簇的质心（或称为中心点、均值点）之间的距离之和最小。具体来说，K-means算法的执行过程通常包括以下几个步骤：首先，随机选择K个数据点作为初始的簇质心；然后，根据每个数据点与各个簇质心的距离，将其分配给最近的簇；接着，重新计算每个簇的质心，即取簇内所有数据点的平均值作为新的质心；
[Python从零到壹] 十二.机器学习之回归分析万字总结全网首发（线性回归、多项式回归、逻辑回归）
杨秀璋的专栏
07-03 5万+
前一篇文章讲述了数据分析部分，主要普及网络数据分析的基本概念，讲述数据分析流程和相关技术，同时详细讲解Python提供的若干第三方数据分析库，包括Numpy、Pandas、Matplotlib、Sklearn等。本文介绍回归模型的原理知识，包括线性回归、多项式回归和逻辑回归，并详细介绍Python Sklearn机器学习库的LinearRegression和LogisticRegression算法及回归分析实例。进入基础文章，希望对您有所帮助。
机器学习误差计算及评估指标
wangqianqianya的博客
11-10 4112
误差计算 线性回归 一般采用均方差（即标准差，方差的算术平方根）计算误差： （更多方差知识见文末链接） 逻辑回归（分类中） 一般采用交叉熵： 特别的，二分类： （原理见文末链接） 偏差与方差 期望： 方差： 噪声： 二分类误差评估 TP：TruePositive （预测对为正例，说明实际为正例） FP：FalsePositive（预测错...
斯坦福大学机器学习——误差理论（Error Theory）
linkin1005的专栏
01-09 3万+
一、偏倚（bias）和方差(variance) 在讨论线性回归时，我们用一次线性函数对训练样本进行拟合（如图1所示）；然而，我们可以通过二次多项式函数对训练样本进行拟合（如图2所示），函数对样本的拟合程序看上去更“好”；当我们利用五次多项式函数对样本进行拟合（如图3所示），函数通过了所有样本，成为了一次“完美”的拟合。 图3建立的模型，在训练集中通过x可以很好的预测y，然而
ML1.1 机器学习误差分析
HeartFireY的博客
03-12 3628
1.误差、损失函数 1.1 误差 模型的输出结果会和其对应的真实值之间往往会存在一些差异，该种差异称为该模型的输出误差，简称为误差。 1.2 损失函数 为了便于误差分析，通常需要构造某种函数用于度量模型对单个样本的输出误差，这样的函数被称为损失函数。具体的说，对于给定的机器学习模型fff，假设该模型对应于输入样本XXX的输出为y^=f(X)\hat{y} = f(X)y^​=f(X)，与XXX相对应的实际真实值为yyy，则可以用yyy和f(x)f(x)f(x)为自变量的某个函数L(y,f(X))L(y, f
机器学习——误差
兔清风的博客
09-16 1972
误差原因 在模型预测中，模型可能出现的误差来自两个主要来源，即：因模型无法表示基本数据的复杂度而造成的偏差（bias），或者因模型对训练它所用的有限数据过度敏感而造成的方差（variance）。 偏差造成的误差 - 精度和欠拟合 如前所述，如果模型具有足够的数据，但因不够复杂而无法捕捉基本关系，则会出现偏差。这样一来，模型一直会系统地错误表示数据，从而导致
机器学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-12 17万+
机器学习按照模型类型分为监督学习模型、无监督学习模型和概率模型三大类,文章对十大机器学习算法进行详细介绍并阐述机器学习其他概念问题，可作为机器学习初学者学习使用。
【机器学习-10】主成分分析(PCA)算法：原理、应用与实现
最新发布
qq_38614074的博客
03-26 2万+
主成分分析（Principal Component Analysis，简称PCA）是一种统计分析方法，它旨在通过正交变换将原始特征空间中的线性相关变量转换为新的线性无关变量，即主成分。这些主成分能够保留原始数据的大部分信息，同时降低数据的维度，使得数据的处理和分析更加高效。PCA的原理基于数据的方差最大化思想。方差代表了数据的离散程度，方差越大，说明数据在该维度上的变化越丰富，所包含的信息也就越多。
机器学习 ---误差理论（Error Theory）
xys430381_1的专栏
10-19 1833
参考文献 Learning Theory（Error Theory） 学习笔记 https://blog.youkuaiyun.com/kinbosong/article/details/60874007 斯坦福大学机器学习——误差理论（Error Theory） https://blog.youkuaiyun.com/linkin1005/article/details/42563229?utm_source=blog...
机器学习系列（三）——误差（error），偏差（bias），方差（variance）
zxhohai的博客
06-10 1万+
训练机器学习模型时，我们希望得到一个泛化性能优异的模型。在上一篇博客回归模型中，当我们采用多项式回归，并不断增加多项式的次数时，模型越来越复杂，但是在测试集上的误差并没有逐步降低。 这表明一个复杂的模型并不总是能在测试集上表现出更好的性能，那么误差来自哪里呢？ 泛化误差（error） 我们知道，算法在不同训练集上学得的结果很可能不同，即便这些训练集是来自于同一个分布。以回归任务为例，对测...
机器学习中的误差（Error）、偏差（Bias）与方差（Variance）
林林同學的博客
01-25 1402
误差=偏差+方差 误差反映的是整个模型的准确度，偏差反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精确度，方差反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。 在一个系统中，偏差和方差往往是不可兼得的，如果要降低模型的偏差，就会一定程度上提高模型的方差，反之亦然。造成这种现象的根本原因是，我们总是希望试图用有限训练样本去估计无限的真实数据。当我们更加相信这些数据
机器学习中的误差、经验误差、泛化误差
qq_45431015的博客
09-14 1993
经验误差（训练误差）：模型在训练集上的误差称为“经验误差“（empirical error）（训练误差）。泛化误差：模型在新样本集（测试集）上的误差称为“泛化误差”（generalization error）。误差：学习器的实际预测输出与样本的真实输出之间的差异称为“误差”。
【机器学习基础】误差分析
GentleCP的博客
03-18 4235
误差是用于衡量模型预测与真实结果的度量，其给出了预测输出与样本真实输出之间的差异。因此，**误差分析**也是机器学习中不可避免的一环。本文将详细讲述误差分析的过程以及模型过拟合、欠拟合等的原理。
机器学习工程师 - Udacity SVM边际误差计算
weixin_30770783的博客
11-16 650
计算边际误差即计算 SVM 中两个间隔之间的距离。三条线方程如下：Wx+b=1Wx+b=0Wx+b=-1由于这三条线为等距平行线，要想确定第一条线和第三条线之间的距离，我们只需要计算前两条线之间的距离，接着将这个数字乘以二。这也就是说我们需要确定图 1 中前两条线之间的距离。 　　　　　　　　　　　　图1 请注意，由于我们只需计算线条之间的距离，因此也可以将线条平移，直到其中一条线与原点相...
机器学习如何进行误差分析
修炼之路
11-11 4171
前言 在上一篇文章如何快速提高机器学习模型的性能中我们介绍了只要当你的模型性能比人类水平要低的时候，就可以通过人工误差分析来提高模型的性能，误差分析是指通过人工来检查模型预测错误的数据，来帮助你判断下一步应该怎么优化算法，来提升模型的性能。本篇文章主要介绍，究竟应该如何来进行分析误差，文章主要内容来自于deeplearning.ai视频教程。 误差分析 我们设计了一个猫的分类器，将我们设计的算...
机器学习笔记——机器学习建议与误差分析
shanwenkang的博客
12-17 737
建议 在实践过程中我们经常会发现我们的建模不合适，那么这种情况我们应该对我们模型的参数进行调整呢 评估假设 我们首先要做的就是对我们建立的模型进行评估，来判断模型拟合是否合适。我们将利用训练集求出来的网路参数θ应用在测试集上得到的误差叫做测试集误差，这个误差越小代表建模越合适 验证集 为了选择一个合适的模型，我们需要尝试多种多项式来保证我们既不会过拟合也不会欠拟合。方法就是求出各...
误差分析方法
gaoshayo的博客
07-25 2809
花点时间找出开发集，测试集内的错误标记的例子，假阳性和假阴性，找出不同类型错误的错误数量（统计不同错误类型数量占总数的百分比），分析出哪个部分算法优化最有效。 如果标签Y是错误的，该如何处理和是时候值得花时间去处理 深度学习算法对随机误差（random errors）是非常robust的， 但是对系统性误差（systematic errors）就没那么robust了，需要修改标签 随机误差： 如果没用严重影响到你的正确率，就没必要修改或优化。 就需要修正错误标签了 而如果需要修正开集数据，则一些方针和原则需
【人工智能算法】算法基础之误差计算
weixin_51656605的博客
03-09 2720
本文重点: 监督学习 方差和误差（Sum of Squares Error, SSE） 均方误差（Mean Squares Error, MSE） 方均根误差（Root Mean Squares, RMS） 数据集 对于监督学习来说，误差计算非常重要，监督学习的训练集由成对的向量构成，其中输入向量与其预期输出向量一一对应。 方差和误差 方差和误差（SSE）是一种相当简单的误差计算方法，在部分机器学习算法中得以应用。一个很高的方差和意味着预期输出与实际输出之间存在很大的差异，训练算法的原理实际上就是减小方
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值