机器学习模型的误差分析-逼近误差、泛化误差、优化误差

最新推荐文章于 2024-11-17 00:14:24 发布
最新推荐文章于 2024-11-17 00:14:24 发布
阅读量3.3k 收藏 9
点赞数 2
分类专栏： 夯实-机器学习 文章标签： 误差分析 泛化误差 逼近误差 优化误差 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_32623363/article/details/113272121
版权

逼近误差

模型最好能逼近真实模型到什么程度
考虑target function和能从假设空间中学到的the best function的距离
而已经证明一层隐藏层（+一层输出层）也能很好地拟合任何函数。XOR问题不能被单独一层网络解决。

泛化误差

泛化即推广能力。
考虑在假设空间中的best function和可以从数据集中学到的best function之间的距离。

优化误差

因为优化问题带来的误差。
即从能数据集中学到的best function和使用该算法从数据集中学到的best function之间的距离。
在这里插入图片描述
上图是一个很形象的示意图。实际目标函数是f*，而在函数集里能找到的最好的是f_D，而在数据集里能训练得到的最好的是f_s，而通过优化算法能找到的最好的是f_h。这其中分别就是逼近误差、泛化误差和优化误差。

参考资料

数学学院本科课程：统计计算与机器学习1

机器学习-算法背后的理论与优化(part3)--经验风险与泛化误差概述
小山羊的学习日志
11-04 602
学习笔记，仅供参考，有错必究 文章目录经验风险与泛化误差概述经验风险泛化误差欠拟合和过拟合训练集、验证集、测试集 经验风险与泛化误差概述 监督学习，尤其是其中一部分传统的分类问题，能够进一步泛化为一个统一的模型，称为基于分类界限的结构风险最小模型。 要深入解读结构风险最小，就需要理解机器学习中经典分类问题的统计学习基石，就是经验风险最小。本质上，结构风险最小模型就是经验风险最小和正则化的组合。有了结构风险最小，我们就能进一步统一逻辑回归、广义线性模型之外分类算法，包括支持向量机、AdaBoost算法等。
机器学习——模型误差分析
weixin_42769044的博客
01-17 1万+
偏差和方差是描述机器学习模型好坏的两个重要指标，这里整理一下。 1、定义 1.1 基本概念 偏差 ：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。 方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。 其他表述：（我更喜欢周志华老师的描述） 在忽略噪声的情况下，泛化误差可分解为偏差、方差两部分...
[machine learning]误差分析,模型分析
weixin_62697030的博客
09-06 1434
当我们找到一个算法去计算某些东西的时候,我们通常要对这个算法进行一定的分析,比如时间复杂度,空间复杂度(前者更加重要),来进行比较,判断一个算法的优劣性.对于一个训练的模型来说,同样需要某种模型来进行分析,例如代价函数等等,通过比较拟合程度,正确精度等信息来判断出这个模型的好坏,从而选择更好的模型。
机器学习,模型误差分析,error,bias,variance
小哈的博客
12-15 1607
一、误差来源于偏差bias和方差variance。 偏差和方差是什么呢？如果用打靶举例，存在偏差相当于没选对靶心，存在方差相当于选好了靶心，但是射歪了。偏差决定是否选对靶心，方差决定你射靶很多次的分散程度。如下图所示。
误差分析与模型检验
qq_43649786的博客
08-22 1万+
误差分析与模型检验 误差，稳定性，检验，敏感性 误差分析 1.理论分析 理论分析的原理其实来自于高等数学中的一个概念： 显然这个式子具有普遍性，则也存在： 而对于误差分析为了保证可比性，通常进行变形处理在加上绝对值，使其变为相对误差 即可得到一元函数的相对误差分析结果 而对于二元函数主要利用全微分理论知识 同时对于得到的结果而言因变量的系数越大，就越能够认为该因子是模型的中重要影响因子，即...
模型分析与偏差和方差
princess_pig的博客
03-09 1204
在创建一个机器学习系统，当我们的模型出现问题时，我们需要去找到最优的方式，能解决我们的问题，这时我们就需要会去诊断问题。
机器学习-误差反向传播
06-28
### 机器学习中的误差反向传播技术解析 #### 一、引言 随着人工智能技术的飞速发展，机器学习作为其核心组成部分之一，在诸多领域取得了显著成果。其中，“误差反向传播”（BackPropagation，简称BP）算法是训练...
机器学习工程师主要做三件事——逼近误差（网络架构）、估计误差（数据/损失函数）和优化误差（参数优化器）
最新发布
百态老人的博客
11-17 632
机器学习工程师在处理逼近误差、估计误差和优化误差方面起着至关重要的作用。逼近误差主要考虑模型空间与真实模型的距离。例如，在一些机器学习问题中，已经证明一层隐藏层加一层输出层也能很好地拟合任何函数，但像 XOR 问题不能被单独一层网络解决。这就需要机器学习工程师不断探索和调整网络架构，以减小逼近误差，使模型更好地逼近真实模型。估计误差则更关注于模型的泛化能力，即对测试集的测试误差。它考虑在假设空间中的最佳函数和可以从数据集中学到的最佳函数之间的距离。
机器学习模型调优方法（过拟合、欠拟合、泛化误差、集成学习）
罐罐罐子的博客
04-19 4605
机器学习模型调优方法过拟合和欠拟合降低过拟合风险的方法降低欠拟合风险的方法泛化误差、偏差和方差泛化误差偏差和误差模型评估Holdout检验交叉检验自助法集成学习BoostingBagging集成学习的步骤从减小方差和偏差的角度解释Boosting和Bagging 过拟合和欠拟合 过拟合是指模型对于训练数据拟合呈过当的情况，反映到评估指标上，就是模型在训练集上的表现很好，但在测试集和新数据上的表现较差。 欠拟合指的是模型在训练和预测时表现都不好的情况。 可以看出，图（a）是欠拟合的情况，拟合的黄线没有很好地
《机器学习by周志华》学习笔记-神经网络-03多层网络学习算法之误差逆传播算法
vanilla698的博客
10-29 996
由于BP神经网络的强大的表示能力，经常遭遇过拟合的问题。表现在训练误差持续降低，但是测试误差却上升。有2种策略解决：策略1：早停（early stopping）将数据分成训练集和验证集：训练集：用来计算梯度，更新连接权重和阈值验证集：用来估计误差当训练集误差降低且验证集误差升高，则停止训练。返回验证集中最小误差的连接权重和阈值。策略2：正则化（regularization）基本思想：在误差目标函数中增加一个用于描述网络复杂度的部分。例如：连接权重与阈值的平方和。
基础知识 | 近似误差 估计误差
菜鸡的救赎之路！叮！
04-20 1300
模型假设空间F\mathcal{F}F的最优解f~=arfminf∈FR(f)\tilde{f}=\underset{f\in \mathcal{F}}{arfmin}R(f)f~​=f∈Farfmin​R(f)，假设真实世界的最优解为f∗f^*f∗，我们在假设空间中的通过算法得到的最优解为fnf_nfn​； 近似误差[approximation error]： R(f~)−R(f∗) R(\tilde{f})-R(f^*) R(f~​)−R(f∗) 真实世界的最优解AAA与假设空间中最优解BBB的..
近似误差 与 估计误差
qq_35664774的博客
03-05 5511
统计学习方法中说：k值越小，学习的近似误差(approximation error)越小，估计误差(estimation error)越大，反之则相反 http://blog.youkuaiyun.com/weixin_37895339/article/details/78794190 近似误差：可以理解为对现有训练集的训练误差。 估计误差：可以理解为对测试集的测试误差。* 近似误差关注...
最小均方误差_最优化算法2【最小二乘法和梯度下降法(固定步长)】
weixin_39628063的博客
12-03 1004
本文使用 Zhihu On VSCode 创作并发布最小二乘法对于给定的数据集，其中。对上述数据进行拟合：其中： , 最小二乘法是使用均方误差函数进行度量，可以通过求导，令导数等于零，直接求出解析解。均方误差函数为：,则：上式对求导，得：令上述导数等于0，得：这就是要求的最优解使用上述方法，随机生成三维数据集，使用最小二乘法进行线性回归clc; M = 50; dim = 2; X = 10*r...
机器学习初步（四）：误差分析和模型选择
M_on_ster_的博客
10-13 564
简单的模型选择，包括交叉验证和N-折交叉验证方法
机器学习：算法中的泛化误差、偏差、方差、噪声的理解（超详细）
热门推荐
大柳的博客
08-04 1万+
摘要：在现实任务中，我们往往有多种学习算法可供选择，甚至对同一个学习算法，当使用不同的参数配置时，也会产生不同的模型，那么，我们该如何选用哪一个学习算法，使用哪一种参数配置呢？这就是机器学习中的“模型选择”问题，理想的解决方案是对候选模型的泛化误差进行评估，然后选择泛化误差最小的那个模型。 泛化误差意义 以前在机器学习中一直使用经验风险（训练误差）来逼近真实风险，但事实上多数情况经验风险并不能够准确逼近真实风险。后来业界就提出了泛化误差的概念（generalization error）,在机器学习.
误差分析是什么？如何进行误差分析？分析为了获得什么知识？
data+scenario+science+insight
06-23 5533
误差分析是什么？如何进行误差分析？分析为了获得什么知识？ 误差分析（Carrying out error analysis）是指通过人工来检查模型预测错误的数据，来帮助你判断下一步应该怎么优化算法，来提升模型的性能。 当你的模型性能比人类水平要低的时候，就可以通过人工误差分析来提高模型的性能。 进行误差分析（Carrying out error analysis），需要特意找到预测错误的样本，这些样本可能在你的训练集（train set）或者测试集（test set）中，观察错误标记的样本，.
参数优化-偏差与方差
zhoubangbang1的博客
04-28 501
我们知道训练模型时经常会有一些误差，我们要想弥补这些误差，首先要搞清楚这些误差是怎么产生的。 误差的分解 假设我们要预测的模型为 y=f(x)，但是通常数据都会有一些噪音，我们的数据集为y=f(x)+noise，通常我们会假设数据服从正态分布，也就是噪音会均分分布在曲线两侧，所以噪音和为0。 假设有测试数据 x，yD为其在数据集中的label（有噪声的label），y为其真实的labe...
优化算法
qq_30122883的博客
03-07 208
min-batch梯度下降法： 把训练集分成小一点的子集，取名为min-batch。 指数加权平均： 当β为0.98时，大约得到的温度为之前五十天的平均温度。 指数加权平均的偏差修正，因为初始有可能太小了 动量梯度下降算法： 减少纵向的波动，平稳靠近最小值的点。 RMSprop算法: 增加横轴的变化速度，所以除一个小的数，减小纵轴的变化所以除一个大的数。 Ad...
【Lee-ML】03 误差与优化
星宇痕的博客
07-16 221
误差从哪里来？梯度下降的方法？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值