机器学习的学习准则（期望风险最小化、经验风险最小化、结构风险最小化）

最新推荐文章于 2023-12-14 22:03:09 发布
原创 最新推荐文章于 2023-12-14 22:03:09 发布 · 2.1k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #期望风险 #学习准则 #经验风险最小化 #正则化

文章讨论了机器学习中评估模型性能的期望风险、经验风险及其关系。期望风险无法直接计算，因为真实分布未知，而经验风险是基于训练集的平均损失。当训练样本有限时，过拟合可能发生，为此引入了结构风险最小化，结合正则化防止模型过度拟合。

训练集是有N个独立同分布的样本组成，即每个样本(x,y)是独立的从相同的分布中抽取的。这个真实的分布p_{r}(x, y)未知

输入空间X和输出空间Y构成样本空间，对于样本空间中的样本(x, y)∈X x Y，假定x和y之间可通过一个未知的真实隐射y=g(x)来描述，或者通过真实条件概率分布p_{r}(y|\textbf{x})来描述。

1 期望风险

要评价模型f(x, θ)的好坏，可通过期望风险R(θ)来衡量：

 R(\theta ) = E_{(\textbf{x},y)\sim p_{r}(y|\textbf{x})}[L(y, f(\textbf{x};\theta))]

回顾一下数学期望的含义，

期望E[X]的含义是随机变量x与概率密度函数f(x)相乘以后的积分

期望E[g(X)]的含义是随机变量的函数g(x)与概率密度函数f(x)相乘以后的积分

现在求R(θ)，即损失函数

最低0.47元/天 解锁文章
每天五分钟机器学习：经验风险最小化与结构风险最小化
huanfeng_AI的博客
10-13 797
结构风险最小化采用了最大后验概率的方式来估计模型的参数，所以它就不仅仅依赖于样本数据，而是还依赖于模型参数的先验假设，那么这种情况往往可以解决模型的过拟合问题。常见的正则化方法有L1正则化和L2正则化。结构风险最小化方法考虑了模型在训练数据上的拟合程度和在新数据上的泛化能力，通过最小化结构风险来选择最佳的模型。经验风险可以看作是采用了极大化似然估计的模型评估方法，更侧重于从数据中学习模型的潜在参数，所以着眼于数据样本，这样的问题在于，当数据不足时往往只能看到一部分数据，很容易学习一种过拟合的模型。
期望风险最小化、经验风险最小化、结构风险最小化
刘广鑫的博客
01-02 5448
本文为阅读《关于统计学习理论与支持向量机》论文笔记 风险最小化损失函数期望风险最小化经验风险最小化结构化风险最小化VC维推广性的界结构风险最小化 损失函数 损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。 有三类基本的机器学习问题 ,即模式识别、函数逼近和概率密度估计。 对模式识别问题 ,输出 y 是类别标号
机器学习－－损失函数
seu_yang的博客
09-05 1577
介绍损失函数之前首先介绍两种风险：经验风险和结构风险        1) 经验风险最小化的策略认为，根据已知样本，求得误差最小的模型最优，即经验风险最小的模型就是最优的模型。（经验风险最小能保证模型在训练集上取得较好的效果，但当训练集较小时，训练集不能代表全体样本，从而导致模型泛化能力差），通常形式为：其中f(x)为预测结果，y为实际结果   机器学习——损失函数 > image201
机器学习：期望风险、经验风险、结构风险
qq_51302564的博客
10-06 1555
这里主要记录我理解期望风险、经验风险、结构风险的过程。
正则化（regularization）： 期望风险、经验风险、结构风险、L0范数、L1范数、L2范数
zhihua_oba的博客
12-06 6172
正则化（regularization）：期望风险、经验风险、结构风险、L0范数、L1范数、L2范数 主要内容 期望风险、经验风险、结构风险 正则项：L0范数、L1范数、L2范数 关于L1正则化与L2正则化的问题整理 一、期望风险（expected risk）、经验风险（empirical risk）、结构风险（structural risk）   1、期望风险（expected risk）
机器学习（一）：监督学习、损失函数与风险函数、 经验风险最小化与结构风险最小化
ChihkAnchor的博客
04-08 2290
统计学习也称为统计机器学习，希尔伯特·西蒙对学习的定义：如果一个系统能过通过执行某个过程改进它的性能，这就是学习。统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习。 统计学习包括监督学习、非监督学习、半监督学习及强化学习 监督学习的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测 基本概念 输入空间、特征空间、输出空间 在监督学习中将输入与...
结构风险最小化
StarryDream
01-02 6798
结构风险最小化
机器学习的三个基本因素【模型、学习准则、优化算法】
AI_ayuan的博客
03-01 1493
机器学习是从有限的观测数据中学习（或“猜测”）出具有一般性的规律，并可以将总结出来的规律推广应用到未观测样本上。机器学习方法可以粗略地分为三个基本要素：模型、学习准则、优化算法。
机器学习的三个准则
northstar087的专栏
01-23 3699
1. 奥卡姆剃刀（Occam’s Razor） 如无必要，勿增实体。也就是简单有效原理。 具体到机器学习上，就是说，能够拟合数据的“simple model”(简单模型)才是我们需要的。 “Simple model”包含两个层面的意思，一是指simple hypothesis，每一个假设都只有少数的参数；二是指simple hypothesis set，假设空间只包含少数的假设。
机器学习方法选择准则
huobanjishijian的专栏
07-28 489
申明：本文翻译来源于scikit-learn机器学习库 在面对一个数据挖掘任务时，最难的部分是如何选择正确的拟合方法（模型）。 在不同的数据量或不同的研究问题的情况下，不同的模型效果也不同。 下图是在你针对手头上的研究问题及数据的情况，解决问题时，选择模型的指导图。
Basic_guideline_for_Machine_Learning:机器学习的个人基本准则
03-19
数据科学项目的个人备忘录 这是我在学术和专业项目中遇到的个人笔记/提示 出于任何目的随时与我联系！
一些有效的机器学习准则
WitsMakeMen的专栏
07-09 734
https://developers.google.com/machine-learning/crash-course/real-world-guidelines 一些有效的机器学习准则 确保第一个模型简单易用 着重确保数据管道的正确性 使用简单且可观察的指标进行训练和评估 拥有并监控您的输入特征 将您的模型配置视为代码：进行审核并记录在案 记下所有实验的结果，尤其是“失败”的结果...
【机器学习】经验风险最小化与结构风险最小化
热门推荐
齐在的专栏
11-11 1万+
1. 损失函数和风险函数 损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。 常用的损失函数有以下几种： （1）0-1损失函数（0-1 loss function） （1） （2）平方损失函数（quadratic loss functio...
2.2机器学习三要素模型，学习准则，优化算法
baochunlei1的博客
11-17 959
自己开发了一个股票智能分析软件，功能很强大，需要的点击下面的链接获取： https://www.cnblogs.com/bclshuai/p/11380657.html 1.1 基本概念 以识别芒果的好坏的案例来说明概念。 特征：描述物体的属性值，例如芒果的颜色、大小、形状、产地、品牌等； 特征向量：由物体的特征值构成的向量。 标签：标识物体的准确属性，识别的目标值。例如芒果的甜度、水分、成熟度的综合评分。 样本：独立的一份特征数据和标记，例如一个标记好特征和标签的芒果。 训练集：用于训练.
机器学习—经验风险最小化
南极企鹅
10-16 4073
写在前面本文是Andrew Ng的机器学习公开课的总结，其中涉及到偏差方差分析在PRML中有过比较严谨的数学分析，详见文章PRML——偏差方差分析。而吴老师的课上以一种更直接和相对较为通俗的方式给出了这些概念，解决的问题有如下几个：(1). 如何形式化定义方差和偏差（针对机器学习算法）以方便对算法的讨论评价？(2). 用训练误差评估泛化误差是否合理？(3). 在什么条件下，我们能评估一个算法的好坏？
第四章朴素贝叶斯法.4.3 期望风险最小化
老毛的博客
03-17 1479
文章目录后验概率最大化推导 本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。 公式输入请参考：在线Latex公式 后验概率最大化 后验概率最大化等价于期望风险最小化 已知条件： 假设朴素贝叶斯使用0-1损失函数，可以写为： L(Y,f(x))={1, if Y≠f(x)0, if Y=f()xL(Y,f(x))=\begin{cases} &1, \text{ if } Y\ne f(x) \\ &0, \text{
【深度学习】机器学习概述（一）机器学习三要素——模型、学习准则、优化算法
最新发布
天地玄黄 魑魅魍魉 风花雪月 商角徵羽
12-14 4946
机器学习三要素——模型、学习准则、优化算法
结构风险最小化(Structural Risk Minimization, SRM)
xiaoxia
09-01 2365
1、定义 　　统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural Risk Minimization)，即SRM准则。   2、经验风险与真实风险的关系 　　统计学习理论系统地研究了对于各种类型的函数集,经验风...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值