正态分布与l2正则、岭回归

最新推荐文章于 2023-12-19 19:54:51 发布
最新推荐文章于 2023-12-19 19:54:51 发布
阅读量3.6k 收藏 1
点赞数 2
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010592244/article/details/89684185
版权
本文介绍了正态分布如何与l2正则化联系起来，并详细探讨了岭回归的原理。通过贝叶斯定理，解释了l2正则化项在最大后验估计中的作用，以及岭回归模型参数的先验分布对其影响。讨论了不同正则化参数α对模型复杂度和过拟合风险的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

正态分布与l2正则、岭回归

Question

假设模型的参数为w，参数的先验分布是均值为0的正态分布，模型的数据集为D={x1, x2, …,xN}, 求参数的最大后验估计。

解

利用贝叶斯定理，

不妨设w是单个标量，

对于固定的σ，上面求最小化的函数中第一项是常量，第二项是l2正则，第三项是损失函数的和。

很明显，我们可以很容易把这个结果推广到多维参数中。
如果我们假定模型的各个参数的先验是相互独立的同分布的正态分布，那么我们就可以得到参数的后验分布为：

上式中，我们省略了常数部分

最低0.47元/天 解锁文章
L2正则线性回归（岭回归）
qq_40107571的博客
12-07 1366
L2正则线性回归（岭回归）
机器学习笔记：岭回归（L2正则化）
qq_40206371的博客
08-29 1775
L2正则化的目的就是要让权重衰减到更小的值，在一定程度上减少过拟合的问题。 L2正则化可以使参数趋近于0，函数更加平滑 L2正则化的求解过程 半正定矩阵加上对角矩阵λI一定是可逆的，可以解决可能不可逆带来的问题。 ...
【概率论】5-6:正态分布(The Normal Distributions Part III)
weixin_30569001的博客
10-05 385
title: 【概率论】5-6:正态分布(The Normal Distributions Part III) categories: - Mathematic - Probability keywords: - The Normal Distributions - The Standard Normal Distribution - The Lo...
l2高斯分布_浅谈为什么L2正则化有效
weixin_35953704的博客
01-27 689
L2正则化为什么有效无论是学过机器学习还是深度学习的同学一定知道正则化可以缓解过拟合，最常用的就是L2正则化，即在损失函数上加上参数的L2范数，不过一般也不开根号了，也就是直接加，是正则化因子，它的大小决定了你有多想让参数向0靠近。如果被问到缓解过拟合的方法，那么L2正则化肯定是要知道的。如果继续追问为什么L2正则化有效呢？也许可以回答：因为把参数加到了损失函数里，可以在梯度下降时让参数变得更小，...
L0、L1、L2范数在机器学习中的应用
好习惯成就伟大
12-23 892
正则化在机器学习中经常出现，但是我们常常知其然不知其所以然，今天Cathy将从正则化对模型的限制、正则化与贝叶斯先验的关系和结构风险最小化三个角度出发，谈谈L1、L2范数被使用作正则化项的原因。Cathy是初学者，理解有限，若有理解错误的地方还望大家批评指正。   首先我们先从数学的角度出发，看看L0、L1、L2范数的定义，然后再分别从三个方面展开介绍。 应用一：约束模型的特性 1.1 ...
L1、L2正则化详解
weixin_30900589的博客
12-15 354
正则化是一种回归的形式，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。 一、数学基础 1. 范数 范数是衡量某个向量空间（或矩阵）中的每个向量以长度或大小。范数的一般化定义：对实数p>=1， 范数定义如下： ...
l2高斯分布_L1、L2正则化知识详解
weixin_35703673的博客
01-17 1663
正则化是一种回归的形式，它将系数估计(coefficient estimate)朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。一、数学基础1. 范数范数是衡量某个向量空间(或矩阵)中的每个向量以长度或大小。范数的一般化定义：对实数p>=1， 范数定义如下：L1范数当p=1时，是L1范数，其表示某个向量中所有元素绝对值的和。L...
正则化、岭回归与LASSO回归（套索回归）
qq_31267769的博客
06-07 2420
首先补充一些铺垫知识 无偏估计 百度百科：无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。 简单来说，就是对总体样本进行多次采样，求出每次采样的样本均值，根据中心极限定理，这些多次取样的样本均值应该是服从正态分布的，求出这个分布的期望，这个期望等于总体样本的期望，那么这个估计就具有无偏性，就是一种无偏估计，这恰恰是构建回归算法（可以看这篇）的假设函数的基本思想。首先确定
L1和L2正则化的概率解释1
08-04
另一方面，L2正则化，也称为岭回归，其目标是保持权重向量的每个元素尽可能小但不为零。在优化问题中，我们希望找到的参数向量满足L2范数的平方约束，即。L2正则化通过对所有权重进行平滑，防止了模型参数过大导致的...
L1正则化和L2正则化
rosefun96的博客
01-05 3202
1.范数定义 p范数： 1范数： 相应的L1正则项： 以矩阵www 为例： ∑i=1k∣wi∣ \sum_{i=1}^k|w_i| i=1∑k​∣wi​∣ 2范数： 相应的L2正则项： ∑i=1kwi2 \sum_{i=1}^k w_i^2 i=1∑k​wi2​ 2.区别 L1：得到的参数的先验概率分布满足拉普拉斯分布，适合获得稀疏解，可用于特征选择等场景； L2：得到的参数w的先验概率分...
岭回归（ridge regression）
GODSPEED
08-04 1万+
收缩方法通过选择自变量的一个子集产生新的线性模型，这个模型是可解释的并且可能具有比完整模型更低的预测误差，然而，由于它是一个离散过程（变量或者保留，或者丢弃），使得子集选择方法常常表现出高方差，因此不能降低整个模型的预测误差。收缩方法更加连续，并且不会因为变量多而过多的降低性能岭回归（Ridge Regression）岭回归通过对系数向量的长度平方添加处罚来收缩系数。 算法极小化如下表达式： β
lasso回归，岭回归，马蹄钉先验分布
最新发布
weixin_52014216的博客
12-19 986
Lasso回归（L1正则化）、岭回归（L2正则化）和马蹄钉（Horseshoe）先验分布都是用于处理回归问题中的过拟合（overfitting）或高维数据时的正则化技术。它们的主要目标是对模型的参数进行惩罚，以防止模型过度复杂，从而提高其在新数据上的泛化能力。总的来说，这些方法都是为了在回归问题中处理高维数据或防止过拟合而设计的，但它们从不同的角度和数学形式出发。岭回归通过在最小化损失函数的过程中添加L2正则化项，对参数进行平滑，避免参数过大。- 马蹄钉先验引入稀疏性，但在全局上有更强的控制。
线性回归（二） 岭回归
weixin_41611045的博客
11-30 2716
一、岭回归 这个即我们通过最小二乘法求出来的w ，但是求出来的矩阵可能存在一个问题，即X可能不是满秩矩阵（即变量之间存在着多重共线性），此时求出来的(XTX)(X^{T}X)(XTX)可能也是非满秩的，(即(XTX)(X^{T}X)(XTX)可能不可逆 )，即w可能无法求出解。或者存在多个无穷个解使得w满足最小误差。这里补充一个矩阵求逆的方法： 设同理设一组变量a,b,c,d： 求解方程组：...
岭回归、LASSO回归（包括公式推导）
昆兰.沃斯 的博客
10-03 2万+
前面的两篇文章比较清楚浅显的介绍了线性回归、多项式回归，并了解到其实多项式回归也可以看作是一种特殊的线性回归形式，也就是说回归的核心就是线性回归。其原理都是最小二乘法，这是一种很简单、很方便的算法，但也有它的局限性，所以本文讲述另外的回归方式岭回归、LASSO回归，作为一个补充，解决最小二乘法的一些缺点。 最小二乘法的局限性：                                  ...
正态分布（高斯分布）
热门推荐
Techblog of HaoWANG
11-09 23万+
Table of Contents 正态分布 概要 历史 正态分布的定义 概率密度函数 累积分布函数 生成函数 性质 动差或矩（moment） 中心极限定理 无限可分性 稳定性 标准偏差 相关分布 参量估计 参数的极大似然估计 计量误差 参考文献 正态分布 正态分布（英语：normal distribution）又名高斯分布（英语：Gaussian dist...
关于R语言中的sum和length计算长度
知白守黑
09-12 2万+
sum函数 是求和 但使用sum（条件），就是计算复合条件的数据个数，也就与length一样了
AI笔记: 正则的概率解释
Wang的专栏
04-20 769
正则的概率解释 常用正则项 L2正则: R(w)=∣∣w∣∣22=∑j=1Dwj2R(w) = ||w||_2^2 = \sum_{j=1}^D w_j^2R(w)=∣∣w∣∣22​=∑j=1D​wj2​ L1正则: R(w)=∣∣w∣∣1=∑j=1D∣wj∣R(w) = ||w||_1 = \sum_{j=1}^D |w_j|R(w)=∣∣w∣∣1​=∑j=1D​∣wj​∣ 这里以L2正则来进...
【R笔记】R语言函数总结
weixin_30485379的博客
03-23 6547
R语言与数据挖掘：公式；数据；方法R语言特征对大小写敏感通常，数字，字母，. 和 _都是允许的(在一些国家还包括重音字母)。不过，一个命名必须以 . 或者字母开头，并且如果以 . 开头，第二个字符不允许是数字。基本命令要么是表达式（expressions）要么就是 赋值（assignments）。命令可以被 (;)隔开，或者另起一行。基本命令可以通过大括弧({和}) 放在一起构成一个复合表达式（c...
正态分布的理解
小男孩tom的博客
09-18 2万+
一、概念 概念：正态分布，又称高斯分布。其特征为中间高两边低左右对称。 特性： 1）集中性：曲线的最高峰位于正中央，且位置为均数所在的位置。 2）对称性：正态分布曲线以均数所在的位置为中心左右对称且曲线两段无线趋近于横轴。 3）均匀变动性：正态分布曲线以均数所在的位置为中心均匀向左右两侧下降。 4）曲线与横轴间的面积总等于1。 正态分布函数公式如下： 公式解释：其中μ为均数，σ为标准差。μ决定了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值