CS231N-L1与L2正则化

最新推荐文章于 2025-12-20 21:29:49 发布
原创 最新推荐文章于 2025-12-20 21:29:49 发布 · 置顶 · 262 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #深度学习 #人工智能

本文探讨了L1和L2正则化的原理，它们如何通过惩罚大参数和促使权重分布均匀来简化模型。L1正则化导致参数稀疏，有助于防止过拟合，与Dropout有相似效果。后续将通过二元函数进一步解释。

为什么要进行正则化

L1、L2正则化均能惩罚值较大的参数，并且能够选择权重的偏好，让权重、模型更加简单

L1、L2正则化公式

L1与L2正则化的偏好

L2正则化偏好“均匀分散”的权重

可以看出，加入L2正则化项的损失函数在训练时倾向将参数训练的更均匀和分散

L1正则化会使参数“稀疏”

含有很多值为0的权重的网络，具有稀疏性，稀疏性可以防治过拟合

L1正则化与Dropout作用有异曲同工之处，可使网络具有稀疏性

原理：

可以通过简单的二元函数来理解，待我复试之后来补之~

正则化的作用以及L1和L2正则化的区别
Lavi的专栏
08-21 3万+
0 正则化的作用 正则化的主要作用是防止过拟合，对模型添加正则化项可以限制模型的复杂度，使得模型在复杂度和性能达到平衡。 常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归。但是使用正则化来防止过拟合的原理是什么？L1和L...
正则化（L1和L2范数）
Aliz_
08-09 2653
说实话，这么后才来写正则化是听奇怪的。 相信大家都知道损失函数，是用来描述我们模型与训练数据之间的差距（即是否能准确拟合训练数据）。但其实我们真正在实战用的是目标函数。目标函数的构造是：损失函数+正则化。 参考 https://blog.csdn.net/zouxy09/article/details/24971995 (大神） http://www.cnblogs.com/...
CS231N笔记前部分拓展、深度学习入门知识-----正则化、优化器、基本分类器
jier6的博客
05-30 265
对斯坦福cs231n课程前部分进行扩展、深入、理解。 主要从k近邻分类器、线性分类器、正则化、优化器、全连接层这些方面进行细化拓展。 可以说这些是每一个深度学习工作者的第一步也是必须走的一步。 走好这步，在接下来学习cnn、rnn、transfrom等都会轻松很多。
pytorch中Dropout与L1和L2正则化
weixin_41710583的博客
05-22 928
Dropout原理 算法概述 我们知道如果要训练一个大型的网络，训练数据很少的话，那么很容易引起过拟合(也就是在测试集上的精度很低)，可能我们会想到用L2正则化、或者减小网络规模。然而深度学习领域大神Hinton，在2012年文献：《Improving neural networks by preventing co-adaptation of feature detectors》提出了，在每次...
l2正则化python_PyTorch1.0实现L1，L2正则化及Dropout (附dropout原理的python实现)
weixin_39665379的博客
12-10 621
# 包import torchimport torch.nn as nnimport torch.nn.functional as F# torchvision 包收录了若干重要的公开数据集、网络模型和计算机视觉中的常用图像变换import torchvisionimport torchvision.transforms as transformsimport matplotlib.pyplot ...
L1正则和L2正则
Mihu_Tutu的博客
09-17 433
原文链接：https://blog.csdn.net/w5688414/article/details/78046960 https://blog.csdn.net/jinping_shi/article/details/52433975 补充链接： https://segmentfault.com/a/1190000018378231?utm_source=tag-newest 范数(n...
过拟合终极解决方案：从数学公式到PyTorch代码彻底搞懂L1/L2正则化（人工智能丨机器学习丨深度学习丨神经网络丨零基础入门）
2501_91798322的博客
05-17 1229
过拟合的根源是模型复杂度与数据量失衡，正则化通过约束参数空间实现「复杂度刹车」L1和L2是互补而非对立的工具：前者适合高维稀疏场景做特征筛选，后者适合连续特征场景做参数平滑正则化调参是数据驱动的过程：需结合特征维度、业务可解释性需求，通过交叉验证找到最优λ代码实现的关键是显式引入约束：sklearn的高层接口提升效率，PyTorch的底层控制满足定制化需求在实际项目中，建议先从L2正则化入手（简单高效），若遇到高维特征或可解释性需求，再切换L1或弹性网。
【cs231n-2017】学习笔记
Qiansuia的博客，记录走过的点点滴滴~
05-04 814
cs231n笔记
PyTorch1.0实现L1，L2正则化以及Dropout (附dropout原理的python实现以及改进)
地山谦的博客
04-14 5239
# 包 import torch import torch.nn as nn import torch.nn.functional as F # torchvision 包收录了若干重要的公开数据集、网络模型和计算机视觉中的常用图像变换 import torchvision import torchvision.transforms as transforms import matplot...
CS231n-全连接神经网络笔记
07-28
为了防止模型过拟合（即模型在训练数据上表现良好，但在新数据上泛化能力差），通常需要在模型中引入正则化项，例如L1和L2正则化。超参数调整也是训练过程中的重要环节，这些超参数包括学习率、批处理大小、网络层数...
手写算法-python代码实现非线性逻辑回归（带L1、L2正则项）
weixin_44700798的博客
12-10 2493
手写算法-python代码实现非线性逻辑回归非线性逻辑回归分析用python代码写的逻辑回归类画决策边界 & 用sklearn里面的逻辑回归库画决策边界多项式逻辑回归代码展示总结 非线性逻辑回归分析 上一篇文章，我们介绍了逻辑回归，详情请看这里： 链接: 手写算法-python代码实现逻辑回归（带L1、L2正则项） 其实这是线性逻辑回归，决策边界是线性的，那么当一个数据集，它的划分边界是非线性时，我们该怎么处理？ 我们利用sklearn来生成相关数据集： import numpy as np imp
01.需要了解的五种机器学习类型
AI算法蒋同学的博客
12-18 664
ML 是计算机科学、[数据科学]和[人工智能] (AI) 的子集，它使系统能够从数据中学习和改进，而无需额外的编程干预。ML 模型不依赖用于性能优化的显示指令，而是采用算法和统计模型，以根据数据模式和推论来部署任务。换句话说，ML 利用输入数据来预测输出，并随着新数据的出现不断更新输出。例如，在零售网站上，机器学习算法通过根据购买历史提出建议来影响消费者的购买决策。
机器学习-特征选择
ArtoriaLili的博客
12-20 117
特征选择 首先从特征全集中产生一个特征子集，然后用评价函数对该特征子集进行评价，评价结果与停止准则进行比较，如果评级结果比停止准则好就停止，否则就继续产生下一组特征自己，选出来的特征子集一般还要验证其有效性。其在空间采样，样本划分中的表现较多，同时噪声影响大，因此需要进行特征降维。修斯现象说明，随着特征数量的增加，分类器的性能也会提高，直到达到最佳特征数。特征选择能剔除不相关和冗余特征，从而达到减少特征个数，提高模型精度，减少运行时间的目的。2.特征个数越多，会有维度灾难，模型越复杂，推广能力也会下降。
【第二阶段—机器学习入门】第十五章：机器学习核心概念
最新发布
勇气要爆发的博客
12-20 454
生活类比传统编程就像是照菜谱做菜。你告诉电脑每一步怎么切、怎么炒（规则），给它食材（数据），它给你做出一道菜（结果）。机器学习就像是教徒弟做菜。你给徒弟尝100道好吃的菜（数据+结果），让他自己去琢磨其中的规律（模型），最后他学会了做菜（规则）。核心区别传统编程：输入规则数据= 输出答案机器学习：输入数据答案= 输出规则(这个规则就是模型✅监督学习：有标签，预测数值(回归)或类别(分类)。✅无监督学习：无标签，发现数据结构(聚类)。✅数据集划分：训练集(学习)、测试集(考试)，严禁作弊。✅。
机器学习高阶教程＜8＞分布式训练三大核心策略拆解
2303_77568009的博客
12-20 598
当单卡GPU遭遇显存不足、训练过慢的瓶颈时，分布式训练是突破限制的关键。本文深入浅出地解析了分布式训练的三大核心策略：数据并行通过复制模型、同步梯度实现高效训练；模型并行通过流水线与张量拆分攻克大模型存储难题；混合并行结合ZeRO等技术进一步优化资源。文中不仅配有PyTorch DDP、Megatron-LM等实战代码，还总结了常见陷阱与解决方案，助你轻松驾驭大规模模型训练。
机器学习第一部分---线性回归
zxy916740139的博客
12-16 719
线性回归核心本质：数理统计中用回归分析量化变量间定量依赖关系的方法，聚焦“有方向的因果影响”。相关关系的两类：因果关系：变量有“原因→结果”方向，需分自变量（因）/因变量（果），线性回归用它算“自变量每变1单位，因变量平均变多少”（权重θ体现影响大小与方向）。平行关系：变量仅“伴随变化”无因果（，不区分自变量/因变量，只用相关系数r。关键区别：回归是“因果建模”（定量算影响），相关是“关联描述”（只说紧密度）；线性回归是回归分析在“线性关系”下的具体实现。
机器学习007:监督学习【回归算法】（线性回归）--股票背后的预测学
这里是数字化与人工智能的 “实验场” 与 “瞭望台”
12-19 731
好了，我们的线性回归之旅就要结束了。现在，请你再回想一下那家奶茶店。从经验中学习规律，用规律预测未来。它是一种寻找数据间简单、直观的线性规律，并用于做出靠谱数值预测的、高度可解释的基础工具。作为初学者，学习线性回归的重点不在于记忆公式，而在于透彻理解其“加权求和”的核心思想和“通过减少误差来学习”的训练逻辑，同时清醒地认识其“只能拟合直线”的根本局限。它就像一把直尺，能量出直线的距离，却画不出优美的曲线。
从GAN到WGAN-GP：生成对抗网络的进化之路与实战详解
像风一样自由的博客
12-18 587
生成对抗网络的演进与WGAN-GP实现 本文系统梳理了GAN技术的演进历程，从原始GAN到WGAN再到WGAN-GP的改进过程。原始GAN存在训练不稳定、模式崩塌等问题，WGAN通过引入Wasserstein距离解决了梯度消失问题，而WGAN-GP进一步用梯度惩罚取代权重剪枝，使模型训练更加稳定。文章详细分析了各代GAN的数学原理和优缺点，并提供了WGAN-GP的核心PyTorch实现代码，包括梯度惩罚计算函数和训练循环示例。这些改进使生成对抗网络在图像生成等任务中表现出更稳定的训练过程和更好的生成效果。
08.什么是监督学习？
AI算法蒋同学的博客
12-20 438
摘要： 监督学习是一种机器学习方法，通过标记数据集训练模型，使其识别输入与输出间的关系，从而预测新数据的结果。训练过程依赖真实标签数据（人工标注或测量获得），利用梯度下降等优化算法调整参数，并通过损失函数评估准确性。监督学习分为分类（如SVM、决策树）和回归（如线性回归）任务，广泛应用于图像识别、垃圾邮件分类等领域。与无监督学习不同，监督学习需要标记数据指导模型训练，以实现高精度预测。其他学习方法还包括半监督、自监督和强化学习。
为什么L1正则化有个1/2n，而L2正则化没有
09-19
<think> 嗯，用户这次的问题聚焦在正则化项系数的具体形式上，特别是L1正则化中的$\frac{1}{2n}$因子和L2正则化标准形式的差异。这属于优化问题的细节设计，需要结合损失函数构造和优化目标来解答。 回顾对话历史，用户之前询问过矩阵求导公式，现在转向正则化技术，说明ta可能在研究机器学习模型的优化过程。从引用的内容看，用户似乎已经了解L1/L2的基本特性（如稀疏性、计算复杂度），但需要更深入的数学解释。 关键点在于目标函数的标准写法。观察到： 1. L2正则化通常写作$\frac{\lambda}{2}\|\mathbf{w}\|_2^2$而非$\frac{\lambda}{2n}\|\mathbf{w}\|_2^2$，这是为了简化梯度表达式（求导后$\lambda \mathbf{w}$更整洁） 2. 但L1正则化若写作$\lambda \|\mathbf{w}\|_1$，其次梯度会包含样本量$n$相关项（因为原始损失项$\frac{1}{n}\sum L_i$的梯度本身含$1/n$） 3. 因此某些文献（如Andrew Ng的CS229讲义）会对L1采用$\frac{\lambda}{n}\|\mathbf{w}\|_1$来保持优化一致性 特别要注意用户提到的"1/2n"形式——这实际是两种调整的叠加： - $1/n$用于样本量归一化 - $1/2$用于抵消L2范数平方项的求导系数（但L1无平方项故不需要） 关于引用[5]的贝叶斯视角补充：虽然先验分布的推导（拉普拉斯分布对应L1，高斯分布对应L2）能解释正则化形式，但系数$\frac{1}{2n}$属于工程实践而非概率约束，因此需要分开讨论。 最后生成的问题需延伸当前话题：正则化参数的实际调整技巧（问题1）、不同优化器的影响（问题2），以及历史系数设计文献（问题3）。 </think> 在正则化目标函数中，$\frac{1}{2n}$ 系数主要出现在 L2 正则化标准形式中，而 L1 正则化通常不包含该系数，原因在于**梯度计算优化**和**正则化强度标准化**需求： ### 一、核心原因：梯度计算的数学优化 1. **L2 正则化的标准形式** $$\min_{\mathbf{w}} \frac{1}{n} \sum_{i=1}^n L(\mathbf{w}; \mathbf{x}_i, y_i) + \frac{\lambda}{2} \|\mathbf{w}\|_2^2$$ - **$\frac{1}{n}$ 的作用**：将经验风险（损失项）归一化为样本均值，使目标函数值不受样本量影响 - **$\frac{1}{2}$ 的作用**： - 消除梯度计算中的系数：对 $\|\mathbf{w}\|_2^2$ 求导得 $2\mathbf{w}$，与 $\frac{1}{2}$ 抵消后梯度简化为 $\lambda \mathbf{w}$ - 避免梯度更新时引入额外系数：$\nabla_{\mathbf{w}} = \frac{1}{n} \sum \nabla L(\mathbf{w}) + \lambda \mathbf{w}$ 2. **L1 正则化的典型形式** $$\min_{\mathbf{w}} \frac{1}{n} \sum_{i=1}^n L(\mathbf{w}; \mathbf{x}_i, y_i) + \lambda \|\mathbf{w}\|_1$$ - **无 $\frac{1}{2}$ 的原因**： - L1 范数不可导，使用次梯度（subgradient）更新 - 次梯度计算为 $\text{sign}(\mathbf{w})$，无平方项产生的系数 2 - 添加 $\frac{1}{2}$ 无法简化计算，反而需调整 $\lambda$ ### 二、正则化强度的标准化对比 | 正则化类型 | 目标函数形式 | 梯度/次梯度形式 | $\lambda$ 作用 | |------------|------------------------------|------------------------|---------------------------| | **L2** | $\frac{\lambda}{2} \|\mathbf{w}\|_2^2$ | $\lambda \mathbf{w}$ | 直接控制惩罚强度 | | **L1** | $\lambda \|\mathbf{w}\|_1$ | $\lambda \cdot \text{sign}(\mathbf{w})$ | 直接控制稀疏性强度 | > 若在 L1 中添加 $\frac{1}{2}$，需重新调整 $\lambda$ 才能达到相同稀疏效果，徒增复杂度[^5]。 ### 三、样本量影响的统一处理 部分框架（如 Scikit-learn）对 **L1/L2 均添加 $\frac{1}{2n}$**： ```python # Scikit-learn 的逻辑回归目标函数 Objective = \frac{1}{n} \sum L(\mathbf{w}) + \lambda \left( \alpha \|\mathbf{w}\|_1 + \frac{1-\alpha}{2} \|\mathbf{w}\|_2^2 \right) ``` - **统一 $\frac{1}{n}$ 的目的**：确保 $\lambda$ 在不同样本量下具有可比性 - **弹性网络（Elastic Net）** 等混合正则化会同时包含 $\frac{1}{2}$ 和 $\frac{1}{n}$[^3] ### 四、总结差异根源 | 差异点 | L2 正则化 | L1 正则化 | |-----------------------|----------------------------|--------------------------| | **梯度系数优化** | 需 $\frac{1}{2}$ 抵消导数系数 | 次梯度无系数问题 | | **正则化强度一致性** | 添加系数会破坏 $\lambda$ 解释性 | 保持形式简洁更合理 | | **实现框架差异** | 部分库添加 $\frac{1}{2n}$ | 多数库保持 $\lambda \|\mathbf{w}\|_1$ | > 实践中建议优先遵循所用框架的默认形式（如 TensorFlow/PyTorch 使用 $\lambda \|\mathbf{w}\|_1$，LIBLINEAR 使用 $\frac{\lambda}{2} \|\mathbf{w}\|_2^2$），并通过交叉验证调整 $\lambda$[^1][^3]。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值