深度学习中的正则化(一)

深度学习-Dropout详解 文章目录前言1、什么是Dropout2、Dropout的数学原理3、Dropout是一个正则网络4、CNN的Dropout5、Dropout的变种5.1 高斯Dropout6、总结 前言 Dropout是深度学习中被广泛的应用到解决模型过拟合问题的策略,相信你对Dropout的计算方式和工作原理已了如指掌。这篇文章将更深入的探讨Dropout背后的数学原理,通过理解Dropout的数学原理,我们可以推导出几个设置丢失率的小技巧,通过这篇文章你也将对Dropout的底层原理有更深刻的了解。同时我们也将对Dro 阅读详情

在机器学习中,许多策略被显式地设计为减少测试误差,这些策略统称为正则化。 有些策略向模型添加限制参数的额外约束,有些策略向目标函数增加参数值软约束的额外项。有时候,这些约束和惩罚被设计为编码特定类型的先验知识;其他时候,这些约束和惩罚被设计为偏好简单模型,以便提高泛化能力。在实践中,复杂的模型族不一定包括目标函数或者真实数据的生成过程,深度学习算法通常应用于极为复杂的邻域,如图像和文本,本质上这些邻域的真实生成过程涉及模拟整个宇宙。这意味着控制模型的复杂度不是找到合适规模的模型(参数个数)这样简单,在实际的深度学习场景中我们几乎总是会发现,最好的拟合模型是一个适当正则化的大型模型。

参数范数惩罚

许多正则化方法通过对目标函数 J J J 添加一个参数范数惩罚 Ω ( θ ) \Omega(\boldsymbol{\theta}) Ω(θ) 来限制模型的学习能力,正则化后的目标函数为
J ^ ( θ ; X , y ) = J ( θ ; X , y ) + α Ω ( θ ) \hat{J}(\boldsymbol{\theta};\boldsymbol{X},\boldsymbol{y})=J(\boldsymbol{\theta};\boldsymbol{X},\boldsymbol{y}) + \alpha\Omega(\boldsymbol{\theta}) J^(θ;X,y)=J(θ;X,y)+αΩ(θ)

α \alpha α 越大,对应正则化惩罚越大。

当训练算法最小化正则化后的目标函数 J ^ \hat{J} J^ 时,它会降低原始目标 J J J 关于训练数据的误差并同时减小参数 θ \boldsymbol{\theta} θ 的规模。不同的参数范数 Ω \Omega Ω 会偏好不同的解法。

在介绍不同范数的正则化之前,先需要说明一下,在神经网络中通常只对每一层仿射变换的权重做惩罚而不对偏置做惩罚。每个权重会指定两个变量如何相互作用,而每个偏置仅控制一个单变量,精确拟合偏置所需的数据通常比拟合权重少得多,这意味着我们不对其进行正则化也不会导致太大的方差。另外,正则化偏置参数可能会导致明显的欠拟合。

L 2 L^2 L2参数正则化

在《机器学习基础(二)容量、过拟合、欠拟合》中我们已经见过最简单和最常见的参数范数惩罚,即通常被称为权重衰减的 L 2 L^2 L2 参数范数惩罚。这个正则化策略通过向目标函数添加一个正则项 Ω ( θ ) = 1 2 ∥ w ∥ 2 2 \Omega(\boldsymbol{\theta})=\frac{1}{2}\Vert \boldsymbol{w}\Vert^2_2 Ω(θ)=21​∥w∥22​,使权重更加接近原点,权重值都很小,接近于 0,但不会等于 0。

在单步骤执行的梯度更新操作中,在每步执行通常的梯度更新之前权重向量会先被收缩(乘以一个常量因子)。在训练的整个过程,只有在显著减小目标函数方向上的参数会保留得相对完好,无助于目标函数减小的方向上改变参数不会显著增加梯度。这种不重要的方向对应的分量会在训练过程中因正则化而衰减掉。详细的数学推导可以参考 《Deep Learning》。[^1]

L 1 L^1 L1 参数正则化

对模型参数 w \boldsymbol{w} w 的 L 1 L^1 L1 正则化被定义为 (假设无偏置):
Ω ( θ ) = ∥ w ∥ 1 = ∑ i ∣ w i ∣ \Omega(\boldsymbol{\theta})=\Vert \boldsymbol{w}\Vert_1=\sum_i|w_i| Ω(θ)=∥w∥1​=i∑​∣wi​∣
即各个参数的绝对值之和。相比 L 2 L^2 L2 正则化, L 1 L^1 L1 正则化会产生更稀疏的解。此处稀疏性指的是最优值中的一些参数为 0。

由 L 1 L^1 L1 正则化导出的稀疏性质已经被广泛地用于特征选择机制。著名的 LASSO (Least Absolute Shrinkage and Selection Operator) 模型将 L 1 L^1 L1 惩罚和线性模型结合,并使用最小二乘代价函数。 L 1 L^1 L1 惩罚使部分子集地权重为零,表明相应的特征可以被安全地忽略。

数据集增强

让机器学习模型泛化得更好的最好方法是使用更多的数据进行训练,但在实践中,我们拥有的数据量总是有限的。解决这个问题的一种方法是创建假数据并添加到训练集中。

数据增强对对象识别这个分类问题特别有效。图像是高维的并包括各种巨大的变化因素,其中有许多可以轻易地模拟。即使模型已经使用卷积和池化技术对部分平移保持不变,沿训练图像每个方向平移几个像素的操作通常可以大大改善泛化。许多其他操作如旋转图像或缩放图像也已被证明非常有效。

在某些情况下,我们要注意不能使用可能会改变类别的转换。例如对手写数字的识别,数字 6 和 9 的旋转可能会造成混淆。

三种在 tensorflow 和 pytorch 实现数据增强的方法:

import cv2
augmented_img = []
augmented_label = []

for i in range(len(img_path)):
    
    img = cv2.imread(str(img_path[i]))
    img = cv2.resize(img, (IMG_SIZE, IMG_SIZE))
    rows, cols, channels = img.shape
    for _ in range(10):
        angle = random.randint(0, 180)
        M = cv2.getRotationMatrix2D((cols / 2, rows / 2), angle*2, 1)
        img_rotated = cv2.warpAffine(img, M, (IMG_SIZE, IMG_SIZE))
        augmented_img.append(img_rotated)
        augmented_label.append(label[i])
        
"""

By adjusting number x in for _ in range(x), we can control the final size of the dataset 
                                        
                                        x * original length

"""
from keras.preprocessing.image import ImageDataGenerator

datagen = ImageDataGenerator(rescale = 1./255, 
                             rotation_range=30,
                             width_shift_range=0.2,
                             height_shift_range=0.2,
                             shear_range=0.2,
                             zoom_range=0.2,
                             horizontal_flip=True)
from torchvision import transforms

train_transforms = transforms.Compose([
    transforms.Resize((IMG_SIZE, IMG_SIZE)),
    transforms.RandomCrop((IMG_SIZE, IMG_SIZE),padding=~,padding_mode='reflect'),
    transforms.RandomHorizontalFlip(p=0.5),
    transforms.RandomRotation(degrees=(0, 180)),
    transforms.ToTensor(),
    transforms.Normalize(mean,std)
])

val_transforms = transforms.Compose([
    transforms.Resize((IMG_SIZE, IMG_SIZE)),
    transforms.ToTensor(),
    transforms.Normalize(mean,std)
])

神经网络的输入层注入噪声也可以被看作是数据增强的一种方式。但神经网络被证明对噪声的鲁棒性不强,改善鲁棒性的方法之一是简单地将随机噪声添加到输入再进行训练。Dropout 就可以看作是通过与噪声相乘构建新输入的过程。


References

[^1] I. J. Goodfellow, Y. Bengio, and A. Courville, Deep Learning. Cambridge, MA, USA: MIT Press, 2016, http://www.deeplearningbook.org.

从零实现深度学习框架——理解正则化(一) 本文介绍解决过拟合与欠拟合的方法——正则化,主要介绍L1和L2正则化。 阅读详情

相关推荐

深度学习正则化(一)—— 参数范数惩罚(二十八)

本文系统介绍了深度学习中两种核心的正则化方法:L2和L1正则化。L2正则化通过权重衰减机制,对大权重施加更强惩罚,使参数整体缩小但保持非零;L1正则化则通过恒定推力产生稀疏解,使不重要参数精确为零。文章从数学形式、几何解释、数值推演等多角度对比了二者的特性:L2适合控制过拟合,L1能实现特征选择。特别地,L2在线性回归中表现为岭回归,可解决矩阵奇异问题;L1则对应Lasso回归,通过软阈值操作产生稀疏解。两种方法共同构成了深度学习防止过拟合的基础工具集。

hello.reader 251

深度学习mindspore --- rescale(rescale, shift)

class mindspore.dataset.transforms.vision.c_transforms.Rescale(rescale,shift)[source] Tensor operation torescalethe input image. Parameters rescale(float) –Rescalefactor. shift(float) – Shift factor. 这个函数的意思很多种: 1, rescale是尺度...

my_share的专栏 4080

【北上广深杭大厂AI算法面试题】深度学习篇...这里介绍常见的正则化方法有哪些?附公式或代码(一)

【北上广深杭大厂AI算法面试题】深度学习篇...这里介绍常见的正则化方法有哪些?附公式或代码(一)

2401_89898861的博客 1276

一文解决图片数据集太少的问题:详解KerasImageDataAugmentation各参数

作者 |Professor ho 本文转自Professor ho的知乎专栏 图像深度学习任务中,面对小数据集,我们往往需要利用Image Data Augmentation图像增广技术来扩充我们的数据集,而keras的内置ImageDataGenerator很好地帮我们实现图像增广。但是面对ImageDataGenerator中众多的参数,每个参数

AI科技大本营 9313

VS2017中调用gdal(C#版)的方法二(含gdal下载地址,配置过程,代码测试,超详细!!)

VS2017中gdal(C#)版的配置与测试 上次记录了直接在VS2017中下载并应用gdal的方法,这次来记录一下网上下载的安装包配置与测试的方法。 一、环境、版本及下载地址 win10,vs2017社区版,gdal2.4.4 还是像之前在Unity中应用gdal一样,最好是下载已经编译好的C#版的gdal,不然自己配置真的很容易出错,我就是这样的,下面提供不同版本的gdal下载地址: 1.GDAL2.4.4(C#版、64位): https://download.youkuaiyun.com/download/che

chengbaola的博客 1366

告别理论纠结!用ADS和Sigrity玩转电源完整性:从PDN阻抗优化到芯片供电仿真全流程

本文详细介绍了如何利用ADS和Sigrity工具进行电源完整性(PI)分析,从PDN阻抗优化到芯片供电仿真的全流程。通过频域、直流和时域分析,工程师可以精确评估电源网络性能,优化设计以避免电压波动和系统失效。文章还提供了ADS和Sigrity PowerDC的实战操作指南,帮助读者掌握现代PI设计的核心技术。

weixin_33749242的博客 311

吴恩达团队 Tensorflow课程学习笔记 2-----图像增强

图像增强 train_datagen = ImageDataGenerator(rescale=1./255) 之前学的图像生成器就有图像增强的功能,上面代码中已经完成了一点图像增强的功能----图像加载的时候就可以完成重新缩放 train_datagen = ImageDataGenerator( rescale=1./255, rotation_range=40, width_shift_range=0.2, height_shift_range=0.2

Doreenqiuyue的博客 656

智能座舱架构与芯片 - (3) 硬件篇 上

在了解智能座舱的基本架构之后,我们有必要针对智能座舱域的硬件平台,软件平台,SOC等进行逐一介绍。从它们的整体结构中去认识最新的智能座舱组成部件,以及主要功能等。如上图,是中央计算-区域控制架构下的智能座舱硬件平台框架图,其中,智能座舱控制器CDC挂载在以太网交换机上,与其他车控域VDC,自驾域ADC,网联设备5G+V2X等通过以太网实现数据交互。而智能座舱域的外部硬件设备还包含有连接子系统音频子系统摄像头子系统显示子系统存储子系统功能安全子系统等。

joanna_xiao的博客 2407

Keras数据增强

数据增强生成器: train_datagen = ImageDataGenerator(rescale=1. / 255, #归一化 rotation_range=10, #旋转角度 width_shift_range=0....

Harrison509的博客 4914

基于MATLAB/Simulink平台进行新能源微电网运行控制的建模与仿真

新能源微电网是现代电力系统的重要组成部分,能够有效整合分布式能源(如光伏、风力发电)和储能设备,实现局部区域内的能源高效利用。微电网的运行控制涉及多源能量管理、负荷平衡以及并网/孤岛模式切换等关键问题。基于MATLAB/Simulink平台进行新能源微电网运行控制的建模与仿真,可以帮助研究者验证控制策略的有效性,并优化系统的动态性能和经济性。本项目旨在构建一个完整的新能源微电网模型,包括电源模块、储能模块、负荷模块以及控制器模块,并通过仿真分析其运行特性。

xiaoheshang_123的博客 424

Python调用CANoe

我们可以创建CANoe应用程序对象,打开配置文件,启动模拟,发送和接收消息,并在完成后关闭CANoe应用程序。这使得我们能够使用Python自动化执行测试任务,并集成CANoe的功能到我们的Python应用程序中。CANoe是一款功能强大的汽车网络仿真和测试工具,它能够模拟和分析汽车网络通信,并提供丰富的测试功能。通过Python编程语言,我们可以方便地调用CANoe的API,实现自动化测试和集成CANoe的功能到我们的Python应用程序中。在CANoe中,我们可以为不同的汽车网络创建配置文件。

AzqLinux的博客 1289

理解x = layers.Rescaling(1./255)(inputs)

理解x = layers.Rescaling(1./255)(inputs)

weixin_44628096的博客 1139

ARM CoreLink 系列 5.1.1 -- CI-700 System Address Map 】

所有的CHI 命令都包含一个 Source ID 和 Target ID, 其中 Source ID 可以来自于 RN Node, Target ID 可以来自于HN node或者其他 SN node. 其中 Target ID 是通过 SAM解析传入的地址得到的。对于 CI-700中的所有 RN Node 中的 SAM 多会进行配置,因为RN Node 访问的是整个地址空间,不同的地址空间会有不同的属性(I/O, DRAM),所以会对RN SAM 配置多个不同属性的区域。

CodingCos的博客 772

深度学习——正则化(一)

深度学习——正则化(一) 1 正则化的引入 1.1 正则化的基本概念 机器的学习的目标在真实的情况中性能最好,一般情况下,我们使用训练集来训练学习算法,并采用损失函数来度量模型的性能。我们将模型在测试集(一般认为是真实情况)的误差称为泛化误差。在训练集上的误差称为训练误差。根据机器学习的最终目标,我们想要的是泛化误差最小。在机器学习中,有很多的策略被设计用来减少泛化误差,这种策略统一称之为正则化。...

hei653779919的博客 1239

【国产MCU】-CH32V307-通用定时器(GPTM)-输入捕获模式测量脉冲

CH32V307的通用定时器模块包含一个16 位可自动重装的定时器(TIM2、TIM3、TIM4和TIM5),用于测量脉冲宽度或者产生特定频率的脉冲、PWM波等。可用于自动化控制、电源等领域。 输入捕获是通用定时器功能之一,一般用于测量频率和测量脉冲宽度。本文将详细介绍如何通用定时器的输入捕获功能。

视觉与物联智能 2816

基于FPGA的NCO实现

NCO实现原理 数字振荡器 输出频率,相位可控的正弦波,精度高,稳定性高,替代VCO,用起来方便也易于操作。 实现方式: 直接调用fpga里面的ip核,以下是IP核的配置方法: 接下来选择输出为单路还是多路: 最后生成ip核时需要注意的事项: 生成时会需要漫长的等待,因此需要如下操作: 最后成功生成: 实现代码: input clk ; input rst_n ; output [13:0]fsin_i ; wire [13:.

m0_46644103的博客 4582

深度学习中的正则化(一)

本文首发自公众号:RAIS,点击直接关注。 前言 本系列文章为《Deep Learning》读书笔记,可以参看原书一起阅读,效果更佳。本文我们聊一聊深度学习中的正则化。 深度学习中的正则化 一般来说,深度学习所要做的事情是用已有的训练集训练一个网络模型,然后针对新的数据给出预测,我们期望我们的模型在训练集和测试集上都有良好的表现,但是有的时候两者不可兼得。一种情况是在训练集上表现很好,在测试集上表现不好或表现一般;另一种情况是在训练集上表现不好或表现一般,在测试集上表现很好。相比较而言我们更倾向于后者,.

我是任玉琢 249

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

深度学习中的正则化(一)、参数范数惩罚

一、正则化 没有免费午餐定理暗示我们必须在特定任务上设计性能良好的机器学习算法。我们建立一组学习算法的偏好来达到这个要求。当这些偏好和我们希望算法解决的学习问题吻合时,性能会更好。至此我们具体讨论修改学习算法的方法,只有通过增加或减少学习算法可选假设空间的函数来增加或减少模型的容量。所列举的一个具体示例是线性回归增加或减少多项式的次数。到目前为止讨论的观点都是过度简化的。 算法的效果不仅很大程...

weixin_36670529的博客 3892

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

一、深度学习 L1 L2正则化

目录 正则化(Regularization) 稀疏模型与特征选择 L1和L2正则化的直观理解 L2正则化和过拟合 正则化参数的选择 L1正则化参数 L2正则化参数 正则化(Regularization) 机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作 ℓ1 ℓ1​-norm 和 ℓ2 ℓ2​-norm,中文称作 L1正则化 和...

嘻哈吼嘿呵的博客 717

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

【深度学习|学习笔记】深度学习里常用正则化技术详解(一)。

【深度学习|学习笔记】深度学习里常用正则化技术详解(一)。

2401_89898861的博客 934

解决过拟合的几个方法(不一定全包括)

一.解决过拟合的方法(部分)    正则化(包括dropout)    数据增广二.正则化1.对于传统方法的正则化(DL(深度学习)里面也会用,但是用的不是很多)    一般就是L1或者L2的正则化2.dropout的正则化(DL里面使用的最多的)    就是dropout的方法,也就是在每个迭代过程中,随机选择某些节点,并且删除前向和后向连接...

qinglv1的博客 3019

深度学习的正则化(一)

深度学习的正则化 §参数范数惩罚 正则化在深度学习的出现前就已经应用了数十年。线性模型,如线性回归和逻辑回归可以使用简单、直接有效的正则化策略。 许多正则化方法通过对目标函数添加了一个参数范数惩罚,限制模型(如神经网络、线性回归或逻辑回归)的学习能力。我们将正则化后的目标函数记为: 其中是权衡范数惩罚项和标准目标函数相对贡献的超参数。将设为0就是没有正则化。越大的,对应于越多的正则化惩罚。 当我们的训练算法最小化正则化后的目标函数时,它会降低原始目标关于训练数据的误差并同时减小参数的规模(或在某些衡量下参

universe_ant的博客 1083

改善深层神经网络:超参数调试、正则化以及优化(一)- 深度学习的实践层面

本次学习笔记主要记录学习深度学习时的各种记录,包括吴恩达老师视频学习、花书。作者能力有限,如有错误等,望联系修改,非常感谢! 改善深层神经网络:超参数调试、正则化以及优化(一)- 深度学习的实践层面一、训练/验证/测试集(Train/Dev/Test sets)二、偏差/方差(Bias/Variance)三、机器学习基础(Basic Recipe for Machine Learning)四、正则化(Regularization)五、为什么正则化有利于预防过拟合(Why regularization re

zxq997997的博客 494

吴恩达deeplearning.ai《改善深层神经网络:超参数调试、正则化以及优化》-深度学习的实用层面(一)

训练/开发/测试集 数据集划分:training set,dev set (cross validation set),test set 一般会按照比例划分,但是对于大数据来说。如果有1000 000的数据。我们会缩小dev set和test set的大小。因为这两个数据集,是用来选择合适的算法,与评估算法的各项指标的。故,本案例中,采取了10 000,即1%的比例 另一个问题:训练集数据,测试...

丰brother的博客 529

Pytorch基础(八)——正则化

一、概念 正则化在深度学习领域是为了防止训练结果过拟合而采取的一种方法。

baidu_35536188的博客 2690

探索范数正则化的实践案例

1.背景介绍 随着大数据时代的到来,机器学习和深度学习技术在各个领域的应用不断崛起。这些技术的核心是通过训练模型来学习数据中的模式和规律,从而实现对数据的理解和预测。在训练模型时,我们需要使用某种方法来优化模型的参数,以便使模型的性能达到最佳。这就是所谓的正则化方法。 在这篇文章中,我们将探讨范数正则化的实践案例,以及其在机器学习和深度学习中的应用。我们将从以下几个方面进行讨论: 背景介绍...

AI天才研究院 1115
上一篇: 深度前馈网络(六)发展历程
下一篇: 深度学习中的正则化(二)
如松茂矣
博客等级 码龄7年 6852粉丝 122原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

如松茂矣

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值