Keras教学(7):Keras的正则化Regularizers，看这一篇就够了

最新推荐文章于 2022-03-30 22:25:38 发布
原创 最新推荐文章于 2022-03-30 22:25:38 发布 · 1.2w 阅读 · 38 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #tensorflow #机器学习 #神经网络 #keras

本文介绍了Keras中正则化的概念及应用，包括L1、L2正则化及自定义正则化器的实现。通过实例展示了如何在神经网络中引入正则化以防止过拟合。

【写在前面】：大家好，我是【猪葛】
一个很看好AI前景的算法工程师
在接下来的系列博客里面我会持续更新Keras的教学内容（文末有大纲）
内容主要分为两部分
第一部分是Keras的基础知识
第二部分是使用Keras搭建FasterCNN、YOLO目标检测神经网络
代码复用性高
如果你也感兴趣，欢迎关注我的动态一起学习
学习建议：
有些内容一开始学起来有点蒙，对照着“学习目标”去学习即可
一步一个脚印，走到山顶再往下看一切风景就全明了了



本篇博客学习目标：1、掌握正则化的用法









文章目录

一、正则化Regularizers

1-1、正则化器的概念

正则化器允许在优化过程中对层的参数或层的激活情况进行惩罚。 网络优化的损失函数也包括这些惩罚项。

惩罚是以层为对象进行的。具体的 API 因层而异，但 Dense，Conv1D，Conv2D 和 Conv3D 这些层具有统一的 API。

正则化器开放 3 个关键字参数：

  • kernel_regularizer: keras.regularizers.Regularizer 的实例，不能传递名字字符串
  • bias_regularizer: keras.regularizers.Regularizer 的实例，不能传递名字字符串
  • activity_regularizer: keras.regularizers.Regularizer 的实例，不能传递名字字符串

1-2、正则化器的使用

正则化器的使用跟初始化器的使用方法一模一样，在这不赘述。欢迎点击：【Keras教学(6)】卷积神经网络的初始化，看这一篇就够了。自行查看。

唯一不一样的是，正则化使用的是正则化器，初始化使用的是初始化器。

1-3、可用的正则化

最低0.47元/天 解锁文章
keras中的正则化(regularization)
kahuifu的博客
06-07 2097
使用正则化来减少模型的过拟合效果 conv11 = Conv1D(filters = 8,kernel_size = 4, kernel_initializer = "he_uniform", strides = 1, padding = "same", use_bias = False, kernel_regularizer = regularizers.l2(0.0001))(inputs1) 参考博客：https://blog.youkuaiyun.com/xovee/
Keras深度学习框架基础第三讲：层接口(layers API)“层权重正则化器”
MUKAMO的博客
05-31 1233
在Keras中，正则化器用于防止模型过拟合，包括L1、L2和L1L2等预定义类型。如需自定义正则化器，可编写接受权重张量并返回标量损失的函数，或继承`keras.regularizers.Regularizer`类并定义`__call__`方法。为支持序列化，可实现`get_config`和`from_config`方法。选择适当的正则化器和调整正则化因子对模型性能至关重要。灵活使用Keras的正则化工具，可优化模型泛化能力，避免过拟合。
keras学习笔记--正则化应用
moshenglcm的博客
10-23 313
该文章是基于哔哩哔哩上贾老师的视频记录的，链接在此：keras入门_哔哩哔哩_bilibili 语言：python,编程工具jupyter 同样是基于mnist的分类问题，使用正则化。 import numpy as np import tensorflow as tf from keras.datasets import mnist from keras.utils import np_utils from keras.models import Sequential from keras.lay
keras_15_正则化Regularizers
weixin_30797199的博客
02-14 630
1. 正则化层 正则化器允许在优化过程中对层的参数或层的激活情况进行惩罚。 网络优化的损失函数也包括这些惩罚项。(但不包括诸如Dropout/人为加Noise这类的正则化)。惩罚是以层为对象进行的。具体的 API 因层而异，但 Dense，Conv1D，Conv2D 和 Conv3D 这些层具有统一的 API。 正则化器开放 3 个关键字参数：keras.regularizers.Regular...
TensorFlow keras卷积神经网络 添加L2正则化方式
09-16
在上面的代码中，`kernel_regularizer=keras.regularizers.l2(0.01)`这一行就是添加L2正则化的关键。`l2(0.01)`中的0.01是L2正则化的系数，它决定了正则化项对总损失的影响程度。系数越大，正则化效果越强，模型的...
keras添加L1正则化，L2正则化和Dropout正则化及其原理
weixin_43918046的博客
08-15 7015
一、什么是正则化，用来干嘛的？ 正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。 因为机器学习的理论来源于数学，正则化的概念被很好的引用到机器学习模型中，主要作用是防止模型过拟合。 我们的模型训练时，比如常见的深度学习模型，可能往往会因为神经元的数目和网络的层数过于庞大，模型具有非常强大的学习能力，但是能力过强不是一件好事，因为过分学习了训练
DL4J中文文档/Keras模型导入/正则化器
bewithme的专栏
01-18 261
支持的正则化器 DL4J模型导入支持所有Keras正则化器。  l1  l2  l1_l2 正则化器映射可以在KerasRegularizerUtils 中找到
keras的正则化引入
weixin_39393430的博客
05-25 571
keras的正则化引入 Keras文档 正则项在优化的过程中层的参数或者层的激活值添加惩罚项，这些惩罚项将与损失函数一起作为网络的最终优化目标。 惩罚项是对层进行惩罚，目前惩罚项的接口与层有关。 主要由： kernel_regularizer:施加在权重上的正则项，为keras.regularizer.Regularizer对象 bias_regularizer:施加在偏置向量上的正则项，为keras.regularizer.Regularizer对象 activity_regularizer:施加在输出上
keras中添加正则化
热门推荐
Bebr的博客
04-08 2万+
正则项 正则项在优化过程中层的参数或层的激活值添加惩罚项，这些惩罚项将与损失函数一起作为网络的最终优化目标 惩罚项基于层进行惩罚，目前惩罚项的接口与层有关，但Dense, Conv1D, Conv2D, Conv3D具有共同的接口。 这些层有三个关键字参数以施加正则项： kernel_regularizer：施加在权重上的正则项，为keras.regularizer.Regulariz...
Keras学习笔记13——keras.regularizers
winter_python的博客
09-21 4134
正则化器的使用 正则化器允许在优化过程中对层的参数或层的激活情况进行惩罚。 网络优化的损失函数也包括这些惩罚项。 惩罚是以层为对象进行的。具体的 API 因层而异，但 Dense，Conv1D，Conv2D 和 Conv3D 这些层具有统一的 API。 正则化器开放 3 个关键字参数： kernel_regularizer: keras.regularizers.Regularizer 的实例 bias_regularizer: keras.regularizers.Regularizer 的实例 act
keras添加正则化全连接_理解Keras中的正则化
weixin_39590566的博客
12-21 1055
我试图理解为什么Keras中的正则化语法看起来像这样。在一般来说，正则化是通过在与模型权重的某个函数成比例的损失函数中添加惩罚项来减少过度拟合的方法。因此，我希望正则化被定义为模型损失函数规范的一部分。在然而，在Keras中，正则化是在每层的基础上定义的。例如，考虑这个正则化的DNN模型：input = Input(name='the_input', shape=(None, input_shap...
深度神经网络之Keras（三）——正则化、超参数调优和学习方向
IGSzt的博客
03-30 2418
深度神经网络之Keras（三）——正则化、超参数调优和学习方向 本文将继续探索Keras框架下的深度神经网络知识，主要介绍了利用Keras构建的深度神经网络正则化及超参数调优问题。 目录深度神经网络之Keras（三）——正则化、超参数调优和学习方向一级目录二级目录三级目录一、 过拟合问题二、正则化2.1 L1正则化2.2 L2正则化2.3 丢弃正则化三、超参数调优3.1 深度学习中的超参数3.1.1 层中的神经元数量3.1.2 层的数量3.1.3 历元数3.1.4 权重初始化3.1.5 批尺寸3.1.6 学
TensorFlow 正则化 (regularization) 与过拟合
程永强
11-17 1221
TensorFlow 正则化 (regularization) 与过拟合 1. L1L1L1 L2L2L2 正则化与过拟合 在使用梯度下降优化神经网络时，被优化的函数就是神经网络的损失函数。这个损失函数刻画了在训练数据集上预测结果和真实结果之间的差距。然而在真实的应用中，我们想要的并不是让模型尽量模拟训练数据的行为，而是希望通过训练出来的模型对未知的数据给出判断。模型在训练数据上的表现并不一定代表了它在未知数据上的表现。过拟合问题就是可以导致这个差距的一个很重要因素。 过拟合指的是当一个模型过为复杂之后，它
keras正则化实例（含代码）
weixin_44886683的博客
07-07 965
官方文档解释 L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择 L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合
[TensorFlow] [Keras] kernel_regularizer、bias_regularizer 和 activity_regularizer
Xovee
06-18 2万+
本文主要介绍了 Keras 中 kernel_regularizer、bias_regularizer 和 activity regularizer 的分析及用法。
正则化
qq_41081716的博客
04-17 155
正则化的理解_网络_不曾走远的博客-优快云博客
Keras 中 L1正则化与L2正则化的代码用法和原理细致总结
AI量化交易实验室
03-01 1万+
详细整合讲解L1,L2正则化原理的代码用法
TensorFlow.NET keras Fumctional API 模型如何使用正则化
最新发布
07-31
<think>我们正在使用TensorFlow.NET的Keras Functional API构建模型，并希望添加正则化。 根据引用[2]，TensorFlow.NET 2.x推荐使用Keras进行模型搭建。在Keras中，我们可以通过向层添加`kernel_regularizer`、`bias_regularizer`或`activity_regularizer`参数来添加正则化。 步骤： 1. 导入必要的命名空间。 2. 创建正则化器（例如L1、L2或L1L2）。 3. 在构建层的时候，将正则化器传递给相应的参数。 示例： 假设我们要构建一个具有两个全连接层的模型，并在第一个全连接层的权重上使用L2正则化。 注意：在TensorFlow.NET中，我们使用`regularizers`命名空间下的正则化类。 具体代码步骤如下：</think>在 TensorFlow.NET 中使用 Keras Functional API 添加正则化的方法如下： ### 添加正则化的步骤 1. **导入正则化模块** 使用 `Tensorflow.Keras.Regularizers` 命名空间中的正则化器： ```csharp using static Tensorflow.Keras.Regularizers; ``` 2. **创建正则化器实例** 支持三种正则化类型： ```csharp // L1正则化 var l1_reg = L1(l1: 0.01f); // l1参数控制正则化强度 // L2正则化 var l2_reg = L2(l2: 0.02f); // l2参数控制正则化强度 // L1+L2组合 var l1l2_reg = L1L2(l1: 0.01f, l2: 0.02f); ``` 3. **在层中添加正则化** 通过层的 `kernel_regularizer` 或 `bias_regularizer` 参数应用： ```csharp // 在Dense层添加权重正则化 var inputs = keras.Input(shape: 784); var hidden = keras.layers.Dense( units: 64, activation: "relu", kernel_regularizer: l2_reg // 应用L2正则化 )(inputs); // 在卷积层添加偏置正则化 var conv = keras.layers.Conv2D( filters: 32, kernel_size: 3, bias_regularizer: l1_reg // 应用L1正则化 )(hidden); ``` 4. **完整模型示例** ```csharp // 创建L2正则化器 (λ=0.01) var reg = L2(0.01f); // 使用Functional API构建模型 var inputs = keras.Input(shape: 100); var x = keras.layers.Dense(64, activation: "relu", kernel_regularizer: reg)(inputs); var outputs = keras.layers.Dense(10, activation: "softmax")(x); var model = keras.Model(inputs, outputs); model.compile(optimizer: "adam", loss: "sparse_categorical_crossentropy"); ``` ### 关键说明 1. **正则化作用位置** - `kernel_regularizer`：作用于权重矩阵（主要使用） - `bias_regularizer`：作用于偏置向量 - `activity_regularizer`：作用于层输出（较少使用） 2. **强度参数选择** 典型值范围 $10^{-5}$ 到 $10^{-2}$，需通过交叉验证调整。例如： ```csharp L2(0.001f) // λ=0.001 ``` 3. **不同层的独立配置** 可对不同层使用不同正则化策略： ```csharp var dense1 = keras.layers.Dense(128, kernel_regularizer: L1(0.01f)); var dense2 = keras.layers.Dense(64, kernel_regularizer: L2(0.005f)); ``` ### 效果验证 正则化项会添加到损失函数中，训练时可观察总损失变化： $$总损失 = 数据损失 + \lambda \sum w_i^2 \quad (\text{L2正则化})$$ 通过 TensorBoard 可监控正则化对训练过程的影响。 > 提示：TensorFlow.NET 的 Keras API 实现了与 Python Keras 相同的正则化接口[^2][^3]，文档可参考 [Keras 正则化文档](https://keras.io/api/layers/regularizers/)。
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值