CNN和RNN中如何引入BatchNorm

最新推荐文章于 2024-11-24 21:26:39 发布
转载 最新推荐文章于 2024-11-24 21:26:39 发布 · 1k 阅读 · 0

本文探讨了BatchNorm在CNN和RNN中的应用方式及其对模型性能的影响。对于CNN，介绍了两种BatchNorm实现方法，并推荐了一种；对于RNN，总结了不同方向上BatchNorm的效果，并给出了具体建议。

CNN和RNN中如何引入BatchNorm


链接：http://blog.youkuaiyun.com/malefactor/article/details/51549771

Batch Normalization的基本思路和价值在之前一篇文章“Batch Normalization导读”介绍了，此处不赘述，背景知识请参考上面文章。


看到BN后，很明显能够看到这等于往传统的神经网络中增加了一个BN层，而且位置处于神经元非线性变换前，基本大多数网络结构都能很自然地融合进去，于是很自然的想法就是：如果用在CNN或者RNN效果会如何？是否也会增加收敛速度以及模型分类性能？CNN的使用方式在原始的Batch Normalization论文就说了，RNN则有相关后续研究跟进，目前看还没有特别明确的结论。


|CNN的BatchNorm


CNN和DNN不一样，某个卷积层包含多个FilterMap，而每个Filter Map其实是参数共享的，侦测同一类特征，是通过在输入图像上的局部扫描的方式遍历覆盖整个输入图像的，但是单个Filter Map本身可能是二维甚至多维的，如果是二维的，那么包含p*q个神经元。那么此时要应用BN其实有两种选择：


一种是把一个FilterMap看成一个整体，可以想象成是一个Filter Map对应DNN隐层中的一个神经元，所以一个Filter Map的所有神经元共享一个Scale和Shift参数，Mini-Batch里m个实例的统计量均值和方差是在p*q个神经元里共享，就是说从m*p*q个激活里面算Filter Map全局的均值和方差，这体现了Filter Map的共享参数特性，当然在实际计算的时候每个神经元还是各算各的BN转换值，只不过采用的统计量和Scale,shift参数用的都是共享的同一套值而已。


另外一种是FilterMap的每个神经元都看成独立的，各自保存自己的Scale和Shift参数，这样一个Filter Map就有m*q*2个参数而不是大家共享这两个参数，同样地，均值和方差也是各算各的，意即每个神经元在m个实例的激活中计算统计量。


很明显，第一种方法能够体现卷积层FilterMap的思想本质，所以在CNN中用BN是采用第一种方式。在推理时，也是类似的改动，因为推理时均值和方差是在所有训练实例中算出的统计量，所以所有的神经元用的都一样，区别主要在于Scale参数和Shift参数同一个Filter Map的神经元一样共享同样的参数来计算而已，而DNN中是每个神经元各自算各自的，仅此而已。


图像处理等广泛使用CNN的工作中很多都使用了BN了，实践证明很好用。


|RNN的BatchNorm

                                                    图1 RNN的BN方向


对于RNN来说，希望引入BN的一个很自然的想法是在时间序列方向展开的方向，即水平方向（图1）在隐层神经元节点引入BN，因为很明显RNN在时间序列上展开是个很深的深层网络，既然BN在深层DNN和CNN都有效，很容易猜想这个方向很可能也有效。


另外一个角度看RNN，因为在垂直方向上可以叠加RNN形成很深的Stacked  RNN，这也是一种深层结构，所以理论上在垂直方向也可以引入BN，也可能会有效。但是一般的直觉是垂直方向深度和水平方向比一般深度不会太深，所以容易觉得水平方向增加BN会比垂直方向效果好。


那么事实如何呢？这些猜想是否正确呢？


目前在RNN中引入BN的有几项工作，目前有些矛盾的结论，所以后面还需要更深入的实验来下确定的结论。我们归纳下目前能下的一些结论。


“Batch normalized recurrent neural networks”这个工作是最早尝试将BN引入RNN的，它构建了5层的RNN和LSTM，它的结论是：水平方向的BN对效果有损害作用，垂直方向BN能够加快参数收敛速度，但是相对基准无BN对照组实验看可能存在过拟合问题。但是这个过拟合是由于训练数据规模不够还是模型造成的并无结论。


“Deep speech 2: End-to-end speech recognition in english and mandarin.”这个工作也尝试将BN引入RNN，也得出了水平方向的BN不可行，垂直方向的BN对加快收敛速度和提升分类效果有帮助，这点和第一个工作结论一致。另外，新的结论是：在训练数据足够大的情况下，如果垂直方向网络深度不深的话，垂直方向的BN效果也会有损害作用，这个其实和工作一的结论基本一致，也说明了这个过拟合不是训练数据不够导致的，而是浅层模型加入BN效果不好。但是如果垂直方向深度足够深，那么加入BN无论是训练速度还是分类效果都获得了提高。


“Recurrent Batch Normalization”是最新的工作，16年4月份的论文。它的实验结果推翻了上面两个工作的结论。证明了水平方向BN是能够加快训练收敛速度以及同时提升模型泛化能力的。论文作者认为前面两个工作之所以BN在水平方向上不行，很可能主要是BN的Scale参数设置不太合理导致的，他们的结论是：Scale参数要足够小才能获得好的实验效果，如果太大会阻碍信息传播。


所以总结一下，目前能下的结论是：


  1. RNN垂直方向引入BN的话：如果层数不够深（这个深度我感觉5层是个分界点，5层的时候效果不稳定，时好时坏，高于5层效果就是正面的了），那么BN效果不稳定或者是损害效果，深度如果够多的话，能够加快训练收敛速度和泛化性能。



 2.在隐层节点做BN的话：

这么做肯定是不行的，就是说不能在垂直方向输入和水平方向输入激活加完后进行BN，这等于同时对水平和垂直方向做BN，垂直和水平方向必须分别做BN，就是说要这样：


3.在水平方向做BN时，类似于CNN参数共享的做法是很容易产生的，因为RNN也是在不同时间点水平展开后参数共享的，所以很容易产生的想法是BN的统计量也在不同时间序列间共享，实验证明这是不行的，必须每个时间点神经元各自维护自己的统计量和参数。


4.在水平方向做BN时，Scale参数要足够小，一般设置为0.1是OK的

keras添加BatchNormalization层
CoffreLv的博客
10-23 6011
使用keras过程中的笔记记录keras添加BatchNormalization层CNN卷积网络中添加 keras添加BatchNormalization层 CNN卷积网络中添加 // An highlighted block var foo = 'bar';
BatchNorm, LayerNorm, InstanceNorm和GroupNorm
@bangbang的博客
07-23 3485
Batch Norm: 对NHW计算归一化参数(均值和方差)，总共得到C组归一化参数, 相当于对每个channel进行归一化。BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布Layer Norm: 对CHW计算归一化参数，得到N(batch)组归一化参数，对于Batch为1，相当于对整个Feature map 做归一化。
tensorflow中如何正确使用BatchNorm（涵盖所有BN的坑）
LxDamon的博客
09-23 2327
tensorflow中如何正确使用BatchNorm（涵盖所有BN的坑） 在caffe中使用BatchNorm层很简单，只要注意一点，在训练时将use_global_states设为false，测试前向阶段将use_global_states设为true即可。在tensorflow中使用batchnorm层有几个地方需要注意，不然会踩坑导致训练不收敛或者测试时准确率降低很多，推荐使用tf.layers.batch_normalization函数实现BN归一化。 1、训练时trainin...
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现
04-19
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现;运行无误，示例为mnist手写体识别
十分钟读完CNN、RNN、VAE、GAN、GNN
m0_62452833的博客
11-03 873
图像识别、视频分析、自然语言处理等卷积层：使用滤波器（或称为核）对输入数据进行卷积操作，提取局部特征。池化层：最大池化或平均池化方法，能降低数据维度，减少计算量，保持重要信息。全连接层：通常位于网络的最后几层，用于分类任务。激活函数：如ReLU，用于引入非线性。擅长捕捉空间层次结构，对于图像处理特别有效。
Batch Normalization的概述和应用包括在CNN和RNN中的应用
William Zhao's notes
05-09 3366
Batch Normalization 学习笔记原文地址：http://blog.youkuaiyun.com/hjimce/article/details/50866313作者：hjimce一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by  Reducing In...
BN在CNN和RNN中的应用
William Zhao's notes
08-04 1909
Batch Normalization的基本思路和价值在之前一篇文章“Batch Normalization导读”介绍了，此处不赘述，背景知识请参考上面文章。看到BN后，很明显能够看到这等于往传统的神经网络中增加了一个BN层，而且位置处于神经元非线性变换前，基本大多数网络结构都能很自然地融合进去，于是很自然的想法就是：如果用在CNN或者RNN效果会如何？是否也会增加收敛速度以及模型分类性能？CNN...
深度神经网络（使用CNN，NN，RNN，与KNN，SVM）
weixin_41075215的博客
12-08 8361
深度神经网络 实验目的 了解神经网络结构（NN，CNN，RNN） 使用框架运行神经网络，查看并对比神经网络学习的效果 不断调整神经网络的参数，逐步提升学习效果（以CNN为例） 对比神经网络与一般机器算法的区别 目录 pytorch的安装 数据预处理 CNN的实现 CNN的三次迭代过程及最终结果 RNN的实现与预测结果 NN的实现与最终结果 SVM的实现与最终结果 pytorch的安装 搭建...
Batch Normal - 批量规范化(CNN卷积神经网络)
西小庄村高伟 的博客
10-14 2119
BatchNorm、批量数据规范化
cs231n作业2：CNN, batchnorm，FC, dropout
10-24
cs231n作业2：CNN, batchnorm，FC, dropout 2015-2016winter
CNN系列学习（五）:batchnorm
lighten-1996的博客
01-22 1704
参考出处：https://blog.youkuaiyun.com/qq_25737169/article/details/79048516 在上一篇关于解决梯度消失和梯度爆炸的介绍中提到了其中一种方法就是采用batchnorm，可译为批量规范化，这篇介绍就好好讲讲batchnorm的相关概念。 就跟我们之前谈到，训练深度网络的时候经常发生训练困难的问题，原因是因为，每一次参数迭代更新后，上一层网络的输出数据经...
卷积神经网络（CNN）中的批量归一化层（Batch Normalization Layer）
搏博的专栏
11-24 4647
批量归一化层（BatchNorm层），或简称为批量归一化（Batch Normalization），是深度学习中常用的一种技术，旨在加速神经网络的训练并提高收敛速度。为了让数据在训练过程中保持同一分布，在神经网络的中间层（隐藏层）的一层或多层上进行批量归一化。对于每一个小批次数据（mini-batch），计算该batch的均值与方差，在将线性计算结果送入，先对计算结果进行批量归一化处理，即减均值、除标准差，保证计算结果符合均值为0、方差为1的标准正态分布，然后再将计算结果作为激活函数的输入值进行计算。
一文弄懂CNN中的BatchNorm
sgzqc的专栏
11-20 1275
BatchNorm是2015年提出的网络层，这个层具有以下特性：易于训练：由于网络权重的分布随这一层的变化小得多，因此我们可以使用更高的学习率。我们在训练中收敛的方向没有那么不稳定，这样我们就可以更快地朝着loss收敛的方向前进。提升正则化：尽管网络在每个epoch都会遇到相同的训练样本，但每个小批量的归一化是不同的，因此每次都会稍微改变其值。提升精度：可能是由于前面两点的结合，论文提到他们获得了比当时最先进的结果更好的准确性。
深度学习《CNN架构续篇 - BatchNorm》
qq_29367075的博客
10-03 346
一：batch Normalization BN算法的灵感来自于对图像的白化操作，白化就是对输入图像数据分原始分布规律转换到N（0~1）的分布，这样会使得收敛速度变快。 在深度网络中每一隐藏层的输入都可以做这样的白化处理呢？ 随着网络深度的增加，收敛变慢的的原因还有就是数据的分布会变得越来越畸形，数据分布法还是能移动，这也是会导致梯度消失的原因，因此在每个隐藏层如果都做一个Normalization 的操作，那么就会消除数据不同特征之间的分布的特征范围差异，减少梯度消失的可能性。 算法一共有四个步骤，包括计
CNN中的小tips（2）---batch normalization
阿华Go，从现在开始的博客
04-15 2286
问题： Internal Covariate Shift： 1）描述： 普遍理解：Internal Covariate Shift（内部协方差偏移）：随着网络的进行，网络中的参数也随着梯度不停更新。一方面，当底层网络中的参数发生微弱变化时，由于每一层中的线性变换和非线性激活映射，这些微弱的变化随着网络层数的加深而被逐级放大（类似蝴蝶效应）；另一方面，参数的变化导致每一层的输入分布会发生改变，...
深度学习入门基础CNN系列——批归一化（Batch Normalization）和丢弃法（dropout）
一名在读大学生，正在学习深度学习，会定期分享一些该领域内容。欢迎大家一起交流学习~
01-20 2857
批归一化方法（Batch Normalization，BatchNorm）是由Ioffe和Szegedy于2015年提出的，已被广泛应用在深度学习中，其目的是对神经网络中间层的输出进行标准化处理，使得中间层的输出更加稳定。丢弃法（Dropout）是深度学习中一种常用的抑制过拟合的方法，其做法是在神经网络学习过程中，随机删除一部分神经元。训练时，随机选出一部分神经元，将其输出设置为0，这些神经元将不对外传递信号。
【CNN基础】一文读懂批归一化（Batch Normalization）
热门推荐
AI浩
06-17 1万+
以前在神经网络训练中，只是对输入层数据进行归一化处理，却没有在中间层进行归一化处理。要知道，虽然我们对输入数据进行了归一化处理，但是输入数据经过 这样的矩阵乘法以及非线性运算之后，其数据分布很可能被改变，而随着深度网络的多层运算之后，数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理，是否对网络的训练起到改进作用呢？答案是肯定的。 ​ 这种在神经网络中间层也进行归一化处理，使训练效果更好的方法，就是批归一化Batch Normalization（BN）。 ...
深入理解BatchNorm的原理、代码实现以及BN在CNN中的应用
捡起一束光的博客
12-11 1万+
BatchNorm是算法岗面试中几乎必考题，本文将带你理解BatchNorm的原理和代码实现，以及详细介绍BatchNorm在CNN中的应用。
resnet，cnn，rnn
最新发布
06-20
### 深度学习模型 ResNet、CNN 和 RNN 的概念及使用场景 #### 1. 卷积神经网络（CNN） 卷积神经网络（Convolutional Neural Network, CNN）是一种专门用于处理具有网格状拓扑数据的深度学习模型，尤其在图像和视频识别领域表现出色。CNN 的核心思想是通过卷积操作提取局部特征，并利用池化层减少计算量和参数数量。其主要结构包括卷积层、激活函数、池化层以及全连接层[^3]。 CNN 的典型应用场景包括： - 图像分类：例如 CIFAR-10 数据集上的图像分类任务。 - 目标检测：结合区域提议算法（如 Faster R-CNN），可以实现对图像中目标的精确定位与分类。 - 图像分割：通过编码器-解码器架构（如 U-Net），CNN 能够完成像素级的语义分割任务。 ```python import torch import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self): super(SimpleCNN, self).__init__() self.conv1 = nn.Conv2d(1, 32, kernel_size=3, stride=1, padding=1) self.relu = nn.ReLU() self.pool = nn.MaxPool2d(kernel_size=2, stride=2) self.fc = nn.Linear(32 * 7 * 7, 10) def forward(self, x): x = self.pool(self.relu(self.conv1(x))) x = x.view(-1, 32 * 7 * 7) x = self.fc(x) return x ``` #### 2. 循环神经网络（RNN） 循环神经网络（Recurrent Neural Network, RNN）是一种适用于序列数据建模的深度学习模型。RNN 的特点是具有记忆功能，能够捕捉时间序列中的上下文信息。然而，标准 RNN 存在梯度消失或爆炸的问题，因此改进版本如 LSTM 和 GRU 更加常用[^1]。 RNN 的典型应用场景包括： - 自然语言处理：例如文本生成、情感分析和机器翻译。 - 时间序列预测：如股票价格预测、天气预报等。 - 视频动作识别：通过对视频帧的时间依赖性进行建模，实现动作分类。 ```python import torch import torch.nn as nn class SimpleRNN(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(SimpleRNN, self).__init__() self.rnn = nn.RNN(input_size, hidden_size, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): out, _ = self.rnn(x) out = self.fc(out[:, -1, :]) return out ``` #### 3. 残差网络（ResNet） 残差网络（Residual Network, ResNet）是一种深度卷积神经网络，通过引入残差连接解决了深层网络训练困难的问题。ResNet 的核心思想是通过跳跃连接（skip connection）让网络更容易优化，从而能够构建更深的网络结构而不出现退化问题[^2]。 ResNet 的典型应用场景包括： - 高精度图像分类：例如 ImageNet 数据集上的大规模分类任务。 - 目标检测与分割：ResNet 常作为主干网络，用于提取高质量的特征图。 - 视频理解：通过扩展到三维卷积（3D ResNet），可以应用于视频分类任务。 ```python import torch import torch.nn as nn class ResidualBlock(nn.Module): def __init__(self, in_channels, out_channels, stride=1): super(ResidualBlock, self).__init__() self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False) self.bn1 = nn.BatchNorm2d(out_channels) self.relu = nn.ReLU(inplace=True) self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False) self.bn2 = nn.BatchNorm2d(out_channels) self.downsample = nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride, bias=False), nn.BatchNorm2d(out_channels) ) if in_channels != out_channels or stride != 1 else None def forward(self, x): identity = x out = self.relu(self.bn1(self.conv1(x))) out = self.bn2(self.conv2(out)) if self.downsample is not None: identity = self.downsample(x) out += identity out = self.relu(out) return out ``` #### 比较及应用总结 - **CNN**：擅长处理静态的二维数据（如图像），适合图像分类、目标检测等视觉任务。 - **RNN**：适用于序列数据建模，特别适合自然语言处理和时间序列预测任务。 - **ResNet**：通过残差连接突破了网络深度限制，广泛应用于高精度图像分类、目标检测和视频理解等领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值