tensorflow中batch_normalization 使用

最新推荐文章于 2023-10-23 21:10:29 发布

原创最新推荐文章于 2023-10-23 21:10:29 发布 · 165 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

本文详细解释了在网络中使用批标准化（Batch Normalization, BN）层的工作原理。特别指出，在训练阶段，BN层会在每个批次内计算均值和方差；而在测试阶段，则采用训练过程中各批次均值和方差的平均值。此外，文中还提供了TensorFlow中实现BN层的具体代码示例。

部署运行你感兴趣的模型镜像

当我们在网络中使用BN是，在训练和测试时归一化时使用的均值和方差不同的：
训练时：是在每个batch中计算均值和方差，
而测试时是使用训练时得到的每个batch的均值和方差的平均值。
即：
在这里插入图片描述
在tensorflow中加入BN时需要
训练时将BN层中的is_training 设置为Ture
测试时将BN层中的is_training 设置为Flase

  update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS) 
  with tf.control_dependencies(update_ops):
    train_op = optimizer.minimize(loss)

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。它提供了一个灵活的平台,用于构建和训练各种机器学习模型

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_40984977

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【tensorflow】batch_normalization

人间不值得

07-16

3222

目前主流的训练深度神经网络的算法是梯度下降算法，简而言之该过程就是通过将网络输出值与真实值之间的误差信号逐层传递至神经网络的每个节点，进而更新节点与节点之间的参数。但深度神经网络的调参过程一直是个问题。随着梯度下降算法的不断改进，已经有越来越多的算法尝试减少调参的工作量，比如减小学习率、选取合适的权重初始化函数、应用Dropout等等，而Batch Normaliz...

tf.nn.batch_normalization() 和 tf.layer.batch_normalization()

weixin_37804469的博客

12-22

2384

前提基本知识：均值： μ=x1+x2+x3+...+xnn\mu = \frac{x_1 + x_2 + x_3 + ...+x_n}{n}μ=nx1+x2+x3+...+xn 方差： σ2=(x1−μ)2+(x2−μ)2+...+(xn−μ)2n\sigma^2 = \frac{(x_1-\mu)^2 +(x_2-\mu)^2 +...+(x_n-\mu)^2}{n}σ2=n(x1−μ)2+(x2−μ)2+...+(xn−μ)2 标准差： σ=(x1−μ)2+(x2−μ)2+...+(

参与评论您还未登录，请先登录后发表或查看评论

BN的一些细节

ZhaoLinke1998的博客

05-23

244

BN的作用：避免梯度消失为什么BN能避免梯度消失： BN将原本的数据强制拉回均值为0，方差为1的正态分布，使得BN后的数据在经过sigmoid这类激活函数后不会落入饱和区，让数据更多的分布在激活函数的非饱和区，从而避免梯度消失。为什么BN还要学习gamma和beta参数？由于BN破坏了原始数据的分布，破坏了原始数据的特征分布，降低了原数据的拟合能力，为了抵消BN对原数据特征的影响，从而要学习这放缩和平移这两个参数 ...

tensorflow中bn的使用

masbbx123的博客

01-14

1688

1 损失函数得这样定义才行 2 training训练的时候True，预测的时候False out = tf.layers.batch_normalization(out, training=is_training) update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS) with tf.control_dependencies(update...

Tensorflow中BN层的使用

05-09

8438

使用tf.layers.batch_normalization()需要三步：在卷积层将激活函数设置为None。使用batch_normalization。使用激活函数激活。需要特别注意的是：在训练时，需要将第二个参数training = True。在测试时，将training = False。同时，在降低loss时候时候： update_ops = tf.get_collectio...

Tensorflow使用预训练模型时预测时BN层的问题

ghedhrjeerdjh的博客

03-20

623

这是今晚同学在答疑群群提到的一个问题。问题表现为模型训练时表现很好，之后在测试数据上表现很差，和预期的差距很大。这是tensorflow的BN层带来的一个问题，对于BN层，在训练时，是对每一批的训练数据进行归一化，也即用每一批数据的均值和方差。而在测试时，比如进行一个样本的预测，就并没有batch的概念，因此，这个时候用的均值和方差是全量训练数据的均值和方差，这个可以通过移动平均法求得。如果待预测的图片分布与训练图片的分布有大的差别时，直接使用训练数据的均值和方差可能会导致预测结果准确率比较糟糕。

Tensorflow使用BN层，包括卷积,BN,Relu的融合使用（详细）

baidu_23388287的博客

09-27

9822

Tensorflow使用BN层，包括卷积BNRelu的融合使用（详细） BN:Batch Normalization 简介：指在采用梯度下降算法训练深度神经网络时，对网络中每个mini-bacth的数据进行归一化，使其均值为0，方差为1. 即通过网络训练两个参数，。在神经网络训练开始前，都要对输入数据做一个归一化处理，那么具体为什么需要归一化呢？原因在于神经...

TensorFlow使用之tf.layers.batch_normalization函数详解

TheHonestBob的博客

02-02

8098

加粗样式@TOC 这是我的处女作，其实想写写自己的博客有一段时间了，主要也是为了记录自己所学到的新知识点，以后可以再来回顾一下，另则加深印象。由于最近在准备做OCR识别的内容，后来遇到了tf.layers.batch_normalization()这个函数，经过多方的学习网上大佬们的文章之后，在此以最简单的方式来说说这个函数，并把自己学习的过程走过的弯路在此记下，希望有缘人能够看到，互相交...

正确使用Tensorflow Batch_normalization

董煎饼的沙滩

05-25

5517

题外话：tensorflow中，tf.contrib是一些尝试代码或者不稳定的代码，将来可能会被弃用或者删除；tf.layers中是一些已经确定了的代码，基本不会有大的改动；tf.nn是最基本的代码，级别最低，基本不会变，但要实现各种功能，需要自己组合别的api来实现。使用tf.layers.batch_normalization()，首先是api接口：点击打开链接注意：Note: when tr...

tensorflow实现batch_normalization的例子代码

一路向北

05-24

1201

话不多说，直接上代码，看不懂的朋友，欢迎留言。import numpy as np import tensorflow as tf import matplotlib.pyplot as plt ACTIVATION = tf.nn.relu #激励函数 N_LAYERS = 7 #层数 N_HIDDEN_UNITS = 30 #隐藏层的神经元个数 def fix_se...

Tensorflow2.0入门教程15：CNN网络添加BN层

itluojie的博客

03-16

6328

BN(BatchNormalization)层的作用： 1，加速收敛； 2，控制过拟合，可以少用Dropout或者不用Dropout； 3，降低网络对初始化权重的不敏感； 4，允许使用比较大的学习率。解决梯度消失与梯度爆炸的问题 1，网络中训练以batch_size为最小单位不断迭代，新的batch_size进入网络，就会产生新的γ与β，在BN层中，有总图片/batch_size组γ与β被保...

Tensorflow框架 -- BN的用法

DAOCHI

04-26

728

一、基本原理二、tensorflow 接口 conv = tf.layers.batch_normalization(conv, training=is_training, name=scope.name + '_bn') 三、实际使用 1. 训练训练过程中，需要添加如下代码，目的是保证滑动均值和方差的不断更新。 update_ops = tf.get_collection(t...

用TensorFlow实现带Batch-Normalization(BN)的MINIST数据集的识别

weixin_43551972的博客

10-18

460

本代码的理论部分参考我的令一篇博客: https://blog.youkuaiyun.com/weixin_43551972/article/details/102624175. 要实现BN,主要用到以下两个API: 1.tf.nn.moments() # 用于在指定维度计算均值与方差 tf.nn.moments( x, axes, shift=None, # pylint: disable...

tensorflow训练，带bn，学习率衰减

masbbx123的博客

01-14

481

import tensorflow as tf import numpy as np import cv2 import random batchsize = 50 #读取数据 #------------------------------------------------------------------------------ import pickle def load_obj(n...

深度学习中基于tensorflow_slim进行复杂模型训练一之tensorflow_slim基本介绍

hh_2018的博客

10-28

658

最近在进行微表情识别，但是目前没有查到比较有效的模型方式，考虑使用inception_v3的模型进行开发，但是该模的构造过程比较复杂，训练更是麻烦，因此考虑基于tensorflow_slim的模块进行二次训练，首先介绍一下关于tensorflow_slim的基本模块。 tensorflow_slim的模块主要包括以下几个部分deployment ,nets,dataset, preprocess...

实例3：卷积神经网络ResNet18+tensorflow2实现（完整代码+注释）

weixin_57729530的博客

10-23

1750

ResNet+tensorflow2实现

tensorlow模块学习——python

一个爱学习的小小白

03-20

319

一、loss值得误差估计， loss = tf.reduce_mean(tf.square(y-y_yuce),name=‘loss’) 用均方差来求loss值二、梯度下降法优化参数 optimizer=tf.train.GradientDescentOtimizer(0.5) 0.5是学习率，可以自己任意学习三、训练得过程就是最小化这个误差值 train=Optimizer.minimi...

TensorFlow-Slim 一些用法笔记

我的博客有点东西

01-08

2007

Table of Contents 一 slim.separable_conv2d 二 slim.arg_scope 三 slim中的图像预处理文件： preprocessing_factory.py 四 slim.assign_from_checkpoint_fn 五 slim.batch_norm 一 slim.separable_conv2d 函数原型如下: slim.s...