tf.get_variable 中变量初始化函数和Xavier初始化器

最新推荐文章于 2020-12-02 06:45:32 发布
转载 最新推荐文章于 2020-12-02 06:45:32 发布 · 982 阅读 · 0

给定信息仅为一个链接，无博客具体内容，无法提炼关键信息形成摘要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

TensorFlow:tf.contrib.layers.xavier_initializer
aizhouqian5537的博客
04-09 2733
xavier_initializer( uniform=True, seed=None, dtype=tf.float32 ) 该函数返回一个用于初始化权重的初始化程序 “Xavier” 。这个初始化器是用来保持每一层的梯度大小都差不多相同。 参数： uniform: 使用uniform或者normal分布来随机初始化。se...
【学习杂记】Xavier初始化
wjpwjpwjp0831的博客
12-01 784
前言： 有时由于数据的稳定性不高，会带来梯度爆炸和梯度消失的问题。解决这样的问题有很多方式，例如让乘法变加（ResNet和LSTM的方式），归一化（比如梯度归一化），再者就是合理地初始化权重和选择激活函数。今天学了一下Xavier初始化，记录一下. 1.缘起 我们将梯度和每一层的输出都看做随机变量。 为了让模型稳定，假如我们期望的事情是让每一层的输出的期望和方差一直保持一致，也就是： ∀i,t:正向时:E[hit]=0,Var[hit]=a反向时:E[∂l∂hit]=0,Var[∂l∂hit]=b\fo.
深度学习的Xavier初始化方法
点点滴滴
05-02 1万+
在tensorflow中，有一个初始化函数：tf.contrib.layers.variance_scaling_initializer。Tensorflow 官网的介绍为：variance_scaling_initializer( factor=2.0, mode='FAN_IN', uniform=False, seed=None, dtype=tf.fl
tensorflow: variable初始化
JNing
06-21 1921
变量初始化全部变量一次性初始化   tf.Session.run(tf.global_variables_initializer())等同于：with tf.Session() as sess: init = tf.global_variables_initializer() sess.run(init) 等同于：init = tf.global_variables_initializer()
解释代码all_weights['dec_w1'] = tf.get_variable("dec1_w1", shape=[self.kernel_size[1], self.kernel_size[1], self.n_hidden[0], self.n_hidden[1]], initializer=layers.xavier_initializer_conv2d()) all_weights['dec_b1'] = tf.Variable(tf.zeros([self.n_hidden[0]], dtype=tf.float32)) all_weights['dec_w2'] = tf.get_variable("dec1_w2", shape=[self.kernel_size[0], self.kernel_size[0], 1, self.n_hidden[0]], initializer=layers.xavier_initializer_conv2d()) all_weights['dec_b2'] = tf.Variable(tf.zeros([1], dtype=tf.float32)) all_weights['enc_w3'] = tf.get_variable("enc_w3", shape=[self.kernel_size[3], self.kernel_size[3], self.n_hidden[2], self.n_hidden[3]], initializer=layers.xavier_initializer_conv2d()) all_weights['enc_b3'] = tf.Variable(tf.zeros([self.n_hidden[3]], dtype=tf.float32)) all_weights['Coef'] = tf.Variable(1.0e-4 * tf.ones([self.test_size, self.train_size], tf.float32), name='Coef') return all_weights
05-22
其中，`tf.get_variable()` 函数用于创建或获取给定名称的变量，其返回值为创建的变量或已存在的变量。对于卷积层的权重参数，使用 `layers.xavier_initializer_conv2d()` 函数进行初始化，该函数实现了 Xavier 初始...
按照TensorFlow2.11的写法修改这段代码：“class tgcnCell(RNN): """Temporal Graph Convolutional Network """ def call(self, inputs, **kwargs): pass def __init__(self, num_units, adj, num_nodes, input_size=None, act=tf.nn.tanh, reuse=None): super(tgcnCell, self).__init__(units=num_units,_reuse=reuse) self._act = act self._nodes = num_nodes self._units = num_units self._adj = [] self._adj.append(calculate_laplacian(adj)) @property def state_size(self): return self._nodes * self._units @property def output_size(self): return self._units def __call__(self, inputs, state, scope=None): with tf.variable_scope(scope or "tgcn"): with tf.variable_scope("gates"): value = tf.nn.sigmoid( self._gc(inputs, state, 2 * self._units, bias=1.0, scope=scope)) r, u = tf.split(value=value, num_or_size_splits=2, axis=1) with tf.variable_scope("candidate"): r_state = r * state c = self._act(self._gc(inputs, r_state, self._units, scope=scope)) new_h = u * state + (1 - u) * c return new_h, new_h def _gc(self, inputs, state, output_size, bias=0.0, scope=None): inputs = tf.expand_dims(inputs, 2) state = tf.reshape(state, (-1, self._nodes, self._units)) x_s = tf.concat([inputs, state], axis=2) input_size = x_s.get_shape()[2].value x0 = tf.transpose(x_s, perm=[1, 2, 0]) x0 = tf.reshape(x0, shape=[self._nodes, -1]) scope = tf.get_variable_scope() with tf.variable_scope(scope): for m in self._adj: x1 = tf.sparse_tensor_dense_matmul(m, x0) x = tf.reshape(x1, shape=[self._nodes, input_size,-1]) x = tf.transpose(x,perm=[2,0,1]) x = tf.reshape(x, shape=[-1, input_size]) weights = tf.get_variable( 'weights', [input_size, output_size], initializer=tf.contrib.layers.xavier_initializer()) x = tf.matmul(x, weights) # (batch_size * self._nodes, output_size) biases = tf.get_variable( "biases", [output_size], initializer=tf.constant_initializer(bias, dtype=tf.float32)) x = tf.nn.bias_add(x, biases) x = tf.reshape(x, shape=[-1, self._nodes, output_size]) x = tf.reshape(x, shape=[-1, self._nodes * output_size]) return x”
最新发布
04-05
此外，原来的代码中有使用tf.contrib.layers.xavier_initializer，这在TF 2.x中已经移除，应该替换为tf.keras.initializers.GlorotNormal，或者使用其他可用的初始化器。 还有一个循环遍历self._adj的部分，这里...
出现如下错误，请分析解释并修订：=========================测试initialize_parameters========================= --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-36-096690e695dd> in <module> 4 5 with tf.Session() as sess: ----> 6 parameters = initialize_parameters() 7 print("W1 = " + str(parameters["W1"])) 8 print("b1 = " + str(parameters["b1"])) <ipython-input-35-4bb77d2b9420> in initialize_parameters() 26 27 # 使用Keras中的Xavier初始化器替代旧版的contrib.layers.xavier_initializer ---> 28 xav_init = tf.keras.initializers.GlorotNormal(seed=1) # Xavier初始化等同于Glorot Normal 29 zero_init = tf.zeros_initializer() # 零值初始化保持不变 30 /opt/conda/lib/python3.6/site-packages/tensorflow_core/python/util/module_wrapper.py in __getattr__(self, name) 191 def __getattr__(self, name): 192 try: --> 193 attr = getattr(self._tfmw_wrapped_module, name) 194 except AttributeError: 195 if not self._tfmw_public_apis: AttributeError: module 'tensorflow.python.keras.api._v1.keras.initializers' has no attribute 'GlorotNormal'
04-03
# 确保使用的是正确的Xavier初始化器和零值初始化器 xav_init = tf.glorot_normal_initializer(seed=1) # 在TF1.x中叫做glorot_normal_initializer zero_init = tf.zeros_initializer() # 定义变量 W1 = tf....
def generator(self, inputs, reuse=False, scope='g_net'): n, h, w, c = inputs.get_shape().as_list() if self.args.model == 'lstm': with tf.variable_scope('LSTM'): cell = BasicConvLSTMCell([h / 4, w / 4], [3, 3], 128) rnn_state = cell.zero_state(batch_size=self.batch_size, dtype=tf.float32) x_unwrap = [] with tf.variable_scope(scope, reuse=reuse): with slim.arg_scope([slim.conv2d, slim.conv2d_transpose], activation_fn=tf.nn.relu, padding='SAME', normalizer_fn=None, weights_initializer=tf.contrib.layers.xavier_initializer(uniform=True), biases_initializer=tf.constant_initializer(0.0)): inp_pred = inputs for i in xrange(self.n_levels): scale = self.scale ** (self.n_levels - i - 1) hi = int(round(h * scale)) wi = int(round(w * scale)) inp_blur = tf.image.resize_images(inputs, [hi, wi], method=0) inp_pred = tf.stop_gradient(tf.image.resize_images(inp_pred, [hi, wi], method=0)) inp_all = tf.concat([inp_blur, inp_pred], axis=3, name='inp') if self.args.model == 'lstm': rnn_state = tf.image.resize_images(rnn_state, [hi // 4, wi // 4], method=0) # encoder conv1_1 = slim.conv2d(inp_all, 32, [5, 5], scope='enc1_1') conv1_2 = ResnetBlock(conv1_1, 32, 5, scope='enc1_2') conv1_3 = ResnetBlock(conv1_2, 32, 5, scope='enc1_3') conv1_4 = ResnetBlock(conv1_3, 32, 5, scope='enc1_4') conv2_1 = slim.conv2d(conv1_4, 64, [5, 5], stride=2, scope='enc2_1') conv2_2 = ResnetBlock(conv2_1, 64, 5, scope='enc2_2') conv2_3 = ResnetBlock(conv2_2, 64, 5, scope='enc2_3') conv2_4 = ResnetBlock(conv2_3, 64, 5, scope='enc2_4') conv3_1 = slim.conv2d(conv2_4, 128, [5, 5], stride=2, scope='enc3_1') conv3_2 = ResnetBlock(conv3_1, 128, 5, scope='enc3_2') conv3_3 = ResnetBlock(conv3_2, 128, 5, scope='enc3_3') conv3_4 = ResnetBlock(conv3_3, 128, 5, scope='enc3_4') if self.args.model == 'lstm': deconv3_4, rnn_state = cell(conv3_4, rnn_state) else: deconv3_4 = conv3_4 # decoder deconv3_3 = ResnetBlock(deconv3_4, 128, 5, scope='dec3_3') deconv3_2 = ResnetBlock(deconv3_3, 128, 5, scope='dec3_2') deconv3_1 = ResnetBlock(deconv3_2, 128, 5, scope='dec3_1') deconv2_4 = slim.conv2d_transpose(deconv3_1, 64, [4, 4], stride=2, scope='dec2_4') cat2 = deconv2_4 + conv2_4 deconv2_3 = ResnetBlock(cat2, 64, 5, scope='dec2_3') deconv2_2 = ResnetBlock(deconv2_3, 64, 5, scope='dec2_2') deconv2_1 = ResnetBlock(deconv2_2, 64, 5, scope='dec2_1') deconv1_4 = slim.conv2d_transpose(deconv2_1, 32, [4, 4], stride=2, scope='dec1_4') cat1 = deconv1_4 + conv1_4 deconv1_3 = ResnetBlock(cat1, 32, 5, scope='dec1_3') deconv1_2 = ResnetBlock(deconv1_3, 32, 5, scope='dec1_2') deconv1_1 = ResnetBlock(deconv1_2, 32, 5, scope='dec1_1') inp_pred = slim.conv2d(deconv1_1, self.chns, [5, 5], activation_fn=None, scope='dec1_0') if i >= 0: x_unwrap.append(inp_pred) if i == 0: tf.get_variable_scope().reuse_variables() return x_unwrap
03-23
使用`slim.arg_scope`为卷积和转置卷积设置默认参数，包括激活函数ReLU，padding为SAME，不使用规范化，初始化器是Xavier，偏置初始化为0。 然后，代码进入一个循环：`for i in xrange(self.n_levels)`，这个循环...
对以下代码进行注解 def tiled_conv_layer(input_img, tiling_factor, tile_size, kernel_size, name='tiling_conv', regularizer=None, nonneg=False): dims = input_img.get_shape().as_list() with tf.variable_scope(name): kernel_lists = [[tf.get_variable('kernel_%d%d'%(i,j), shape=(kernel_size, kernel_size, 1, 1), initializer=tf.contrib.layers.xavier_initializer()) for i in range(tiling_factor)] for j in range(tiling_factor)] pad_one, pad_two = np.ceil((tile_size - kernel_size)/2).astype(np.uint32), np.floor((tile_size - kernel_size)//2).astype(np.uint32) kernels_pad = [[tf.pad(kernel, [[pad_one, pad_two], [pad_one, pad_two], [0,0], [0,0]]) for kernel in kernels] for kernels in kernel_lists] #[tf.summary.image('kernel_%d%d'%(i,j), tf.transpose(kernel, [2,0,1,3])) for j, kernel_list in enumerate(kernels_pad) for i, kernel in enumerate(kernel_list) ] psf = tf.concat([tf.concat(kernel_list, axis=0) for kernel_list in kernels_pad], axis=1) if regularizer is not None: tf.contrib.layers.apply_regularization(regularizer, weights_list=[tf.transpose(psf, [2,0,1,3])]) if nonneg: psf = tf.abs(psf) tf.summary.image("tiled_psf", tf.expand_dims(tf.squeeze(psf, -1), 0)) img_pad = np.ceil(tile_size * tiling_factor / 2).astype(np.uint32) input_img_pad = tf.pad(input_img, [[0,0],[img_pad,img_pad],[img_pad,img_pad],[0,0]]) output_img = fft_conv2d(input_img, psf) #output_img = tf.slice(output_img, [0,img_pad,img_pad,0], [-1,dims[1],dims[2],-1]) return output_img
07-16
这些卷积核的初始化使用了Xavier初始化器。 - 计算pad_one和pad_two两个值，用于对卷积核进行填充。 - 对每个卷积核进行填充操作，将pad_one和pad_two应用于卷积核的两个维度。 - 将填充后的卷积核拼接成一个大的...
tensorflow之变量初始化(tf.Variable)使用详解
12-20
默认本系列的的读者已经初步熟悉tensorflow。 我们通过tf.Variable构造一个variable添加进图中，Variable()构造函数需要变量的初始值（是一个任意类型、任意形状的tensor），这个初始值指定variable的类型和形状。通过Variable()构造函数后，此variable的类型和形状固定不能修改了，但值可以用assign方法修改。 如果想修改variable的shape，可以使用一个assign op，令validate_shape=False. 通过Variable()生成的variables就是一个tensor，可以作为graph中其他op的输入。另外，T
tensorflow中常用的几种权重矩阵初始化的方式
CV_YOU的博客
07-09 6820
这里总结几种权重矩阵的初始化方式: 1:截断的正态分布: def init_matrix(shape): return tf.truncated_normal(shape, mean=0, stddev=0.1) 2.xavier_initializer()法:这个初始化器是用来保持每一层的梯度大小都差不多相同 W = tf.contrib.layers.xavier_init...
tf.contrib.layers.xavier_initializer函数用法
Minions的博客
03-07 1万+
首先介绍tf.contrib.layers 这是TensorFlow1.x中的一个封装好的高级库，里面有很多函数的高级封装， 卷积函数tf.contrib.layers.conv2d()，池化函数tf.contrib.layers.max_pool2d()和tf.contrib.layers.avg_pool2d()，全连接函数tf.contrib.layers.fully_connected...
tf.get_variable用法
qq_36201400的博客
09-09 5501
tf.get_variable：使用这些参数获取现有变量或创建一个新变量。 tf.compat.v1.get_variable( name, shape=None, dtype=None, initializer=None, regularizer=None, trainable=None, collections=None, caching_device=None, partitioner=None, validate_shape=True, use_resource=None
pythontf怎么打开_tensorflow之变量初始化(tf.Variable)使用详解
weixin_39622562的博客
12-02 622
默认本系列的的读者已经初步熟悉tensorflow。我们通过tf.Variable构造一个variable添加进图中，Variable()构造函数需要变量的初始值(是一个任意类型、任意形状的tensor)，这个初始值指定variable的类型和形状。通过Variable()构造函数后，此variable的类型和形状固定不能修改了，但值可以用assign方法修改。如果想修改variable的shap...
深度学习——Xavier初始化方法
热门推荐
shuzfan的专栏
05-07 14万+
“Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》，可惜直到近两年，这个方法才逐渐得到更多人的应用和认可。为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等。基于这个目标，现在我们就去推导一下：每一层的权
Tensorflow基础API与使用技巧总结(最快学会使用TF)
XavierLiu的博客
04-25 510
前言 硕士阶段tensorflow、pytorch双修。开始使用tensorflow基础api复现过各种神经网络网络算法，包括：各种网络结构如DenseNet，基础api撸出来的反响传播，非常规训练算法BinaryNet, FTPROP, 网络修剪Taylor Pruning。之后实习的公司使用Pytorch，所以转了pytorch。也有快半年没使用tensorflow了，复习总结下tensorf...
tensorflow之tf.contrib.layers.xavier_initializer
Nicola.Zhang
05-07 4171
原文地址： https://tensorflow.google.cn/api_docs/python/tf/contrib/layers/xavier_initializer
深度学习之参数初始化（一）——Xavier初始化
qq_37764129的博客
05-31 4819
我们需要牢记参数初始化的目的是为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关——激活值饱和会导致该层状态梯度信息为0，然后导致下面所有层的参数梯度为0；入激活值为0会导致对应参数梯度为0。所以如果要保证参数梯度不等于0，那么参数初始化应该使得各层激活值不会出现饱和现象且激活值不为0。我...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值