supe_king的博客

1 梯度更新 正常的梯度更新： optm = tf.train.AdamOptimizer(learning_rate).minimize(loss)实际 上 tf.train.AdamOptimizer 进行了两部运算，第一步计算梯度，第二步更新梯度。另一种更新方式就是先计算梯度，再更新我们需要更新的变量。如下，第一种方式，一步计算： t_vars = tf.trainable_var

Tensorflow的梯度异步更新背景：先说一下应用吧，一般我们进行网络训练时，都有一个batchsize设置，也就是一个batch一个batch的更新梯度，能有这个batch的前提是这个batch中所有的图片的大小一致，这样才能组成一个placeholder。那么若一个网络对图片的输入没有要求，任意尺寸的都可以，但是我们又想一个batch一个batch的更新梯度怎么办呢？操作如下：先计算梯度：#