supe_king的博客

1 梯度更新正常的梯度更新：optm = tf.train.AdamOptimizer(learning_rate).minimize(loss)实际 上 tf.train.AdamOptimizer 进行了两部运算，第一步计算梯度，第二步更新梯度。另一种更新方式就是先计算梯度，再更新我们需要更新的变量。如下，第一种方式，一步计算：t_vars = tf.trainable_var

Tensorflow的梯度异步更新背景：先说一下应用吧，一般我们进行网络训练时，都有一个batchsize设置，也就是一个batch一个batch的更新梯度，能有这个batch的前提是这个batch中所有的图片的大小一致，这样才能组成一个placeholder。那么若一个网络对图片的输入没有要求，任意尺寸的都可以，但是我们又想一个batch一个batch的更新梯度怎么办呢？操作如下：先计算梯度：#

一、正则化正则化原理这里就不介绍了，网上资源有很多，详情可以点击这里(https://zhuanlan.zhihu.com/p/29297934) 但是网上大多数关于正则化的教程太乱，而且有很多代码 不能试用。这里说一个可以用的： 首先在权值初始话的时候，对权值进行正则化计算，利用函数： tf.contrib.layers.l1_regularizer(lambda1)

tensorflow的使用

看过我上篇博客的人，想必已经跑通了作者的fcn数据集，现在就就是制作自己的数据集并进行训练。其实不难，首先我们分析一下作者的数据集voc。根据他的数据集，模仿一个即可。首先我们看作者训练时需要的两个数据集voc和dataset(这里我的voc，我自己改了名字叫做voc2016)：这两个数据集分别有什么用呢？其中dataset存放的是训练时所用的数据，voc2016存放的则是测试所用的数

随着tensorflow的更新的，windows下的GPU版本也可以愉快的安装了，以前只能安装cpu。其实网上这方面的教程很多，但是搜索出来的基本都是16年的博客，安装步骤繁琐。在现在看来根本不需要那么麻烦，下面我就介绍一下大致流程，以前自己用的比较nice的网址。第一步：下载anaconda这个不用说了吧，很简单直接百度anaconda，下载官网发布的最新版本的anaconda，根据教程

第一次写博客，仅此纪念所趟过的坑。话不多说我们直入主题。玩caffe的人想必都训练过最初始的教程mnist——手写字符识别。很easy，网上教程多如牛毛，这里我就废话不说。但是关于FCN可能就是有点模糊，因为我玩的时候就是，可能写的比较好的当属一个ID叫做“隐匿人海”的博客，我从小白到跑通FCN，也是从他那里偷师学艺过。之所以别人已经写过了，为什么我还要再写一篇，那么要算就算我是个纠结于情怀的人吧...

2019-3-20 20:17问题：在训练YOLO-V2的目标检测模型时，使用resnet18的主网络架构，并利用其预训练权重，在训练的一段时间后，网络出现NAN值?解决：经各方面验证发现，网络经过几次迭代之后，发生梯度爆炸，导致梯度更新之后，出现NAN值。网上查询了几种梯度爆炸的解决方式，例如什么减小学习率，残差网络，relu激活，bn层等。显然，这些方式，本模型中已经具备。还有一种方式...