qq_37566138的博客

（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；（2）iteration：1个iteration等于使用batchsize个样本训练一次；（3）epoch：1个epoch等于使用训练集中的全部样本训练一次，通俗的讲epoch的值就是整个数据集被轮几次。因为window和liux的差距，所以需要将运行封装起来，如下...

https://mp.weixin.qq.com/s?__biz=MzU5NjU4OTc4MA==&mid=2247497472&idx=2&sn=88a4863c3eca1fdf6e60e7e5832921f4&chksm=fe62dabbc91553adcb838505188057c77c3e392139ae001e8a15ed2101d4b20962700c073a6d&mpshare=1&scene=23&srcid=10277FtBMTA0T

Tensorboard可视化神经网络结构@TOCPytorch使用Tensorboard可视化网络结构1.下载可视化代码git clone https://github.com/lanpa/tensorboard-pytorch.git2.安装PyTorch 0.4 +torchvision 0.23.安装Tensorflow和Tensorboard：pip install tensorflowpip install tensorboard==1.7.04.安装可视化工具：pip in

模块搭建前向传播（forward()）：搭建网络，设计网络结构 def forward(x,regularizer): w= b= y= return y#正则化权重 def get_weight(shape,regularizer): w=tf.Variable(...

滑动平均滑动平均相当于一个影子值(像是给参数加了影子，参数变化，影子随之追随），记录了每个参数一段时间内过往值的平均，增加了模型的泛化性。滑动平均不仅表现了当前值，还表现了过去一段时间内的平均值。滑动平均的计算影子 = 衰减率x影子+（1-衰减率）x参数 （影子初值=参数初值； 衰减率=min{MOVING_AVERAGE_DECY，（1+轮数）/（10+轮数）}）te...

学习率learning_rate：每次参数更新的幅度学习率设置多少合适 学习率大了震荡不收敛，学习率小了收敛速度慢。 可以通过指数衰减学习率解决 其中LEARNING_RATE_STEP一般由（总样本数/每次列入的数据个数）得到 在tensorflow中的代码： global_step = tf.Variable(0,trainable=False)#记录当前共运行了多少轮，...