菜狗的玄学修炼室

在前面的文章中我讲到了keras下BN层的一些使用问题，那么为什么我们要使用BN层呢？一、GroupNormalization的先辈 - BatchNormalizationBatch Normalization - “批归一化”，简称BN，是神经网络中一种特殊的层，如果batch_size为n，则在前向传播过程中，网络中每个节点都有n个输出，即对该层每个节点的这n个输出进行归一化再输出，具体相关计算如下所示：其tf的实现代码如下（这一部分为源码，大家可以选择性跳过）：class BatchNor

因为我主要使用的是keras，所以我所要介绍的也是keras的环境，如果以后我转pytorch后再补充我的pytorch环境配置情况我的keras环境配置如下：cudatoolkit 10.0.130cudnn 7.6.5keras 2.2.4tensorflow-gpu 1.13.1python 3.6.1

用过pycharm编keras代码的大兄弟们可能都知道，如果我们在训练模型时，一般是默认不断的换行输出，如这样子的：当然我们可以通过fit_generator函数中的verbose来进行输出的调节，当verbose=1时，输出的就是上面这种，每一个Step输出一次；当verbose=2时，每一个Epoch输出一次，输出如下：虽然verbose=2时是按照每一个Epoch输出一次，不会像每一个Step输出一次时那么乱但是，如果每一个Epoch输出一次的话，我们

开始测试程序时，最好用Adam优化器，SGD优化器虽然到后期在参数调好的情况下会比Adam优化器效果好，但是SGD的速度慢，在初期验证是否程序能实现需求的时候，一般选Adam会好点，这样不至于速度过慢，收敛状态也不会太差。当batchsize增大时，一般也需要适当的增大学习率，但两者也不宜过大。具体调参情况，取决于你个人的经验积累和工程实践需求了。当你所跑的实验不对劲时，首先检测数据集的数据读入、处理、读出是否有误；然后检查你的代码是否有逻辑错误；接着

深度学习入门篇很多刚开始接触深度学习的小伙伴们内心常常会非常纠结，深度学习是不是很难，没有机器学习基础是不是学不起来等等。但是，我今天要说的是，没有机器学习的基础也能直接上手深度学习！！！如果是放到以前的大环境下，跳过机器学习直接进行深度学习，那必然是非常困难的，毕竟以前各类的代码集成库都不多。但是随着时间的推移，深度学习各类的代码库在不断的增加，使得我们直接进行深度学习的愿望变成了可能。当然，这其中必然少不了前辈们的努力，正所谓前人栽树，后人乘凉嘛，哈哈。下面我将就我个人初涉深度学习时的情况来讲讲刚

学习记录贴（1）- 2021.3.10keras BatchNormalization今天重新学习了BatchNormalization，发现遗漏的小知识还是不少的，今天的学习主要是参考了这位大佬的一篇文章：keras BatchNormalization的坑（training参数和 momentum参数）根据了解，总结如下：batch，即每个epoch训练的样本数，最好不要小于100个，因为：使用权重滑动平均法时，若将衰减率momentum设置为0.99，最后moving_mean的值越约