正则化
关注
分享
扫一扫
文章平均质量分 64
胖胖大海
这个作者很懒，什么都没留下…
展开
-
多分类模型如何将LabelSmoothing与MixUp联合使用？
多分类模型如何将LabelSmoothing与MixUp联合使用？原创 2022-06-13 20:01:48 · 1327 阅读 · 0 评论 -
BatchNorm与LayerNorm
BatchNorm批量归一化：批量归一化是对一个中间层的单个神经元进行归一化操作。计算第l层网络中每个神经元在Batch大小为N的样本上输出的N个结果，计算每个神经元输出的N个结果的均值和方差，然后使用均值和方差来对这N个输出结果做归一化，所以归一化的维度是在Batch上进行的LayerNorm层归一化：层归一化是对一个中间层的所有神经元进行归一化。计算第l层网络中的每个神经元在Batch中每个输入样本的输出，对于每个输入样本，计算所有神经元输出结果的均值和方差，使用均值和方差来归一化对于这个输..原创 2022-03-01 09:06:12 · 1648 阅读 · 0 评论