文章介绍了权重归一化(WeightNormalization,WN)方法，这是一种加速深度学习模型收敛的策略，独立于批次大小，通过对权重向量进行解耦来优化梯度下降过程。WN适用于LSTM和对噪声敏感的模型。文中提供了WN的数学公式以及在Pytorch中的简单实现代码，展示了如何对权重文件的每个通道进行归一化处理。
今天和各位分享一下深度学习中常用的归一化方法，权重归一化（Weight Normalization， WN），通过理论解析，用 Pytorch 复现一下代码。
Weight Normalization 的论文地址如下：https://arxiv.org/pdf/1903.10520.pdf
1. 原理解析
权重归一化（Weight Normalization，WN）选择对神经网络的权值向量 W 进行参数重写，参数化权重改善条件最优问题来加速收敛，灵感来自批归一化算法，但是并不像批归一化算法一样依赖于批次大小，不会对梯度增加噪声且计算量很小。权重归一化成功用于 LSTM 和对噪声敏感的模型，如强化学习和生成模型。
对深度学习网络权值 W 进行归一化的操作公式如下：
通过一个 k 维标量 g 和一个向量 V 对权重向量 W 进行解耦合。标量
最低0.47元/天 解锁文章
扫一扫
4161
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
