[cvpr2015]Improving training of deep neural networks via Singular Value Bounding
introduction
【training method】
Singular Value Bounding (SVB):在网络训练过程中,通过将权重矩阵的奇异值限制在1附近,保证权值矩阵的正交性。
Bounded Batch Normalization (BBN):用SVB的思想对BN的改进,去除了BN的ill-conditioning(ill-conditioning参考)的风险
算法...
翻译
2018-03-11 22:57:10 ·
756 阅读 ·
2 评论