
new tech
文章平均质量分 84
执念之年-转身
学生一名,愿一直进步
展开
-
新技术入门(1)
组归一化layer norm batch norm instance norm group norm(一般放在非线性激活之前)Group Normalization是一种新的深度学习归一化方式,可以替代BN。BN是深度学习中常使用的归一化方法,在提升训练以及收敛速度上发挥了重大的作用,是深度学习上里程碑式的工作。BN,全名是Batch Normalization。BN是一种归...原创 2018-11-22 21:19:41 · 292 阅读 · 0 评论 -
新技术入门(2)
SPL:自步学习现有机器学习方法都需要解决非凸优化问题,例如学习感知机或深度置信网,传统的优化方法在避免非凸优化问题陷入较差局部解时,往往采用多次随机初始化方式训练模型,然后选择其中效果最好的初始化结果构建模型。然而这种方法计算代价过高。课程学习和自步学习最开始就是作为解决非凸优化问题而提出的。Bengio教授在2009年ICML上提出课程学习,而自步学习则是在课程学习的基础上,由Koller...原创 2018-11-29 21:59:13 · 454 阅读 · 1 评论