- CNN权值共享是什么
局部感知:即网络部分连通,每个神经元只与上一层的部分神经元相连,只感知局部,而不是整幅图像。(滑窗实现)
(可行性)局部像素关系紧密,较远像素相关性弱。因此只需要局部感知,在更高层将局部的信息综合起来就得到了全局的信息。
权值共享:从一个局部区域学习到的信息,应用到图像的其它地方去。即用一个相同的卷积核去卷积整幅图像,不同的特征靠多个不同的卷积核实现。
(可行性)图像的局部统计特征在整幅图像上具有重复性(即位置无关性)。
参考:https://www.cnblogs.com/chenshan-crystal/p/7543780.html
-
正则化:
L1范数——Lasso回归;
L2范数——岭回归.
L1正则化产生稀疏的权值, L2正则化产生平滑的权值
原因:https://www.cnblogs.com/tianqizhi/p/9703796.html -
1*1卷积核作用
(1)降维
(2)保证feature map不变的情况下增加非线性
参考:https://www.jianshu.com/p/04c2a9ccaa75 -
pooling层作用
(1)整合特征,减少计算复杂度
(2)对不同位置的特征进行聚合统计
(3)卷积窗口有重叠,因此得到的结果有大量冗余,用pooling可以消除冗余(pooling会导致微小的局部变形),权重共享可以带来平移不变性。
参考: