LRN层，即局部响应归一化层，源自生物启发，旨在提升神经网络的泛化能力。通过平滑处理不同卷积核ReLU后的特征，增强模型稳定性。然而，后续研究显示其实际效果有限。
LRN（Local Response Normalization)
作用：将不同卷积核RELU后的feature归一化，平滑处理，能增加泛化能力。
原因：生物方面，玄学
Alexnet提出
公式：
其中i代表第i个卷积核
ax,yi,表示第i个卷积核在x,y处的RELU后结果n表示规范化范围k,α,β,n为超参数，一组取值为2，10e−4，0.75a^{i}_{x,y},表示第i个卷积核在x,y处的RELU后结果
n 表示规范化范围
k,\alpha,\beta,n为超参数，一组取值为2，10e-4，0.75ax,yi,表示第i个卷积核在x,y处的RELU后结果n表示规范化范围k,α,β,n为超参数，一组取值为2，10e−4，0.75
后来实验发现，LRN层似乎没什么用-_-
扫一扫
2076
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
