机器学习面试题（2）局部响应归一化Local Response Normalization有什么作用？

最新推荐文章于 2024-04-25 10:57:19 发布

磨牙的小朋友

最新推荐文章于 2024-04-25 10:57:19 发布

阅读量695

点赞数 2

文章标签：神经网络深度学习

本文链接：https://blog.youkuaiyun.com/my0npencv13poor/article/details/104510613

版权

本文探讨了局部响应归一化（LRN）在神经网络中的三大作用：一是受到神经学中侧抑制概念的启发，实现局部神经元间的竞争与抑制；二是通过归一化削弱数据差异，消除量纲影响，加速计算；三是增强网络的泛化能力，减少featuremap间的相关性，使显著特征更加突出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（1）神经学的启发。在神经生物学中，有一个概念叫做侧抑制（lateral inhibitio ），指的是被激活的神经元会抑制它周围的神经元，局部响应归一化就是借鉴“侧抑制”的思想来实现局部抑制，当我使用relu激活函数的时局部抑制更明显。

（2）削弱数据差异。归一化数据处理可以消除数据之间的量纲差异，便于数据利用与快速计算。

（3）增强网络泛化能力。对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。LRN通过在相邻卷积核生成的feature map之间引入竞争，从而有些本来在feature map中显著的特征更显著，而在相邻的其他feature map中被抑制，这样让不同卷积核产生的feature map之间的相关性变小。