局部响应归一化（Local Response Normalization）

最新推荐文章于 2025-10-23 08:30:00 发布
原创 最新推荐文章于 2025-10-23 08:30:00 发布 · 7.9k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

LRN层作为提升深度学习准确度的技术，在激活与池化后应用。通过创建局部神经元的竞争机制增强模型泛化能力。虽然在AlexNet中被提出并采用，但后续研究对其效果存在争议。

LRN是一种提高深度学习准确度的技术方法。LRN一般是在激活、池化函数后的一种方法。
在ALexNet中，提出了LRN层，对局部神经元的活动创建竞争机制，使其中响应比较大对值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。

在2012的Alexnet网络中具体计算公式如下：

这里写图片描述

其中，i表示第i个神经元在位置(x, y)使用激活函数ReLU后的输出，n是同一位置上临近的kernal map的数目，N是kernal的总数。参数K, n, alpha, belta 都是超参数，一般设置k=2, n=5, alpha=1*e-4, beta=0.75。

后期争议

在2015年 Very Deep Convolutional Networks for Large-Scale Image Recognition.提到LRN基本没什么用。

这里写图片描述

AlexNet中Local Response Normalization（局部响应归一化）个人理解
o707191418的博客
11-19 1874
首先论文中已经有了公式的介绍，但是刚看的时候会觉得有些懵，先看看LRN的定义： 第一眼看上去公式好像很复杂，我一开始也这么觉得。。。后来细看了两边之后发现好像跟某种公式有着差不多的结构，具体什么公式也不记得了，就觉得很像，然后比较好理解了，总之大概意思就是求某一个值在整体值中的占比。 bi=ai/∑inai2 b_{i} = a_{i}/\sqrt {\sum^n_{i} a_{i}^2}bi​...
局部响应归一化LRN（Local Response Normalization）
吃葡萄不吐葡萄皮
07-18 2455
LRN主要用于激活函数后的归一化过程，它对局部神经元响应进行归一化，使得响应较大的神经元抑制响应较小的神经元，从而增强模型的泛化性能。LRN的使用地方主要是在深度学习的卷积神经网络中，特别是一些经典的网络结构中，如AlexNet和GoogLeNet等。在这些网络中，LRN被用于增强网络的泛化性能和对变化的适应性。LRN的作用是增强模型的鲁棒性和泛化能力，它可以在一定程度上抑制较大的激活值，增强模型对光照、对比度等变化的适应性。是可调节的超参数，用于控制归一化的程度。表示特征图的通道数，
局部响应归一化（Local Response Normalization, LRN）详解
最新发布
m0_64132509的博客
10-23 866
局部响应归一化（LRN）是一种在深度神经网络中使用的归一化技术，最早在 AlexNet 中被提出并广泛应用。它的主要思想是通过对局部神经元的活动进行竞争性抑制，增强模型的泛化能力。
局部响应归一化LRN(Local Response Normalization)
yleave的博客
12-16 445
LRN一般是在激活、池化后进行的一中处理方法。 其主要思想是：对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。 更加详细可看：https://blog.youkuaiyun.com/hduxiejun/article/details/70570086 在 AlexNet 的论文中有提到 LRN： 其中，a 表示卷积层（包括卷积操作和池...
深度学习的局部响应归一化LRN(Local Response Normalization)理解
热门推荐
yangdeshun888的博客
09-09 8万+
1、其中LRN就是局部响应归一化： 这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。         AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。 （1）成功使用R
基于FPGA的GoogleNet加速器-Local Response Normalization
lulugay的博客
12-06 1331
详解caffe的lrn层
深度探索：机器学习中的局部响应归一化（Local Response Normalization, LRN）算法原理及其应用
qq_51320133的博客
04-25 2256
局部响应归一化作为早期深度学习中的一个重要技术，尽管在一些新型网络结构中的使用频率有所下降，但它所体现的局部竞争机制及其对生物视觉系统的模拟仍然具有重要的理论价值和启发意义。随着深度学习技术的发展，未来的研究有可能将LRN的思想与更先进的归一化技术相结合，设计出更加高效、鲁棒的神经网络模型。
在AlexNet中LRN 局部响应归一化的理解
Microstrong
03-03 1万+
微信公众号 一、LRN技术介绍： Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。 AlexNet将LeNet的思想发扬光大，把CNN的基...
详解LRN（local response normalization--局部响应标准化）缓解过拟合
qq_45704645的博客
11-27 3224
局部响应归一化层（Local Response Normalization） LRN全称为Local Response Normalization，即局部响应归一化层，LRN函数类似Dropout和数据增强作为relu激活函数之后防止数据过拟合而提出的一种处理方法。这个函数很少使用，基本上被类似Dropout这样的方法取代. 为什么要引入LRN层？ 首先要引入一个神经生物学的概念：侧抑制（lateral inhibitio），即指被激活的神经元抑制相邻的神经元。归一化（normaliazation）的目的
LRN (Local Response Normalization，即局部响应归一化层)
Learning by doing
02-02 1万+
LRN (Local Response Normalization，即局部响应归一化层) （一）先看看归一化吧 什么是归一化？ 归一化化是归纳统一样本的统计分布性。就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。 为什么要归一化，归一化目的是什么？ （1）为了后面数据处理的方便，归一化的确可以避免一些不必要的数值问题。 （2）为了
LRN 局部响应归一化层（Local Response Normalization）
FY_2018的博客
09-01 1669
局部响应归一化层（Local Response Normalization） 局部响应归一化层简称LRN，是在深度学习中提高准确度的技术方法。一般是在激活、池化后进行的一中处理方法，因在Alexnet中运用到，故做一下整理。 为什么要引入LRN层？ 首先要引入一个神经生物学的概念：侧抑制（lateral inhibitio），即指被激活的神经元抑制相邻的神经元。归一化（normaliazation）的目的就是“抑制”,LRN就是借鉴这种侧抑制来实现局部抑制，尤其是我们使用RELU的时候，这种“侧抑制
深度学习的局部响应归一化LRN(Local Response Normalization)
AcceptedLin的博客
09-24 5942
深度学习的局部响应归一化LRN(Local Response Normalization) 这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。 AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。 （1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid...
局部响应归一化LRN(Local Response Normalization)——Alexnet
LV的博客
03-16 392
https://blog.youkuaiyun.com/yangdashi888/article/details/77918311 eval() http://www.runoob.com/python/python-func-eval.html 原理：凸显大的值 https://blog.youkuaiyun.com/hduxiejun/article/details/70570086 ...
Local Response Normalization (LRN)
专栏
03-27 1331
This concept was raised in AlexNet, click here to learn more. Local response normalization algorithm was inspired by the real neurons, as the author said, “bears some resemblance to the local contrast
14_4计算机视觉 Fully Conv dense_mnist_compute parameters_run out of RAMemo_local response normal_Semantic
Linli522362242的专栏
03-17 2145
14_Deep Computer Vision Using Convolutional Neural Networks_pool_GridSpec:https://blog.youkuaiyun.com/Linli522362242/article/details/108302266 14_Deep Computer Vision Using Convolutional Neural Networks_2_LeNet-5_ResNet-50_ran out of datahttps://blog.youkuaiyun.com/L
深度学习饱受争议的局部响应归一化(LRN)详解
MIss-Y的博客
03-26 3万+
前言：Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。通过实验确实证明它可以提高模型的泛化能力，但是提升的很少，以至于后面不再使用，甚至有...
【深度学习技术】LRN 局部响应归一化
谢军的博客
04-24 4万+
LRN(Local Response Normalization） 局部响应归一化笔记本笔记记录学习 LRN(Local Response Normalization），欢迎学习交流。侧抑制（lateral inhibition）计算公式Hinton在2012年的Alexnet网络中给出其具体的计算公式如下：公式看上去比较复杂，但理解起来非常简单。i表示第i个核在位置（x,y）运用激活函数ReLU后
机器学习面试题（2）局部响应归一化Local Response Normalization有什么作用？
my0npencv13poor的博客
06-10 733
（1）神经学的启发。在神经生物学中，有一个概念叫做侧抑制（lateral inhibitio ），指的是被激活的神经元会抑制它周围的神经元，局部响应归一化就是借鉴“侧抑制”的思想来实现局部抑制，当我使用relu激活函数的时局部抑制更明显。 （2）削弱数据差异。归一化数据处理可以消除数据之间的量纲差异，便于数据利用与快速计算。 （3）增强网络泛化能力。对局部神经元的活动创建竞争机制，使得其中响应...
局部响应归一化
04-02
### 局部响应归一化 (LRN) 的概念与实现 #### 概念解释 局部响应归一化（Local Response Normalization, LRN）是一种用于深度学习模型中的归一化技术，旨在通过对神经元的响应进行调整来增强重要特征并抑制不必要或冗余的信息。具体而言，LRN 基于一种 **局部竞争机制**，即每个神经元的最终响应不仅取决于其自身的激活值，还受到周围邻近神经元激活值的影响[^1]。 如果某区域内多个神经元具有较高的激活值，则 LRN 将对该区域内的所有神经元施加一定的抑制效果；相反，对于低激活值的情况，LRN 则会适当放大这些信号。这种动态调节有助于改善特征图的质量，从而促进后续层更好地提取有意义的模式[^3]。 然而值得注意的是，在实际应用过程中发现相比其他更先进的正则化手段比如批量规范化(Batch Normalization)，LRN 提供的好处相对较小，并且计算成本较高因此逐渐被淘汰掉[^2]。 #### 实现方法 以下是 Python 中基于 TensorFlow/Keras 的简单 LRN 实现方式： ```python import tensorflow as tf from tensorflow.keras.layers import Layer class LocalResponseNormalization(Layer): def __init__(self, depth_radius=5, bias=1, alpha=0.0001, beta=0.75, **kwargs): super(LocalResponseNormalization, self).__init__(**kwargs) self.depth_radius = depth_radius self.bias = bias self.alpha = alpha self.beta = beta def call(self, inputs): return tf.nn.local_response_normalization( input=inputs, depth_radius=self.depth_radius, bias=self.bias, alpha=self.alpha, beta=self.beta) # 使用示例 model = tf.keras.Sequential([ tf.keras.layers.Conv2D(64, kernel_size=(3, 3), activation='relu', input_shape=(None, None, 3)), LocalResponseNormalization(), ]) ``` 上述代码定义了一个名为 `LocalResponseNormalization` 的自定义 Keras 层类，其中包含了四个主要参数： - `depth_radius`: 控制窗口大小，默认为 5； - `bias`, `alpha`, 和 `beta`: 调整公式的超参设置^。 通过调用 Tensorflow 自带函数 `tf.nn.local_response_normalization()` 完成了核心操作部分。 --- #### 总结 尽管 LRN 曾经作为 AlexNet 架构的一部分发挥了重要作用，但由于现代架构倾向于采用更加高效且易于优化的方法如 BatchNorm 或 Instance Norm 来替代它，所以目前 LRN 并未广泛应用于最新的研究项目当中。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值