局部响应归一化LRN(Local Response Normalization)是啥

最新推荐文章于 2023-07-18 22:41:43 发布
最新推荐文章于 2023-07-18 22:41:43 发布
阅读量1.6k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qwer7512090/article/details/90666064
博客介绍了归一化方法，重点提及在Alexnet中使用的LRN，它用于对卷积层输出结果归一化。说明了公式中各参数含义，解释了为何叫局部响应，即归一化时参考相关局部区域响应值，还说明了局部区域的确定方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

归一化有很多种方法，第一次遇到LRN是在Alexnet中，用于对卷积层的输出结果进行归一化。公式如下：

LRN

这里的i表示第i个通道，(x,y)为某个像素点位置。这里的意思就是说，我要把卷积层输出的第i个通道的(x,y)位置的值进行归一化。为什么叫局部响应呢？个人认为是因为每次归一化某个值得时候，要参考某个与该值相关的局部区域内的响应值，那这个局部区域怎么定呢？

è¿éåå¾çæè¿°

这里是使用与该值具有同一位置（x,y）且与通道i距离为n/2的那些值。先写这些，以后理解了再说。

参考：https://blog.youkuaiyun.com/u014296502/article/details/78839881

深度探索：机器学习中的局部响应归一化（Local Response Normalization, LRN）算法原理及其应用
qq_51320133的博客
04-25 2076
局部响应归一化作为早期深度学习中的一个重要技术，尽管在一些新型网络结构中的使用频率有所下降，但它所体现的局部竞争机制及其对生物视觉系统的模拟仍然具有重要的理论价值和启发意义。随着深度学习技术的发展，未来的研究有可能将LRN的思想与更先进的归一化技术相结合，设计出更加高效、鲁棒的神经网络模型。
AlexNet中Local Response Normalization（局部响应归一化）个人理解
o707191418的博客
11-19 1818
首先论文中已经有了公式的介绍，但是刚看的时候会觉得有些懵，先看看LRN的定义： 第一眼看上去公式好像很复杂，我一开始也这么觉得。。。后来细看了两边之后发现好像跟某种公式有着差不多的结构，具体什么公式也不记得了，就觉得很像，然后比较好理解了，总之大概意思就是求某一个值在整体值中的占比。 bi=ai/∑inai2 b_{i} = a_{i}/\sqrt {\sum^n_{i} a_{i}^2}bi​...
深度学习的局部响应归一化LRN(Local Response Normalization)理解
热门推荐
yangdeshun888的博客
09-09 8万+
1、其中LRN就是局部响应归一化： 这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。         AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。 （1）成功使用R
局部响应归一化LRN (Local Response Normalization)
06-12 8404
一、LRN技术介绍： LRN（Local Response Normalization） 是一种提高深度学习准确度的技术方法。 LRN 一般是在激活、 池化函数后的一种方法。在 ALexNet 中， 提出了 LRN 层， 对局部神经元的活动创建竞争机制， 使其中响应比较大对值变得相对更大， 并抑制其他反馈较小的神经元， 增强了模型的泛化能力。 AlexNet将LeNet的思想发扬光大，把CN...
【深度学习技术】LRN 局部响应归一化
谢军的博客
04-24 4万+
LRN(Local Response Normalization） 局部响应归一化笔记本笔记记录学习 LRN(Local Response Normalization），欢迎学习交流。侧抑制（lateral inhibition）计算公式Hinton在2012年的Alexnet网络中给出其具体的计算公式如下：公式看上去比较复杂，但理解起来非常简单。i表示第i个核在位置（x,y）运用激活函数ReLU后
局部响应归一化LRN（Local Response Normalization）
吃葡萄不吐葡萄皮
07-18 2309
LRN主要用于激活函数后的归一化过程，它对局部神经元响应进行归一化，使得响应较大的神经元抑制响应较小的神经元，从而增强模型的泛化性能。LRN的使用地方主要是在深度学习的卷积神经网络中，特别是一些经典的网络结构中，如AlexNet和GoogLeNet等。在这些网络中，LRN被用于增强网络的泛化性能和对变化的适应性。LRN的作用是增强模型的鲁棒性和泛化能力，它可以在一定程度上抑制较大的激活值，增强模型对光照、对比度等变化的适应性。是可调节的超参数，用于控制归一化的程度。表示特征图的通道数，
详解LRN（local response normalization--局部响应标准化）缓解过拟合
qq_45704645的博客
11-27 3052
局部响应归一化层（Local Response Normalization） LRN全称为Local Response Normalization，即局部响应归一化层，LRN函数类似Dropout和数据增强作为relu激活函数之后防止数据过拟合而提出的一种处理方法。这个函数很少使用，基本上被类似Dropout这样的方法取代. 为什么要引入LRN层？ 首先要引入一个神经生物学的概念：侧抑制（lateral inhibitio），即指被激活的神经元抑制相邻的神经元。归一化（normaliazation）的目的
深度学习：局部响应值归一化（Local Response Normalization，LRN）
默语之声的博客
04-02 1104
Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。 LRN一般是在激活、池化函数后的一种方法。 在ALexNet中，提出了LRN层，对局部神经元的活动创建竞争机制，LRN仿造生物学上活跃的神经元对相邻神经元的抑制现象（侧抑制）。 Hinton在2012年的Alexnet网络中给出其具体的计算公式如下： 公式看上去比较复杂，但理...
【神经网络】局部响应归一化LRN(Local Response Normalization)
liuyanlin0102的博客
05-25 1468
import tensorflow as tf import numpy as np a = np.array(range(16)) b = a.reshape([1,2,2,4]) with tf.Session() as sess: print(sess.run(tf.nn.lrn(b))) b: 形状大小：[1,2,2,4] array([[[[ 0, 1, 2, 3]...
LRN (Local Response Normalization，即局部响应归一化层)
Learning by doing
02-02 1万+
LRN (Local Response Normalization，即局部响应归一化层) （一）先看看归一化吧 什么是归一化？ 归一化化是归纳统一样本的统计分布性。就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。 为什么要归一化，归一化目的是什么？ （1）为了后面数据处理的方便，归一化的确可以避免一些不必要的数值问题。 （2）为了
LRN局部响应归一化
zrh_优快云的博客
08-01 1311
                   局部归一化的动机：在神经生物学有一个概念叫做侧抑制(lateral inhibitio)，指的是被激活的神经元抑制相邻神经元。归一化的目的是“抑制”，局部响应归一化就是借鉴侧抑制的思想来实现局部控制，尤其当我们使用RELU的时候这种”侧抑制“很管用。 好处：有利于增加泛化能力，做了平滑处理，识别率提高1-2%。LRN层模仿生物神经系统的侧抑制机制，对局部神...
LRN 局部响应归一化层（Local Response Normalization）
FY_2018的博客
09-01 1487
局部响应归一化层（Local Response Normalization） 局部响应归一化层简称LRN，是在深度学习中提高准确度的技术方法。一般是在激活、池化后进行的一中处理方法，因在Alexnet中运用到，故做一下整理。 为什么要引入LRN层？ 首先要引入一个神经生物学的概念：侧抑制（lateral inhibitio），即指被激活的神经元抑制相邻的神经元。归一化（normaliazation）的目的就是“抑制”,LRN就是借鉴这种侧抑制来实现局部抑制，尤其是我们使用RELU的时候，这种“侧抑制
局部响应归一化LRN(Local Response Normalization)
yleave的博客
12-16 407
LRN一般是在激活、池化后进行的一中处理方法。 其主要思想是：对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。 更加详细可看：https://blog.youkuaiyun.com/hduxiejun/article/details/70570086 在 AlexNet 的论文中有提到 LRN： 其中，a 表示卷积层（包括卷积操作和池...
局部响应归一化LRN(Local Response Normalization)——Alexnet
LV的博客
03-16 379
https://blog.youkuaiyun.com/yangdashi888/article/details/77918311 eval() http://www.runoob.com/python/python-func-eval.html 原理：凸显大的值 https://blog.youkuaiyun.com/hduxiejun/article/details/70570086 ...
LRN（局部响应归一化）
AI.PLAY
10-16 2714
原理： LRN层模仿了生物神经系统的“侧抑制”机制，对局部神经元的活动创建竞争环境，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强模型的泛化能力。 LRN对于ReLU这种没有上限边界的激活函数会比较有用，因为它会从附近的多个卷积核的响应中挑选比较大的反馈，但不适合Sigmoid之中有固定边界并且能抑制过大值的激活函数。 是归一化后的值。 表示第i个核位置（x，y）运用ReL...
局部响应归一化（Local Response Normalization，LRN）和批量归一化（Batch Normalization，BN）的区别
CCC的专栏
02-09 3976
为什么要归一化？ 归一化已成为深度神经网络中的一个重要步骤，它可以弥补ReLU、ELU等激活函数无界性的问题。有了这些激活函数，输出层就不会被限制在一个有限的范围内(比如tanh的[−1,1][-1,1][−1,1])，而是可以根据训练需要尽可能高地增长。为了限制无界激活函数使其不增加输出层的值，需要在激活函数之前进行归一化。在深度神经网络中有两种常用的归一化技术，但常被初学者所误解。在本教程中，...
LRN
小白一直白
11-13 445
发展时间点 局部响应归一化这个方法流行于2012年的 AlexNet网络，它将这种方法付诸实践，验证了它的可行性。在caffe框架和tensorflow框架中，这都是经常和卷积、池化配合使用的方法。 作用时间点：LRN一般是在激活、池化后进行的一中处理方法 AlexNet网络的亮点 由于网络的深度不小，抛弃原始的sigmoid激活函数，改用relu，且效果更好，避免后期梯度消失的问题 在最后的几层全连接上使用了dropout方法，一定程度上避免过拟合现象 抛弃原始的平均池化，全部改用最大值池化
LRN ( Local Response Normalization) 局部响应归一化层
qq_32172681的博客
09-18 950
LRN全称为Local Response Normalization，即局部响应归一化层，LRN函数类似DROPOUT和数据增强作为relu激励之后防止数据过拟合而提出的一种处理方法。这个函数很少使用，基本上被类似DROPOUT这样的方法取代，见最早的出处AlexNet论文。 首先在弄懂原理之前，希望读者能够认真的看两边公式，而不是直接看别人解释的原理 bix,ybxi,y是归一化后的值，i...
FPGA实现Alexnet局部响应归一化：低功耗与高效并行
这个模型的成功主要得益于其深度结构和局部响应归一化（Local Response Normalization, LRN）层的应用，它有助于提高网络的泛化能力和训练速度。LRN是一种正则化技术，用于在局部区域内抑制神经元的响应，以防止过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值