在AlexNet中LRN 局部响应归一化的理解

最新推荐文章于 2025-11-02 18:12:36 发布
原创 最新推荐文章于 2025-11-02 18:12:36 发布 · 1.8w 阅读 · 74 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #AlexNet #LRN #局部响应 #归一化

LRN（局部响应归一化）是深度学习中提高模型准确性的技术，首次在AlexNet模型中使用。该技术通过抑制部分神经元，增强模型的泛化能力。LRN的计算公式涉及对卷积层输出的通道方向上的点进行加权平方和，然后归一化。在AlexNet中，LRN与ReLU激活函数、Dropout和最大池化共同作用，提升网络性能。
微信公众号

一、LRN技术介绍：

Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。

AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。

（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。

（2）训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将其实用化，通过实践证实了它的效果。在AlexNet中主要是最后几个全连接层使用了Dropout。

（3）在CNN中使用重叠的最大池化

最低0.47元/天 解锁文章
深度探索：机器学习中的局部响应归一化（Local Response Normalization, LRN）算法原理及其应用
qq_51320133的博客
04-25 2228
局部响应归一化作为早期深度学习中的一个重要技术，尽管在一些新型网络结构中的使用频率有所下降，但它所体现的局部竞争机制及其对生物视觉系统的模拟仍然具有重要的理论价值和启发意义。随着深度学习技术的发展，未来的研究有可能将LRN的思想与更先进的归一化技术相结合，设计出更加高效、鲁棒的神经网络模型。
局部响应归一化LRN(Local Response Normalization)
yleave的博客
12-16 440
LRN一般是在激活、池化后进行的一中处理方法。 其主要思想是：对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。 更加详细可看：https://blog.youkuaiyun.com/hduxiejun/article/details/70570086 在 AlexNet 的论文中有提到 LRN： 其中，a 表示卷积层（包括卷积操作和池...
图解缓存淘汰算法 LRU、LFU ｜ 最近最少使用、最不经常使用算法 ｜ go语言实现
最新发布
2509_93985794的博客
11-02 583
无论是什么系统，在研发的过程中不可避免的会使用到缓存，而缓存一般来说我们不会永久存储，但是缓存的内容是有限的，那么我们如何在有限的内存空间中，尽可能的保留有效的缓存信息呢？那么我们就可以使用 LRU/LFU算法，来维持缓存中的信息的时效性。
AlexNet中的局部响应归一化（LRN）
qq_43660987的博客
06-29 2326
1，简介 局部响应归一化（Local Response Normalization，LRN），提出于2012年的AlexNet中。首先要引入一个神经生物学的概念：侧抑制（lateral inhibitio），即指被激活的神经元抑制相邻的神经元。LRN仿造生物学上活跃的神经元对相邻神经元的抑制现象（侧抑制）。归一化（normaliazation）的目的就是“抑制”,LRN就是借鉴这种侧抑制来实现局部...
深度学习的局部响应归一化LRN(Local Response Normalization)理解
热门推荐
yangdeshun888的博客
09-09 8万+
1、其中LRN就是局部响应归一化： 这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。         AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。 （1）成功使用R
LRN（局部响应归一化）
AI.PLAY
10-16 2741
原理： LRN层模仿了生物神经系统的“侧抑制”机制，对局部神经元的活动创建竞争环境，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强模型的泛化能力。 LRN对于ReLU这种没有上限边界的激活函数会比较有用，因为它会从附近的多个卷积核的响应中挑选比较大的反馈，但不适合Sigmoid之中有固定边界并且能抑制过大值的激活函数。 是归一化后的值。 表示第i个核位置（x，y）运用ReL...
AlexNet中Local Response Normalization（局部响应归一化）个人理解
o707191418的博客
11-19 1869
首先论文中已经有了公式的介绍，但是刚看的时候会觉得有些懵，先看看LRN的定义： 第一眼看上去公式好像很复杂，我一开始也这么觉得。。。后来细看了两边之后发现好像跟某种公式有着差不多的结构，具体什么公式也不记得了，就觉得很像，然后比较好理解了，总之大概意思就是求某一个值在整体值中的占比。 bi=ai/∑inai2 b_{i} = a_{i}/\sqrt {\sum^n_{i} a_{i}^2}bi​...
学习AlexNet中的LRN（局部响应归一化）功能及实际应用
# 1.1 传统的LRN方法介绍 局部响应归一化（LRN）作为一种规范化方法，旨在增强神经网络的泛化能力。其基本原理在于对每个神经元的输出进行归一化处理，使得更加...局部响应归一化（LRN）是一种神经网络中常用的规范
LRN (Local Response Normalization，即局部响应归一化层)
Learning by doing
02-02 1万+
LRN (Local Response Normalization，即局部响应归一化层) （一）先看看归一化吧 什么是归一化？ 归一化化是归纳统一样本的统计分布性。就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。 为什么要归一化，归一化目的是什么？ （1）为了后面数据处理的方便，归一化的确可以避免一些不必要的数值问题。 （2）为了
局部响应归一化LRN (Local Response Normalization)
06-12 8463
一、LRN技术介绍： LRN（Local Response Normalization） 是一种提高深度学习准确度的技术方法。 LRN 一般是在激活、 池化函数后的一种方法。在 ALexNet 中， 提出了 LRN 层， 对局部神经元的活动创建竞争机制， 使其中响应比较大对值变得相对更大， 并抑制其他反馈较小的神经元， 增强了模型的泛化能力。 AlexNet将LeNet的思想发扬光大，把CN...
局部响应归一化（Local Response Normalization）
10-25 2331
LRN是一种提高深度学习准确度的技术方法。LRN一般是在激活、池化函数后的一种方法。  在ALexNet中，提出了LRN层，对局部神经元的活动创建竞争机制，使其中响应比较大对值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。 在2012的Alexnet网络中具体计算公式如下： 其中，i表示第i个神经元在位置(x, y)使用激活函数ReLU后的输出，n是同一位置上临近的kerna...
局部响应归一化（LRN）
realjc的博客
08-05 381
tensorflow中的定义： 就是按通道归一化。 例子： import numpy as np import tensorflow as tf a = np.ones([2,3,3, 5])## batch_size,row,col,channel b = tf.nn.local_response_normalization(a, 1, 0, 1, 1)## radius, bias, alpha,beta sess = tf.Session() print (sess.run(b)) 输出：
【深度学习】局部响应归一化 (Local Response Normalization，LRN)
JNing
01-31 4068
【深度学习】局部响应归一化 (Local Response Normalization，LRN)
LRN局部响应归一化
zrh_优快云的博客
08-01 1338
                   局部归一化的动机：在神经生物学有一个概念叫做侧抑制(lateral inhibitio)，指的是被激活的神经元抑制相邻神经元。归一化的目的是“抑制”，局部响应归一化就是借鉴侧抑制的思想来实现局部控制，尤其当我们使用RELU的时候这种”侧抑制“很管用。 好处：有利于增加泛化能力，做了平滑处理，识别率提高1-2%。LRN层模仿生物神经系统的侧抑制机制，对局部神...
【深度学习技术】LRN 局部响应归一化
谢军的博客
04-24 4万+
LRN(Local Response Normalization） 局部响应归一化笔记本笔记记录学习 LRN(Local Response Normalization），欢迎学习交流。侧抑制（lateral inhibition）计算公式Hinton在2012年的Alexnet网络中给出其具体的计算公式如下：公式看上去比较复杂，但理解起来非常简单。i表示第i个核在位置（x,y）运用激活函数ReLU后
局部响应归一化LRN
yeler082的博客
01-05 1537
LRN首次是在2012的AlexNet当中使用，其中的意图是对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。 下面是AlexNet论文中提及到的LRN 简要解释一下论文内容： relus激活函数本身具有良好的特性，在输入的时候可能不需要归一化就能防止网络饱和，即网络可以连续训练下去。对于relus激活函数来讲，如果存在...
深度学习的局部响应归一化LRN(Local Response Normalization)
AcceptedLin的博客
09-24 5938
深度学习的局部响应归一化LRN(Local Response Normalization) 这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。 AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。 （1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid...
深度学习：局部响应归一化LRN
weixin_44633882的博客
02-08 1321
深度学习的局部响应归一化LRN   LRN这个概念和运用是出现在AlexNet中。LRN最初是生物学里的概念“相邻神经元抑制”，对局部神经元的活动创建竞争机制。使用LRN增加了泛化能力（使输出中响应比较大的值变得相对更大，并抑制其他响应较小的神经元），做了平滑处理，提高了1%~2%的识别率。 在Tensorflow中有对应的函数 tf.nn.lrn(input,depth_radius=None,...
【CNN基础】局部响应归一化、gated convolution和gated deconv
Kindle君的博客
03-07 1万+
1. Local response normalization（局部响应归一化） 局部响应归一化，由于做了平滑处理，可以增加泛化能力，公式如下 bx,yi=ax,yi/(bias+α∑j=max⁡(0,i−n/2)min⁡(N−1,i+n/2)(ax,yi)2)b_{x,y}^i = a_{x,y}^i/\left( {bias + \alpha \sum\limits_{j = \max (0...
局部响应归一化
04-02
局部响应归一化（Local Response Normalization, LRN）是一种用于深度学习模型中的归一化技术，旨在通过对神经元的响应进行调整来增强重要特征并抑制不必要或冗余的信息。具体而言，LRN 基于一种 **局部竞争机制**，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值