深度学习基础--卷积--局部连接层(Locally-Connected Layer)

最新推荐文章于 2025-05-19 09:10:21 发布
最新推荐文章于 2025-05-19 09:10:21 发布
阅读量7.7k 收藏 6
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 深度学习基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wydbyxr/article/details/84062020
本文探讨了局部连接层(Locally-Connected Layer)的概念及其在特定场景下的应用优势，尤其是在人脸识别等任务中，如何通过放松参数共享限制来学习不同位置的特征。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

局部连接层(Locally-Connected Layer)

  locally-conv的概念来自传统ML中的模型初始化（随机树方法中每个图像的crop都对应特定的一棵树）。
  参数共享这个策略并不是每个场景下都合适的。有一些特定的场合，我们不能把图片上的这些窗口数据都视作作用等同的。（特别是当卷积神经网络的输入图像是一些明确的中心结构时候。）
  当图像局部相似匹配时，我们就应该期望在图片的不同位置学习到完全不同的特征。

什么时候用local-conv？什么时候用全卷积（每一个点用同一个filter）？

  当数据集具有全局的局部特征分布时，也就是说局部特征之间有较强的相关性，适合用全卷积。在不同的区域有不同的特征分布时，适合用local-Conv。

典型例子就是人脸识别

  在这个例子中，通常就放松参数共享的限制。
  一般人的面部都集中在图像的中央，你可能期望不同的特征，比如眼睛特征或者头发特征可能（也应该）会在图片的不同位置被学习。
  因此我们希望，数据窗口滑过这块区域的时候，权重和其他边缘区域是不同的。

MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合-目标检测（论文篇五）
qq_36130719的博客
04-15 2155
检测的图像，首先设置输入网络大小，然后将滑动窗口按照一定步长对图像进行滑动，微小的卷积神经网络，其使用卷积核在卷积神经网络中对输入图像信息进行卷积处理，传统行人检测技术进行分析，然后介绍基于深度学习行人检测算法，为后续行人检测。出，能够很好的描述行人的边缘，因此广泛应用于行人检测。的静态图像，往往采用梯度直方图方法获取行人图像的局部特征信息，然后计算所有。个单元格的特征将以不同的结果出现在最后的向量中，所有的小单元特征信息将构成。目的成果，使得行人检测检测技术成为基于深度学习目标检测领域的研究热点。
Graph Convolutional Neural Network - Spectral Convolution 图卷积神经网络 — 频域卷积详解
Jay_Tang的博客
08-24 2856
Fourier Transform Virtually everything in the world can be described via a waveform - a function of time, space or some other variable. For instance, sound waves, the price of a stock, etc. The Fourier Transform gives us a unique and powerful way of viewin
全连接、局部连接、全卷积与局部卷积学习笔记
jacke121的专栏
04-10 4519
大多数神经网络中高层网络通常会采用全连接层(Global Connected Layer)，通过多对多的连接方式对特征进行全局汇总，可以有效地提取全局信息。但是全连接的方式需要大量的参数，是神经网络中最占资源的部分之一，因此就需要由局部连接(Local Connected Layer)，仅在局部区域范围内产生神经元连接，能够有效地减少参数量。 根据卷积操作的作用范围可以分为全卷积(Global Convolution)和局部卷积(Local Convolution)。实际上这里所说的全卷积就是标准卷积，..
Keras文档学习08.局部连接层&嵌入层&融合层&高级激活层&批量标准化层&噪声层
zhuhongde的博客
10-22 700
一、局部连接层 关键词：LocallyConnected1D、LocallyConnected2D 原文地址：文档对应地址 LocallyConnected1D 层与 Conv1D 层的工作方式相同，除了权值不共享外， 也就是说，在输入的每个不同部分应用不同的一组过滤器。 二、嵌入层 关键词：embedding 原文地址：文档对应地址 keras.layers.Embedding(input_d...
卷积神经网络中的局部卷积：原理、对比与应用解析
最新发布
2501_90186640的博客
05-19 872
本文聚焦卷积神经网络中的局部卷积，重点解析全连接、局部连接、全卷积与局部卷积四种连接方式的差异，结合人脸识别任务案例，阐述局部卷积的应用场景及优势，为理解卷积网络连接机制提供技术参考。
局部连接层(Locally-Connected Layer)
Drug discovery
05-10 1万+
局部连接层(Locally-Connected Layer) locally-conv的概念来自传统ML中的模型初始化（随机树方法中每个图像的crop都对应特定的一棵树）。 参数共享这个策略并不是每个场景下都合适的。有一些特定的场合，我们不能把图片上的这些窗口数据都视作作用等同的。（特别是当卷积神经网络的输入图像是一些明确的中心结构时候）   当图像局部相似匹配时，我们就应该期望在图片的不同位置学习到完全不同的特征。 什么时候用local-conv？什么时候用全卷积（每一个点用同一个filter）？
Keras--局部连接层
升级迭代
04-08 3046
LocallyConnected1D LocallyConnected1D 层与 Conv1D 层的工作方式相同，除了权值不共享外， 也就是说，在输入的每个不同部分应用不同的一组过滤器。 keras.layers.LocallyConnected1D(filters, kernel_size, strides=1, padding='valid', data_format=None, ac...
人工神经网络中的FullyConnectedLayer（全连接层）、LocallyConnectedLayer（局部连接层）、CNN（卷积神经网络）的定义
烂笔头而已
03-10 2047
人工神经网络中的FullyConnectedLayer（全连接层）、LocallyConnectedLayer（局部连接层）、CNN（卷积神经网络）的定义FullyConnectedLayerCNN（卷积神经网络）LocallyConnectedLayer FullyConnectedLayer 普通的线性连接层，某一层的输出向量中的单个元素与输入向量中的每一个元素都有连接。 CNN（卷积神经网络...
keras读书笔记——卷积层、池化层、局部连接层
qq_35541614的博客
06-18 590
keras读书笔记——卷积层、池化层、局部连接层1 卷积层1.1 Convolution1D层1.2 AtrousConvolution1D层1.3 Convolution2D层1.4 AtrousConvoltuion2D层1.5 SeparableConvolution2D层1.6 Deconvolution3D层1.7 Convolution3D层1.8 Cropping1D层1.9 Cro...
【Graph Neural Network 图神经网络】2.Spectral-based Graph Convolutional Networks 基于谱域的图卷积网络
TsingM
06-22 2540
GCN(Semi-Supervised Classification with Graph Convolutional Networks, ICLR 2017) 该文为基于谱域的图卷积网络的代表作，为图神经网络模型引入一个简单且表现好的分层传播规则，该规则直接在图上运行，展示了它是如何从谱图卷积的一阶近似中获得增益的，并演示了如何将这种形式的基于图的神经网络模型用于图中节点的快速和可扩展的半监督分类。 0. 基本概念 图用G=(V,E)G=(V,E)G=(V,E)表示，VVV中元素为节点（vertex），E
一步一步分析讲解深度神经网络基础-Convolutional Neural Network
凡难事必作于细的博客
12-25 2万+
Convolutional Neural Network 参考http://cs231n.github.io/convolutional-networks/history Convolutional Neural Networks (CNNs / ConvNets)Convolutional Neural Networks are very similar to ordinary Neural
深度学习与计算机视觉系列(10)_细说卷积神经网络
热门推荐
寒小阳
01-19 7万+
前面九讲对神经网络的结构，组件，训练方法，原理等做了介绍。现在我们回到本系列的核心：计算机视觉，神经网络中的一种特殊版本在计算机视觉中使用最为广泛，这就是大家都知道的卷积神经网络。卷积神经网络和普通的神经网络一样，由『神经元』按层级结构组成，其间的权重和偏移量都是可训练得到的。同样是输入的数据和权重做运算，输出结果输入激励神经元，输出结果。从整体上看来，整个神经网络做的事情，依旧是对于像素级别输入的图
深度学习之全连接、局部连接、全卷积与局部卷积
weixin_43775295的博客
11-11 1762
四者的比较如表1所示。，计算每一个x和它聚类中心的残差，然后把残差加起来，即是每个类别k的结果，最后分别L2正则后拉成一个长向量后再做L2正则，正则非常的重要，因为这样才能统一所有聚类算出来的值，而残差和的目的主要是消减不同聚类上的分布不均，两者共同作用才能得到最后正常的输出。那么NetVLAD考虑的主要是最后一层卷积层输出的特征这里，我们不想直接进行欠采样或者全局映射得到特征，对于最后一层输出的W x H x D，设计一个新的池化，去聚合一个“局部特征“，这即是NetVLAD的作用。
【darknet源码解析-12】connected_layer.h 和 connected_layer.c 解析
CVer
10-20 798
本系列为darknet源码解析，本次解析为src/connect_layer.h 和 src/connect_layer.c 两个，connect_layer主要是构建全连接网络。 在阅读本文之前请事先手推一遍BP算法，这样有助于你对connect_layer源码的理解。主要理解BP算法对隐藏层权重和偏置如何求偏导数，以及最输出层求偏导数。 注意：在全连接网络中的添加BN操作， W×X之后，...
【Tensorflow】自主实现部分连接层（Partial Connect Layer）
CD's Coding
06-28 1892
0x00 前言 通常而言，在NLP领域的机器学习中时常会有这样的需求：argmaxP(wi∣θ)argmaxP(wi∣θ) argmax P(w_i \mid \theta) 较为常见的做法是有多少个单词就做一个多少维的全连接层加softmax，但是， 如果词汇表 |V||V||V| 很大的情况下，会有大量的计算（例如目前的工作中，词汇表的数量为80k）， 在我们已知只需要计算其中某些词...
keras的LocallyConnected2D层的现象
u010048197的博客
02-04 1701
只是先记录下 keras LocallyConnected2D 连续建4层（或者更少），就可能会出现模型编译时间超长，狂占GPU显存的问题。原因没有找到。 input = layers.Input(shape = (window_size, factor_num, 1)) model = layers.LocallyConnected2D(8, kernel_size = (1,1))(input) model = layers.BatchNormalization(axis=-1, momentum=m
Understanding Locally Connected Layers In Convolutional Neural Networks
benniaofei18的博客
06-14 551
Posted on April 12, 2016Convolutional Neural Networks (CNNs) have been phenomenal in the field of image recognition. Researchers have been focusing heavily on building deep learning models for various...
深度学习入门-框架keras-6keras局部连接层介绍
chise_
12-30 837
目录LocallyConnected1DLocallyConnected2D LocallyConnected1D keras.layers.LocallyConnected1D(filters, kernel_size, strides=1, padding='valid', data_format=None, activation=None, use_bias=True, kernel_ini...
全连接、局部连接、全卷积与局部卷积
ys1305的博客
08-12 7906
全连接、局部连接、全卷积与局部卷积 ​ 大多数神经网络中高层网络通常会采用全连接层(Global Connected Layer)，通过多对多的连接方式对特征进行全局汇总，可以有效地提取全局信息。但是全连接的方式需要大量的参数，是神经网络中最占资源的部分之一，因此就需要由局部连接(Local Connected Layer)，仅在局部区域范围内产生神经元连接，能够有效地减少参数量。根据卷积操作的作...
谱域图卷积论文
03-18
### 谱域图卷积相关论文 谱域图卷积的研究始于将图信号处理理论应用于图结构数据的分析。早期的工作由 Bruna 等人在 2013 年提出，他们首次定义了基于频域的图卷积操作[^2]。这一方法的核心思想是通过图拉普拉斯矩阵的特征分解来实现滤波器的设计，从而允许在图的频域上执行卷积运算。 以下是几篇重要的谱域图卷积相关论文： #### 1. **Spectral Networks and Locally Connected Networks on Graphs** 这篇论文由 Joan Bruna、Wojciech Zaremba、Armand Szlam 和 Yann LeCun 提出，被认为是图神经网络领域的重要奠基工作之一。作者提出了两种类型的图卷积：一种是在频域中定义的卷积 (Spectral Convolution)，另一种是在空间域中定义的卷积 (Spatial Convolution)。该论文展示了如何利用傅里叶变换和逆变换来进行高效的频域卷积计算[^1]。 - 论文链接: [https://arxiv.org/abs/1312.6203](https://arxiv.org/abs/1312.6203) #### 2. **Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering** Defferrard 等人在这项工作中引入了一种更高效的方法——Chebyshev 多项式近似法，用于加速谱域中的卷积计算。这种方法避免了显式的特征值分解过程，使得模型能够扩展到更大的图结构数据集[^3]。 - 论文链接: [https://arxiv.org/abs/1606.09375](https://arxiv.org/abs/1606.09375) #### 3. **First-order spectral graph convolutions** Kipf 和 Welling 进一步简化了谱域图卷积的操作，提出了 GCN (Graph Convolutional Network) 模型。他们的方法仅保留了 Chebyshev 展开的一阶多项式，极大地降低了计算复杂度并提高了训练效率。 - 论文链接: [https://arxiv.org/abs/1609.02907](https://arxiv.org/abs/1609.02907) #### 4. **Over-Smoothing Problem in GNNs** 尽管谱域图卷积在网络表示学习方面取得了显著进展，但它也面临一些挑战，比如过平滑问题 (Over-smoothing)。当层数增加时，节点之间的特征会逐渐趋同，导致信息丢失[^4]。因此，在设计新的谱域图卷积架构时，需要特别注意这一点。 --- ### 示例代码 以下是一个简单的 PyTorch 实现谱域图卷积的过程： ```python import torch from torch_geometric.nn import ChebConv # 定义输入参数 num_nodes = 100 in_channels = 16 out_channels = 32 edge_index = ... # 图边索引 x = torch.randn(num_nodes, in_channels) # 输入特征张量 # 创建 ChebConv 卷积层 conv_layer = ChebConv(in_channels=in_channels, out_channels=out_channels, K=3) # 执行前向传播 output = conv_layer(x, edge_index) print(output.shape) # 输出形状应为 (num_nodes, out_channels) ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值