用3个1x1卷积层替换VGG最后3个全连接层

最新推荐文章于 2024-05-20 12:54:33 发布
原创 最新推荐文章于 2024-05-20 12:54:33 发布 · 476 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cnn #深度学习 #网络

用3个1x1卷积层替换VGG最后3个全连接层

  题目：与 AlexNet、LeNet 一样，VGG 网络可以分为两部分：第一部分主要由卷积层和汇聚层组成，第二部分由全连接层组成，如下图:

  我们知道，可以使用1 × 1的卷积层去代替全连接层。那请你使用三个1 × 1的卷积层去代替 VGG 最后的三层全连接层，计算卷积层的参数量，并对比替换前后的参数量。

解答：

DandelionR
关注
Faster rcnn 模型更改（添加\删除卷积层）
苏打水的杯子的博客
03-04 3164
1、程序版本：Windows10，TensorFlow-gpu==1.5.0，python3.5.6。 2、本文选择的WindowsFaster rcnn python版本代码为https://github.com/dBeker/Faster-RCNN-TensorFlow-Python3.5。 3、下载预训练的VGG16网络模型：下载地址：http://download.tensorfl...
全连接层的作用_CNN中使用卷积代替全连接
weixin_39847945的博客
11-30 1300
船长黑板报所有文章和代码的最新版本均在Captain1986/CaptainBlackboard​github.com维护，知乎不做维护您的Star是对我的鼓励## 引言在经典分类网络，比如LeNet、AlexNet中，在前面的卷积层提取特征之后都串联全连接层来做分类。但是近些年来，越来越多的网络，比如SSD，FasterRCNN的RPN，MTCNN中的PNet，都使用卷积层来代替全连接，也一样可...
使用卷积层替代全连接层（VGG16网络，keras）
zh_JNU的博客
12-16 1万+
    前段时间校招面试的问题有一个就是如何使用卷积层来替代全连接层。以前没有认真考虑过，所以第一时间的想法是1×1的卷积核去实现。后来仔细想一想，1×1卷积核并不能实现这样的功能，涉及到参数共享。昨天，看到PixelLink文字定位网络，该网络使用了VGG网络的全连接层。所以就想着今天使用keras实现下VGG16网络卷积层替换全连接层。参数还是依然使用预训练参数，最后保存参数。查看对比.h5文...
卷积层代替全连接层
时光机 °的博客
08-01 1万+
为什么卷积层可以“代替”全连接层？   卷积和全连接的区别大致在于：卷积是局部连接，计算局部信息；全连接是全局连接，计算全局信息。（但二者都是采用的点积运算）   但如果卷积核的kernel_size和输入feature maps的size一样，那么相当于该卷积核计算了全部feature maps的信息，则相当于是一个kernel_size∗1kernel_size∗1kernel\_size...
卷积层(FCN)替换全连接层(FC)的意义
热门推荐
帅的发光发亮的博客
05-07 2万+
1.卷积层替换全连接层的可行性： 卷积层是局部连接，它的特点是稀疏连接和权值共享；而全连接层使用了图像的全局信息，每个神经元都与上一层的所有神经元相连接。 “最大的局部”和“全局”这两个概念其实是等价的，因此卷积层替换全连接层是可行的。 2.全连接层到卷积层的转换： 下图显示了AlexNet卷积化的过程，假设执行特征提取的卷积层的最后一层输出为256×7×7，得到后面的4096个神经元；那么改为用7×7的卷积核对该256×7×7的输出特征图做卷积，也可以获得4096×1×1的向量。由于卷积核大小和输入的特征
卷积代替全连接_卷积层（1）
weixin_35057804的博客
01-16 448
CNN网络基础结构神经网络-全连接层(1)神经网络-全连接层(2)神经网络-全连接层(3)本系列之前关于神经网络的文章！卷积层(1)前面聊了3期全连接层，下面先扔下它，看看卷积神经网络的另外一个重量级组成部分——卷积层。关于卷积层的具体计算方式在这里就不多说了，和全连接层类似，由线性部分和非线性部分组成，一会儿直接看代码就好。关于卷积层的计算方法，现在一般来说大家的实现方式都是用“相关”...
VGG网络中测试时为什么全链接层改成卷积层
晓峰博客笔记
03-27 9720
首先需要理解的是改fc层为conv层实际上的计算方式没有发生任何变化。但是其结果全卷积网络可以接收任意大小的图片输入，得到一个score map，对其做一个average就可以得到最终结果(one-hot label)。之所以需要这样设计，因为他们train与test的图片大小是不一样的。    卷积层和全连接层的唯一区别在于卷积层的神经元对输入是局部连接的,并且同一个通道(channel)内不同...
CV：CNN（Convolutional Neural Networks，卷积神经网络）概述【(卷积层×n+池化层)×m+全连接层】【卷积层输出长宽维度：O= (I+2P-F)/S+1、通道数：K 】
u013250861的博客
12-18 2836
卷积神经网络（Convolutional Neural Networks / CNNs / ConvNets）与普通神经网络非常相似，它们都由具有可学习的权重和偏置常量(biases)的神经元组成。每个神经元都接收一些输入，并做一些点积计算，输出是每个分类的分数，全连接神经网络(DNN)里的一些计算技巧到这里依旧适用。 - CNN（convolutional neural network），主要就是通过一个个的filter，不断地提取特征，从局部的特征到总体的特征，从而进行图像识别等等功能。 - 一个卷积神
VGG笔记.pdf
07-11
3. 层数更深：VGG16为例，3->64->128->256->512，卷积核专注于扩大通道数，3个通道的特征经过经过卷积层的提取扩散到了512个通道； 4. 特征图更窄：VGG16为例，224->112-56->28->14->7，池化层专注于缩小宽和高； 5....
深度学习经典网络（2）VGG网络结构详解
青衫憶笙
07-11 6873
0.介绍 深度神经网络一般由卷积部分和全连接部分构成。卷积部分一般包含卷积（可以有多个不同尺寸的核级联组成）、池化、Dropout等，其中Dropout层必须放在池化之后。全连接部分一般最多包含2到3个全连接，最后通过Softmax得到分类结果，由于全连接层参数量大，现在倾向于尽可能的少用或者不用全连接层。神经网络的发展趋势是考虑使用更小的过滤器，如1*1,3*3等；网络的深度更深（2012年A...
TensorFlow VGG16预训练模型Part 3使用指南
- **使用全连接层**：在卷积层之后，通常会有几个全连接层用于特征的整合和分类。 - **使用最大池化**：每个卷积层后往往跟随着一个最大池化层，用以降低特征的空间维度，减少计算量。 VGG16模型在数据预处理方面也...
机器学习22:全卷积神经网络中卷积层替换全连接层的意义
weixin_39504171的博客
01-09 1926
机器学习22:FCN中卷积层替换全连接层的意义 上一篇博客介绍了全连接神经网络，关于卷积层替换CNN中全连接层的可行性和优势叙述的不够清晰，在此进一步补充。本文主要参考了为什么使用卷积层替代CNN末尾的全连接层和为什么将全连接层替换为卷积层？。 1.卷积层替换全连接层的可行性： 卷积层是局部连接，它的特点是稀疏连接和权值共享；而全连接层使用了图像的全局信...
探索 CNN 中的逐点卷积：替换全连接层
Mo 的博客
01-03 1634
卷积神经网络 (CNN) 一直是理解图像和模式、改变深度学习格局的关键角色。这个旅程从 Yan 介绍 LeNet 架构开始，今天，我们有一系列 CNN 可供选择。传统上，这些网络严重依赖于完全连接的层，尤其是在将事物分类为不同类别时。但是等等，空气中有变化。我们正在探索一种使用 Pointwise Convolution 的不同架构，这是一种全新且改进的 CNN 方法。就像走上了一条新路。这种方法挑战了通常使用的全连接层，带来了一些很酷的好处，使我们的网络更智能、更快速。
1*1卷积代替全连接层的含义
c6376315qqso的专栏
04-10 3526
在某几篇博客（https://blog.youkuaiyun.com/qq_32172681/article/details/95971492）上看到了1*1卷积代替全连接层的解释，个人理解与其不同，参考了其他人的看法（https://www.zhihu.com/question/56824576、https://www.jianshu.com/p/f3ac0cc289c1）后在此留下笔记。 对于1*1...
全连接层和卷积层相互转换
butiful1的博客
03-15 2196
全连接层和卷积层实际上是可以相互转换的 1、卷积层替换全连接层的可行性 *、卷积层是局部连接 *、它的特点是稀疏连接和权值共享， *、全连接是全局信息 2、全连接层到卷积层的转换 、卷积核大小和输入特征图尺寸相同 、保证卷积后运算结果和之前全连接是一样的 转换方法： 通常这种做法是用全局池化（global_pool）和1X1的卷积核实现的，全局池化是不需要设置filter，无论特征图多大都只保留一个。假设batch-size是1，最后的卷积层输出大小是5X5，通道数是512，那么接一个全局池化后卷积层的输出
深度学习面试总结
taka_is_beauty的博客
03-31 769
1.造成梯度消失的原因？造成梯度爆炸的原因？ 消失：网络模型深度过深；选用了不合适的损失函数，例如（sigmoid函数） 爆炸：网络模型过深并且初始化权重过大； 2.sigmoid函数值域问题？ 值域（0，1）开区间，定义域（-无穷，+无穷） 对于激励函数：梯度只会无限趋近于零， 对于交叉熵损失：值永远大于零，但可能会无限趋近于零 3.sigmoid函数，交叉熵（cross enty...
全连接层与卷积转化
Arthur_Holmes的博客
12-04 1657
理解全连接层： 连接层实际就是卷积核大小为上层特征大小的卷积运算，卷积后的结果为一个节点，就对应全连接层的一个点。（理解） 假设最后一个卷积层的输出为7×7×512，连接此卷积层的全连接层为1×1×4096。如果将这个全连接层转化为卷积层：1.共有4096组滤波器2.每组滤波器含有512个卷积核3.每个卷积核的大小为7×74.则输出为1×1×4096由于每个滤波核的大小和上一层的feature ...
YOLOv5改进 | 卷积模块 | 用ShuffleNetV2卷积替换Conv【轻量化网络】
最新发布
kay_545
05-20 2221
shuffleNetv2,yolov5改进，yolov5创新
深度学习基础：1x1的卷积为什么代替全连接
weixin_43507744的博客
05-18 4399
1x1的卷积作用我们肯定很好理解： 跨通道的特征整合 比如：输入的特征是32x64x64（32为通道数），我想要把32个通道的信息进行融合，最后输出8个特征，那我们就可以设计1x1的卷积核为：输入通道：32，输出通道：8。 特征通道的升维和降维 上面的例子也是一个降维的操作，我们把32通道的特征图融合成了8通道的特征图，这样做可以融合不同的特征模式（其本质是增大感受野）。 升维是把特征上升到更高维度，比如，我们设计1x1卷积核为：输入通道：32，输出通道：64，这样可以得到更多的特征模式。 减少卷积
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值