网络结构
关注
分享
扫一扫
文章平均质量分 81
Peanut_范
计算机视觉、强化学习
展开
-
轻量化网络结构——MobileNet系列
MobileNet系列总结1、概述 MobileNet系列网络是Google为了移动端和嵌入式设备设计的模型，主要是在追求准确性和运行速度之间的平衡。从模型结构上主要对以下几点做了研究：V1：深度可分离卷积V2：倒置残差块 和 线性瓶颈层V3：网络架构搜索V1和V2都是先提出了一种理论、假说、发现，然后根据这种理论来指导模型的设计，这是有一定启发意义的。V3主要是在用NAS搜索结构，使用V2+SENet+swish的基本模块构建网络，设计思路上并没有很大的启发。2、MobileNetV转载 2021-01-16 16:19:28 · 1283 阅读 · 2 评论 -
轻量化网络结构——MobileNetV3
论文：《Searching for MobileNetV3》概述： 该论文主要讲如何使用NAS搜索出适用于移动设备的轻型网络，提出了MobileNetV3-Large和MobileNetV3-Small两个模型。基础结构： 网络结构图如下所示，主要是在点向卷积后加了一个SENet的attention模块。激活函数： 另外用上了swish激活函数。给出了两种形式。最终块的优化：MobileNetV3的网络结构： MobileNetV3定义了两个模型: MobileNetV原创 2021-01-16 16:04:07 · 2636 阅读 · 0 评论 -
轻量化网络结构——MobileNetV2
《Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation》—Google1.MobileNetV2结构是基于倒置残差结构，原来的残差结构的主分支是有三个卷积，两个逐点卷积通道数较多，而倒置的残差结构刚好相反，中间的卷积通道数（依旧使用深度可分离卷积结构）较多，两端的较少。另外，我们发现去除主分支中的非线性变换是有效的，这可以保持模型的表现力。2.论文原创 2021-01-16 15:33:44 · 6953 阅读 · 1 评论 -
轻量化网络结构——Xception
《Xception: Deep Learning with Depthwise Separable Convolutions》– Google1.Xception 并不是真正意义上的轻量化模型，是Google继Inception后提出的对Inception v3的另一种改进，主要是采用depthwise separable convolution来替代原来的Inception v3中的卷积操作，这种性能的提升是来自于更有效的使用模型参数而不是提高容量。一个卷积层尝试去学习特征在3维空间–（高、宽、原创 2021-01-16 15:16:57 · 3441 阅读 · 0 评论 -
轻量化网络结构——ShuffleNet
论文：《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》—Face++1.shuffle具体来说是channel shuffle，是将各部分的feature map的channel进行有序的打乱，构成新的feature map，以解决group convolution带来的[信息流通不畅]的问题。（MobileNet是用pointwise convolution解决这个问题。）因此可知原创 2021-01-16 14:58:27 · 2187 阅读 · 0 评论 -
EfficientNet模型测试
TPU是什么？GPU — Graphics Processing Unit, 图形处理器，采用多线程SIMD架构，为图形处理而生。CPU — Central Processing Unit 中央处理器， 目前PC core的主流产品。TPU — Tensor Processing Unit 张量处理器， Google 公司推出的加速人工智能算法的专用处理器。目前一代TPU面向Inference，二代面向训练。是针对谷歌的深度学习框架TensorFlow专门定制的芯片官方代码下载链接：https:原创 2020-06-15 16:24:04 · 874 阅读 · 3 评论 -
计算机视觉ICCV、ECCV、CVPR
公认的计算机视觉三大会议分别为ICCV,ECCV,CVPR。1、ICCVICCV的全称是 IEEE International Conference on Computer Vision，国际计算机视觉大会，是计算机视觉方向的三大顶级会议之一，通常每两年召开一次，2005 年 10 月曾经在北京召开。会议收录论文的内容包括：底层视觉与感知，颜色、光照与纹理处理，分割与聚合，运动与跟踪，立体视...转载 2019-11-22 14:18:12 · 3433 阅读 · 0 评论 -
最新的优化器：RAdam
最新的优化器：RAdam参考： 以下文章来源于AI公园 ，作者ronghuaiyang源码： https://github.com/LiyuanLucasLiu/RAdam论文：《ON THE VARIANCE OF THE ADAPTIVE LEARNING RATE AND BEYOND》英文原文： https://medium.com/@lessw/new-state-of-the-...转载 2019-11-04 11:03:15 · 2533 阅读 · 0 评论 -
Bilinear CNN
Bilinear CNN参考论文：Tsung-Yu Lin, Aruni RoyChowdhury, and Subhransu Maji. Bilinear CNNmodels for fine-grained visual recognition. ICCV 2015: 1449-1457.Tsung-Yu Lin, Aruni RoyChowdhury, and Subhransu...原创 2019-10-24 19:38:49 · 8574 阅读 · 0 评论 -
Sync BN：Synchronized BN
为什么要做Sync：BN在一般的视觉问题上，单卡的batchsize其实已经够大，没必要把所有卡上的都统计一遍。然而到了现在的检测或者分割问题上，有些大模型单卡只能bz=1，这样的话BN完全无法发挥作用，所以我们需要在更多的卡上同步bn。怎么做Sync BN几个资源，都是基于pytorch的。怎么做Sync BN：几个资源，都是基于pytorch的。PyTorch-EncodingSyn...转载 2019-08-26 15:48:06 · 8654 阅读 · 0 评论 -
Heatmap 获取
翻译 2019-08-26 10:41:58 · 501 阅读 · 0 评论 -
卷积神经网络的网络结构——Siamese Network
《Learning a Similarity Metric Discriminatively, with Application to Face 》CVPR 2005，Sumit Chopra、Raia Hadsell、Yann LeCun. Siamese Network参考：https://blog.youkuaiyun.com/sxf1061926959/article/details/54836...原创 2018-11-11 17:50:50 · 2849 阅读 · 0 评论 -
卷积正则化——DropBlock
《DropBlock: A regularization method for convolutional networks》NIPS 2018，Golnaz Ghiasi et al. DropBlock引言：在目前过度参数化的深度神经网络中，Dropout被广泛的使用作为一种正则化技术在全连接层中，但在卷积层中却收效甚微。为什么Dropout在卷积层中难以奏效？作者认为卷积层中...原创 2018-11-11 15:48:28 · 5370 阅读 · 0 评论 -
卷积神经网络的网络结构——FractalNet
《FractalNet: Ultra-Deep Neural Networks without Residuals》2016，Gustav Larsson,Michael Maire,Gregory Shakhnarovich. FractalNet转载：https://www.cnblogs.com/liaohuiqiang/p/9218445.html分形网络：无残差的极深神经网络...转载 2018-10-04 19:48:13 · 927 阅读 · 0 评论 -
轻量化网络结构——MobileNet
《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》GoogleGoogle在2017年提出的适用于手机端的神经网络模型1.主要采用了深度可分离卷积Depthwise separable convolution的卷积方式 达到：1）减少参数数量 2）提升运算速度 ...原创 2018-09-12 23:39:16 · 4668 阅读 · 1 评论 -
卷积神经网络的网络结构——Inception V3
《Rethinking the Inception Architecture for Computer Vision》2015，Google，Inception V31.基于大滤波器尺寸分解卷积 GoogLeNet性能优异很大程度在于使用了降维。降维可以看做卷积网络的因式分解。例如1x1卷积层后跟着3x3卷积层。在网络角度看，激活层的输出是高相关的；因此在聚合前进行降维，可以得到类似...原创 2018-06-11 22:54:09 · 13773 阅读 · 0 评论 -
卷积神经网络的网络结构——Inception V4
《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》2016，Google，Inception V4，Inception ResNet V1、V2Inception结构有着良好的性能，且计算量低。Residual connection不同于传统网络结构，且在2015 ILS...原创 2018-06-13 08:39:19 · 26818 阅读 · 2 评论 -
卷积神经网络的网络结构——AlexNet
《ImageNet Classification with Deep Convolutional Neural Networks》2012，Alex Krizhevsky et al，AlexNet ALexNet可以算是LeNet的一种更深更宽的版本。 AlexNet中包含了几个比较新的技术点，首次在CNN中成功应用了ReLU、Dropout和LRN等trick，同时AlexNe...原创 2018-06-07 21:48:43 · 10125 阅读 · 0 评论 -
卷积神经网络的网络结构——VGGNet
《Very Deep Convolutional Networks for Large-scale Image Recognition》2014，牛津大学计算机视觉组（Visual Geometry Group）et al，VGGNetVGG探索了卷积神经网络深度与其性能之间的关系，通过反复堆叠3*3的小型卷积核和2*2的最大池化层，VGGNet成功地构筑了16~19层深的卷积神经网络...原创 2018-06-09 07:50:54 · 6324 阅读 · 0 评论 -
卷积神经网络的网络结构——GoogLeNet
《Going deeper with convolutions》2014，Google，GoogLeNet（向早期的LeNet致敬），Inception V1Google Inception Net首次出现在ILSVRC 2014的比赛中（和VGGNet同年），就以较大的优势取得了第一名。它最大的特点是控制了计算量和参数量的同时，获得了非常好的分类性能—top5的错误率6.67%。In...原创 2018-06-09 08:06:47 · 5453 阅读 · 0 评论 -
卷积神经网络的网络结构——Inception V2
《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》2015，Google，Inception V2Inception V2学习了VGGNet，用两个3*3的卷积代替5*5的大卷积（用以降低参数并减轻过拟合），还提出了著名的Batch Normaliz...原创 2018-06-09 08:29:24 · 4445 阅读 · 1 评论 -
卷积神经网络的网络结构——ResNet
《Deep Residual Learning for Image Recognition》2015，kaiming He et al，ResNet。ResNet由微软研究院的kaiming He等4名华人提出，通过使用Residual Unit成功训练152层深的神经网络，在ILSVRC 2015比赛中获得了冠军，取得3.57%的top5错误率，同时参数量却比VGGNet低，效果非常...原创 2018-06-16 15:42:30 · 77212 阅读 · 1 评论 -
卷积神经网络的网络结构——ResNet V2
《Identity Mappings in Deep Residual Networks》2016，kaiming He et al，ResNet V2。深度残差网络作为一种极深的网络框架，在精度和收敛等方面都展现出了很好的特性。作者通过对残差块(residual building blocks)背后的计算传播方式进行分析，表明了当跳跃连接(skip connections)以及附加激...原创 2018-06-16 16:00:55 · 4155 阅读 · 0 评论 -
卷积神经网络的网络结构——DenseNet
《Densely Connected Convolutional Networks 》2017，Gao Huang et al，DenseNet作者通过观察目前深度网络的一个重要特点就是都加入了shorter connections，能够让网络更深、更准确、更高效。作者充分利用了skip connection，设计了一种稠密卷积神经网络（Dense Convolutional Netw...原创 2018-06-18 19:00:34 · 23164 阅读 · 0 评论 -
卷积神经网络的网络结构——CondenseNet
《CondenseNet: An Efficient DenseNet using Learned Group Convolutions 》2018，Gao Huang et al，CondenseNet。CondenseNet是作者在DenseNet基础上进行改进，集合了分组卷积、稠密连接、剪枝等。 实验证明，CondenseNet比前沿的MobileNet和ShuffleNet性...原创 2018-06-18 19:13:05 · 2489 阅读 · 0 评论 -
卷积神经网络的网络结构——Hourglass
《Stacked Hourglass Networks for Human Pose Estimation》ECCV2016，密歇根大学的研究团队，Hourglass。 后续的很多人体姿态估计方法都借鉴了hourglass网络结构，并进行了改进，可以说hourglass的网络结构算是受到了业界的认可。简介：本文使用全卷积神经网络，对给定的单张RGB图像，输出人体关键点的精确像...原创 2018-07-14 22:26:45 · 61628 阅读 · 9 评论 -
轻量化网络结构——SqueezeNet
《SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and<0.5MB model size》UC Berkely 和 Stanford University1.相同准确率下，更少参数量的模型有几点好处： 1）更加高效的分布式训练 2）向客户端提供新模型的开销更小 3）FPGA和嵌入式设备部署更便利...原创 2018-09-12 22:53:03 · 3649 阅读 · 0 评论 -
卷积神经网络的网络结构——LeNet5
《GradientBased Learning Applied to Document Recognition》1989，LeCun et al，LeNet5，主要内容在5~9页。 图像处理都是小 patchs ，比如28*28或者36*36之类，考虑如下情形，对于一副1000*1000的图像，即，当隐层也有节点时，那么（第一层链接权值）的数量将达到级别，为了减少参数规模，加快训练速度，C...原创 2018-05-27 22:33:50 · 4153 阅读 · 0 评论