【CV-baseline】05GoogLeNet_v3(笔记)

最新推荐文章于 2024-04-18 20:20:44 发布
最新推荐文章于 2024-04-18 20:20:44 发布
阅读量219 收藏 1
点赞数
分类专栏： 【CV-baseline】论文笔记 文章标签： 卷积 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39236489/article/details/112303833
版权

论文标题：Rethinking the Inception Architecture for Computer Vision

作者: Christian Szegedy etc.

单位: Google Inc.

时间: 2015

学习目标

  1. 模型设计准则
  2. 模型设计技巧
    1. 卷积分解
    2. 辅助分类层探讨
    3. 特征图下降策略
    4. 标签平滑
    5. 低分辨率图像分类
  3. 测试技巧
    1. Multi-crop测试
    2. 多模型融合

论文导读

研究背景

GoogLeNet–V1 采用多尺度卷积核， 1 × 1 1\times 1 1×1卷积操作， 辅助损失函数，实现更深的22层卷积神经网络，夺得 ILSVRC-2014 分类和检测冠军，定位亚军GoogLeNet-V2 基础上加入BN层，并将 5 × 5 5\times5 5×5卷积全面替 换为2个3*3卷积堆叠的形式，进一步提高模型性能。

但是VGG网络模型大，参数多，计算量大，不适用于真实场景

研究成果

  1. 提出inception-v2和inception-v3，inception-v3模型获得了ILSVRC分类任务SOTA
  2. 提出4个网络模型设计准则，为模型设计提供参考
  3. 提出卷积分解、高效率降低特征图分辨率方法和标签平滑技巧。提升了网络速度和精度

研究意义

  1. 总结模型设计准则，为卷积神经网络模型设计提供参考
  2. 提出3个技巧，结合Inception，奠定Inception系列最常用模型——Inception-V3

注意：GoogLeNet-V2(论文) 不是 Inception-V2， Inception-V2是GoogLeNet-V3(论文) 中提出的

论文泛读

摘要

  1. 介绍背景:自2014年以来，深度卷积神经网络成为主流，在多个任务中获得优异成绩
  2. 提出问题:目前精度高的卷积神经网络，参数多，计算量大，存在落地困难问题
  3. 解决问题:本文提出分解卷积及正则化策略，提升深度卷积神经网络速度和精度
  4. 本文成果:单模型+single crop，top-5， 5.6%; 模型融合+multi-crop，top-5，3.5%

论文精读

网络设计准则

通过大量实验得出的结论，并无理论证明

  1. 尽量避免信息瓶颈，通常发生在池化层，即特征图变小，信息量减少，类似一个瓶颈
  2. 采用更高维的表示方法能够更容易的处理网络的局部信息
  3. 大的卷积核可以分解为数个小卷积核，且不会降低网络能力
  4. 把握好深度和宽度的平衡

【第2、4点根本就是废话】

卷积分解(factorizing convolutions)

卷积分解1

大卷积核分解为小卷积核堆叠。 1个 5 × 5 5\times 5 5×5卷积分解为2个 3 × 3 3\times 3 3×3卷积。参数减少了1-(9+9)/25 = 28%

在这里插入图片描述

卷积分解2

1个 n × n n\times n n×n卷积分解为 1 × n 1\times n 1×n卷积和 n × 1 n\times 1 n×1卷积堆叠。对于 3 × 3 3\times 3 3×3而言，参数减少了1-(3+3)/9=33%

注意：非对称卷积在后半段网络使用效果才好，特别是特征图分辨率在12-20之间，本文在分辨率为 17 × 17 17\times 17 17×17的时候使用非对称卷积分解

在这里插入图片描述

辅助分类层

GoogLeNet-V1中提出辅助分类层，用于缓解梯度消失， 提升低层的特征提取能力 本文对辅助分类层进行分析，得出结论：

  1. 辅助分类层在初期起不到作用，在后期才能提升网
    络性能
  2. 移除第一个辅助分类层不影响精度
  3. 辅助分类层可辅助低层提取特征是不正确的
  4. 辅助分类层对模型起到正则的作用
  5. googlenet-v3在 17 × 17 17\times 17 17×17特征图结束接入辅助分类层

高效特征图下降策略

传统池化方法存在信息表征瓶颈问题，违反了设计准则1，也就是特征图信息变少了（如图9左所示）

在这里插入图片描述

简单解决方法：先用卷积将特征图通道数翻倍，再用池化。存在问题：计算量过大

进一步策略：用卷积得到一半特征图，用池化的到一半特征图。用较少的计算量获得较多的信息，避免信息表征瓶颈。

在这里插入图片描述

base是 35 × 35 × 320 35\times 35\times 320 35×35×320， concat之后就变成了 17 × 17 × 640 17\times 17\times 640 17×17×640.

该inception-module用于 35 × 35 35\times 35 35×35下降至 17 × 17 17\times 17 17×17以及 17 × 17 17\times 17 17×17下降至 8 × 8 8\times 8 8×8

标签平滑

传统的one-hot编码存在问题：过度自信，导致过拟合

文中提出标签平滑：把one-hot中概率为1的那一项进行衰减，避免过度自信，衰减的那部分confidence平均分到每一个类别中。

举例：4分类任务，label=(0, 1, 0, 0)

label smoothing: ( 0.001 4 , 1 − 0.001 + 0.001 4 , 0.001 4 , 0.001 4 ) = ( 0.00025 , 0.99925 , 0.00025 , 0.00025 ) (\dfrac{0.001}{4}, 1-0.001+\dfrac{0.001}{4}, \dfrac{0.001}{4}, \dfrac{0.001}{4})=(0.00025, 0.99925, 0.00025, 0.00025) (40.001​,1−0.001+40.001​,40.001​,40.001​)=(0.00025,0.99925,0.00025,0.00025)

标签平滑公式

回顾交叉熵定义: H ( q , p ) = − ∑ k = 1 K log ⁡ ( p k ) q k \mathrm{H}(q, p)=-\sum_{k=1}^{K} \log \left(p_{k}\right) q_{k} H(

最低0.47元/天 解锁文章
YOLOv5改进系列(三) 更换backbone主干MobileNetV3，ShuffleNetV2，EfficientNetv2，GhostNet，SwinTransformer
专注于人工智能学习，总结
12-14 2852
文章目录MobileNetV3一、MobileNetV3原理**1.1 MobileNetV3简介**1.2 **MobileNetV3相关技术**二、YOLOv5结合MobileNetV3_small2.1 添加顺序2.2 具体添加步骤**第①步：在common.py中添加**MobileNetV3**模块****第②步：在yolo.py文件里的parse_model函数加入类名****第③步：创建自定义的yaml文件**第④步：验证是否加入成功**第⑤步：修改train.py中 ‘--cfg’默认参数*
GoogleNet_V3结构(论文复现)
慕云
06-13 309
1、PyTorch中GoogLeNet-V3结构定义 from __future__ import division from collections import namedtuple import warnings import torch import torch.nn as nn import torch.nn.functional as F from torch.jit.annotations import Optional from torch import Tensor __all__ =
Googlenet-V3
weixin_44245552的博客
07-14 709
Googlenet-V3 论文题目：Rethinking the Inception Architecture for Computer Vision（重新思考计算机视觉中的 Inception 结构） 作者：Christian Szegedy etc. 单位： Google Inc. 时间： 2015 研究背景 1、基于ILSVRC比赛提出 2、相关研究：Goolgnet-v1、Goolgnet-v2、VGG Goolgnet-v1:采用多尺度卷积核，1x1卷积操作，辅助损失函数，实现更深的22层卷积神经
googlenet网络结构_图像处理必读论文之五GoogLeNet-3
weixin_39881387的博客
11-30 304
晓强Deep Learning的读书分享会，先从这里开始，从大学开始。大家好，我是晓强，计算机科学与技术专业研究生在读。我会不定时的更新我的文章，内容可能包括深度学习入门知识，具体包括CV，NLP方向的基础知识和学习的论文；网络表征学习的相关论文解读。当然我每天的读书心得也会分享给大家，可能涉及我们生活各个方面的书籍。我也会不定时回答大家的问题与大家一同进步，共同交流，互相监督，结交更多的朋友。希...
GoogleNetV3 Rethinking the Inception Architecture for Computer Vision
小菜鸟的AI之路
02-13 572
论文链接：https://arxiv.org/abs/1512.00567 1、introduction GoogLeNet与VGG在2014年ImageNet比赛中均取得了较好的成绩，但是在参数数量和计算资源方面，GoogLeNet更少，GoogLeNet有大约5百万个参数，相比较与6000万参数的AlexNet，少了12倍，而VGG的参数数量是AlexNet参数数量的3倍多，因此Goo...
论文笔记：主干网络——GoogLeNet-V3
liuzeyao_Newton的博客
04-28 2375
Rethinking the Inception Architecture for Computer Vision 重新思考计算机视觉中的Inception结构
带你读论文系列之计算机视觉--GoogLeNet V3
wuli_xin的博客
09-13 582
带你读论文系列之计算机视觉–GoogLeNet V3 化作天边的一朵云在窗外悄悄看着你。 闲谈 广东的天气异常热，重庆今日温度28度左右，而广东37度左右。九月的天，让我又进入的夏天????。近期会频繁更新，原因是我假期太懒了，都是之前累积的论文，现在开始整理了。同时，我把相关文档整理一下，放在我的GitHub上，欢迎加星, 欢迎提问，欢迎指正错误, 同时也期待能够共同参与。 前言 重新思考计算机视觉中的Inception结构。 回顾 GoogLeNet-V1主要采用了多尺度卷积核、1x1卷积操作、辅助
Inception系列：Inception-v1（GooLeNet）、Inception-v2、Inception-v3、Inception-v4论文全面解读
jsk_learner的博客
11-01 3415
Inception系列PaperInception-v1-2014Inception-v2-2015Inception-v3-2015 Paper v1: Going deeper with convolutions v2: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covaria...
【web安全】Dr4g0n-b4ll 靶场笔记
weixin_46301214的博客
03-28 654
看了一下这两个源代码和运行结果，应该要联想到是有关系的，毕竟是ctf，是简单一点的。接下来先在我当前家目录下创建一个文件，用来运行提权的，最好在临时文件夹搞。先不要扫描，直接访问：192.168.111.133，打开是普通的网页。直接变成root权限，虽然不清楚为什么是root权限，但是知道。打开源码，发现密文，base64解码多次，得到没啥用的东西。最后，root提权，先来寻找一下有root权限的文件有哪些。因为是首页的提示，但要你输入密码，不一定是有隐写存在。
【自监督论文阅读笔记】Self-Supervised Learning with Swin Transformers
YoooooL_的博客
10-21 1458
本文正在见证计算机视觉中从 CNN 到 Transformers 的模型转变。在这项工作中，本文提出了一种称为MoBY的自监督学习方法，其中 Vision Transformers 作为其骨干架构。该方法基本上没有新发明，它结合了 MoCo v2 和 BYOL 并经过调整以在 ImageNet-1K 线性评估上达到相当高的准确度：使用 DeiT-S 和 Swin-T 分别达到 72.8% 和 75.0% 的 top-1 准确度，通过 300 个 epoch 的训练。
GoogLeNet(InceptionV3)
最新发布
mvnmvn的专栏
04-18 529
计算量：512×1×3×128×W×H+128×3×1×128×W×H+128×1×3×128×W×H+128×3×1×128×W×H=344064×W×H。参数量：512×1×3×128+128×3×1×128+128×1×3×128+128×3×1×128=344064。计算量：512×3×3×128×W×H+128×3×3×128×W×H=737280×W×H。参数量：512×3×3×128+128×3×3×128=737280。W×H是特征图尺寸，假设卷积层的输入输出特征图尺寸保持一致。
GoogleNet Inception v3经过Imagenet数据训练好的模型参数文件
02-01
tensorflow训练之后的Inception v3模型，经过Imagenet数据得到的模型参数。可以直接分类图片，或者经过Retrain实现迁移学习。
googlenet图像分类opencv源码.rar
03-06
里面保护全部东西，bvlc_googlenet.caffemodel，bvlc_googlenet.prototxt,synset_words.txt, 还有源码
从GoogLeNet至Inception v3
热门推荐
Numeria的博客
06-22 2万+
本文叙述了CNN历史以来的发展模型，介绍了发展流程以及发展路线，并对比了各种Inception模型区别，详细介绍了Inception v3模型，读者可以轻松了解到Inception模型的发展情况。
[ 计算机图形学论文下载 ] Last Updated: 2007.11.14 http://www.cnblogs.com/IceSharK/archive/2007/11/14/82748.html
xu的blog
11-18 2691
所有下载仅以"现状"提供且没有任何担保也没有授予任何权利    New !Image Vectorization using Optimized Gradient MeshesJian Sun Lin Liang Fang Wen Heung-Yeung ShumMicrosoft Research AsiaImage Deblurring with Blurr
深度学习之GoogLeNet-v3解读
Minskyli
09-22 3132
为什么提出 提出的背景 基本思想及其过程 通用设计原则 利用扩大滤波器尺寸来分解卷积 辅助分类器的实用性 网格尺寸减少很有效 InceptionV3 标签平滑的模型正则化 训练方法 低分辨率输入上的表现为什么提出？—针对计算效率和低的参数量的标准，为了进一步的优化googlenet，将卷积核分解。。提出的背景 由于之前都关注的是网络的准确率，但是要真正运用深度学习，更应该关注如何能运用他，也就是要效
推荐-计算机视觉、图像处理方面的论文阅读笔记
j_study的专栏
04-15 2581
计算机视觉、图像处理方面的论文阅读笔记，推荐大家看一下http://zhangliliang.com/。 方便懒人了解计算机视觉方面的进展。 感谢作者。
GoogleNetV3详细结构图及其keras实现
yao1249736473的博客
04-16 1835
目录 GoogleNetV3结构图 Keras完整代码 GoogleNetV3结构图 该结构图是由Google论文中给出的表格细化而来，程序是自己编写的，Injection层的输出shape与论文中给出的由细微差别，如有错漏请多多指教。 上图为论文中给出的结构表格，下图是keras.plot生成的详细结构： Keras完整代码： 将想要进行训练的图片放在...
五、GoogleNet V3论文总结
weixin_40620310的博客
08-23 285
五、GoogleNet V3 论文导读 论文主题： 重新思考计算机视觉中的Inception结构 研究背景（回顾）： 1、GoogLeNet-V1主要采用了多尺度卷积核、1x1卷积操作、辅助损失函数； 2、GoogLeNet-V2在V1的基础上加了BN层，使用小卷积核堆叠替换大卷积核； 研究意义： 1、总结模型设计准则，为卷积神经网络模型设计提供参考； 2、提出3个技巧，结合Inception，奠定Inception系列最常用模型——Inception-V3； 论文概要 4个网络结构设计准则 1
解释一下下面这个代码export CUDA_DEVICE_ORDER=PCI_BUS_ID export CUDA_VISIBLE_DEVICES=0,1 cd src # train python main.py \ ddd \ --exp_id centerfusion \ --shuffle_train \ --train_split mini_train \ --val_split mini_val \ --val_intervals 1 \ --run_dataset_eval \ --nuscenes_att \ --velocity \ --batch_size 24 \ --lr 2.5e-4 \ --num_epochs 60 \ --lr_step 50 \ --save_point 20,40,50 \ --gpus 0 \ --not_rand_crop \ --flip 0.5 \ --shift 0.1 \ --pointcloud \ --radar_sweeps 3 \ --pc_z_offset 0.0 \ --pillar_dims 1.0,0.2,0.2 \ --max_pc_dist 60.0 \ --load_model ../models/centernet_baseline_e170.pth \ # --freeze_backbone \ # --resume \ cd ..
06-12
这段代码主要是用来训练一个名为CenterFusion的目标检测模型，使用了DDDet（一个基于PyTorch的目标检测框架）。其中： - export CUDA_DEVICE_ORDER=PCI_BUS_ID export CUDA_VISIBLE_DEVICES=0,1：设置使用哪些GPU进行训练。 - cd src # train：进入src目录下进行训练。 - python main.py：运行main.py文件，即训练脚本。 - ddd：指定使用的模型是DDDNet。 - --exp_id centerfusion：设置训练实验的名称为centerfusion。 - --shuffle_train：在每个epoch开始前，打乱训练集的样本顺序。 - --train_split mini_train：使用mini_train作为训练集。 - --val_split mini_val：使用mini_val作为验证集。 - --val_intervals 1：设置每隔1个epoch进行一次验证。 - --run_dataset_eval：在训练过程中进行数据集的评估。 - --nuscenes_att：使用nuscenes属性进行训练。 - --velocity：使用速度信息进行训练。 - --batch_size 24：设置batch size为24。 - --lr 2.5e-4：设置学习率为2.5e-4。 - --num_epochs 60：设置训练的总epoch数为60。 - --lr_step 50：设置学习率下降的epoch数。 - --save_point 20,40,50：设置保存模型的epoch数。 - --gpus 0：设置使用的GPU编号为0。 - --not_rand_crop：不使用随机裁剪。 - --flip 0.5：进行数据增强时，以0.5的概率进行翻转。 - --shift 0.1：进行数据增强时，以0.1的概率进行平移。 - --pointcloud：使用点云数据进行训练。 - --radar_sweeps 3：设置雷达扫描数为3。 - --pc_z_offset 0.0：设置点云高度偏移量为0.0。 - --pillar_dims 1.0,0.2,0.2：设置pillar的尺寸为1.0*0.2*0.2。 - --max_pc_dist 60.0：设置点云距离的最大值为60.0。 - --load_model ../models/centernet_baseline_e170.pth：加载已经训练好的centernet_baseline_e170.pth模型。 - # --freeze_backbone \：注释掉的代码，原本可以冻结骨干网络，使得训练更加稳定。 - # --resume \：注释掉的代码，原本可以从已经训练好的模型继续训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值