CNN中卷积神经网络的技巧trick总结（图像识别/目标检测/语义分割）

最新推荐文章于 2024-04-28 00:30:00 发布

原创

最新推荐文章于 2024-04-28 00:30:00 发布 · 4.8k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#卷积神经网络 #深度学习技巧 #神经网络tricks

本文总结了卷积神经网络（CNN）在图像识别、目标检测和语义分割任务中的优化技巧，包括预处理策略、参数初始化、训练过程的优化，如批量训练、学习率调整、模型结构改进等，还探讨了这些技巧在迁移学习中的应用。

CNN图像分类的tricks

原文

Baseline：

预处理：

随机抽取一张图片，解码成32位浮点型的[0,255]的像素值形式
随机在原图上裁剪一片比例在[3/4, 4/3]，面积在[8%, 100%]的矩形区域，然后resize到224x224
按0.5的概率对上一步的图片水平翻转
在[0.6, 1.4]之间均匀采样系数用于缩放色调、饱和度和亮度(HSB)
按正态分布N(0, 0.1)采样系数，用于添加一个PCA噪声
在图片的RGB通道上分别减去123.68，116.779，103.939然后除以58.393，57.12，57.375进行归一化。

验证：
保持验证图片的比例不变，将短边缩放到256，然后在其正中裁剪一块224x224的区域，并按和预处理中一样进行归一化。

参数初始化：

卷积层和全连接层的参数都是用Xavier算法初始化，使用中会将参数在[-a,a]之间均匀随机选取，a又由输入输出通道数决定a=sqrt(6/(in_channels+out_channels))。所有的bias都初始化为0。BN层的γ初始化为全1向量，β初始化为全0向量。

训练过程：

梯度更新策略使用NAG，每个模型在8个V100上训练120个epoch，batch size为256，学习率初始化为0.1，每30epoch衰减为1/10。

充分利用硬件：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Kivee123

关注关注

4
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

计算机视觉竞赛技巧总结（二）：图像分割基础篇

专注大数据与人工智能技术分享，欢迎私信加群互相学习！

03-25

7695

本系列主要面向计算机视觉目标检测、图像分割及OCR等领域进行竞赛总结，本文为第二篇，主要介绍图像分割领域知识，分别从概述、开源框架、模型选择、常用Tricks等方面展开介绍，主要面向深度学习CV方向同学学习，希望大家能够多多交流，欢迎订阅本专栏，如有错误请大家在评论区指正，如有侵权联系删除。

参与评论您还未登录，请先登录后发表或查看评论

目标检测YOLO实战应用案例100讲-基于深度学习的水下图像增强及目标检测算法研究与应用（中）

最新发布

qq_36130719的博客

04-28

1306

和基于深度学习的方法CycleGAN[64]，UGAN[36]，Water-Net[42]，UWGAN[38]（underwaterGAN，水下GAN）和FUnIE-GAN[89]。图4-9为典型的水下色偏的图像，大多数增强方法对其颜色校正的效果有限。比较方法包括传统方法FE[12]，RB[16]，RCP[26]，UDCP[23]，IBLA[28]，Uhaze-line[30]，方法，图像复原方法：RCP[26]，UDCP[23]，IBLA[28]，和Uhaze-line[30]方法，以及基于。

【Kaggle竞赛猫狗分类】1.3 卷积神经网络中的Tricks（使用keras为例）

jianhunhenbaqi的博客

07-08

1103

Kaggle竞赛的猫狗分类：https://www.kaggle.com/c/dogs-vs-cats/ -展示如何使用卷积神经网络CNN的Tricks如Dropout、数据增强、预训练、Ensemble、多任务学习，来提高CNN的泛化能力。 CNN 0.下载和解压猫狗图片数据集猫狗分类数据集下载: https://www.kaggle.com/c/dogs-vs-cats/data 下载好后解压到相应文件夹。 1.加载和处理猫狗图片数据集 1.1加载数据集（划分为猫狗两个文件夹） from ker

PVAnet论文笔记与CNN常用结构和trick小结

m0_37731749的博客

04-23

849

《PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection》想和大家分享一篇早一点的论文，主要目的有两点。一是做一个学习笔记备份，以防我的OneNote那天崩了。二是这篇文章运用了先前许多论文的trick和优点，可以通过这篇文章回顾一下CNN的进化史。论文地址：https://arxiv.org/abs/...

基于cifar数据集的卷积神经网络优化trick的表现

一只小菜鸟的博客

03-31

361

网上开源代码如下 # CIFAR-10数据集训练 import sys sys.path.append(&quot;models/tutorials/image/cifar10&quot;) # 下载和读取CIFAR-10的类 import cifar10,cifar10_input import tensorflow as tf import numpy as np import time # 训练轮数 max_...

深度学习 CNN trick 合集

zandaoguang的博客

06-14

446

来自 | 知乎作者|sticky链接 |https://zhuanlan.zhihu.com/p/137940586编辑| 深度学习这件小事公众号本文仅作学术交流，如有侵权，...

CNN做遥感图像目标识别完整代码

08-17

提供了一套完整的方案，包括图像处理和图像识别，可以拿来尝试并fine tune一下

卷积神经网络——实例分割之Mask R-CNN论文翻译

itlilyer的博客

09-29

4966

论文链接 https://arxiv.org/abs/1703.06870 相关论文翻译链接 R-CNN：https://blog.youkuaiyun.com/itlilyer/article/details/107190083 Fast R-CNN：https://blog.youkuaiyun.com/itlilyer/article/details/107764472 Faster R-CNN：https://blog.youkuaiyun.com/itlilyer/article/details/108049850 Mask R-C

【深度学习】语义分割-综述(卷积)

zhe470719的博客

05-07

3644

这里写目录标题0.笔记参考1. 目的2. 困难点3. 数据集及评价指标3.1数据集3.2评价指标4.实现架构5. 模型发展5.1基于全卷积的对称语义分割模型5.1.1FCN（2014/11/14）5.1.1.1具体过程5.1.1.2 CNN 与 FCN5.1.1.3全连接层 -> 成卷积层5.1.1.4 upsampling5.1.1.5局限5.1.2 SegNet（2015/11/2）5.1.2.1 结构5.1.2.2 decoder变体SegNet-Basic5.1.2.3 对比SegNet和FC

基于深度卷积神经网络的目标检测研究综述

Dr4gonfly的博客

09-28

1526

深度卷积神经网络概述　卷积神经网络是一种常用的深度学习网络框架。１９５９年，Ｈｕｂｅｌ＆Ｗｉｅｓｅｌ［１３］发现视觉系统中的可视皮层处理信息是分级处理的。20世纪90年代，ＬｅＣｕｎ等人［１４］建立了ＣＮＮ的现代结构，并对其进行了改进。他们设计了一种可以对手写数字进行分类的ＬｅＮｅｔ－５网络。与其他神经网络相同，也能使用反向传播算法［１５］对数据进行训练。 卷积神经网络可以获取原始图像的有效表示，这使得它能够通过很少的预处理直接从原始像素识别视觉之上的规

一文概览卷积神经网络中的类别不均衡问题

机器之心

11-01

5140

该论文的作者以两种典型的不均衡为例，系统地研究并比较了解决 CNN 中类别不均衡问题的各种方法，在三个常用数据集MINIST、CIFAR-10 和 ImageNet上用统一标准进行实验，得出了综合性的结果，富有参考和指导意义。论文链接：https://arxiv.org/abs/1710.05381 摘要：在这篇论文中，我们系统地研究了卷积神经网络中类别不均衡会给分类性能

用CNN实现全景图像语义分割！

Datawhale

09-16

1609

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：张强，Datawhale成员相信许多读者体验过b站上的全景视频，如果还没有，...

CNN-语义分割Head及自动驾驶应用

yly的博客

08-25

1423

一、监督中间过程使训练的权重分布更符合物理意义->提高准确率深网络参数量大于系统的自由度，或多或少地都存在过拟合，因此不同的训练方式可以获得不同的权重分布，而好的权重分布可以提升准确率。那么什么是好的权重分布？对于单纯的端到端的训练，得到的中间层输出的物理意义不强，加强中间层输出的物理意义就可以得到更合理的权重分布。基于这种思想，有两种方法可以加强中间层输出的物理意义。 1、采用先训练...

语义分割的小trick

qq_38343151的博客

07-21

1874

特征图解析度对图像进行连续的下采样会造成图像解析度的下降，会导致两个缺点：１．造成空间信息的损失，造成无法分割细节信息２．与下采样对应，我们需要做连续的上采样，将会增大模型尺寸与计算成本虽然有上面两个缺点，但是语义分割任务下采样是不得不做的，如果不进行下采样，则每次卷积都在原图大小上进行，这将是非常非常大的计算量，这也是为什么deeplab系列只有部分下采样替换为空洞卷积的原因．既然下采样非做不可，那么我们应该如何减小上面两个缺点的影响呢？　　FCN网络提出了跳跃结构，即不同卷积层次的特征图都用于

图像分割（语义分割）的局限以及解决方法

weixin_46720482的博客

10-11

9444

CNN作为最基础的框架，存在很多的问题：比如语义分割除了语义信息还需要细节信息，因此UNet等论文给出了解决方案。比如语义分割需要上下文信息，因此PSPNet、Deeplab系列、基于自注意力机制的一系列方法（Non-Local、DANet、CCNet等）等被提出来获取局部、多尺度乃至全局上下文。比如语义分割对于物体边缘的分割效果不理想，因此Gated-SCNN等方法也在着力解决这些问题。

【深度学习】语义分割：论文阅读：(CVPR 2022) MPViT（CNN+Transformer）：用于密集预测的多路径视觉Transformer