深度学习中训练的那些tricks

最新推荐文章于 2023-12-04 21:48:22 发布
转载 最新推荐文章于 2023-12-04 21:48:22 发布 · 765 阅读 · 0

本文总结了卷积神经网络(CNN)训练过程中的多种优化技巧，包括数据增强、预处理、初始化、激活函数选择等关键步骤，并提供了实用的见解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

全文参照：http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html


1. Data Augmentation


2. Pre-processing


3. Initialization


4. During training


5. Activation functions


6. Regularizations


7. Insights from figures


8. Ensemble

深度学习论文: Bag of Tricks with Quantized Convolutional Neural Networks for image classification
mingo_敏
08-10 226
本文对首先对PTQ量化的有效方法进行了系统地改进和优化，并在实践中建立了一个黄金准则。遵循这个准则，8位量化的模型可以达到与全精度模型相当的准确性，而无需额外的训练。此外提出了一种简单高效的量化感知训练策略，在较低精度的设置中进一步提高了准确性。最后，作者证明了量化可以与剪枝策略结合使用，并提出了一个多阶段微调的流程将它们连接在一起。
深度学习系列资料总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
深度学习之常见tricks
Leo的博客
01-07 4390
本文主要给出了在实现网络或者调节代码过程使用的以及平时看一些文章记录下来的一些小技巧，主要针对卷积网络和图像处理。就个人感受，有些技巧还是非常有效的，而且通常可以通过看开源库的一些文档或者源代码来发掘这些内容，最后能够称为自己所用。 1.构造validation set 一般数据集可能不会给出验证集，所以自己会从给的训练集中按照一定比例（9：1）分离出验证集。 2.增加训练数据 为了更好的
深度学习训练 tricks（持续更新）
最新发布
Cleo_Gao的博客
12-04 1230
本文持续更新，如果有什么你知道的深度学习模型训练技巧，可以在评论区提出，我会加进来的。
深度学习tricks
周航的专栏
02-26 474
1 先把预训练模型的特征层抽出来当作一个net，然后让所有的数据过一遍这个net，算是预训练完了。因为不需要计算梯度，可以将bitch_size开到很大，同样只过一遍，速度也很快。 然后把过一遍的数据保存的本地，然后新建一个全链接层的小net，然后加载保存的数据进行训练，同样，因为网络小，bitch_size也可以开到很大，而且速度飞快 2 使用更好的显卡跑训练，节省生命 训练的时候观察 ...
深度学习中的各种tricks_2.0_maxout
VisualCortex
11-18 771
深度学习中的各种tricks_2.0_maxout
【深度学习】Tricks
mjiansun的专栏
01-07 713
图像 分类 以精度提升为目的 （1）数据增强：该方法是为了扩大数据的多样性。常规包括以下几种方式： 旋转，上下翻转，左右翻转，镜像，仿射变换，颜色通道变换，亮度变换，色相变换，饱和度变换，随机裁剪，高斯、中值、平均模糊，对比度增强，锐化，以及将前面的几种变换组合成为一种变换。这里需要提醒的是并不是使用的增强方法越多效果越好，每一种数据都有其有效性，我认为一般情况下选用其中的4-6个变换即可，这些变换最好能贴合实际情况。另外我发现直接将数据进行增强完训练其效果不如在训练时对数据进行随机的一种或几种变换
图像分类训练中的 tricks
11-17
在图像分类训练中，提升模型性能的关键因素不仅仅是选择合适的深度学习模型，还包括一系列的数据处理和训练技巧。这些所谓的“tricks”能够显著提高模型的准确率，并且对目标检测和图像分割等计算机视觉任务同样有效...
深度学习tricks——学习率策略
Peach_____的博客
01-31 675
【代码】深度学习tricks——学习率策略。
[深度学习教程] 训练的tricks
aqwca的博客
10-04 132
最近在看微软的AI for Beginners,质量比较高,这里相当于将其中的一篇文章写过来加点自己的理解.模型的训练的一个主要问题是梯度爆炸或者梯度消失,前者会导致训练不稳定,表现出来就是损失值不稳定,一直都处在较高值降不下去,后者就是更新缓慢.下面介绍一些技巧。
深度学习Tricks
qq_21843433的博客
12-01 471
Tricks1. Label Smoothing(标签平滑)2... 1. Label Smoothing(标签平滑)   在多分类问题过程中，通常将各种类别信息提取到向量中存储，一般以[0,1,2]的离散形式，被称为one-hot vector。而在最终类别概率的信息存储中，深度学习所得到的one-hot vector通常是[0，1，0]，这代表着某一类的概率为1，其余都为0。 这种存储的形式在训练损失函数的过程中会有俩个问题：  ① 无法保证模型的泛化能力，容易造成过拟合。  ② 预测概率和其余概率相差
深度学习之----Must Know Tips/Tricks in Deep Neural Networks
zxyhhjs2017的博客
07-17 988
http://210.28.132.67/weixs/project/CNNTricks/CNNTricks.html
深度学习模型训练调参的tricks总结
ytusdc的博客
12-31 6785
学习率是一个非常非常重要的超参数，这个参数呢，面对不同规模、不同batch-size、不同优化方式、不同数据集，其最合适的值都是不确定的，我们无法光凭经验来准确地确定lr的值，我们唯一可以做的，就是在训练中不断寻找最合适当前状态的学习率。比如下图利用fastai中的lr_find()函数寻找合适的学习率，根据下方的学习率-损失曲线得到此时合适的学习率为1e-2。
用什么tricks能让模型训练得更快？先了解下这个问题的第一性原理
zandaoguang的博客
03-29 176
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨Horace He来源丨机器之心编辑丨极市平台导读深度学习是门玄学？也不完全是。每个人都想让模型训练得更快，但是你真的找对方法了吗？在康奈尔大学本科生、曾在 PyTorch 团队实习的 Horace He 看来，这个问题应该分几步解决：首先，你要知道为什么你的训练会慢，也就是说瓶颈在哪儿，其次才...
神经网络训练中的一些tricks
breeze_blows的博客
02-20 893
持续更新。。。 总结一些关于神经网络训练的trick 1. val的运用 不一定最后一个epoch得到的结果就是最好的
深度卷积神经网络（CNN tricks）调参技巧
edmond999的专栏
10-12 963
做卷积神经网路方面的研究，有时会遇到一些苦恼。大抵是： 1、复现别人的网络，得不到相同的表现。 2、自己的网络调参，结果调不上去。 所以有些大佬就总结了一些调参的tricks,在这里学习记录一下，然后加上一些自己的理解。 影像神经网络效果的因素可能有但不限于以下几点： 学习率调节 优化器 初始化方法 标签平滑 归一化 学习率 好的学习率可以让调参过程事半功倍，那么什么是好的学习率呢， source：https://sgugger.github.io/how-do-you-find-a-good-lear
深度学习调参tricks总结
3D视觉工坊
10-18 2100
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨山竹小果来源丨NewBeeNLP编辑丨极市平台导读本文总结了一系列深度学习工作中的调参策略，并含有多个训练技巧，非常实用。寻...
深度学习中的trick
u013102349的博客
03-01 1万+
下面浅谈深度学习中的技巧。学习率（learning rate）学习率的设置应该随着迭代次数的增加而减小，每迭代完指定次epoch也就是对整个数据过一遍，然后对学习率进行变化，这样能够保证每个样本得到公平的对待。卷积神经网络CNN中的技巧CNN中将一个大尺寸的卷积核分解成多层的小尺寸的卷积核或者分解成多层的一维卷积，这样能够减少参数并增加非线性。CNN中的网络设计应该逐渐减少图像尺寸，同时增加通道数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值