TEDDY的博客

预处理提速尽量减少每次读取数据时的预处理操作，可以考虑把一些固定的操作，例如 resize ，事先处理好保存下来，训练的时候直接拿来用 Linux上将预处理搬到GPU上加速： NVIDIA/DALI ：https://github.com/NVIDIA/DALI 作者：人民艺术家链接：https://www.zhihu.com/question/307282137/answer/907835663来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。IO提速.

two-stage：以R-CNN系列为代表，这类方法通常包括两个部分，第一部分先使用selective search、卷积神经网络等筛选出一些proposal boxes，然后第二部分再对这些proposal boxes进行分类和回归。这就相当于进行了两次分类和回归，因此检测的准确率较高，但是可想而知检测的速度也就比较慢了。 one-stage：以YOLO为代表，这类方法的主要思路就是在图片的不同位置进行密集采样，然后使用CNN网络提取特征并直接进行分类和回归，整个过程只要一步就可完成。这种方法的优势是检

IOUIOU在0~1之间，两个框完全重合为1，所以 为0时没有重合，即值越低 IOU效果越差IOU loss = 1 - IOU，loss 越小，效果越好，这是 IOU loss 和 IOU 的区别GIoU目标检测中的IOU&升级版GIOU - 知乎IoU的局限性预测框和真实框之间没有重合时，IoU 值为 0， 导致优化损失函数时梯度也为 0，意味着无法优化。当IOU=0时：https://www.zhihu.com/equation?tex=GIOU%3D-1%2

【结构变迁】LeNet：第一个成功的卷积神经网络。 AlexNet：类似LeNet，层次更深更大。使用了层叠的卷积来抓取特征（通常是一个卷积层马上一个maxpooling层）。 ZF Net：增加了中间卷积层的尺寸，让第一层stride和filter size更小。 VGG：只使用filter size = 3和pooling size = 2 从头到尾堆叠。 GoogLeNet：较少参数量，最后一层用平均池化代替全连接层，top-1成功率提高了0.6%。 ResNet：引入了跨层连接和bat

见这篇，讲的很详细：https://www.cnblogs.com/Ann21/p/9824466.html

深度学习训练策略-学习率预热 Warm upWarm up 主要解决如下几个问题：训练是否成功的问题，参考这篇（1）训练出现NaN：当网络非常容易nan时候，采用warm up进行训练，可使得网络正常训练；（2）过拟合：训练集损失很低，准确率高，但测试集损失大，准确率低，可用warm up；具体可看：Resnet-18-训练实验-warm up操作其他几篇可以参考的文章：https://blog.youkuaiyun.com/weixin_40051325/article/deta...

什么是过拟合？过拟合也就是你的模型泛化能力差，在训练集上效果很好，但是在验证集和测试集或者实际场合里效果差的表现。怎么判断是不是过拟合？训练时准确率高，验证时准确率低。过拟合产生的原因：1.神经网络的学习能力过强，复杂度过高2.训练时间太久3.激活函数不合适4.数据量太少5.数据集样本不够丰富，或者存在标签失真，不合理，或者样本存在脏数据解决办法:1.降低模型复杂度，dropout2.即时停止3.正则化4.数据增强偏差和方差Error = Bias .

resnet 解决了随着CNN网络深度的加深，网络性能退化的一个问题。具体解释见 （11：20）：飞桨开发者live：手把手教你玩转工业质检_哔哩哔哩_bilibili一分钟带你认识残差模块对百度vd模型解读（14：40）：飞桨开发者live：手把手教你玩转工业质检_哔哩哔哩_bilibili很好的解释：深度学习经典网络（4）ResNet深度残差网络结构详解_青衫憶笙-优快云博客_resnet网络结构论文翻译中文版2. 怎么解决退化问题？...

关于梯度的概念梯度是微积分中一个很重要的概念，之前提到过梯度的意义在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向。这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的方

一些轻量级的网络，如mobilenet中，会有深度可分离卷积depthwise separable convolution，由depthwise(DW)和pointwise(PW)两个部分结合起来，用来提取特征feature map相比常规的卷积操作，其参数数量和运算成本比较低常规卷积操作对于一张5×5像素、三通道（shape为5×5×3），经过3×3卷积核的卷积层（假设输出通道数为4，则卷积核shape为3×3×3×4，最终输出4个Feature Map，如果有same padding则尺寸与

https://cloud.tencent.com/developer/article/1347755另外推荐一种调参记录的方式

L1和L2正则化L1和L2正则化（岭回归和LASSO）_海军上将光之翼的博客-优快云博客_l1正则化回归L1和L2损失L1和L2损失函数(L1 and L2 loss function)及python实现_海军上将光之翼的博客-优快云博客_l2损失L1与L2损失函数和正则化的区别 - 山阴少年 - 博客园图像卷积神经网络损失函数正则化一般 L2正则化用的多，参考​​​​​​​...

我们在阅读文章的时候，经常看到backbone head neck 这一类的术语，但是我们可能并不知道是什么意思，这篇文章就是对这些术语进行解释：backbone：翻译为主干网络的意思，既然说是主干网络，就代表其是网络的一部分，那么是哪部分呢？这个主干网络大多时候指的是提取特征的网络，其作用就是提取图片中的信息，共后面的网络使用。这些网络经常使用的是resnet、VGG等，而不是我们自己设计的网络，因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候，都

个人博客里的一些数据集http://www.ee.cuhk.edu.hk/~xgwang/datasets.html

首先，动机当然是为了 降低模型的参数量，尤其是模型到了后面的输出层这里。首先我们来看一下全连接层的缺点：在AlexNet及其之前的大抵上所有的基于神经网络的机器学习算法都要在卷积层之后添加上全连接层来进行特征的向量化，此外出于神经网络黑盒子的考虑，有时设计几个全连接网络还可以提升卷积神经网络的分类性能，一度成为神经网络使用的标配。但是，我们同时也注意到，全连接层有一个非常致命的弱点就...

数据层面：我的两方面理解：1 观察值与真实值存在偏差：训练样本的获取，本身就是一种 抽样。抽样操作就会存在误差， 也就是你的训练样本 取值 X， X= x(真值) + u（随机误差)，机器学习的 优化函数 多为 min Cost函数，自然就是尽可能的拟合 X，而不是真实的x,所以 就称为过拟合了，实际上是学习到了真实规律以外的 随机误差。举个例子说，你想做人脸识...

在各个领域，有一个词眼出现得越来越频繁，即Pipeline。开始接触的时候，百思不得其解，要么觉得作者在 用个 洋名字 在装 高大上，其实，鲁迅先生说过一句话，太阳底下没有新鲜事一切的一切，都是纸老虎，Pipeline，你 土味一点 你把它 翻译成 一条龙服务专业一点，叫 它 综合解决方案，就行。算法或者大数据分析里的可重复使用，针对新的数据，直接输入数据，...

直观感受：参考：卷积神经网络中的卷积核真的仅仅在挪动？ - 数学推导详细https://www.cnblogs.com/xinxingwu/p/11220068.html图卷积神经网络(GCN)入门 - Jamest - 博客园https://www.cnblogs.com/hellojamest/p/11678324.html数学推导：留坑，待更新...

我将从Lenet 开始，以时间线为维度，从各大经典网络里抽取 每一个网络 提出的各种经典的网络结构，方法做个汇总，讲解，也当作一个自己的知识梳理。

一句话：全连接层的一个神经元对应一个输入。换句话说，全连接层要求固定的输入维度。

我们假设在Resnet101后面加上一个全连接层，然后我们锁住前面Resnet的参数，不参加梯度更新，然后只更新最后一个全连接层的参数。当全连接层的loss足够小的时候，再释放所有的参数一起训练。这样Resnet的参数也会微微调整，这就是finetune；迁移学习transfer learning与微调fineTune的区别？一看就懂 - 知乎...

将从讲解，代码实现，复现，到甚至后面的结果验证，持续更新(22条消息)【计算机视觉】详解分类任务的视觉注意力：SENet、CBAM、SKNet (视觉注意力机制 (二))_人工智能_棠雪清芬-优快云博客https://blog.youkuaiyun.com/qq_39478403/article/details/105458511...

一. 初始化有人用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。或者直接用预训练模型，采用百度工程师推荐的warmup，然后再 finetune，怎么finetune，看我以前的文章。二.从理解CNN网络以产生直觉去调参数的角度考虑，应该使用可视化可视化（知乎用户 杨军）刚开始, 先上小规模数据, 模型往大了放, 只要不爆显存, 能用256个filter你就别用128个. 直接奔着过拟合去. 没错, 就是训练过拟合网络, 连测试集...

都是卷积2个特点，局部连接，权重共享，但这个权重共享，每一个卷积核，比如，一个3x3×32 的卷积核，它每一个维度上的权重是共享的吗？非也，看这篇文章,有一段佳话：输入channel=32输出channel=64那么排列组合就是64*32，在这里实现了特征的组合，所以需要的权重数量是3x3×64×32卷积核中的数值会进行一个初始化，但是里面的数值其实就是权重值，标红的地方就表示，即使 同一个卷积核，每一个维度的卷积权重都是不一样的。后面更多拓展：理解分组卷积和深度可分..

暂时发现如下宝藏专栏，有空把下面的看了，根据入门先到后再重新排序。根据看完每一篇，其中有看不懂的，备注，解释，再贴出来。一文读懂卷积神经网络中的1x1卷积核 - 知乎https://zhuanlan.zhihu.com/p/40050371CNN更新换代！性能提升算力减半，还即插即用 - 知乎https://zhuanlan.zhihu.com/p/62598364为什么MobileNet及其变体如此之快？ - 知乎https://zhuanlan.zhihu.com/p/641384

CNN从2012年的AlexNet发展至今，科学家们发明出各种各样的CNN模型，一个比一个深，一个比一个准确，一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点，从这些充满革新性的工作中探讨日后的CNN变革方向。注：水平所限，下面的见解或许有偏差，望大牛指正。另外只介绍其中具有代表性的模型，一些著名的模型由于原理相同将不作介绍，若有遗漏也欢迎指出。一、卷积只能在同一组进行吗？-- Group convolutionGroup convolution 分组卷积，最早在AlexN.

神经网络靠反向传播更新权重W才能使得我的模型越来越逼近我想要的模型，而这个过程，因为梯度下降是函数值下降最快的方向，因此，（ML常用的除了梯度下降还有牛顿方法，核方法，求逆，MS算法(胶囊网络号称没用梯度下降，就是用了这个的变体)。）1.什么是梯度下降法绝大部分的机器学习算法最后都是最优化一个目标函数，而梯度下降算法是寻找一个函数局部最优解的有效方法。顺着梯度下滑，找到最陡的方向，迈一小步，然后再找当前位，置最陡的下山方向，再迈一小步…以上那个图是二元的目标函...