Jadelyw的博客

1.    正则化(regularization)正则化是指修改学习算法，使其降低泛化误差而非训练误差。1)     L2正则化，也称权重衰减(weight decay)，正则项为加入正则化后，总的目标函数为：求其偏导:梯度下降更新权重:所以，加入权重衰减后会引起学习规则的修改，即在执行梯度更新之前先收缩权重向量。过拟合，就是拟合函数需要考虑每一个点，最终形成的拟合函数波动过大，在某些小区间内，函...

1. 偏差和方差       了解导致偏差(bias)和方差(Variance)的不同误差源有助于我们改进数据的拟合过程，从而产生更准确的模型。我们以三种方式定义偏差和方差：概念、图形和数学。1.1 概念      由偏差引起的误差：由偏差引起的误差被视为模型的期望或者平均预测与正确值之间的差异。当然，我们只有一个模型，之所以说期望或者平均预测值是可以假设多次重复整个模型的构建过程。偏...

1 简介       最近的研究表明，如果卷积神经网络中靠近输入和输出层之间存在短链接，那么网络可以更深、更精确，并且能够更有效的进行训练。我们接受这一观察并且提出密集卷积神经网络，该网络以前馈方式将每层连接到每个其他层。具有L层的传统的卷积神经网络，其有L个连接，当前层只与下一层有一个连接；而我们提出的DenseNet，其具有L(L+1)/2个连接，当前层与后边的每一层都有一个连接。对于每一层，...

1 简介       我们知道，增加网络深度能够提高准确率， 但是否是简单的堆叠更多的层就能学习到很好的网络？答案显然是否定的，众所周知的问题就是存在梯度消失和梯度爆炸现象。解决这两个问题通常是使用归一化方式的初始化以及中间层标准化。       另外一个问题是：随着网络深度的增加，准确率饱和并且迅速下降，我们称这种现象为退化(degradation)问题，这种问题并不是由于过拟合造成的，而是在合...

      GoogLenet主要是提出了一种叫做Inception的结构，该结构提高了网络内部计算资源的利用率，在增加网络的深度和宽度的同时保证计算预算不变。      一般的卷积神经网络都是堆叠卷积层、BN层、池化层还有一些全连接层，而GoogLenet真正摈弃了这些传统的结构。      如果想要提高神经网络的性能，最直接的办法就是增加网络的深度和宽度，深度是指网络的层数，宽度指网络中每一层...

摘要模型蒸馏是将知识从教师模型传给学生模型有效且被广泛使用的技术，典型的应用就是将一个很大并且能力很强的网络中集成到一个比较小的网络中，因为小的网络更加满足低存储和高效率的要求。在本文中，我们提出一种深度相互学习策略，在训练的过程中学生网络和教师网络可以相互合作学习，而不是单方向的学生从教师那里学习。我们的实验表明各种网络架构都能够从相互学习策略中受益，并且在CIFAR-100和行人重识别数据集M...

1.  前序VGGNet的名称来源于VisualGeometry Group，它是牛津大学的计算机视觉组。VGGNet的论文题目是：VeryDeep Convolutional Networks For Large-Scale Image Recognition. 本文主要罗列一些VGGNet的创新点。最主要的贡献点：发现使用小尺寸的卷积核能够设计比较深的网络。2.  卷积神经网络架构训练图像的大...

图像处理中，传统的神经网络采用全连接的方式，即输入层到隐藏层的神经元都是全部连接的，这样做将导致参数量巨大，使得网络训练耗时或者难以训练，而卷积神经网络通过局部连接、权值共享等方法避免这一困难。1.    卷积层1)     为什么使用卷积层或者卷积层的作用是什么？卷积层的作用是提取特征，主要是作用于局部区域获取图像的局部信息，卷积层相较于全连接层具有局部连接和权值共享的特点，局部连接...

1.    数据的预处理操作：1)     如果使用预训练模型，一定要进行标准化；2)     Shuffle，训练数据集要打乱顺序；3)     针对训练图像，选择适合的数据增强方法；2.    模型的操作1)     选择合适的模型初始化参数。2)     设置合适的学习率，使用预训练模型时，可以先设置为1e-4，然后再根据效果进行调整。3)     激活函数选择Relu，加入BN或者drop...

1.    怎样评估一个机器学习算法的好坏？机器学习的目的就是为了能够让先前未观测到的数据在训练模型上有良好的表现。这种在先前未观测到的输入上表现良好的能力称为泛化(generalization)。所以，泛化能力越强的模型对应的算法越好。2.    泛化误差具体怎样表达？通过度量模型在测试集上的性能，来评估机器学习模型的泛化误差。所以，模型在训练的过程中是最小化训练误差，而我们关注的是测试误差(泛...

1. 简介        深度神经网络包含多个非线性隐藏层，这使得它能够学习输入和输出之间的复杂关系，但我们不可否认的是：在实际情况中，即使测试集和训练集来自同一分布，训练集仍会存在噪声，那么网络就会同时学习数据和噪声的分布，这样就会容易导致过拟合。       在机器学习中，我们通常采用模型组合来提高模型的性能。然而，对于大型的神经网络来说，对多个网络模型的输出取平均的做法是耗费时间...