何少的博客

Abstract很多元学习方法都依赖于简单的基础学习者，比如最近邻分类器。然而，即使是在很少的情况下，经过区别训练的线性预测器也能提供更好的泛化。我们建议使用这些预测器作为基础学习者来学习用于少镜头学习的表示，并表明它们在一系列少镜头识别基准中提供更好的特征大小和性能之间的折衷。我们的目标是学习新类别在线性分类规则下的特征嵌入。为了有效地解决这个问题，我们利用线性分类器的两个性质:凸问题最优性条件的隐式微分和优化问题的对偶公式。这允许我们使用高维嵌入和改进的泛化，并在计算开销上略有增加。我们的方法，名为M

AlexNet卷积神经网络取得的第一个进步是AlexNet网络，它是在2012年提出的。这里有一些关键的改进：它提出了ReLu，也就是有助于防止消失的梯度问题；它也引入了dropout的概念，使得每层中神经元随机地打开和关闭，防止过拟合。如果你的数据过于相似，它不能够对相似但不同的图像进行分类，因为它过拟合了你的训练数据。因此dropout是一种防止过拟合的正则化技术，通过随机地打开和关闭神经...

显存占用不是和batch size简单成正比增大batch size能减缓梯度震荡，需要更少的迭代优化次数，收敛的更快，但是每次迭代耗时更长。要想收敛到同一个最优点，使用整个样本集时，虽然迭代次数少，但是每次迭代的时间长，耗费的总时间是大于使用少量样本多次迭代的情况的。实际上，工程上在使用GPU训练时，跑一个样本花的时间与跑几十个样本甚至几百个样本的时间是一样的！当然得益于GPU里面超多的核...

神经网络激活函数汇总

全连接层（Fully connected layer）定义：全连接层（FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为11的卷积；而前层是卷积层的全连接层可以转化为卷积核为hw...

DeepWalkDeepWalk基本思想DeepWalk是最早提出的基于 Word2vec 的节点向量化模型。其主要思路，就是利用构造节点在网络上的随机游走路径，来模仿文本生成的过程，提供一个节点序列，然后用Skip-gram和Hierarchical Softmax模型对随机游走序列中每个局部窗口内的节点对进行概率建模，最大化随机游走序列的似然概率，并使用最终随机梯度下降学习参数。其目标函...