Dorothy_Xue

1. 权重衰减（weight decay）：L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。2. L2正则化与权重衰减系数：L2正则化就是在代价函数后面再加上一个正则化项：上式中是原始代价函数，是正则项系数（也就是权重衰减系数），权衡正则项与项的比重；是L2正则化项，即所有参数w的平方和，除以训练集的样本大小n。附...

1. 比如有一幅图像，里面有房子有车有人，在这整张图上提取特征，提取的是全局的特征；现在，截取图像的一部分，比如截取汽车的部分，并将其放大至与原图相同的尺寸，在此时截取后放大的图上提取特征，提取的是整幅图像中某一部分的详细特征。2. 或者，例如在进行卷积时，如图（随便截的图），分别提取出第三、四、五层卷积得到的特征图，然后将他们缩放到同一尺寸，也是一种多尺度的表现。其中越深的卷积层提取出的特征...

 Dropout在网络前向传递过程中，关闭一些神经元和它的连接。这么做是为了：1. 为了防止过拟合；2. 为了提高神经元的学习能力。 一、形象化理解：每次做完Dropout，相当于从原始的网络中找到一个更“瘦”的网络，如下图所示：   对于一个有N个节点的神经网络，有了dropout后，就可以看做是2n个模型的集合了，但此时要训练的参数数目却是不变的，解...

     假设反卷积生成的图像中，包含1只黑猫，黑猫身体部分的像素颜色应该是平滑过渡的。或者极端的说，身体部分应该全部都是黑色的。而在实际生成的图像中，该部分却是由深深浅浅的近黑方块组成的，很像棋盘的网络。这就是所谓的棋盘效应。        现在显著性检测还存在的一个问题就是，在像素级的视觉任务中，会出现这个棋盘效应。这个效应在深度卷积神经网络中的影响是很大的。比如：如果在FCN的输...

one-hot是比较常用的文本特征特征提取的方法。one-hot编码，又称“独热编码”。其实就是用N位状态寄存器编码N个状态，每个状态都有独立的寄存器位，且这些寄存器位中只有一位有效，说白了就是只能有一个状态。下面举例说明：有四个样本，每个样本有三种特征：  feature1 feature2 feature3 sample1 1 4 3 ...

word2dev是Google在2013年开源的一款用于计算词向量的工具。首先，word2dev可以在百万数量级的词典上和上亿的数据集上进行高效的训练 word2dev得到的训练结果——词向量（word embedding），可以很好地度量词与词之间的相似性word2dev算法的背后其实是一个浅层神经网络。另外需要指出的是，word2dev是一个计算word vector的开源工具，当我们...

1. 概念简介word2vec是从大量文本语料中，用无监督学习的方式来学习语义知识的一种模型，广泛用于NLP。其实就是通过学习文本来用词向量的方式表征词的语义信息。embedding其实就是一个映射，将单词从一个空间映射到另一个新的空间中。直观理解：cat(猫)这个单词与kitten(小猫)在语义上很相近，而dog(狗)和kitten就不是那么相近了，iphone就和kitten在...