爱学的萌萌虾

1.Word2Vec词向量 Word2Vec是使用浅层神经网络学习单词嵌入的最流行技术之一。 Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型，它被大量地用在自然语言处理（NLP）中。 Word2Vec 是一个将单词转换成向量形式的工具，Word2Vec就是通过学习文本来用词向量的方式表征词的语义信息，即通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。 Word2Vec计算的是余弦值...

丢弃法 在小虾的这篇文章中介绍了权重衰减来应对过拟合问题（https://blog.youkuaiyun.com/qq_33432841/article/details/107879937），下面在介绍一种应对过拟合问题的方法丢弃法。因为丢弃法有许多不同的变体，下面提到的丢弃法特指倒置丢弃法。方法： 在“多层感知机”（https://blog.youkuaiyun.com/qq_33432841/article/details/107858405）中，描述了一个单隐藏层的多层感知机，其中输入个数为4...

权重衰减 权重衰减是应对过拟合问题的常用方法。方法： 权重衰减等价于L2范数正则化。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。 L2范数正则化在模型原损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。 L2范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。 例如：线性回归的损失函数为： ...

模型选择、欠拟合和过拟合 我们经常在数据集实验中，经常评价模型在训练数据集和测试数据集上的表现，我们可能会发现当模型在训练数据集上更准确时，它在测试集上却不一定准确，那么就让我们一起来探讨一下吧！训练误差和泛化误差： 训练误差是指在训练数据集上表现出的误差。 泛化误差是指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 计算训练误差和泛化误差可以使用损失函数，例如线性回归用到的平方损失函数和softmax回归...

隐藏层： 多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。如下图： 图上所示的多层感知机中，输入和输出个数分别为4和3，中间的隐藏层中包含了5个隐藏单元（hidden unit）。由于输入层不涉及计算，图上中的多层感知机的层数为2。由图上可见，隐藏层中的神经元和输入层中各个输入完全连接，输出层中的神经元...