朽be

文本分类 文本情感分类 文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题：使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析，并有着广泛的应用。 同搜索近义词和类比词一样，文本分类也属于词嵌入的下游应用。在本节中，我们将应用预训练的词向量和含多个隐藏层的双向循环神经网络与卷积神经网络，来判断一段不定长的文本序列中包含的是正面还是...

优化算法进阶 1.Momentum 目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。对于noisy gradient,我们需要谨慎的选取学习率和batch size,...

批量归一化和残差网络 批量归一化（BatchNormalization） 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化（深度模型） 利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 1.对全连接层做批量归一化 位置：全...

卷积神经网络基础 leNet 卷积神经网络进阶

机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 数据预处理，解决乱码问题，大小写统一等。 分词，将句子转化成词序列列表。 建立词典，根据词频、特殊token等将词加入词典，然后建立token和ID的映射。 数据集处理，根据max...

文本预处理 理解：先分词，将长句文本划分为词（token），转化成词序列。然后建立字典，将词映射到索引编号，即将字符串转化为数字以方便模型处理。接着就可以把文本的句子转化为索引序列。spaCy、NLTK是很好的分词工具。 存疑：中文文本预处理也是一样的吗？ ...

线性回归 理解：为建立可联系某相关量之间关系的模型并预测真实值，并使用损失函数衡量预测值与真实值之间的误差，通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。使用矢量计算可大大减少计算耗时。 存疑：在多个参数中，网络需不需要找到对损失函数结果影响最大的参数，又是如何做到的？ SoftMax与分类模型 理解：将所有类别输出转化为和为1的概率值，解决了直接以输出作为判别为该类的置信度时存在...