no-bug

文本分类； 数据增强； 模型微调

优化算法进阶； word2vec； 词嵌入进阶

批量归一化和残差网络； 凸优化； 梯度下降

机器翻译及相关技术 数据预处理中 **分词(Tokenization)**的工作是？ 把字符形式的句子转化为单词组成的列表 数据预处理工作：建立词典，分词，把单词转化为词向量。 单词转化为词向量是模型结构的一部分，词向量层一般作为网络的第一层。 集束搜索： 结合了贪心搜索和维特比算法，使用beam size限制在每一步保留下来的可能性词的数量。 Encoder-Decoder常应用于输入序列和输出...

机器翻译及相关技术； 注意力机制与Seq2seq模型； Transformer 一 机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 首先，将数据集清洗、转化为神经网络的输入minbatch，分词，建立词典。# Encoder-De...

过拟合、欠拟合及其解决方案； 标题梯度消失、梯度爆炸； 标题循环神经网络进阶 一、过拟合欠拟合及其解决方案 1.模型选择、过拟合和欠拟合 训练误差和测试误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测...

第一节 线性回归基础 3.1.1.1. 模型 其中 w1 和 w2 是权重（weight）， b 是偏差（bias），且均为标量。 3.1.1.2. 模型训练 训练数据 损失函数 通常，我们用训练数据集中所有样本误差的平均来衡量模型预测的质量 w∗1,w∗2,b∗ ，为使训练样本平均损失最小的解 优化算法 |B| 代表每个小批量中的样本个数（批量大小，batch size），η称作学习...