hliyang的博客

机器翻译 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 流程： 数据预处理 分词 建立词典 建立模型 Encoder-Decoder模型： 一种应用于seq2seq问题的模型，所谓编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。在具体实现的时候，编码器和解码器不是固定的,可选的有CNN/RNN/BiRNN/GRU...

循环神经网络进阶 LSTM 解决长序列训练过程中的梯度消失和梯度爆炸问题。 解释的很好的一篇文章：LSTM的解释 看这张图会很好理解，c用来进行长期记忆，h用来短期记忆，c就相当于RNN中的h，LSTM中的h用来和x形成3个门控和1个输入。 GRU GRU的解释 看这张图会很好理解。 GRU和LSTM GRU在LSTM之后提出，两个模型的效果相似，但是GRU的计算效率更高。 ...

卷积神经网络 二维互相关cross-correlation： 输入：一个二维数组+一个卷积核（filter） 图示： 二维卷积层： 输入与卷积核做互相关运算，并加上一个标量偏置来得到输出。 模型参数：卷积核+偏置 卷积运算： 将核数组上下翻转、左右翻转，再与输入数组做互相关运算，这个过程就是卷积运算。 因为卷积层的核数组是可学习的，所以这两个运算没有区别（学出来的数组就是翻转后的）。 特征图和感...

softmax和分类模型： 输出 直接输出（非softmax）：难以直观判断每个值的意义；真实标签的离散值和输出值的误差难以衡量 损失函数 交叉熵；平方损失过于严格，我们只要其中一个值大于其他值即可。 文本预处理 步骤： 读入文本 分词（除去低频词） 建立字典，词到索引的映射 将文本从词序列转为索引序列，方便模型的输入 语言模型 语言模型的目标就是评估单词序列是否合理，即：P(w1,w...

k-近邻算法： （kNN —— k-Nearest Neighbors） 测量不同特征值之间的距离方法进行分类。 有一个样本数据集（每个样本都存在标签），输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，提取样本集中特征最相似数据（最近邻）的分类标签。一般，只选择样本数据中前k个最相似的数据（k通常不大于20），选择其中分类出现次数最多的作为新数据的分类。 欧式距离公式：...