深度学习（十）

循环神经网络

特征化表示（词嵌入）

1、针对one-hot向量，其不能表现词汇之间的相似关系，泛化能力较差，所以可以更换一种表示方式，将词汇进行特征化表示，即用词汇的特征代表词汇。
2、判断词汇的相似程度一般使用余弦相似度，即$sim(u,v) = \frac{{{u^T}v}}{{||u|{|_2}||v|{|_2}}}$

负样本

与Skip-Gram一样，都是一种word2vec方法，是一种学习出词向量的方法

机器翻译模型

1、模型如下：

2、集束搜索
每次不是挑出一个最可能的结果，而是多个最可能的结果
3、改进集束搜索

这是为了防止模型为了使得概率最大而缩小句子长度，故采用上述目标函数。
4、误差分析
人工翻译的概率与模型翻译结果的概率进行比较来判断是RNN模型有问题还是集束搜索有问题
5、Bleu得分

注意力模型