笔记(总结)-神经语言模型和词向量

之前笔记(总结)-统计语言模型主要介绍了统计语言模型。可以看到，最终对句子的建模为（以二元文法为例）：

$P(S)=p(w_1)p(w_2|w_1)...p(w_n|w_{n-1})$

核心问题在于如何计算参数$p(w_i|w_{i-1})$。根据计算参数的不同方法，语言模型分为：

• 统计语言模型：极大似然估计
• 神经语言模型：神经网络预测

---

神经语言模型

可以看到，模型的输入即为$w_{i-1}$的one-hot表示。输出为一个 |