CS224N连载系列_word2vec作业的解析（2）

所有的语言模型的发展都离不开最基础的模型，统计语言模型是最重要的一环，word2vec也是如此，统计语言模型是用来计算一个句子的概率的概率模型，通常是基于一个语料库来构建，那什么叫一个句子的概率呢？

1、softmax

softmax 函数通常处理机器学习分类问题的输出层的激活函数，它的输入是一个实数向量，输出向量的长度是与输入向量相同，但所有的取值范围是（0，1），且所有元素的和为1，输出向量的各个元素值表示某个分类的可能性。

softmax函数的数学表达式：

                                                      
由于输入x是实数向量，e的x次方的计算结果可能非常大甚至溢出，不利于计算的稳定性。所以通常将x减去一个常数c再输入到softmax。下面证明了x的常数加减是不会影响softmax结果的（softmax的常数不变性）：

                                                            

2、神经网络基础

sigmoid

为什么要在隐藏层使用激活函数呢？

非线性的激活函数，因为如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

由于反向传播计算过程需要用到导数，所以需要对sigmoid函数求导，sigmoid函数的数学表达式为：

                                                          &n