自然语言处理：重要采样的梯度推导

对于《Deep Learning》一书中12.4.3.3节，公式（12.13）至（12.16）的详细推导过程。
加速神经语言模型训练的一种方式是，避免明确的计算所有未出现在下一位置的词对梯度的贡献。每个不正确的词在此模型下具有低概率。枚举所有这些词的计算成本可能会很高。相反，我们可以仅采样词的子集，梯度的推导过程如下：
$$\begin{array}{rl}\frac{\partial \mathrm{l}\mathrm{o}\mathrm{g}P(y|C)}{\partial \theta }& =\frac{\partial {\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}}_y(a)}{\partial \theta }\\ & =\frac{\partial }{\partial \theta }\mathrm{l}\mathrm{o}\mathrm{g}\frac{e^{a_y}}{{\sum }_i{e}^{a_i}}\\ & =\frac{\partial }{\partial \theta }(a_y-\mathrm{l}\mathrm{o}\mathrm{g}\sum _i{e}^{a_i})\\ & =\frac{\partial a_y}{\partial \theta }-\frac{\partial }{\partial \theta }\mathrm{l}\mathrm{o}\mathrm{g}\sum _i{e}^{a_i}\\ & =\frac{\partial a_y}{\partial \theta }-\frac{1}{{\sum }_j{e}^{a_j}}\frac{\partial }{\partial \theta }\sum _i{e}^{a_i}\\ & =\frac{\partial a_y}{\partial \theta }-\frac{1}{{\sum }_j{e}^{a_j}}\sum _i\frac{\partial e^{a_i}}{\partial \theta }\\ & =\frac{\partial a_y}{\partial \theta }-\frac{1}{{\sum }_j{e}^{a_j}}\sum _i{e}^{a_i}\frac{\partial a_i}{\partial \theta }\\ & =\frac{\partial a_y}{\partial \theta }-\sum _i\frac{e^{a_i}}{{\sum }_j{e}^{a_j}}\frac{\partial a_i}{\partial \theta }\\ & =\frac{\partial a_y}{\partial \theta }-\sum _{i}P(y=i|C)\frac{\partial a_i}{\partial \theta }\end{array}$$
本文内容编辑：郑杜磊