计算机与数学领域的学习、分享、交流。

我以前的一篇博文《给深层网络做参数初始化的门道及其原理》中分析了深度神经网络隐层数据逐层增大的原因。文中通过公式推导，证明了隐层数据的标准差逐层增大。同时还论证了当隐层数据尺度波动很大时，权值变量的梯度也会随之有很大的波动，从而使得训练过程中可能导致梯度爆炸或消失。起初，研究人员用精心设计的初始化方法来解决这个问题，随后研究人员用数据标准化的方法来控制隐层数据尺度的变化。我们知道神经网络在前向传播中，前一层参数的变化会可能导致输出数据分布的改变，即数据的尺度可能增大或减小了。于是，就会导致权值参数梯度爆炸

智能问答是NLP领域落地最多的场景，其商业价值较高，能有效解决业务问题，降低人力成本。智能问答分为封闭域问答与开放域问答两种。封闭域的问答是指根据用户的问题，从已有问答库中找出最匹配的答案返回给用户。而开放域问答则是根据用户的问题，由模型根据已学会的知识生成相应的答案返回给用户。由于当前开放域问答存在回答不可控的问题，在工业界落地项目较少。而封闭域问答是NLP领域中落地最多的项目之一。封闭域问答最常见的形式是FAQ问答，即常见问题解答。在NLP中，对FAQ任务的解决方案是，将用户会遇到的常见问题收集起来构建

神经网络的参数学习是一个非凸优化问题，当使用梯度下降法来进行优化网络参数时，参数初始值的选取十分关键。如果参数的初始值不恰当，轻则影响网络的优化效率和泛化能力，重则导致梯度爆炸或消失。参数初始化的方式通常有三种：预训练初始化、随机初始化、固定值初始化。预训练初始化是指用已经训练好的模型的参数来初始化待训练网络的参数。固定值初始化是指用一个固定值来初始化参数。随机初始化是指用一个随机值来初始化参数。这个随机值可以没有规律，也可以让其服从某个分布。实践中，随机初始化是较常用的权值初始化方法。现有的深度学习理