总结一：神经网络训练过程中可能引起NaN的三种原因总结

在训练神经网络的过程中，经常会遇到当训练进行到一定次数后，cost会变成NaN的问题。在网上搜索相关问题时，发现大多人的观点是认为learningRate过大导致NaN，但是经过我自己摸索，我发现绝大多数情况下NaN是由以下几种情况导致的。learningRate过大只是会造成cost不收敛，在最优点附近震荡。

第一种情况：

cost的计算公式为：cost = -(y.t * log(yHat) + (1.0 - y).t * log(1.0 - yHat))。这里当yHat=0时，log(yHat)可能为NaN，当yHat=1时，log(1.0 - yHat)可能为NaN，所以为了保险起见，在log的参数中加上一个极小值，即：cost=-(y.t * log(yHat + pow(10.0, -9)) + (1.0 - y).t * log(1.0 - yHat + pow(10.0, -9)));。Scala中计算cost的代码如下：

private def calCost (res: ResultUtils.ForwardRes , label: DenseVector[ Double