深度学习（Deep Learning）——第4章 数值计算

1、上溢和下溢

（1）当接近0的数被四舍五入为0时发生下溢，当大量级的数被近似为∞时发生上溢；

（2）softmax函数常用来进行数值稳定，定义为：

         

 

2、梯度下降

（1）梯度下降就是通过计算导数找到函数下坡方向，沿着函数下坡方向直到最小；

（2）当f'(x)=0时，导数无法提供往哪个方向移动的信息，这个点被称为临界点或驻点；（可能是局部极小值点、局部极大值点或者鞍点）

（3）当f'(x)=0且f"(x)＞0时，x是一个局部极小点（向左减小，向右增大）；当f'(x)=0且f"(x)＜0时，x是一个局部极大点；当f"(x)=0时，无法确定。

 

3、病态条件：条件数指的是函数相对于输入的微小变化而变化的快慢程度。

 

4、Jacobian和Hessian矩阵

     Jacobian和Hessian矩阵