深度学习入门- 梯度（Gradient）(一)

目录

一.梯度的数学基础

1.复合函数

2.链式法则

3.驻点，极值点，鞍点

4.偏导数

5.梯度

6. 梯度法

一.梯度的数学基础

1.复合函数

       由多个函数构成的函数，比如z=(x+y)**2，由函数1: z=t**2和函数2: t=x+y构成。

2.链式法则

       如果某个函数由复合函数表示，则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示。如上式中，t=x+y 该函数对x的偏导数为1，对y的偏导数也是1，意味着在任何点上，t随x或y的变化率都是 1，t=x+y的导数为1。z=t**2的导数为2t，所以z的导数为2t*1=2t， 即  ∂Z/∂