pytorch学习笔记2--梯度下降的介绍

梯度下降

1. 

   1. 给定$y=x^2\ast sinx$它的导数：$y^{\prime }=2xsinx+x^{2}cosx$则梯度下降对x进行更新：$x^{\prime }=x-lr\ast \Delta x$

2. 噪声

   1. 

3. example

   1. 

4. optimize

   1. 
   2.