梯度下降算法

1：概念

首先我们看下面一张图玩个游戏

假设红色的点，是你目前站的地方（山顶）
黄色的点，是你的目标地点（营地）
你被空投到了雪山山顶，现在山顶美景欣赏完了，急着到山下的营地吃个饱饭睡个觉，那么这个时候就要下山，可是你不知道下山的路该怎么走/要走多久等等
那么，怎么下？
肯定不可能一下子跳下来，而是按照正常人的思维，找一条下山的路，一点点一点点分阶段往下（如下图）

就像我们下山，都是先环顾四周，找到下一个比较低且路好走的地方，走过去，再站在那里找下一个比较低且路好走的地方，走过去，再站在那里……周而复始，直到下到山脚，这个过程是不是很熟悉？它正是对应着程序中的递归
这就是梯度下降，它可以不断缩短实际值（你当前位置）与预期值（目标营地）的差距

导数是求某点的瞬时变化率，而微分，则可以看作是某点的斜率，更简单点说，把整座山简单看作一个xy轴函数（假设y为高度，x为平移距离），微分就可以求不同所在位置点的切线的斜率，