Edison的小茶馆

目录1.原理2.实现3.应用4.问题1.原理2.实现3.应用4.问题参考资料

结合网上的资料算是弄明白了一些梯度下降法背后的原理，有时间再写一个全面理解的版本，这里只放别人的链接了，从一阶泰勒展开的角度理解是我目前掌握的，其他角度有待学习。以下是同济高等数据关于梯度这一节的内容当时最难理解的就是——梯度方向是函数变化率最大的方向、也是函数增加/减小最大的方向，想想一元函数，导数大于0是单调递增的，导数小于0是单调递减的，暂且把这个结论推广到多元函数把，暂时这么理解了。关于梯度的由来，这篇文章讲的很好：https://zhuanlan.zhihu.com/p/24913