新博客地址：www.yizhen-blog.com 欢迎交流

在学习深度学习相关知识，无疑都是从神经网络开始入手，在神经网络对参数的学习算法bp算法，接触了很多次，每一次查找资料学习，都有着似懂非懂的感觉，这次趁着思路比较清楚，也为了能够让一些像我一样疲于各种查找资料，却依然懵懵懂懂的孩子们理解，参考了梁斌老师的博客BP算法浅谈（Error Back-propagation）（为了验证梁老师的结果和自己是否正确，自己python实现的初始数据和梁老师定义

刚接触梯度下降这个概念的时候，是在学习机器学习算法的时候，很多训练算法用的就是梯度下降，然后资料和老师们也说朝着梯度的反方向变动，函数值下降最快，但是究其原因的时候，很多人都表达不清楚。所以我整理出自己的理解，从方向导数这个角度把这个结论证明出来，让我们知其然也知其所以然~下面我一开始不提梯度的概念，完全根据自己的理解进行下文的梳理，一步一步推出梯度的来历：导数导数的几何意

查阅资料和学习，大家对神经网络中激活函数的作用主要集中下面这个观点：激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。下面我分别从这个方面通过例子给出自己的理解~@lee philip@颜沁睿俩位的回答已经非常好了，我举的例子也是来源于他们，在这里加入了自己的思考，更加详细的说了一下~开讲~首先我们有这个需求，就是二分类问题，如我要将

本文会通过一个分类例子一步一步的引出为什么神经网络能够无限逼近任意函数。