只用python标准库实现的单隐藏层BP神经网络

看完基础的神经网络原理，觉得不就先线性回归，然后往回求导更新权值嘛，也不难。但是落实到代码的时候，就写不出来....就是那种道理我都懂，就是做不出来的感觉。

 

矩阵左乘右乘，矩阵求导看不明白，出门右拐看矩阵论教程，直接就从深度学习到深度厌学了.......

 

本篇就推荐一个老外phD的网站，他认为即使不用太好的数学也能做机器学习，所以他实现神经网络的方法都没有矩阵计算，

老外的网站：https://machinelearningmastery.com/implement-backpropagation-algorithm-scratch-python/

 

我用跟着数据流动的方式来说明，假设有一组训练数据X和目标数据Y，比如：

 

激活函数就把线性函数转换成非线性。

 

x中的一个小人，进入1，然后进行线性计算w1*x+b1，线性计算后，进入激活函数小房间，常用激活函数有：sigmoid(x)=1/(1+exp(-x)),tanh等。

 

经过激活函数洗礼后的值a继续线性求值，然后又一个激活函数，最后的值与Y的小人比较（相减），相减的误差对激活函数求偏导，更新权值w，不断循环直至收敛

 

一般x是个矩阵，每一个箭头都是上一个圆圈的矩阵对下一个圆圈的矩阵的乘积，如果你不熟悉矩阵计算，那么每一个箭头的计算都用for去实现，如上图，就是一个个小人分别通过箭头。

 

虽然理解起来比用矩阵简单，但代码就会长很多。