【深度学习学习记录（2）】

ch1 多层神经网络

线性函数与多层神经元
更复杂的神经网络

引言：人类大脑神经与神经元

其实AI就是在模仿人类大脑工作

神经元与矩阵

复杂的神经网络背后其实是矩阵的运算
神经元的串联——联系到神经网络
串联的神经元似乎只有传递的作用，那么一根和多根似乎没有区别。
回忆：生物神经元具有兴奋和抑制两种状态，当接受的刺激高于一定阈值时，则会进入兴奋状态并将神经冲动由轴突传出，反之则没有神经冲动——神经元有自己的决定权
————由此引出激活函数的位置
刺激阈值和生物神经元接受的刺激阈值非常相似
r1=sigmoid(b1+w11x1+w12x2)
激活函数和非线性因素
如果没有激活函数，无论网络多么复杂，最后的输出都是输入的线性组合，而纯粹的线性组合并不能解决更为复杂的问题。
引入激活函数之后，由于激活函数都是非线性的，这样就给神经元引入了非线性元素，使得神经网络可以逼近任何非线性函数，这样使得神经网络应用到更多非线性模型之中。
常见且简单的激活函数：sigmoid、relu

$$s(x)=\underset{1+e^{-x}}{}$$