数学角度的神经网络学习方法详解

1 导读

1.0 动机

这篇文章主要关注的是人工神经网络的数学函数形式，从非线性优化的角度看待神经网络的学习问题。主要写作动机来自于，很多教程上都关注神经网络的可视化形式，如何用别人造好的轮子，而对它的数学本质讲的很模糊，公式推导很杂乱。（额，个人感觉。。）这大概是之前造成很多人觉得深度学习神奇和业界深度学习泡沫的很大的因素，现在好像还好了。不过是一门在一些领域效果提升不错的技术而已。

1.1 推荐文献

参考文献本应该放在最后，放在这里的意思就是，如果你肯花很多时间在这上面，那我觉得你读下面的材料，比看这篇的收获要多的多。这篇文章也是综合了下面这些材料的相关部分然后加入了一些我的理解。

[1] David E. Ruineihart, Geoffrey E.Hinton, and Ronald J. Williams Learning representations by back propagatingerrors[J],Nature, 1986, Volume 323, Issue 6088, pp. 533-536

[2]Christopher M.Bishop , Pattern Recognition and Machine Learning[M],Springer-Verlag NewYork,2006

[3] lecture notes from Hinton’s courseon coursera.

1.2