《Neural networks and deep learning》概览

最近阅读了《Neural networks and deep learning》这本书（online book，还没出版），算是读得比较仔细，前面几章涉及的内容比较简单，我着重看了第三章《Improving the way neural networks learn》，涉及深度神经网络优化和训练的各种技术，对第三章做了详细的笔记（同时参考了其他资料，以后读到其他相关的论文资料也会补充或更改），欢迎有阅读这本书的同学一起交流。以下属个人理解，如有错误请指正。

What this book is about？

这本书中的代码基于Python实现，从MNIST这个例子出发，讲人工神经网络（Neural networks），逐步深入到深度学习（Deep Learning），以及代码实现，一些优化方法。适合作为入门书。

1、 Using neural nets to recognize handwritten digits

• 文章概要

  用人工神经网络来识别MNIST数据集，Python实现，仅依赖NumPy库。

---

2、 How the backpropagation algorithm works

• 文章概要

  上一章没有讨论怎么优化NN，当时并没有讨论怎么计算损失函数的梯度，没有讨论优化过程，这就是这一章要讲的BP算法。

• BP算法在1970s出现，但直到1986年Hinton的