Andrew Ng Machine Learning 专题【Neural Networks】上

此文是斯坦福大学，机器学习界 superstar — Andrew Ng 所开设的 Coursera 课程：Machine Learning 的课程笔记。力求简洁，仅代表本人观点，不足之处希望大家探讨。
课程网址：https://www.coursera.org/learn/machine-learning/home/welcome

Week 5：Neural Network_2 笔记：http://blog.youkuaiyun.com/ironyoung/article/details/48412631

 对于BP（backpropagation），以前写过心得以及资料的总结，最终利用C++实现了简单的BP神经网络。具体见这里：《C++从零实现BP神经网络》

Week 4：Neural Network

1. 由XOR Problem想到

   1. 有一种经典的非线性问题：XOR，也就是异或。真值表如下：
      0 0 | 0
      1 0 | 1
      1 1 | 0
      0 1 | 1，| 左侧是输入 x,y ，| 右侧是输出 z
      如果在二维坐标系上绘图，可以看出来仅利用一条直线是无法对这个问题分类的，也就是线性不可分问题。
   2. 如果利用逻辑回归的方法，可以枚举各种特征的出现可能，即 z=g(θ0+θ1x+θ2y+θ3xy+θ4x2y+...)
   3. 继续想下去，如果基础特征量更多的话？ x1,x2,...,x100 就会出现过拟合的问题，同时带来极大的计算量。
      例如，计算机视觉中处理一张照片，每个像素都需要一个数值表示。对于100*100像素值的图片，仅仅考虑二次项等级，就有特征数量为 (10000)2/2 个（ xy 与 yx 相同，故除以2）。
      于是，这章介绍的非线性分类器，神经网络（Neural Network，NN）就发挥了作用。

2. 人工神经网络

   1. 神经网络最初提出的初衷，是因为要模拟人类大脑的结构（很初级的模拟，因为人类对于自己大脑究竟是怎样都没有弄清楚）。通过多个感知机之间的输入输出，从而完成整体的智能行为。在人工神经网络中，“感知机”就是一个有着输入与输出功能的小单元，接收上一层的输入，将输出传给下一层。
   2. 人工神经网络是层级结构，某一层上的单元之间互相不会有输入输出关系，只和上一层或者下一层的单元产生数据传输关系。至少会有两层：输入层（input layer）与输出层（output layer），但是两层的神经网络可以解决的问题很少，一般都是三层或者三层以上，中间的这些层就称为“隐藏层（hidden layer）”，我们来看一个最简单的例子：
      
      解释一下这张图， a(i) 表示的是第 i 层上所有单元中的数值， a(i)j 表示的是第