Coursera ML笔记 -----week4 Neural Network -1

欢迎点击作者原文地址

Neural Network

在实际的分类问题中，我们会碰到这样子的一种情况：
我们所要求解的问题的特征特别多，并且我们所做出的假设并不是一个线性的关系，而是一个复杂的高次方项的非线性问题。这个时候我们如果依旧用logistic regression的方法来做分类，那么效果可能会特别差，于是我们考虑用神经网络的方法来解决这些complex non-linear hypothesis的问题。

NN的生物学背景是参考人脑神经元中信息的传递过程：信息从神经元neura的树突进入，然后经过神经元的处理，从轴突传输。整个信息的传递过程就是：
树突—–> 神经元 ——> 轴突

——–
此处有重要内容,
省略见NN.txt
——————–

在NN中，$a^{(i)}$代表的是第i层的activation values(也就是特征的特征)
$\Theta^{(j)}$代表的是第j层到第j+1层的参数矩阵，维度是$s_{j+1}×(s_j+1)$
bias unit = 1

向量化表示

$$a^{(j)} =\begin{bmatrix} a_1^{(j)} \\ a_2^{(j)}\\ \cdots\\a_n^{(j)}\end{bmatrix}=g(z^{(j)})=\begin{bmatrix}g(z_1^{(j)})\\g(z_2^{(j)})\\\cdots\\g(z_n^{(j)})\end{bmatrix}$$

$$z^{(j+1)} = \begin{bmatrix} z_1^{(j+1)}\\z_2^{(j+1)}\\\cdots\\z_n^{(j+1)} \end{bmatrix} =\Theta^{(j)}x = \Theta^{(j)}a^{(j-1)} =\begin{bmatrix} \Theta_{10}^{(j)}x_0+\Theta_{11}^{(j)}x_1 +\Theta_{12}^{(j)}x_2 +\Theta_{13}^{(j)}x_3\\ \Theta_{20}^{(j)}x_0+\Theta_{21}^{(j)}x_1 +\Theta_{22}^{(j)}x_2 +\Theta_{23}^{(j)}x_3\\ \cdots\\ \Theta_{n0}^{(j)}x_0+\Theta_{n1}^{(j)}x_1 +\Theta_{n2}^{(j)}x_2 +\Theta_{n3}^{(j)}x_3\\ \end{bmatrix}$$

$$\Theta^{(j)} = \begin{bmatrix} \Theta_{10}^{(j)}&\Theta_{11}^{(j)}&\Theta_{12}^{(j)}&\Theta_{13}^{(j)}\\ \Theta_{20}^{(j)}&\Theta_{21}^{(j)}&\Theta_{22}^{(j)}&\Theta_{23}^{(j)}\\ \Theta_{30}^{(j)}&\Theta_{31}^{(j)}&\Theta_{32}^{(j)}&\Theta_{33}^{(j)}\\ \end{bmatrix}\\ x = \begin{bmatrix}x_0\\x_1\\x_2\\x_3\end{bmatrix}$$