机器学习 - 反向传播算法 (BP)

1. Cost Function

首先定义一些需要使用的变量：

$L$ = total number of layers in the network；
$s_l$ = number of units (not counting bias unit) in layer $l$
$K$ = number of output units/classes

将神经网络的分类定义为两种情况：二类分类和多类分类，

二类分类：$S_L=0,y=0or1$表示哪一类；

$K$类分类：$S_L=k,y_i=1$表示分到第$i$类；$(k>2)$

神经网络代价函数$J(\theta )$将是用于逻辑回归的成本函数的推广。
逻辑回归问题中代价函数为：

$$J\left(\theta \right)=-\frac{1}{m}\left[\sum _{i=1}^m{y}^{(i)}\log h_{\theta }(x^{(i)})+\left(1-y^{(i)}\right)log\left(1-h_{\theta }\left(x^{(i)}\right)\right)\right]+\frac{\lambda }{2m}\sum _{j=1}^n{{\theta }_j}^2$$

在Logistic Regression中，只有一个输出变量，也只有一个因变量$y$，但是在Neural Network中，输出层可以有多个变量，$h_{\theta }(x)$是一个$K\ast 1$的列向量，故代价函数会比逻辑回归更多元，为： \newcommand{\subk}[1]{ #1_k }
$$h_{\theta }\left(x\right)\in {\mathbb{R}}^K$$ $$(h</$$