吴恩达机器学习作业Python实现之神经网络之公式推导（重复）

神经网络代价函数：

逻辑回归的代价函数：

 

当神经网络的激活函数选用逻辑回归函数时，神经网络的代价函数就是逻辑回归的代价函数，不同的是神经网络有k个输出，一块加起来就是。

前向传播公式：

A(j+1) =g(Θ(j) *A(j) );

set p is the last layer,

X=[ones(m,1),X]; X要加上常数项；

A(2) =g(Θ(1) *A(1) )= g(Θ(1) *XT);

A(2) = [ones(1,m); A(2)];A(2)要加上常数项；和X加常数项的方向是反的。详情见维数分析；

…

hΘ(X)= A(p) =g(Θ(p-1) *A(p-1) );

这是神经网络的定义，各层单元之间的联系。

后向传播公式：

Delta(p)= A(p)-Y;

Delta(j-1)= (Θ(j-1))T *Delta(j).* A(j-1).*( 1-A(j-1));

Delta(j-1)= Delta(j-1) (2:end,:)；把常数项去掉。

set reg_Θ(j)= Θ(j); reg_Θ(j)(:,1)= 0;

Grad(j)=1/m*Delta(j+1)*( a(j))T+λ/m* reg_Θ(j)；

简单推导如下：

一、误差定义：

 可以这样理解，J还有种表达式是最小平方差

 

 对最后一层也就是输出层来讲，J对Z的求导正好是误差，比较容易理解。p是最后一层：

对其他层来讲，也沿用误差的概念，为的是后面计算梯度的方便。

二、其他层误差公式及推导：

δ(p-1)= (Θ(p-1)).T *δ(p).* a(p-1).*( 1-a(p-1)); Backpropagation algorithm,由δ(p)----à δ(p-1);

这是向量化的公式。

公式推导如下：

 

 

 所以：

 向量化的时候，要注意各个变量之间维度是否一致。

theta转置后和delta(p)进行点乘（矩阵乘法运算），得到维度是(S(p-1)+1)*m，然后再和后面的两项进行数乘（数组乘法运算），得到的结果再除掉常数项，维度从(S(p-1)+1)*m变成S(p-1)*m；

 三、梯度公式及推导

set reg_Θ(j)= Θ(j); reg_Θ(j)(:,1)= 0;

Grad(j)=1/m*Delta(j+1)*( a(j)).T+λ/m* reg_Θ(j)；

不看正则项，则为：

Grad(j)=1/m*Delta(j+1)*( a(j)).T

这是向量化公式，表示第j层的梯度公式。

所以：