机器学习之神经网络参数的反向传播算法

#Cost function（代价函数）

• 我们不把bias term（偏差项）θ0正则化 
• 神经网络现在输出了属于R^K的向量
• 每个h(x)_i表示第i个输出
• 求和项主要是k个输出单元之和
• 第二项类似于在逻辑回归里面所用的正则化项

 

#Backpropagation algorithm（反向传播算法）

使代价函数最小化的算法。

只含一个训练样本的情况：

为了计算derivatives（导数项），将采用一种叫backpropagation（反向传播）的算法：

对每个结点，我们计算这样一项delta，它代表第i层的第j个结点的误差。