小白学习机器学习---第五章：神经网络

1. BP算法分析

如下图所示BP网络：

对样本 a = (x_k,y_k)，其输出为 ^y_k，即是：

由此得出在样本 a 上的均方误差：

我们的目标是使所有样本得出的均方误差最小化，为此我们要找到最优的参数（即上图中的连接权(w, v)及对应阈值(θ, γ)）。考虑梯度下降法。比如对于 w