【python】三层BP神经网络推导&MNIST&优化效果对比&损失函数对比_bp神经网络中分类和优化用的损失函数-优快云博客

一、概述

本文的推导参见西瓜书P102~P103，代码参见该网址。主要实现了利用三层神经网络进行手写数字的识别。

三层神经网络只有一层隐藏层。参数如下：

参数关系如下：

$\alpha_h= \sum_{i=1}^{d}{v_{ih}x_i}$

$b_h=f(\alpha_h)$

$\beta_j=\sum^{q}_{h=1}{w_{hj}b_h}$

$\hat y=f(\beta_j)$

上述等式中fx为激活函数。西瓜书默认激活函数为sigmoid，损失函数为均方根，本文以此为前提进行推导。

设损失函数为 $E$ ，则其公式如下：

$E=\frac{1}{2}\sum^{l}_{j=1}({y_j-\hat y_j})^2$

对 $w_{hj}$ 求偏导如下，这愚蠢的优快云不支持多行公式编辑，所以只好手写了：

于是我们就得到了 $w_{hj}$ 的更新公式：

$\Delta w_{hj}=\eta(y_j-\hat y_j)\hat y_j(1-\hat y_j)b_h$

同样的，对 $v_{ih}$ 求偏导如下：

于是我们就得到了 $v_{ih}$ 的更新公式：

$\Delta v_{ih}=\eta x_i b_h(1-b_h)\sum^l_{j=1}((y_j-\hat y_j)\hat y_j(1-\hat y_j)w_{hj})$

优化方法选择SGD。

MNIST数据集可以在TensorFlow中下载到：

import tensorflow.examples.tutorials.mnist.input_data as input_data
mnist = input_data.read_data_