cs231n - assignment1 - neural net 梯度推导

Implementing a Neural Network

In this exercise we will develop a neural network with fully-connected layers to perform classification, and test it out on the CIFAR-10 dataset.

可以先看看之前softmax的梯度推导方法，这里开始采用矩阵的形式来推导梯度，而且将逐级推导梯度，这种方式有很大的好处。
首先来回顾一下我们的网络结结构：输入层（D），全连接层-ReLu(H)，softmax(C)。网络输入 $X_{[N \times D]}$，groundtruth $y_{[N \times 1]}$
网络参数： $W_1{_{ [D \times H] }}, b_1{_{[1 \times H]}}, W_2{_{ [H \times C]}}, b_2{_{[1 \times C] }}$

Propagation:

$$FC1\_out = X \cdot W_1+b_1 ---(1)$$
$$H\_out = maximum(0, FC1\_out)---(2)$$
$$FC2\_out = H\_out \cdot W_2+b_2---(3)$$