《Neural Network and Deep Learning神经网络与深度学习》笔记二

2.1 热⾝：神经网络中使⽤矩阵快速计算输出的方法

$w_{jk}^l$:第 l-1 层第 k 个神经元到第 l 层第 j 个神经元的权重。

$a_j^l$：第 l 层第 j 个神经元的激活值。

$a_j^l=\sigma \left(\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l\right)$ ：激活值与权重，偏置的关联

$a^l=\sigma (w^l{a}^{l-1}+b^l)$ ：向量化的激活值

$z^l\equiv w^l{a}^{l-1}+b^l$ ： l 层神经元的带权输⼊

$z_j^l={\sum }_k{w}_{jk}^l{a}_k^{l-1}+b_j^l$ ：第 l 层第 j 个神经元的激活函数的带权输入

2.2关于代价函数的两个假设

二次代价函数：

$C=\frac{1}{2n}\sum _x||y(x)-a^L(x)|{|}^2$

n 是训练样本的总数；
求和运算遍历了每个训练样本 x；
y = y(x) 是对应的⽬标输出；
L 表示网路的层数；
$a^L=a^L(x)$ 是当输⼊是 x 时的⽹络输出的激活值向量

为了应用反向传播，提出两个假设：

1. 假设代价函数可以被写成一个在每个训练样本x上的代价函数$C_x$的均值：$C=\frac{1}{n}{\sum }_x{C}_x$
   故每个独立的训练样本代价为：$C_x=\frac{1}{2}||y-a^L|{|}^2$

2. 假设代价可以写成神经网络输出的函数，如对一个独立的训练样本x其二次代价函数可写做：
   $C_x=\frac{1}{2}||y-a^L|{|}^2=\frac{1}{2}\sum _j(y_j-a_j^L{)}^2$
   C 看成仅有输出激活值 aL 的函数才是合理的，⽽ y 仅仅是帮助定义函数的参数⽽已。

2.3 Hadamard乘积

这种类型的按元素乘法有时候被称为 Hadamard 乘积，或者 Schur 乘积。

2.4反向传播的四个基本方程