深度学习中各种符号及术语的定义(一)

1、符号定义

对于每个neuron输出定义为a，其中a有上标和下标，上标l表示是第l层的neuron的输出，i表示是第l层的第i个neuron输出。

2、对于权重w也有上标和下标，上标l表示是第l-1到第l层的权重，下标为ij，是从第l-1层的第j个neuron到第l层的第i个neuron，这个很重要，这是有具体意义的。对于一个权重矩阵，行表示是到第l行第一个neuron的权重，所以为下标为1j，第二行下标为2j。

3、bias-偏置值b也有上标和下标，上标l表示第l层的偏置值，i表示第l层第i个neuron的偏置值，每个neuron都有一个偏置值。所以如果第l层有Nl个神经元，则有Nl个偏置值。

4、每个neuron有一个activation function ，输入是z，输出是上面讲过的a，也有上标和下标，l表示第l层，i表示第i个neuron