机器学习——多层感知机MLP的相关公式

$i$作为上一层神经元的下标，或者是输入层节点
$j$作为当前层神经元的下标，或者是隐藏层神经元
$k$作为下一层神经元的下标，或者是输出层神经元

$i,j,k$表示不同层的相对关系：$i\to j\to k$

$w_{ij}$表示上一层各神经元到当前神经元的权重，也就是神经元$j$的权重
$w_{jk}$表示当前神经元与下一层各神经元的权重，也就是神经元$k$的权重

前向传播

加权求和 $h$

$$h_j=\sum _{i=0}^M{w}_{ij}{x}_j$$

• $h_j$表示当前节点的所有输入加权之和

神经元输出值 $a$

$$a_j=g(h_j)=g(\sum _{i=0}^M{w}_{ij}{x}_{ij})$$

• $a_j$表示隐藏层神经元的输出值
• $g()$代表激活函数，$w$是权重，$x$是输入，$w_{0j}{x}_{0j}$表示偏移节点（bias node）
• $a_j=x_{jk}$，即当前层神经元的输出值，等于下一层神经元的输入值

输出层的输出值 $y$

$$y=a_{}$$