5、人工神经网络的分类与训练：原理、方法及应用

人工神经网络的分类与训练：原理、方法及应用

1. 神经网络权重矩阵与计算

在神经网络中，权重矩阵是一个关键概念。对于一个具有特定结构的神经网络，其权重矩阵包含额外的一列，该列由一层的偏置权重组成。假设第 $\ell - 1$ 层有 $m$ 个神经元，第 $\ell$ 层有 $n$ 个神经元，那么权重矩阵 $W_{\ell}$ 可以表示为：
[
W_{\ell} =
\begin{pmatrix}
w_{1,b} & w_{1,1} & w_{1,2} & \cdots & w_{1,m} \
w_{2,b} & w_{2,1} & w_{2,2} & \cdots & w_{2,m} \
\vdots & \vdots & \vdots & \ddots & \vdots \
w_{n,b} & w_{n,1} & w_{n,2} & \cdots & w_{n,m}
\end{pmatrix}
]

为了使计算可行，输入向量 $z_{\ell - 1}$ 的第一个位置隐含为 1.0，即：
[
z_{\ell - 1} =
\begin{pmatrix}
1.0 \
z_1 \
\vdots \
z_m
\end{pmatrix}
]

这样，点积和偏置转换可以更简洁地表示为 $u_{\ell} = W_{\ell}z_{\ell - 1}$。例如，在某个具体例子中，得到的隐藏层神