2、神经网络技术全面解析

神经网络技术全面解析

1. 神经网络基础

神经网络是受人类大脑启发的机器学习模型，由相互分层连接的神经处理单元组成，这些单元被称为人工神经元，其功能类似于人类大脑中的轴突。

在人类大脑中，树突接收相邻神经元的输入，在将输入传输到神经元的胞体之前对其进行衰减或放大。在神经元的胞体中，这些经过修改的信号被相加并传递到神经元的轴突。如果轴突的输入超过指定阈值，则信号将传递到相邻神经元的树突。

人工神经元的工作逻辑与生物神经元大致相同。它接收相邻神经元的输入，输入通过神经元的输入连接进行缩放后相加，最后，相加后的输入通过激活函数，其输出传递到下一层的神经元。

1.1 人工神经网络结构

输入 $x \in R^N$ 经过分层排列的神经单元层。特定层中的每个神经元接收前一层神经元的输入，输入通过它们之间连接的权重进行衰减或放大。权重 $w_{ij}^l$ 对应于第 $l$ 层的第 $i$ 个神经元与第 $(l + 1)$ 层的第 $j$ 个神经元之间的连接权重。此外，特定层 $l$ 中的每个神经元单元 $i$ 都伴有一个偏置 $b_i^l$。

神经网络为输入向量 $x \in R^N$ 预测输出 $\hat{y}$。如果数据的实际标签是 $y$（$y$ 取连续值），则神经网络通过最小化预测误差 $\sum_{i = 1}^{m}(y_i - \hat{y}_i)^2$ 来学习权重和偏置。

如果用一个共同向量 $W$ 表示权重和偏置的集合，预测的总误差用 $C$ 表示，那么通过训练过程，估计的 $W$ 可以表示为：$\hat{W} = \underset{W}{\mathrm{argmin}} C(W)$。预测