2、前馈神经网络的原理与训练

前馈神经网络的原理与训练

1. 机器学习与深度学习概述

在机器学习领域，为了应对复杂的非线性问题，研究人员尝试构建类似于人类大脑结构的模型，这一研究方向即深度学习。深度学习在计算机视觉和自然语言处理等领域取得了显著成功，其算法不仅远超其他机器学习算法，甚至在某些任务上的准确率可与人类相媲美。

2. 神经元的结构与功能

2.1 生物神经元

人类大脑的基本单位是神经元。一粒米大小的脑组织中就包含超过10000个神经元，每个神经元平均与其他神经元形成6000个连接。正是这个庞大的生物网络让我们能够感知周围世界。

生物神经元的工作过程如下：
- 神经元通过树突接收来自其他神经元的输入信息。
- 每个输入连接会根据使用频率动态增强或减弱，连接强度决定了输入对神经元输出的贡献。
- 输入信息在细胞体中加权求和。
- 求和结果转化为新信号，通过轴突传递给其他神经元。

2.2 人工神经元

我们可以将对生物神经元功能的理解转化为计算机上的人工模型。人工神经元接收多个输入 $x_1, x_2, \cdots, x_n$，每个输入乘以特定权重 $w_1, w_2, \cdots, w_n$，加权输入求和得到神经元的对数几率 $z = \sum_{i = 0}^{n} w_ix_i$，很多情况下对数几率还包含一个常数偏置项。对数几率经过函数 $f$ 处理得到输出 $y = f(z)$，该输出可传递给其他神经元。

用向量形式表示人工神经元的功能：设输入向量 $x = [x_1 x_2 \cdots x_n]$，权重向量 $w = [w_1 w_2 \cdo