8、深度学习基础：从感知机到反向传播

深度学习基础：从感知机到反向传播

1. 深度学习基础概述

深度学习主要聚焦于人工神经网络（ANNs）的研究。早在 1943 年，Warren S. McCulloch 和 Walter Pitts 在论文《A Logical Calculus of the Ideas Immanent in Nervous Activity》中首次提出人工神经网络，他们试图从控制论的角度解释大脑的工作原理，这一工作成为现代神经科学和现代人工神经网络的根源。

人工神经网络是受生物启发的算法，但它并非对大脑学习方式的真实呈现。尽管如此，随着新的神经学发现不断涌现，人们常尝试用人工神经网络来表示真实的神经结构和过程，例如感受野的概念启发了卷积神经网络。不过，距离构建出人工大脑，我们还有很长的路要走。

2. 感知机算法

1957 年，Frank Rosenblatt 创造了感知机算法。在评估时，单层感知机的工作流程如下：
1. 接收 n 个输入 (x_1, \ldots, x_n)。
2. 每个输入乘以对应的权重 (x_iw_i)。
3. 将这些乘积与偏置项相加，即 (s = b + \sum_{i = 1}^{n}x_iw_i)。
4. 将求和结果通过激活函数，激活函数通常返回 0 或 1，如 (y = f(s))，常用的激活函数是 Heaviside 阶跃函数 (H)：
[
H(x) =
\begin{cases}
0, & \text{if } x < 0 \
1, & \text{if } x > 0
\end{cases}
]