3、深度学习入门：从神经元到神经网络架构

深度学习入门：从神经元到神经网络架构

1. 生物神经元与人工神经元

生物神经元的活动在发送信号（活跃状态）和休息/接收其他神经元信号（非活跃状态）之间交替。这种状态的转变由外部刺激引发，这些刺激以树突接收的信号形式呈现。每个信号都有兴奋或抑制作用，概念上用与刺激相关的权重来表示。处于闲置状态的神经元会积累接收到的所有信号，直到达到特定的激活阈值。

基于生物神经元的概念，人工神经元应运而生，并被用于构建基于深度学习的预测分析智能机器，这也是人工神经网络（ANN）的核心灵感来源。人工神经元与生物神经元类似，主要由以下部分组成：
- 输入连接 ：一个或多个输入连接，负责从其他神经元收集数值信号，每个连接都被分配一个权重，用于考量所发送的每个信号。
- 输出连接 ：一个或多个输出连接，将信号传递给其他神经元。
- 激活函数 ：根据从与其他神经元的输入连接接收到的信号，结合每个接收到的信号相关的权重以及神经元自身的激活阈值，确定输出信号的数值。

人工神经元的输出是通过将激活函数（也称为传递函数）应用于输入的加权和来计算的。这些函数的动态范围通常在 -1 到 1 或 0 到 1 之间。常见的激活函数有多种，以下是几种简单形式：
| 激活函数类型 | 描述 |
| ---- | ---- |
| 阶跃函数 | 设定阈值 x（如 x = 10），若输入的数学和达到、高于或低于阈值，函数将返回 0 或 1。 |
| 线性组合 | 不设置阈值，而是从默认值中减去输入值的加权和，得到的减法结果为正（+b）或负（-b）的二