4、深入理解单个神经元：结构、计算与激活函数

深入理解单个神经元：结构、计算与激活函数

1. 神经元的基本概念

深度学习依赖于由大量简单计算单元组成的大型复杂网络。从基础层面看，神经网络是一组相互连接的单元，每个单元执行特定且通常相对简单的计算，类似于用乐高积木搭建复杂物体，通过简单单元构建复杂系统。这些基本单元被称为神经元。

1.1 神经元的输入与输出

每个神经元接收一定数量的输入（实数），并计算出一个输出（同样为实数）。输入用 (x_i \in \mathbb{R}) 表示，其中 (i = 1, 2, \ldots, n_x)，(n_x) 是输入属性（特征）的数量。例如，人的年龄和体重可作为两个输入特征（(n_x = 2)），(x_1) 为年龄，(x_2) 为体重。在实际应用中，特征数量可能非常大。

1.2 神经元的计算过程

我们关注的神经元是将一个函数应用于所有输入的线性组合。首先计算 (z)：
[z = w_1x_1 + w_2x_2 + \cdots + w_{n_x}x_{n_x} + b]
然后将函数 (f) 应用于 (z)，得到输出 (\hat{y})：
[\hat{y} = f(z) = f(w_1x_1 + w_2x_2 + \cdots + w_{n_x}x_{n_x} + b)]
这里，(w_i) 被称为权重，(b) 是偏置，(f) 是激活函数。

神经元的计算步骤可总结为：
1. 线性组合所有输入 (x_i)，计算 (z)；
2. 将 (f) 应用于 (z)，得到输出 (\hat{y})。

1.3 神经元的表示

神经元有多种表示方式