4、深入理解单个神经元：结构、运算与激活函数

深入理解单个神经元：结构、运算与激活函数

1. 神经元基础概述

深度学习依赖由大量简单计算单元构成的庞大复杂网络。从基础层面看，神经网络是一组相互连接的单元，每个单元执行特定且通常相对简单的计算，类似于用简单乐高积木搭建复杂物体，通过简单计算单元能构建复杂系统。这些基本单元被称为神经元，其与大脑有生物学上的类比。

每个神经元接收一定数量的输入（实数）并计算输出（也是实数）。输入用 $x_i \in \mathbb{R}$ 表示，$i = 1, 2, \ldots, n_x$，其中 $i \in \mathbb{N}$ 为整数，$n_x$ 是输入属性（特征）的数量。例如，人的年龄和体重可作为两个特征，即 $n_x = 2$，$x_1$ 可以是年龄，$x_2$ 可以是体重。在实际应用中，特征数量可能非常大。

我们关注的神经元将一个函数应用于所有输入的线性组合。给定 $n_x$ 个实参数 $w_i \in \mathbb{R}$（$i = 1, 2, \ldots, n_x$）和一个常数 $b \in \mathbb{R}$（通常称为偏置），神经元首先计算 $z$：
[z = w_1x_1 + w_2x_2 + \cdots + w_{n_x}x_{n_x} + b]
然后将函数 $f$ 应用于 $z$，得到输出 $\hat{y}$：
[\hat{y} = f(z) = f(w_1x_1 + w_2x_2 + \cdots + w_{n_x}x_{n_x} + b)]
这里，$w_i$ 称为权重，$b$ 是偏置，$x_i$ 是输入特征，$f$ 是激活函数。

神经元的计算步骤总结如下：
1. 线性组合所有输入 $x_i