第6.3节 数值计算稳定性：浮点误差、病态条件与数值微分

第6.3节 数值计算稳定性：浮点误差、病态条件与数值微分

在人工智能算法的实现过程中，无论是训练深度神经网络还是求解大规模线性系统，最终都依赖于计算机的有限精度算术。这种有限性使得计算结果与理论真值之间存在不可避免的差异，这种差异统称为数值误差。数值计算稳定性的核心，正是研究这些误差的来源、传播规律以及如何设计算法来控制误差，确保计算结果的可靠性。本节将系统阐述构成数值计算稳定性基础的三大支柱：浮点误差、病态条件与数值微分。

6.3.1. 浮点误差：有限精度算术的本质局限

现代计算机普遍采用IEEE 754标准定义的浮点数系统 $F$ 来近似表示实数。一个浮点数可表示为：
$$fl(x)=\pm m\times {\beta }^{e-t}$$
其中 $\beta$ 是基数（通常为2），$t$ 是精度位数，$m$ 是满足 $0\le m\le {\beta }^t-1$ 的整数，$e$ 是指数。任何不在 $F$ 中的实数 $x$ 都必须通过舍入（如四舍五入）映射为最近的浮点数 $fl(x)$，从而引入舍入误差。

舍入误差的基本界限由机器精度 ${ϵ}_{mach}$ 刻画，它表示 $1$ 与大于 $1$ 的最小浮点数之间的差。对于舍入到最近的标准，基本算术运算 op∈{ +,−,×,/}\text{op} \in \{+, -, \times, /\}op∈{ +,−,×,/} 的相对误差满足：
$$fl(x\text{ op }y)=(x\text{ op }y)(1+\delta ),$$