矩阵对变化的敏感程度评价指标 Condition Number

矩阵对变化的敏感程度可以用Condition Number来评估，本文对其进行简略介绍。

定义

• 数值分析中，一个问题的条件数是该数量在数值计算中的容易程度的衡量，也就是该问题的适定性。一个低条件数的问题称为良置的，而高条件数的问题称为病态（或者说非良置）的。 —— 维基百科

直白来说就是描述一个矩阵是否变化率在可控范围内，下方这个示例程序可以看到，当调整a, b, c的值使得条件数很大时，二次型描述的曲面在某个方向上会拉的很长；在这种情况下，曲面上的点沿着某个方向会得到巨大的变化率，而沿着某些方向变化率又很小，当条件数为无穷大时甚至这个比值甚至会变得无穷大。

• 在我的个人站点上有一个动态演示，有兴趣的同学可以移步去感受一下。

以优化二次型为例，我们的目的时找到矩阵的极值，然而在摸索过程中，沿着有些方向走一小步结果就产生了巨大的变化，如果往另一个方向还走这么大步子又可能对结果没什么影响，这样的二次型矩阵相对那些各个方向变化率差异小的二次型就更加难以优化。

• 矩阵$\mathbf{A}(n\times n)$的条件数，用$Cond(\mathbf{A})$表示，数学上的定义为矩阵绝对值最大的奇异值(用$\lambda$表示)与绝对值最小的奇异值的商：

$$Cond(\mathbf{A})=\frac{{\lambda }_1}{{\lambda }_n}$$

这个定义的解释是直观的，最大的奇异值表示矩阵的能量主轴，表示可能产生的最大变化率：

$$\max \frac{\Vert \mathbf{A}x\Vert }{\Vert x\Vert }={\lambda }_1$$

然后最小奇异值${\lambda }_n$对应最小的变化率：

$$\min \frac{\Vert \mathbf{A}x\Vert }{\Vert x\Vert }={\lambda }_n$$

二者的商就是矩阵的条件数。

另一种推导思路

• 在衡量某个函数敏感度与稳定性时，常使用的一种方法是求导。即观察导数 $df(x)/dx$ 的大小。

• 考虑线性系统$\mathbf{A}\mathbf{x}=\mathbf{b}$，其中矩阵$\mathbf{A}$为$n$阶可逆方阵

• 在$\mathbf{x}$上加入一个小扰动$\delta$，系统变为：

$$\mathbf{A}(\mathbf{x}+\delta )=b+\mathbf{A}\delta$$

• 用在$\mathbf{b}$上的变化率与$\mathbf{x}$上的变化率的比值表示线性系统的稳定程度，这个稳定程度我们用字母$C$表示：

$$\begin{array}{lc}C& =\frac{||\mathbf{A}\delta ||/||\mathbf{b}||}{||\delta ||/||\mathbf{x}||}\\ & =\frac{||\mathbf{A}\delta ||}{||\delta ||}\cdot \frac{||\mathbf{x}||}{||\mathbf{b}||}\\ & =\frac{||\mathbf{A}\delta ||}{||\delta ||}\cdot \frac{||{\mathbf{A}}^{-1}\mathbf{b}||}{||\mathbf{b}||}\end{array}$$

• 其中模长为范数操作，根据范数的相容性，有：

$$\begin{array}{lc}C& =\frac{||\mathbf{A}\delta ||}{||\delta ||}\cdot \frac{||{\mathbf{A}}^{-1}\mathbf{b}||}{||\mathbf{b}||}\\ & \le \frac{||\mathbf{A}||||\delta ||}{||\delta ||}\cdot \frac{||{\mathbf{A}}^{-1}||||\mathbf{b}||}{||\mathbf{b}||}\\ & =\left|\left|\mathbf{A}\right|\right|\left|\left|{\mathbf{A}}^{-1}\right|\right|\end{array}$$

条件数的性质

• 对任何非零矩阵$\mathbf{A}$, $Cond\left(A\right)\ge 1$

• $Cond\left(\mathbf{I}\right)=1$, $\mathbf{I}$ 是单位矩阵

• $Cond\left(s\mathbf{A}\right)=Cond\left(\mathbf{A}\right)$, 其中$s$是一个标量

• 对于任何对角矩阵$\mathbf{A}=diag\left(\mathbf{d}\right)$，$Cond\left(\mathbf{A}\right)=max(\mathbf{d})/min(\mathbf{d})$

参考资料

• https://blog.youkuaiyun.com/bitcarmanlee/article/details/51945271
• https://blog.youkuaiyun.com/adminabcd/article/details/46619627
• https://zhuanlan.zhihu.com/p/81053589