二次型 : 线性代数数学基础!!!

AI Agent首席体验官

于 2025-03-11 07:46:30 发布

阅读量840

点赞数 26

CC 4.0 BY-SA版权

文章标签：线性代数算法机器学习

本文链接：https://blog.youkuaiyun.com/weixin_44705554/article/details/146168821

1. 二次型

基本定义

二次型是代数中的重要概念，是一种特殊的多项式函数。

定义：若 $(x_1, x_2, \ldots, x_n)^T \in \mathbb{R}^n$ ，则形如 $f(x) = x^T A x$ 的函数称为二次型，其中 $A$ 是 $\times n$ 的矩阵，称为二次型的矩阵。

具体展开可表示为： $\sum_{i=1}^{n}\sum_{j=1}^{n}a_{ij}x_ix_j$

T 表示转置（transpose）。当看到 $(x_1, x_2, \ldots, x_n)^T$ 这种写法时，意味着这是一个列向量，而不是行向量。

标准形与规范形

标准形

二次型的标准形是指不含交叉项的形式，即： $a_{11}y_1^2 + a_{22}y_2^2 + \cdots + a_{nn}y_n^2$

规范形

规范形是指系数只有 $1, - 1, 0$ 的标准形： $y_1^2 + y_2^2 + \cdots + y_p^2 - y_{p+1}^2 - \cdots - y_{p+q}^2$

其中 $\leq n$ ，且 $p, q$ 的值与二次型矩阵 $A$ 的正、负特征值的个数有关。

矩阵表示

若二次型 $\sum_{i=1}^{n}\sum_{j=1}^{n}a_{ij}x_ix_j$ ，则可以表示为： $f(x) = x^T A x$

其中矩阵 $(a_{ij})_{n \times n}$ ，且可设 $a_{ij} = a_{ji}$ （即 $A$ 为对称矩阵）。

合同变换

通过坐标变换 $x = P y$ ，其中 $P$ 是可逆矩阵，可以将二次型化为标准形： $f(x) = x^T A x = (Py)^T A (Py) = y^T (P^T A P) y$

这种变换称为合同变换， $P^T A P$ 与 $A$ 称为合同。

惯性定理

惯性定理：无论如何选择可逆变换 $P$ ，使二次型 $f(x) = x^T A x$ 化为标准形： $\lambda_1 y_1^2 + \lambda_2 y_2^2 + \cdots + \lambda_n y_n^2$

其中正系数的个数 $p$ 和负系数的个数 $q$ 是唯一确定的，分别等于矩阵 $A$ 的正、负特征值的个数。

正定二次型

定义：如果对任意非零向量 $\in \mathbb{R}^n$ ，都有 $f(x) = x^T A x > 0$ ，则称 $f (x)$ 为正定二次型，相应的矩阵 $A$ 称为正定矩阵。

判定方法：

特征值法： $A$ 的所有特征值均为正数
顺序主子式法： $A$ 的各阶顺序主子式均大于零
Sylvester 判别法： $A$ 的各阶顺序主子式行列式均大于零

应用举例

二次型在多个领域有广泛应用：

最优化问题：二次规划中的目标函数常表示为二次型
统计学：多元正态分布的指数项包含二次型
物理学：描述粒子系统的势能和动能
工程学：控制系统的稳定性分析

实例分析

考虑二次型 $f(x) = 2x_1^2 + 3x_2^2 + 4x_1x_2$

步骤1：写出二次型矩阵 $\begin{pmatrix} 2 & 2 \\ 2 & 3 \end{pmatrix}$

步骤2：求特征值 $det⁡(A−λI)=∣2−λ223−λ∣=(2−λ)(3−λ)−4=λ2−5λ+2\det(A - \lambda I) = \begin{vmatrix} 2-\lambda & 2 \\ 2 & 3-\lambda \end{vmatrix} = (2-\lambda)(3-\lambda) - 4 = \lambda^2 - 5\lambda + 2$

解得： $λ1=5+172≈4.56\lambda_1 = \frac{5+\sqrt{17}}{2} \approx 4.56$ , $λ2=5−172≈0.44\lambda_2 = \frac{5-\sqrt{17}}{2} \approx 0.44$

步骤3：由于特征值均为正，所以此二次型为正定二次型。

2. 二次型矩阵

二次型矩阵是通过系数对应的方式从二次型表达式中得到的。我来解释一下如何从二次型 $f(x) = 2x_1^2 + 3x_2^2 + 4x_1x_2$ 得到矩阵 $A$ 。

对于二次型 $\sum_{i=1}^n\sum_{j=1}^n a_{ij}x_i x_j$ ，其矩阵表示为 $A = [a_{ij}]$ 。但通常我们会将矩阵写成对称形式，因为二次型中 $x_i x_j$ 和 $x_j x_i$ 是相同的。

对于给定的二次型 $f(x) = 2x_1^2 + 3x_2^2 + 4x_1x_2$ ，我们有：

$x_1^2$ 的系数是 2，对应矩阵中的 $a_{11} = 2$
$x_2^2$ 的系数是 3，对应矩阵中的 $a_{22} = 3$
$x_1x_2$ 的系数是 4，但由于这是交叉项，我们需要将其分配到 $a_{12}$ 和 $a_{21}$ ，即 $a12=a21=42=2a_{12} = a_{21} = \frac{4}{2} = 2$

所以二次型矩阵为： $\begin{pmatrix} 2 & 2 \\ 2 & 3 \end{pmatrix}$

一般来说，对于二次型中的平方项系数 $ax_i^2$ ，我们直接在矩阵的对角线上放置 $a_{ii} = a$ ；对于交叉项 $bx_i x_j$ (当 $\neq j$ )，我们将系数的一半放在对称位置，即 $aij=aji=b2a_{ij} = a_{ji} = \frac{b}{2}$ 。

3. 二次型的意义

二次型从几何和应用角度理解，可以很形象地描述为：

几何意义：二次型本质上是描述多维空间中的"曲面"或"曲率"的数学工具。比如在二维空间中：

圆与椭圆：正定二次型（如你例子中的）在平面上形成一个椭圆或圆。想象你站在坐标原点，向各个方向看去，看到的是一个封闭的曲线，表示相同"高度"的点。
双曲面：不定二次型在平面上形成双曲线。想象一个马鞍形状的表面，在某些方向上向上弯曲，在其他方向上向下弯曲。
抛物面：半正定二次型在某些方向上是平的，在其他方向上向上弯曲，像一个可以滚动的沟槽。

实际应用中的意义：

能量表示：在物理中，二次型常用来表示系统的能量。比如弹簧的势能是位移的二次函数，一个多弹簧系统的总势能就可以用二次型表示。
误差度量：在统计和机器学习中，二次型用于计算多维空间中的距离或误差。比如最小二乘法中的误差函数。
稳定性分析：在控制理论中，正定二次型对应稳定系统，表示系统总是趋向于回到平衡状态。
优化问题：二次型的极值问题在优化算法中非常重要，比如梯度下降法就是寻找二次型的最小值。

形象地说，二次型就像是描述"地形"的方程——它告诉你在多维空间中哪里是山峰，哪里是山谷，哪些地方是平坦的，哪些地方有陡峭的斜坡。正定二次型就像一个封闭的山谷，无论你从哪个方向出发，最终都会回到谷底（原点）；而不定二次型则像是一个山口，有些方向通向山顶，有些方向通向山谷。

通过特征值和特征向量的分析，我们实际上是在寻找这个"地形"的主要走向和特征——哪个方向最陡峭，哪个方向最平缓，这正是理解复杂系统行为的关键。

4. 二次型的发现以及应用历史

二次型的数学理论和应用有着丰富的历史发展脉络，从古代几何学到现代数学和科学应用，二次型经历了从具体到抽象、从特殊到一般的发展过程。

早期起源

二次型的概念源于古代几何学中对圆锥曲线（椭圆、双曲线和抛物线）的研究。古希腊数学家阿波罗尼奥斯（Apollonius，约公元前262-190年）在他的著作《圆锥曲线论》中系统研究了这些曲线，这些研究实际上涉及了特殊形式的二次型。

17-18世纪：解析几何与二次曲线

二次型的现代理论始于17世纪笛卡尔（René Descartes，1596-1650）和费马（Pierre de Fermat，1607-1665）创立解析几何后。笛卡尔将几何问题转化为代数方程，为二次型的代数研究奠定了基础。

欧拉（Leonhard Euler，1707-1783）和拉格朗日（Joseph-Louis Lagrange，1736-1813）进一步发展了这一领域，特别是在研究刚体旋转和力学问题时引入了二次型的概念。

19世纪：二次型理论的系统发展

高斯（Carl Friedrich Gauss，1777-1855）在研究曲面理论和测地线问题时使用了二次型，并发展了二次型的正定性理论。他在《曲面基本性质的一般研究》(1827)中引入了所谓的"第一基本形式"，这是一个定义曲面度量的二次型。

雅可比（Carl Gustav Jacob Jacobi，1804-1851）和西尔维斯特（James Joseph Sylvester，1814-1897）系统研究了二次型的代数理论，特别是关于二次型的分类和标准形的理论。西尔维斯特引入了"惯性定律"，证明了实对称矩阵的正、负和零特征值的数量是不变的。

20世纪初：广义相对论中的应用

爱因斯坦（Albert Einstein，1879-1955）在广义相对论(1915)中使用了黎曼几何和二次型，特别是度规张量（一种二次型）来描述时空的弯曲。这是二次型在物理学中的一个里程碑式应用。

现代应用

随着计算机科学和数据分析的发展，二次型在以下领域有着广泛应用：

优化理论：二次规划是运筹学中的重要分支，处理带有二次目标函数的优化问题。
机器学习：支持向量机、主成分分析等算法中，二次型用于测量数据点之间的距离和相似性。
控制理论：二次型用于构造李雅普诺夫函数，分析动态系统的稳定性。
量子力学：描述粒子能量和动量的二次型是量子理论的基础部分。
统计学：多元统计分析中，二次型用于测量距离和构造检验统计量。
计算机图形学：二次曲面的渲染和处理利用了二次型的几何特性。

历史意义

二次型理论的发展体现了数学从具体问题抽象出一般理论的过程。最初源于对具体几何问题的研究，逐渐发展成为具有丰富理论和广泛应用的代数结构。它连接了线性代数、微分几何、数论等多个数学分支，同时在物理学、工程学、计算机科学等领域有着重要应用。

二次型理论的历史也反映了数学与物理学之间的互动：物理学提出了需要用二次型描述的问题，而数学发展了相关理论，这些理论又反过来推动了物理学的进步。

5. 二次型为什么会和矩阵产生联系

二次型与矩阵的联系源于它们都是描述多变量二次关系的数学工具，这种联系既自然又深刻。

二次型本质上是多变量的二次多项式，形如 $f(x1,x2,...,xn)=∑i=1n∑j=1naijxixjf(x_1, x_2, ..., x_n) = \sum_{i=1}^n \sum_{j=1}^n a_{ij}x_i x_j$ 。这种表达式包含了变量的平方项和交叉乘积项。

而矩阵则是系数的有序排列。当我们考虑将二次型写成矩阵形式时，会发现这种对应关系非常自然：

表示的简洁性：二次型可以简洁地写成矩阵形式 $f(x) = x^T A x$ ，其中 $x$ 是变量向量， $A$ 是系数矩阵。
对称性的体现：由于 $x_i x_j = x_j x_i$ ，二次型中 $a_{ij}x_i x_j$ 和 $a_{ji}x_j x_i$ 的系数可以合并，这导致我们通常使用对称矩阵来表示二次型。
线性变换的视角：当我们对变量做线性变换 $x = P y$ 时，二次型变为 $f(x) = y^T (P^T A P) y$ ，这对应于矩阵的合同变换，揭示了二次型的几何性质。
特征值和特征向量：矩阵的特征值和特征向量告诉我们二次型的主轴方向和在这些方向上的"伸缩"程度，这对应于二次曲面的主轴。
规范形的求解：通过矩阵对角化，我们可以将二次型化为标准形式 $∑i=1nλiyi2\sum_{i=1}^n \lambda_i y_i^2$ ，其中 $λi\lambda_i$ 是矩阵的特征值。

这种联系不仅是表示上的方便，更重要的是它建立了代数结构（二次型）与几何直观（矩阵表示的线性变换）之间的桥梁，使我们能够利用线性代数的强大工具来分析和处理二次型问题。

在实际应用中，无论是描述物理系统的能量、分析数据的协方差结构、还是研究优化问题的目标函数，这种二次型与矩阵的对应关系都提供了强大的分析框架。

6. 线性代数中的二次型： $f(x) = x^T A x$

引言

二次型是一个标量值函数 $f(x) = x^T A x$ ，其中：

$x$ 是一个 $n$ 维向量
$A$ 是一个 $\times n$ 矩阵
$x^T$ 是向量 $x$ 的转置

这个表达式从向量输入产生一个单一的数值（标量）。

基本示例

让我们从一个简单的二维示例开始：

如果 $\begin{bmatrix} x_1 \\ x_2 \end{bmatrix}$ 且 $\begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix}$ ，那么：

$x^T A x = \begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}$

逐步计算：

$\begin{align} x^T A &= \begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} \\ &= \begin{bmatrix} x_1 a_{11} + x_2 a_{21} & x_1 a_{12} + x_2 a_{22} \end{bmatrix} \end{align}$

然后：

$\begin{align} x^T A x &= \begin{bmatrix} x_1 a_{11} + x_2 a_{21} & x_1 a_{12} + x_2 a_{22} \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \\ &= (x_1 a_{11} + x_2 a_{21})x_1 + (x_1 a_{12} + x_2 a_{22})x_2 \\ &= a_{11}x_1^2 + a_{21}x_1 x_2 + a_{12}x_1 x_2 + a_{22}x_2^2 \end{align}$

如果 $A$ 是对称的（即 $a_{12} = a_{21}$ ），这在二次型中经常出现，那么：

$f(x) = a_{11}x_1^2 + 2a_{12}x_1 x_2 + a_{22}x_2^2$

几何解释

二次型有重要的几何解释：

当 $A$ 是正定的， $f(x) = x^T A x$ 在 $n$ 维空间中表示一个椭球体
当 $A$ 既有正特征值又有负特征值时， $f(x) = x^T A x$ 表示一个双曲面
当 $A$ 是半正定的， $f(x) = x^T A x$ 表示一个椭圆抛物面或圆柱体

实际例子

让我们考虑一个具体的例子：

$\begin{bmatrix} 2 & 1 \\ 1 & 3 \end{bmatrix}, \quad x = \begin{bmatrix} 2 \\ 1 \end{bmatrix}$

计算 $f(x) = x^T A x$ ：

$\begin{align} f(x) &= \begin{bmatrix} 2 & 1 \end{bmatrix} \begin{bmatrix} 2 & 1 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} 2 \\ 1 \end{bmatrix} \\ &= \begin{bmatrix} 2 \cdot 2 + 1 \cdot 1 & 2 \cdot 1 + 1 \cdot 3 \end{bmatrix} \begin{bmatrix} 2 \\ 1 \end{bmatrix} \\ &= \begin{bmatrix} 5 & 5 \end{bmatrix} \begin{bmatrix} 2 \\ 1 \end{bmatrix} \\ &= 5 \cdot 2 + 5 \cdot 1 \\ &= 10 + 5 \\ &= 15 \end{align}$

重要性质

对称性：对于任何二次型，我们总是可以使用对称矩阵 $A$ 而不失一般性，因为只有 $A$ 的对称部分对二次型有贡献：

$x^T A x = x^T \left(\frac{A + A^T}{2}\right) x$
对角化：任何二次型都可以通过改变基底进行对角化：

$x^T A x = y^T D y$

其中 $D$ 是包含 $A$ 特征值的对角矩阵。
通过特征值分类：
- 如果所有特征值都是正的，则 $A$ 是正定的
- 如果所有特征值都是非负的，则 $A$ 是半正定的
- 如果所有特征值都是负的，则 $A$ 是负定的
- 如果所有特征值都是非正的，则 $A$ 是半负定的
- 如果 $A$ 既有正特征值又有负特征值，则 $A$ 是不定的