[数学基础] 矩阵的秩及其应用-优快云博客

本文链接：https://blog.youkuaiyun.com/jz_ddk/article/details/149207849

深入浅出：矩阵的秩及其应用

文章目录

- 深入浅出：矩阵的秩及其应用

一、数学定义

矩阵的秩（Rank）是线性代数中的核心概念，定义为矩阵中线性无关的行（或列）向量的最大数目。关键特性：

行秩 = 列秩（对任意矩阵成立）
记作 $\text{rank}(A)$ 或 $r (A)$
满足： $\leq \text{rank}(A) \leq \min(m, n)$ （ $\times n$ 矩阵）

数学表达式：
若矩阵 $A$ 的列空间维度为 $r$ ，则：
$\text{rank}(A) = \dim(\text{col}(A)) = r$

二、核心作用

解的存在性判断：
- $\text{rank}(A) = \text{rank}([A|b])$ ：方程组有解
- $\text{rank}(A) < \text{rank}([A|b])$ ：方程组无解
解的唯一定理：
若 $\text{rank}(A) = n$ （未知数个数）：
- 齐次方程组：唯一零解
- 非齐次方程组：唯一非零解
矩阵可逆性：
方阵 $A$ 可逆 $\iff \text{rank}(A) = n$ （满秩）

三、计算方法与步骤

方法1：高斯消元法（最常用）

步骤：

通过初等行变换将矩阵化为行阶梯形
统计非零行数量

示例：
$\text{原始矩阵：} \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \end{bmatrix}$

$\text{行阶梯形：} \begin{bmatrix} 1 & 2 & 3 \\ 0 & -3 & -6 \\ 0 & 0 & 0 \end{bmatrix} \quad \Rightarrow \quad \text{非零行数}=2 \quad \therefore \text{rank}=2$

方法2：奇异值分解（SVD）

秩 = 非零奇异值个数
Python实现：

import numpy as np
A = np.array([[1,2],[3,4],[5,6]])
U, S, V = np.linalg.svd(A)
rank = np.sum(S > 1e-10)  # 考虑浮点误差
print("SVD秩:", rank)  # 输出: 2

方法3：行列式法（仅适用于方阵）

秩 = 最高阶非零子式的阶数
$\text{矩阵：} \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}$
$\text{子式：} \det\left(\begin{bmatrix}1 & 2 \\ 3 & 4\end{bmatrix}\right) = -2 \neq 0 \quad \Rightarrow \quad \text{rank}=2$

四、物理意义

1. 线性变换的维度压缩

秩表示线性变换后空间的维度：
若线性变换 $\mathbb{R}^n \to \mathbb{R}^m$ ，则：
$\dim(\text{im}(T)) = \text{rank}(A)$

示例：

import matplotlib.pyplot as plt
import numpy as np

# 原始空间
points = np.array([[0,0], [1,0], [1,1], [0,1]])

# 满秩变换
A_full = np.array([[2,0],[0,1]])
full_rank = A_full @ points.T

# 秩1变换
A_rank1 = np.array([[1,1],[1,1]])
rank1 = A_rank1 @ points.T

# 绘图
plt.figure(figsize=(12,4))
plt.subplot(131)
plt.plot(points[:,0], points[:,1], 'ro-')
plt.title("原始空间 ($\dim=2$)")

plt.subplot(132)
plt.plot(full_rank[0], full_rank[1], 'bo-')
plt.title("满秩变换 ($\mathrm{rank}=2$)")

plt.subplot(133)
plt.plot(rank1[0], rank1[1], 'go-')
plt.title("秩1变换 ($\mathrm{rank}=1$)")
plt.tight_layout()
plt.show()

执行结果：

左图：二维正方形（原始空间）
中图：变换为二维矩形（保持二维性）
右图：压缩到一条直线（维度降为1）

在这里插入图片描述

2. 信息冗余度

秩越低 $\rightarrow$ 数据冗余度越高 $\rightarrow$ 可压缩性越强

五、典型应用场景

1. 图像压缩（低秩近似）

原理：利用SVD分解，保留前k个奇异值
Python实现：

from skimage import data
import numpy as np

# 加载图像
image = data.camera().astype(float)

# SVD分解
U, S, V = np.linalg.svd(image)

# 不同秩的近似
ranks = [5, 20, 100]
plt.figure(figsize=(15,5))

for i, r in enumerate(ranks):
    approx = U[:,:r] @ np.diag(S[:r]) @ V[:r,:]
    plt.subplot(1,3,i+1)
    plt.imshow(approx, cmap='gray')
    plt.title(f"秩={r} (压缩比:{r*(1+image.shape[0]/image.shape[1]):.1f}x)")

执行结果：
在这里插入图片描述

2. 推荐系统（矩阵补全）

核心思想：用户-物品评分矩阵是低秩的
数学模型：
$\min \text{rank}(X) \quad \text{s.t.} \quad P_\Omega(X) = P_\Omega(M)$
常用算法：交替最小二乘（ALS）

3. 控制系统分析

可控性矩阵秩：
$\text{rank}\left([B, AB, A^2B, \ldots, A^{n-1}B]\right) = n$
$\rightarrow$ 系统完全可控

4. 神经网络优化

梯度矩阵的低秩结构可用于：

梯度压缩（减少通信开销）
高效参数更新（Adafactor等优化器）

六、特殊矩阵的秩

矩阵类型	秩的特性
单位矩阵 $I_n$	$\text{rank}(I_n) = n$
正交矩阵 $Q$	$\text{rank}(Q) = n$
对角矩阵 $\Lambda$	非零对角元个数
投影矩阵 $P$	$\text{rank}(P) = \text{tr}(P)$
全1矩阵 $J$	$\text{rank}(J) = 1$
Vandermonde矩阵	取决于节点分布