76、矩阵基本子空间与KL散度及狄利克雷分布性质解析

矩阵基本子空间与KL散度及狄利克雷分布性质解析

一、矩阵基本子空间

1.1 向量空间的子空间

向量空间的子空间是一个重要概念。若集合 (S) 是向量空间 (V) 的非空子集，并且满足以下两个条件：
- 对于任意实数 (a)，若 (x \in S)，则 (ax \in S)；
- 若 (x \in S) 且 (y \in S)，则 (x + y \in S)。

那么，集合 (S) 就被称为向量空间 (V) 的子空间。

设 (v_1, v_2, \cdots, v_n) 是向量空间 (V) 中的向量，它们的线性组合 (a_1v_1 + a_2v_2 + \cdots + a_nv_n) 构成了向量空间 (V) 的子空间，这个子空间被称为由 (v_1, v_2, \cdots, v_n) 张成的子空间，记为 (\text{span}{v_1, v_2, \cdots, v_n})。若 (\text{span}{v_1, v_2, \cdots, v_n} = V)，则称 (v_1, v_2, \cdots, v_n) 张成向量空间 (V)。

1.2 向量空间的基和维数

向量空间 (V) 中的向量 (v_1, v_2, \cdots, v_n) 若满足以下两个条件，就被称为向量空间 (V) 的基：
- (v_1, v_2, \cdots, v_n) 线性无关；
- (v_1, v_2, \cdots, v_n) 张成向量空间 (V)。

向量空间的基的数量就是该向量空间的维数。

1.3 矩阵的行空间和列空间

设 (A)