24、希尔伯特空间与线性常微分方程组系统

希尔伯特空间与线性常微分方程组系统

1. 希尔伯特空间基础概念

1.1 线性向量与度量空间

1.1.1 线性向量空间

线性向量空间 (X) 是元素 (x)、(y) 等的集合，在这个集合上可以定义元素间的加法 (x + y)，并且满足以下性质：
- 交换律：(x + y = y + x)
- 结合律：((x + y) + z = x + (y + z))
- 存在零元素 (0)，使得 (x + 0 = x)，且 (0) 属于 (X)
- 对于任意元素 (x)，存在其逆元素 (-x)，满足 (x + (-x) = 0)，且 (-x) 属于 (X)

此外，还需定义标量乘法，对于任意 (x)、(y) 属于 (X)，以及标量 (\alpha) 和 (\beta)，满足：
- (\alpha (x + y) = \alpha x + \alpha y) 且 ((\alpha + \beta) x = \alpha x + \beta x)
- (\alpha (\beta x) = (\alpha\beta) x)
- (1x = x)

1.1.2 度量空间

定义在集合 (X) 上的度量 (d(.,.)) 是一个实值函数，定义于 (X \times X)，具有以下性质：
- (d(x, y) = d(y, x))
- (d(x, y) = 0) 当且仅当 (x = y)
- (d(x, y) \leq d(x, z) + d(z, y))，对于所有 (x)、(y) 和 (z) 属于 (X)

具有度量 (d(.,.)) 的集合 (X) 被称为度量空间 ((X, d))。

1.2 范数与内积

1.2.1 范数

线性度量空间 (X) 上的范数，记为 (|.|)，是一个实值函数，对于所有向量 (x) 和 (y) 属于 (X) 以及标量 (\lambda)，满足以下性质：
- (|x| \geq 0)，且 (|x| = 0) 当且仅当 (x = 0)
- (|\lambda x| = |\lambda| |x|)
- (|x + y| \leq |x| + |y|)

具有范数的线性向量空间被称为赋范空间。

1.2.2 内积

定义在 (X \times X) 上的内积，记为 (<.,.>)，是一个标量函数，对于所有向量 (x) 和 (y) 属于 (X) 以及标量 (\lambda)，满足以下性质：
- (<\lambda x + y, z > = \lambda < x, z > + < y, z >)
- (< x, y > = (< y, x >)^ )，其中上标 ((^ )) 表示复共轭
- (< x, x > \geq 0)，且 (< x, x > = 0) 当且仅当 (x = 0)

具有内积的线性向量空间 (X) 是内积空间。

1.2.3 相关推论

度量和/或范数的存在导致了各种拓扑的定义。例如：
- 在度量空间 ((X, d)) 中，序列 ({x_n} {n = 1}^{\infty}) 收敛到元素 (x_0) 当且仅当 (\lim {n \to \infty} d(x_n, x_0) = 0)
- 在赋范空间 (X) 中，序列 ({x_n} {n = 1}^{\infty}) 收敛到 (x_0) 当且仅当 (\lim {n \to \infty} |x_n - x_0| = 0)
- 在内积空间 (X) 中，序列 ({x_n} {n = 1}^{\infty}) 收敛到 (x_0) 当且仅当 (\lim {n \to \infty} < x_n - x_0, x_n - x_0 > = 0)

内积的存在允许定义正交性：两个向量 (x) 和 (y) 正交，记为 (x \perp y)，当且仅当 (< x, y > = 0)。

1.2.4 性质

• 赋范线性空间（范数为 (|.|)）定义了一个度量空间，度量为 (d(x, y) = |x - y|)
• 内积空间 (X)（内积为 (<.,.>)）是一个赋范线性空间，范数定义为 (|x| = < x, x >^{1/2})，因此也是一个度量空间
• 对于内积空间 (X) 中的任意 (x) 和 (y)，有 (| < x, y > | \leq |x| |y|) 以及 (|x + y|^2 + |x - y|^2 = 2|x|^2 + 2|y|^2)（平行四边形恒等式）
• 对于具有内积的 (n) 维线性向量空间，总能构造一个标准正交基 ((u_1, \ldots, u_n))，即 (< u_k, u_l > = \delta_{kl})
• 内积空间中两个序列和的极限是序列极限的和，两个序列内积的极限是对应序列极限的内积

1.3 希尔伯特空间

1.3.1 完备性

设 ((X, d)) 是一个度量空间。序列 ({x_n}_{n = 1}^{\infty}) 是柯西序列，如果对于任意实数 (\epsilon > 0)，存在正整数 (N)，使得对于所有 (m \geq N) 和 (n \geq N)，有 (d(x_n, x_m) < \epsilon)。如果度量空间中的每个柯西序列都收敛到空间内的一个元素，则称该度量空间是完备的。

1.3.2 希尔伯特空间

具有度量 (d(x, y) = < x - y, x - y >^{1/2} = |x - y|) 的完备内积空间 (X) 是希尔伯特空间。从希尔伯特空间可以得出许多结论，例如：
- 如果希尔伯特空间 (X) 中的序列 ({x_n} {n = 1}^{\infty}) 是正交的，那么序列 ({y_n} {n = 1}^{\infty})（(y_n = \sum_{k = 1}^{n} x_k)）在 (X) 中收敛当且仅当标量级数 (\sum_{k = 1}^{\infty} |x_k|^2) 收敛

投影定理：设 (U) 是希尔伯特空间，(V) 是 (U) 的希尔伯特子空间。设 (u) 是 (U) 中的向量但不在 (V) 中，(v) 是 (V) 中的向量。则存在唯一的向量 (v^ ) 属于 (V)，使得 (|u - v^ | = \min_{v \in V} |u - v|)。此外，向量 (v^ ) 由性质 (< u - v^ , v > = 0) 唯一确定，对于所有 (v) 属于 (V)。向量 (v^*) 称为 (u) 在 (V) 上的（正交）投影。

1.3.3 希尔伯特空间示例

• 示例 1 ：考虑所有（复）随机变量 (U) 的集合 (U)，这些随机变量均值为零且方差有限，即 (E(U) = 0) 且 (Var(|U|^2) < \infty)。对于所有 (U) 和 (V) 属于 (U)，定义 (< U, V > = E[U^*V])，这定义了 (U) 上的一个标量积，并使 (U) 成为希尔伯特空间。
• 示例 2 ：设 (T) 是实数的一个子集，({X_t, t \in T}) 是一个随机过程，满足 (E[|X_t|^2] < \infty) 对于 (t \in T)。设 (U) 是形式为 (U = \sum_{k = 1}^{n} c_k X_{t_k}) 的随机变量的集合，其中 (n) 是正整数，(c_1, \ldots, c_n) 是标量，(t_1, \ldots, t_n) 是 (T) 中的元素。内积 (< U, V > = E(UV^*)) 在 (U) 上诱导了一个内积。通过包含 (U) 中序列极限的所有随机变量扩展的空间 (U) 是一个希尔伯特空间。

1.3.4 预测应用

单变量情况

设 (H) 是示例 1 中定义的希尔伯特空间，({X_t, t = 0, \pm 1, \pm 2, \ldots}) 是一个（离散）随机过程。设 (H_t) 是由序列 (X_t, X_{t - 1}, X_{t - 2}, \ldots) 张成的子集，(H_t) 是一个希尔伯特空间。目标是使用 (H_t) 中的元素估计 (X_{t + m})，即找到 (H_t) 中的元素 (\hat{X} {t + m})，使得 (|X {t + m} - \hat{X} {t + m}|^2 = E[|X {t + m} - \hat{X} {t + m}|^2] = \min {Y \in H_t} |X_{t + m} - Y|^2)。(\hat{X} {t + m}) 是 (X {t + m}) 在 (H_t) 上的正交投影，满足 (E[(X_{t + m} - \hat{X} {t + m})Y] = 0)，对于任何 (Y) 属于 (H_t)。预测误差 (\epsilon {t + m} = X_{t + m} - \hat{X}_{t + m}) 与 (H_t) 中的所有随机变量正交。

在概率术语中，考虑随机过程 ((X_t)) 在 (t \leq n) 时的观测值，寻求估计随机变量 (X_{n + h})。(X_{n + h}) 给定 (I_n = {X_t, t \leq n}) 的条件概率分布为 (f_h(x_{n + h}|x_t, t \leq n) = Pr(X_{n + h} \leq x|X_t, t \leq n) = f_h(x))。(X_{n + h}) 的估计 (\hat{X} {n + h}) 是最小化问题 (\min E[(\hat{X} {n + h} - Y)^2|I_n] = \min \int (x - y)^2 f_h(x) dx) 的解，解为 (\hat{X} {n + h} = E(X {n + h}|X_t, t \leq n))，(\epsilon_{n + h} = X_{n + h} - \hat{X} {n + h}) 称为预测误差。当 ({X_t}) 是高斯过程时，(E(X {n + h}|X_t, t \leq n)) 是 (X_t)（(t \leq n)）的线性函数，一般线性预测器为 (\hat{X} {n + h} = \sum {k \geq 0} \alpha_k X_{t - k})。

多变量情况

多变量时间序列的预测比单变量时间序列更复杂，因为涉及矩阵。设 (x_t = [X_{t1}, \ldots, X_{tp}]^T) 是一个 (p) 维二阶（(E[|x_t|^2] < \infty)）零均值随机向量，({x_t, t = 0, \pm 1, \pm 2, \ldots}) 是一个二阶向量随机函数。设 (H) 是由该随机函数张成的希尔伯特空间，(H_n) 是由 (X_{t,k})（(k = 1, \ldots, p)，(t \leq n)）张成的希尔伯特空间。对于 (H) 上的广义内积（Gramian 矩阵）定义为 (\ll u, v \gg_p = E[uv^ ])，其中 ((^ )) 表示转置复共轭。范数为 (|x|^2 = \sum_{k = 1}^{p} E|X_k|^2 = tr(\ll xx^T \gg_p))。随机向量 (u) 在 (H_n) 上的投影 (\hat{u}) 是一个随机向量，其分量是 (u) 相应分量的投影。预测器 (\hat{x} {t + m}) 是 (x {t + m}) 在 (H_t) 上的正交投影，预测误差 (\epsilon_{t + m} = x_{t + m} - \hat{x} {t + m}) 与 (H_t) 中的所有向量正交，且 (\epsilon_k) 与 (\epsilon_l)（(l \neq k)）正交，即 (E[\epsilon_k \epsilon_l^T] = \delta {kl} \Sigma)，其中 (\Sigma) 是预测误差 (\epsilon_k) 的协方差矩阵。

1.4 总结

希尔伯特空间在时间序列和预测理论中有着自然的应用，通过投影定理可以解决预测问题。单变量和多变量时间序列的预测都可以基于希尔伯特空间的概念进行处理，利用正交投影来找到最优预测器，从而最小化预测误差。

1.5 相关概念关系图

graph LR
    A[线性向量空间] --> B[度量空间]
    A --> C[赋范空间]
    A --> D[内积空间]
    D --> E[希尔伯特空间]
    B --> E
    C --> E
    E --> F[时间序列预测]

1.6 性质总结表格

概念	定义	性质
线性向量空间	元素集合，定义加法和标量乘法	交换律、结合律、存在零元素和逆元素
度量空间	集合 (X) 上定义度量 (d(.,.))	(d(x, y) = d(y, x))，(d(x, y) = 0 \Leftrightarrow x = y)，(d(x, y) \leq d(x, z) + d(z, y))
赋范空间	线性向量空间上定义范数 (|.|)	(|x| \geq 0)，(|x| = 0 \Leftrightarrow x = 0)，(|\lambda x| =
内积空间	线性向量空间上定义内积 (<.,.>)	(<\lambda x + y, z > = \lambda < x, z > + < y, z >)，(< x, y > = (< y, x >)^*)，(< x, x > \geq 0)，(< x, x > = 0 \Leftrightarrow x = 0)
希尔伯特空间	完备内积空间	投影定理等

2. 线性常微分方程组系统

2.1 常矩阵 (A) 的情况

2.1.1 齐次系统

对于形如 (\frac{dx}{dt} = Ax) 的齐次系统，其中 (A) 是 (m \times m) 的实（或复）矩阵，初始条件为 (x_0 = x(t_0))。可以使用矩阵的指数形式 (e^A = \sum_{k \geq 0} \frac{1}{k!}A^k)，该形式可扩展到 (e^{tA})，且有 (\frac{d}{dt}e^{tA} = e^{tA}A = Ae^{tA})。

此齐次系统的解为 (x(t) = e^{tA}x_0)。需要注意的是，对于形如 (\frac{d^m y}{dt^m} + a_{m - 1}\frac{d^{m - 1} y}{dt^{m - 1}} + \cdots + a_1\frac{dy}{dt} + a_0y = 0) 的 (m) 阶常微分方程，可将其转化为类似 (\frac{dx}{dt} = Ax) 的系统，其中 (A) 为弗罗贝尼乌斯矩阵：
[
A =
\begin{pmatrix}
0 & 1 & \cdots & 0 & 0 \
0 & 0 & \cdots & 0 & 0 \
\vdots & \vdots & \ddots & \vdots & \vdots \
0 & 0 & \cdots & 0 & 1 \
-a_0 & -a_1 & \cdots & -a_{m - 2} & -a_{m - 1}
\end{pmatrix}
]
(x(t) = (y(t), \frac{dy(t)}{dt}, \cdots, \frac{d^{m - 1} y(t)}{dt^{m - 1}})^T)，初始条件为 (x_0 = x(t_0))。

2.1.2 非齐次系统

考虑非齐次系统 (\frac{dx}{dt} = Ax + b)，其中 (b = b(t)) 是时间相关的。通过注意到 (\frac{dx}{dt} - Ax = e^{tA}\frac{d}{dt}(e^{-tA}x))，该系统的解为 (x(t) = e^{tA}x_0 + \int_{t_0}^{t} e^{(t - s)}A b(s) ds)。此公式也可用于求解 (m) 阶非齐次微分方程。

2.2 时变矩阵 (A) 的情况

2.2.1 一般情况

对于系统 (\frac{dx}{dt} = A(t)x)，初始条件为 (x_0)。其积分理论基于一组独立的微分方程解。若 (x_1(t), \cdots, x_m(t)) 是该系统的 (m) 个解，且初始条件 (x_1(t_0), \cdots, x_m(t_0)) 线性独立，则矩阵 (M(t) = (x_1(t), \cdots, x_m(t))) 满足系统 (\frac{dM}{dt} = AM)。

若 (M(t_0)) 可逆，则该系统的解也可逆。通过朗斯基行列式 (W(t) = det(M(t))) 满足的常微分方程 (\frac{dW}{dt} = tr(A)W)（即 (W(t) = W(t_0) \exp(\int_{t_0}^{t} tr(A(u)) du))），可证明 (M(t)) 可逆。

该系统的解形式为 (x(t) = S(t, t_0)x(t_0))，其中 (S(.,.)) 是系统的传播子，(S(t, u) = M(t)M^{-1}(u))。对于非齐次系统 (\frac{dx}{dt} = A(t)x + b(t))，初始条件为 (x_0)，其解为 (x(t) = S(t, t_0)x(t_0) + \int_{t_0}^{t} S(t, u)b(u) du)。

当矩阵 (A) 满足 (A(t)A(s) = A(s)A(t)) 对所有 (t) 和 (s) 成立时，传播子 (S(.,.)) 有简单表达式 (S(t, s) = e^{\int_{s}^{t} A(u) du})。此外，上述非齐次系统的解可扩展到 (b) 为随机强迫项的情况，与时间相关的多变量自回归模型相关。

2.2.2 周期矩阵 (A) 的特殊情况：弗洛凯理论

在物理科学中，周期矩阵 (A(t))（周期为 (T)，即 (A(t + T) = A(t))）的情况尤为重要，在大气科学中因强烈的季节性而具有特别的相关性。对于系统 (\dot{x} = A(t)x)，初始条件为 (x_0 = x(t_0))，其解由弗洛凯理论给出，形式为 (x(t) = e^{\mu t}y(t))，其中 (y(t)) 是周期函数，但解不一定是周期的。

一组 (m) 个独立解 (x_1(t), \cdots, x_m(t)) 构成基本矩阵 (X(t))，若初始条件 (X_0 = X(t_0)) 为单位矩阵 (I_m)，则 (X(t)) 称为主基本矩阵。该系统的解为 (x(t) = X(t)X_0^{-1}x_0)。

弗洛凯理论的一个重要结果是，若 (X(t)) 是基本矩阵，则 (X(t + T)) 也是基本矩阵，且存在非奇异矩阵 (B) 使得 (X(t + T) = X(t)B)。通过朗斯基行列式可得到 (B) 的行列式 (|B| = \exp(\int_{0}^{T} tr(A(u)) du))。(B) 的特征值（特征乘数）可写为 (e^{\mu_1 T}, \cdots, e^{\mu_m T})，由此可得特征（或弗洛凯）指数 (\mu_1, \cdots, \mu_m)。

系统（或原点）渐近稳定的条件是特征指数的实部为负。若 (u) 是 (B) 对应特征值 (\rho = e^{\mu T}) 的特征向量，则 (x(t) = X(t)u) 是系统的解，且 (x(t + T) = \rho x(t))，解可写为 (x(t) = e^{\mu T} [x(t)e^{-\mu T}])，其中 (y(t) = x(t)e^{-\mu T}) 是 (T) 周期的。

2.3 常微分方程组求解流程

graph TD
    A[给定系统 dx/dt = Ax + b] --> B{矩阵 A 是否为常数?}
    B -- 是 --> C{是否为齐次系统 (b = 0)?}
    C -- 是 --> D[使用 x(t) = e^{tA}x_0 求解]
    C -- 否 --> E[使用 x(t) = e^{tA}x_0 + ∫_{t_0}^{t} e^{(t - s)}A b(s) ds 求解]
    B -- 否 --> F{矩阵 A 是否具有周期性?}
    F -- 是 --> G[使用弗洛凯理论求解 x(t) = e^{\mu t}y(t)]
    F -- 否 --> H[使用一般方法，先找独立解构成 M(t)，再求 S(t, u) 进而求解]

2.4 不同情况总结表格

矩阵 (A) 情况	系统类型	解的形式
常矩阵	齐次系统 (\frac{dx}{dt} = Ax)	(x(t) = e^{tA}x_0)
常矩阵	非齐次系统 (\frac{dx}{dt} = Ax + b(t))	(x(t) = e^{tA}x_0 + \int_{t_0}^{t} e^{(t - s)}A b(s) ds)
时变矩阵	一般情况 (\frac{dx}{dt} = A(t)x)	(x(t) = S(t, t_0)x(t_0))，(S(t, u) = M(t)M^{-1}(u))
时变矩阵	非齐次系统 (\frac{dx}{dt} = A(t)x + b(t))	(x(t) = S(t, t_0)x(t_0) + \int_{t_0}^{t} S(t, u)b(u) du)
时变周期矩阵	系统 (\dot{x} = A(t)x)	(x(t) = e^{\mu t}y(t))

2.5 总结

本文详细介绍了希尔伯特空间和线性常微分方程组系统的相关知识。希尔伯特空间在时间序列和预测理论中具有重要应用，通过投影定理可以有效解决单变量和多变量时间序列的预测问题。而线性常微分方程组系统的求解则根据矩阵 (A) 是否为常数、是否为齐次系统以及矩阵 (A) 是否具有周期性等不同情况，采用不同的方法进行求解。这些理论和方法在物理科学、大气科学等多个领域都有着广泛的应用。