44、平稳过程的无监督慢子空间学习

平稳过程的无监督慢子空间学习

在机器学习领域，从平稳过程中进行无监督学习是一个重要的研究方向。本文将介绍一种基于平稳向量值过程的无监督学习方法，该方法通过结合数据方差和速度向量方差的准则来选择低维子空间，并对其进行详细的分析和实验验证。

1. 引言

在传统的学习理论中，输入变量通常被假设为独立同分布的。然而，在实际应用中，许多过程是平稳的，并且存在一定的依赖关系。将学习理论的结果从独立同分布的输入变量扩展到更一般的平稳过程是有必要的。

对于平稳随机过程，我们可以通过一系列零均值随机变量 $X_t$ 来建模复杂感官信号的演化，这些变量取值于希尔伯特空间 $H$。我们的目标是从观测到的 $X_0, …, X_m$ 中找到一个 $d$ 维正交投影 $P \in P_d$，使得投影后的刺激 $PX$ 能够平均地捕捉到原始刺激 $X$ 的重要信息。

为了指导这个搜索过程，我们引入了两个常识性原则：
- 大方差原则 ：重要的信号应该具有较大的方差。在零均值假设下，这意味着我们应该最大化 $E[|PX_0|^2]$，这与主子空间分析（PSA）的目标一致。
- 慢变化原则 ：感官信号的变化速度通常比其重要性的变化速度快。例如，一个熟悉的复杂物体的视觉印象，物体的运动或变形会导致视网膜感光细胞状态（或像素值）的快速变化，但物体的身份保持不变。慢变化原则建议最小化 $E[|P\dot{X} 0|^2]$，其中 $\dot{X}_t = X_t - X {t - 1}$ 是速度过程。

将这两个原则结合起来，我们得到了目标函数：
$L_{\alp