55、高维学习中的方法与可视化：从偏最小二乘到数据洞察

高维学习中的方法与可视化：从偏最小二乘到数据洞察

在高维数据的学习与分析中，我们面临着诸多挑战，如维度灾难、数据复杂性和模型不确定性等。为了应对这些挑战，出现了一系列强大的技术和方法，包括偏最小二乘（PLS）、监督维度缩减（SDR）以及可视化技术。这些方法相互关联，共同帮助我们从高维数据中提取有价值的信息。

偏最小二乘（PLS）方法

PLS是一种强大的数据分析技术，有PLS1（单维响应）和PLS2（多维响应）之分。其核心在于通过特定的矩阵运算保证向量的相互正交性，具体公式如下：
- $XXX = XXX - tttppp^T$ 和 $YYY = YYY - ttttttt^T$
- $ttt^Tttt = YYY - tttccc$

PLS的特征值问题

可以证明，特征值问题 $XXX^TYYYYYY^TXXXwww = \lambda www$ 的第一个特征向量是 $www$。在过程开始时计算 $XXX^TYYYYYY^TXXX$ 的所有特征值，可定义另一种形式的PLS过程。如果省略去通胀步骤，会得到一种更简单的PLS形式，这种形式与PLS1一致，但与PLS2不同。

PLS的性质

1. 相关性最大化的特征值解法 ：最初解决相关性最大化问题是将其作为特征值问题，依次求解 $ttt_i$。与NIPALS算法不同，这里对矩阵 $XXX$ 和 $YYY$ 使用奇异值分解。通过 $ttt = XXXwww$ 和 $uuu = YYYccc$ 可推导得出：
   - $www \propto XXX^Tuuu \propto XXX^TYYYccc \pr