34、信号处理与机器学习中的相干性及矩阵代数基础

信号处理与机器学习中的相干性及矩阵代数基础

相干性相关理论发展

相干性在信号处理和机器学习领域有着广泛的应用和发展。在20世纪90年代初，Mallat和Zhang将相干性用作匹配追踪的启发式量。随后，Donoho及其同事明确了相干性在压缩感知中的重要性。Tropp也使用相干性来表征线性稀疏逼近问题中的字典。Candés和Wakin对相干性进行了出色的综述。受限等距性的定义最早出现在相关研究中，相干指数的推导也有其特定的依据。

1961年，Horst首次提出多集典型相关分析（MCCA），用于估计多个数据集的成对相关性，他给出了两种形式：相关性之和（SUMCOR）和最大方差（MAXVAR）。1968年，Carroll提出寻找共享潜在相关空间，这与MAXVAR - MCCA相同。近年来，有更多论文考虑基于子空间的MCCA方法。1971年，Kettenring为MCCA增加了三种新形式，分别是最大化平方相关性之和（SSQCOR）、最小化最小特征值（MINVAR）和最小化相关矩阵的行列式（GENVAR）。CCA作为优化问题的形式在相关研究中被讨论，同时也提出了核 - CCA扩展。此外，MAXVAR - MCCA在适当约束下可重新表述为线性变换之间的欧几里得距离函数，等价于一组耦合回归问题。

Mercer发展了正定函数理论，该理论在傅里叶变换和拓扑群理论中有许多应用。Aronszajn在1950年的开创性论文提供了很好的介绍和历史背景。近几十年来，再生核和核方法在机器学习中的应用激增，支持向量机（SVM）是其最重要的应用之一。Hardoon、Szedmak和Shawe - Taylor最初提出了核CCA，Richard、Bermudez和Honeine为核自适应滤波算法提出了基于相干性的准则。 </