4、具有酉约束的最小二乘回归用于网络行为分类

具有酉约束的最小二乘回归用于网络行为分类

1. 引言

分类领域的研究极为广泛，涵盖了线性判别分析（LDA）、投影寻踪和核方法等众多方法。这些算法通常将输入数据视为高维空间中的向量，通过寻找线性或非线性映射将其转换到特征空间，以实现降维并获得统计最优解。

在计算机网络行为分析中，为保障安全和隐私，常采用误用策略，通过识别网络状态或流量模式来检测违规和入侵行为，这本质上可看作是对网络行为数据的分类问题。因此，传统上支持向量机（SVM）等分类方法被广泛应用于网络行为分析。

LDA 是一种经典的线性降维方法，可利用标签信息学习适合特征提取、监督学习和分类的低维空间表示。与之密切相关的 Fisher 线性判别（FDA）也专注于为二分类问题寻找最优投影方向。此外，文献中还提出了许多对 LDA 的扩展和改进，如非参数判别分析（NDA）、核版本的 LDA 以及最大边际准则（MMC）等。

这些方法与流形学习技术密切相关，流形学习通过距离度量寻找数据的低维嵌入。例如，ISOMAP 致力于恢复数据的准等距低维嵌入，局部线性嵌入和拉普拉斯特征映射方法也各有特点。

值得注意的是，LDA、PCA 及其核和正则化版本都对应于最小二乘降秩回归的特定情况。这里，我们提出一种用于分类的最小二乘回归方法，通过将分类标签嵌入到 Stiefel 流形中，并利用核映射将待分类实例的特征向量映射到该流形上，最终通过正则化最小二乘公式实现特征与标签的匹配。

2. Stiefel 流形与最小二乘法

2.1 基本概念

Stiefel 流形 Stief(p, n) 是 $\mathbb{R}^n$ 中所有 p 维正交框架的集合