17、数据降维与分类方法详解

数据降维与分类方法详解

在数据处理和机器学习领域，数据降维是一个关键步骤，它能够帮助我们从高维数据中提取关键信息，减少数据的复杂性。同时，分类方法则用于对数据进行归类，为不同的数据点赋予相应的类别标签。下面将详细介绍数据降维中的特征提取和特征选择，以及分类方法的相关内容。

特征提取

特征提取是将原始特征转换到低维空间的过程，从而生成新的合成特征。这些合成特征在一定程度上包含了所有原始特征的信息。

非负矩阵分解（NNMF）

• 基于 Frobenius 范数的 NNMF
  • 目标函数 ：使用 Frobenius 范数，NNMF 问题的目标函数可以表示为 (F(X, UV) = |X - UV|_F^2 = tr[(X - UV)^T (X - UV)])，经过一系列推导可得 (F(X, UV) = tr[X^T X] - tr[X^T UV] - tr[V^T U^T X] + tr[V^T U^T UV])，其中 (tr[Z]) 表示矩阵 (Z) 的迹。
  • 偏梯度计算 ：对 (U) 求偏梯度，(\nabla_U F(X, UV) = -2(XV^T - UVV^T))；对 (V) 求偏梯度，(\nabla_V F(X, UV) = -2(U^T X - U^T UV))。
  • 更新规则
    • 加法更新规则 ：(U_k = U_{k - 1} + \t