27、机器学习中的特征工程与强化学习

机器学习中的特征工程与强化学习

1. 特征工程中的降维方法

在机器学习中，特征工程是一个关键环节，而维度降低在特征选择过程中起着重要作用。常见的降维方法有主成分分析（PCA）和线性判别分析（LDA）。

1.1 主成分分析（PCA）

PCA 是一种常用的降维技术。例如，原始数据形状为 (100, 2)，经过 PCA 转换后，数据形状变为 (100, 1)。这表明 PCA 去除了沿最不重要主轴的数据点，保留了具有最高方差的数据点。

1.2 线性判别分析（LDA）

LDA 是机器学习和模式分类应用中常用的降维预处理方法。它可以有效处理数据集中类间和类内的差异，提高数据的多样性。与 PCA 不同，LDA 不会改变原始数据集的位置，而是尝试提供额外的分割，并在指定类之间绘制决策区域。

1.2.1 LDA 的两种转换方式

• 类依赖转换 ：该方法旨在最大化类间方差与类内方差的比率，以获得足够的类可分性。它使用两个优化标准独立地转换数据集。
• 类独立转换 ：此方法试图最大化总体方差与类内方差的比率。它仅使用一个优化标准来转换数据集，所有数据点无论其类标识如何，都使用此转换进行转换。在这种类型的 LDA 中，每个类都被视为与其他所有类分开的类。

1.2.2 LDA 的数学运算步骤

以两类问题为例，每个数据集包含 100 个二维数据点，LDA 的数学设计步骤如下：
1. 创建数据集和测试集 ：将数