9、机器学习中的降维与决策树方法解析

机器学习中的降维与决策树方法解析

在机器学习领域，处理大规模数据时，计算问题与偏差 - 方差权衡的相互作用至关重要。本文将深入探讨主成分分析（PCA）、决策树等方法，以及它们在实际应用中的操作步骤和面临的挑战。

1. 主成分分析（PCA）与超参数选择

在进行预测时，我们通常需要对新数据调用 qeKNN() 函数。不过，直接操作会很繁琐，所以常使用节省劳动力的 qePCA() 函数。在此之前，我们需要先讨论如何选择主成分（PC）的数量。

1.1 两个超参数的问题

以往，为了获得最准确的预测，我们只需尝试不同的最近邻数量 k 的值。但现在，我们需要同时测试 k 和主成分数量 m 的一系列值。例如，尝试 10 个 k 值与 10 个 m 值的所有组合，并计算每个组合的留一法平均绝对百分比误差（MAPE），然后选择 MAPE 最小的组合。然而，这会带来两个主要问题：一是每个组合的计算时间长，导致总运行时间很长；二是可能存在 p - 黑客 问题，即某个组合可能只是偶然地展现出特别准确的预测效果。

1.2 直接选择 m 的方法

一种常见的直观方法是查看主成分的方差（标准差的平方）。方差小的变量基本是常量，对预测 Y 的作用可能很小或没有作用，因此可以舍弃方差小的主成分。示例代码如下：