38、回归与分类方法的计算比较及性能评估

回归与分类方法的计算比较及性能评估

在数据挖掘和机器学习领域，存在着各种各样的回归和分类方法。对于回归问题，有早期方法（如分箱平滑器和移动线平滑器）、经典方法（如核方法、样条方法和最近邻方法）、新潮方法（如加法模型、投影寻踪、神经网络、树模型和MARS）以及替代方法（如集成方法、相关向量机和贝叶斯非参数方法）。在分类问题中，除了将分类问题视为函数值仅为0和1的回归问题外，主要技术包括线性判别分析、基于树的分类器、支持向量机和相关向量机。

方法选择的难题

面对如此众多的方法，一个关键问题是何时使用每种方法。虽然已经展示了一些这些技术的示例，但仍需要更全面的比较。实际上，没有一种方法总是最优的，这在“没有免费午餐”原则中得到了体现。不过，每种方法可能都有其适用的函数集、数据类型和样本大小范围，就像是每个方法都有自己的“适用区域”。理想情况下，可以将回归问题的空间划分为不同的适用区域，根据考虑的方法来确定哪种方法最适合每个区域，这将成为非参数方法的选择原则。但遗憾的是，由于适用区域未知，目前尚不清楚如何实现这一点。

刻画方法适用区域的途径

有三种方法可以刻画方法的适用区域：
1. 理论证明 ：原则上，可以证明一些定理，将问题类划分为不同的适用区域，在这些区域中，一种方法在某种标准下比其他方法更优。这种方法如果可行，将提供最大的确定性，但在处理实际数据时可能会很困难。
2. 模拟实验 ：系统地进行模拟实验，使用各种数据类型、模型、样本大小和评估标准来比较不同方法。
3. 实际数据应用 ：将这些方法应用于各种不同类型的实际数