5、数据挖掘中的预测模型构建与过拟合问题-优快云博客

本文链接：https://blog.youkuaiyun.com/sprite/article/details/155018119

数据挖掘中的预测模型构建与过拟合问题

在数据挖掘过程中，为了确保模型能够准确地对新数据进行预测或分类，我们需要处理诸多关键问题，如数据归一化、避免过拟合、合理划分数据集以及构建有效的预测模型等。

数据归一化

数据挖掘软件通常提供数据归一化选项，在某些算法中可能需要对数据进行归一化处理。不过，这只是一个选项而非算法的自动特性，因为在某些情况下，我们希望每个变量按照其原始规模对距离度量做出贡献。

预测能力与过拟合

在监督学习中，一个关键问题是：当将预测或分类模型应用于新数据时，其性能如何？我们尤其关注比较各种模型的性能，以便选择在实际应用中表现最佳的模型。确保所选模型能够在现有数据集之外进行泛化是一个重要概念，为此我们会使用数据划分的方法，并尽量避免过拟合。

过拟合的概念

过拟合是指在模型中包含的变量越多，就越有可能对用于建模的特定数据进行过度拟合。例如，在一个关于广告支出和后续销售额的假设数据集中，我们可以用一个复杂的函数完美地拟合所有数据点，使残差为零。然而，这样的曲线在预测未来基于广告支出的销售额时可能既不准确也无用处。比如，很难相信广告支出从 400 美元增加到 500 美元会导致收入下降。