2、大数据预测分析：传统方法困境与集成模型出路

大数据预测分析：传统方法困境与集成模型出路

1. 传统广泛使用方法的根本问题

在大数据时代，人们可能认为摆脱“维度诅咒”后，运用传统方法就能对高维度数据进行评估，以构建更准确智能的大数据预测模型。然而，传统方法往往无法给出无偏或非任意的预测与解释，在如今的高维数据下，这个问题愈发明显。

1.1 方法多样性与任意性

目前有数百种预测分析方法在使用，每种方法都有不同假设，且带有任意参数。“没有免费的午餐”定理虽为这种多样性辩护，但实际中，建模者只能测试少量可能的算法。除非有明显简单的最佳模型，否则不同建模者用相同数据会产生不同的任意模型。

例如，决策树方法中的CHAID和CART，有不同统计测试来确定分支；同一方法中，不同用户提供的参数也会产生不同决策树，导致不同预测和解释。回归变量选择方法如逐步回归和LASSO逻辑回归，在选择重要“解释”变量时，任意假设和参数不同，即使同一回归方法，不同参数选择也会产生不同解释和预测。

还有主成分分析（PCA）、变量聚类和因子分析等方法，试图通过降低变量维度来避免变量选择问题，但大多数行为数据难以用这些方法的假设进行建模。贝叶斯网络、偏最小二乘法和结构方程建模等方法，也有不同任意假设，导致解释和预测的多样性。支持向量机、人工神经网络、随机森林、随机梯度提升和各种遗传算法等黑箱方法，虽能获得变量重要性度量，但因方法假设或用户定义参数不同，会产生不同预测和重要变量。

1.2 模型的任意性与不可靠性

由于方法众多且都需要无根据的建模假设和任意用户定义参数，若将相同数据给100个不同预测建模者，很可能得到100个不同模型（除非是简单问题）。这些不同模型往往有不同预测和解