数据挖掘基本概念

1：过拟合（overfitting），顾名思义，某种算法产生的分类器能够百分百正确分类训练样本，而对于新出现的样本，它都认为不属于这个类别，实际数据不完全是训练样本能够覆盖的，训练样本只是其中一小部分，这导致其在新样本的分类上准确率较低。

如图，可以看出在a中虽然完全的拟合了样本数据，但对于b中的测试数据分类准确度很差。而c虽然没有完全拟合样本数据，但在d中对于测试数据的分类准确度却很高。过拟合问题往往是由于训练数据少等原因造成的。

 

2：经验风险，机器学习本质上就是一种对问题真实模型的逼近，这种近似模型也叫做一个假设。因为真实模型肯定无法得到，我们的假设肯定与真实情况之间存在误差，这种误差或者误差的积累也叫风险。

在我们选择了一个假设（或得到了一个分类器）后，为了得到真是误差的逼近，我们用分类器在样本数据上的分类结果与样本本身真实结果之间的差值来表示。这个差值叫做经验风险。

以前机器学习中经常通过经验风险的最小化作为目标，但是后来发现很多分类函数在样本集合上能够很轻易的获得100%的正确率，但在对真实数据的分类却很糟。也表明了这种分类函数推广能力（泛化能力）差。导致这种现象的原因是：经验风险并不能够真正的逼近真实风险,因为样本集合的数目相对于真实世界要分类的数据来说就是九牛一毛。经验风险最小化原则只在这占很小比例的样本上做到没有误差，当然不能保证在更大比例的真实文本上也没有误差。之后统计学引入了泛化误差的概念。

3：泛化误差，如上，经验风险最小化目标任解决不了分类器泛化能力差的问题后，业界提出泛化误差的概念（generalization error），在机器学习中泛化误差是用来衡量一个学习机器推广未知数据的能力，即根据从样本数据中学习到的规则能够应用到新数据的能力。

4：泛化误差界，是指真实风险应该由两部分内容刻画，一是经验风险，代表了分类器在给定样本上的误差；二是置信风险，代表我们在多大程度上可以信任分类器在未知文本上分类的结果。很显然，第二部分是没有办法精确计算的，只能给出一个估计区间，也使得整个误差只能计算上界，无法精确量化，所以叫泛化误差界。

置信风险与两个量有关，一是样本数量，显然给定的样本数量越大，我们的学习结果越有可能正确，此时置信风险越小；二是分类函数的VC维，显然VC维越大，推广能力越差，置信风险会变大。

泛化误差界的公式为：R(w)≤Remp(w)+Ф(n/h)

公式中R(w)就是真实风险，Remp(w)就是经验风险，Ф(n/h)就是置信风险。统计学习的目标从经验风险最小化变为了寻求经验风险与置信风险的和最小，即结构风险最小。SVM正是这样一种努力最小化结构风险的算法。

5：VC维，上面提到了VC维（Vapnik-Chervonenkis Dimension），还是vapnik大牛，度娘给出的解释：VC维（Vapnik-Chervonenkis Dimension）的概念是为了研究学习过程一致收敛的速度和推广性，由统计学理论定义的有关函数集学习性能的一个重要指标。VC维反映了函数集的学习能力，VC维越大则学习机器越复杂（容量越大）。所以VC维可以简单理解为问题的复杂度，VC维越高，问题越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。核函数将线性不可分问题映射到高维空间的线性可分，而在N维空间中线形分类器和线形实函数的VC维是N+1，因此这里的确是与样本的维数无关。

转自：http://apinetree.blog.51cto.com/714152/1560189