统计模型中的一些概念

过拟合(overfitting)以及欠拟合

对于一个监督学习模型来说， 过小的特征集合使得模型过于简单，过大的特征集合使得模型过于复杂 。

 对于特征集过小的情况，称之为 欠拟合（ underfitting ），对于特征集过大的情况，模型的设定会越来越复杂，最后造成该模型只适用于当前的样本集，称之为过拟合（ overfitting ）。

泛化能力

泛化能力（generalization ability）是指机器学习算法对新鲜样本的适应能力。通常期望经训练样本训练的网络具有较强的泛化能力，也就是对新输入给出合理响应的能力。应当指出并非训练的次数越多越能得到正确的输入输出映射关系。

归一化(normalization)

归一化也称为正规化或标准化，它的目的是为了让数据更便于我们的计算或获得更加泛化的结果，但并不改变问题的本质。

对于一个样本集X每行代表一个样本，每列是维数。对其L1 normalization如下：对每行样本的值求和sum(X,2),是得到一个列向量，然后x1 = bsxfun(@times, X,1./sum(X,2)),最后得到的x1就是L1 normalization。归一化是针对样本的。