机器学习算法的推广性

    推广性是指通过对观测数据进行学习得到的学习机器对未来测试数据进行正确判断或近似预测的能力。前面提到，一个性能优异的学习机器应该使得期望风险最小化，在实际应用中，也就是使得经验风险最小化。而经过长时间的实验与观测，研究人员逐渐发现，经验风险最小化并不总是使得学习机器有着对未知数据良好的预测和判断能力。也就是说，通过对观测数据进行经验风险最小化的学习，并不是总能够得到一个推广能力良好的学习机器。在某些情况下，一味地追求经验风险最小化，反而使得学习机器的推广能力急剧下降，这也就是我们常听到的“过学习”的问题。“过学习”问题的出现，主要由两方面的因素：首先，原始的观测数据数量并不充分，或者，观测数据并不具有很好的代表性；其次，学习机器在训练经验的选择、目标函数的选择、目标函数的表现形式、逼近算法等方面存在的设计缺陷也会导致过学习问题的出现。

通常来讲，学习机器的复杂性与推广能力两者之间，是矛盾的。复杂的学习机器，只能适应于特定环境、特殊情况下的系统预测问题，从而使得其推广能力变差；另一方面，简单的学习机器虽然具有很好的推广性能，但其却有这很大的误差，甚至无法对训练样本进行准确的预测和近似判断。所以，学习机器的复杂性应该同所研究的系统相关，同时还要同有限的观测数据相适应。