44、机器学习领域经典研究成果综述

机器学习领域经典研究成果综述

1. 引言

机器学习作为一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。本文将对机器学习领域的众多经典研究成果进行梳理和介绍。

2. 基础理论研究

• 可学习性与维度相关
  • Blumer等人在1987年提出“Occam’s razor”，强调在信息处理中简单模型的重要性。1989年他们又探讨了“Learnability and the Vapnik - Chervonenkis dimension”，Vapnik - Chervonenkis维度成为衡量函数类可学习性的重要指标。
  • Floyd在1989年研究了“Space - bounded learning and the Vapnik - Chervonenkis dimension”，进一步探索了空间受限情况下的学习与该维度的关系。
  • Floyd和Warmuth在1995年研究了“Sample compression, learnability, and the Vapnik - Chervonenkis dimension”，将样本压缩与可学习性和该维度联系起来。
• 统计学习理论
  • Vapnik在机器学习领域贡献巨大，1971年他与Chervonenkis提出“On the uniform conv