机器学习系列-最近邻分类器

最近邻分类器

消极学习方法

一般的分类器，比如决策树和支撑向量机，只要有训练数据可用，它们就开始学习从输入属性到类标号的映射模型，这类学习策略被称为积极学习方法。与之相对的是消极学习算法，它的策略是推迟对训练数据的建模，在需要分类测试样例时再进行。消极学习的一个例子是Rote分类器，它记住整个训练集，只有当测试样例和某个训练样例完全匹配时才进行分类。这个分类算法有个明显的缺陷就是经常会出现测试样例不能被分类的情况，因为没有任何训练样例与它们匹配。

最近邻分类器

对Rote分类器稍加改进就可以使其更具灵活性，那就是找出和测试样例属性比较接近的所有训练样例，这些训练样例被称为最近邻，可以用来确定测试样例的类标号。这和“物以类聚，人以群分”是一个道理。最近邻分类器把每个训练样例看做$d$维空间上的一个点，其中$d$是属性个数，给定一个测试样例$z$，计算</