22、机器学习分类器：非概率与概率模型解析

机器学习分类器：非概率与概率模型解析

1. 非概率分类器概述

非概率分类器在机器学习领域有着广泛的应用，常见的非概率分类器包括k - NN、分类树、规则归纳以及人工神经网络（ANNs）和支持向量机（SVMs）等。

1.1 k - NN

k - 近邻（k - NN）算法中，实例间合适的距离函数选择会影响其性能指标。Dasarathy和Cunningham的研究表明，合适的距离函数对k - NN分类器的性能至关重要。Friedman、Hastie和Tibshirani还开发了灵活或自适应的度量方法。

1.2 分类树

分类树算法众多，Lim等人比较了22种分类树归纳算法，发现QUEST线性分裂算法最为准确。此外，还有THAID、FACT等多种分类树算法。分类树在处理大数据集、成本敏感问题等方面存在一些特殊挑战，Kotsiantis对此进行了相关研究。同时，决策树存在不稳定性，小的训练集变化可能导致树结构的巨大改变，而像装袋（bagging）这样的元分类器可以利用这一特性。

1.3 规则归纳

除了常见的规则归纳方法，还有基于进化计算的规则归纳算法，即基于遗传的机器学习算法。主要有密歇根方法和匹兹堡方法两种不同的算法家族。

1.4 人工神经网络（ANNs）

ANNs的发展受益于多个领域的研究，经历了不同的发展阶段。McCulloch和Pitts首次尝试对神经元操作进行数学建模，Hebb提出了早期的学习机制，Rosenblatt引入了感知机及其学习规则，Widrow和Hoff开发了ADALINE学习算法。然而，早期的感知机和ADALINE只能解决线性可分问题