4、机器学习的核心要素：模型与特征深度解析

机器学习的核心要素：模型与特征深度解析

1. 机器学习的模型类型

在机器学习领域，存在着多种不同类型的模型，它们各自有着独特的特点和应用场景。

1.1 朴素贝叶斯分类器的变体

朴素贝叶斯分类器是一种常用的概率模型。在其某个变体中，我们记录特定单词在电子邮件中出现的次数，而非仅仅关注其是否出现。这就需要为每个似然 $P(w_i = j|Y = ±)$ 设定参数 $p_{ij±}$，其中 $j = 0,1,2,\cdots$。例如，有两封垃圾邮件中“lottery”出现了两次，还有一封正常邮件中“Peter”出现了五次。将两组边际似然结合起来，会形成类似格子图案的效果，因此有人将朴素贝叶斯称为“苏格兰分类器”。这也直观地提醒我们，多元朴素贝叶斯模型可以分解为多个一元模型。

1.2 逻辑模型

逻辑模型更具算法性质，其灵感来源于计算机科学和工程领域。这类模型可以轻松转化为人类能够理解的规则，例如“if Viagra = 1 then Class = Y = spam”。这些规则可以组织成特征树的结构。

• 特征树与决策树 ：特征树通过特征对实例空间进行迭代划分，其叶子节点对应实例空间中的矩形区域，即实例空间段。根据不同的任务，叶子节点可以标记为类别、概率或实数值等。当叶子节点标记为类别时，特征树就成为了决策树。例如，对于图 1.4 中的特征树，我们可以使用多数类规则，从左到右将叶子节点标记为正常邮件 - 垃圾邮件 - 垃圾邮件；也可以标记为每个叶子节点中垃圾邮件的比例，即 1/3、2/3 和 4/5；如果是回归任务，还可以标记为预测的实数值或线性函数。