10、机器学习中的分类器与神经网络

机器学习中的分类器与神经网络

1. 线性与多项式分类器

1.1 支持向量机与分类超平面

支持向量机（SVM）用于识别潜在的最佳分类超平面。在无数的候选超平面中，SVM 试图最大化最近的正例和最近的负例到超平面的距离。

1.2 历史回顾

• 感知机学习原理由 Rosenblatt 在 1958 年提出。
• WINNOW 由 Littlestone 提出并分析。
• Cover 分析了线性和多项式分类器的容量问题。
• Vapnik 发明了支持向量机原理，这是计算学习理论的成果之一。

1.3 巩固知识的练习

1.3.1 线性分类器方程编写

• 至少两个布尔属性 (x_1, \cdots, x_5) 为真的线性分类器方程。
• 至少三个布尔属性 (x_1, \cdots, x_6) 为真，且至少一个为假的线性分类器方程。

1.3.2 感知机学习算法模拟

回到表中的示例，从与表中不同的初始权重集开始，手动模拟感知机学习算法的过程，并尝试不同的学习率。

1.3.3 WINNOW 算法模拟

重复上述练习，这次使用 WINNOW 算法，不要忘记为感知机中的负权重引入额外的“属性”。

1.3.4 多项式方程与乘法器数量

写出二维三阶多项式的定义方程，并计算如果使用感知机学习算法训练权重，需要多少个（每个最多有三个输入）乘法器。