10、机器学习中的线性、多项式分类器与人工神经网络

机器学习中的线性、多项式分类器与人工神经网络

1. 线性与多项式分类器知识巩固

1.1 支持向量机与历史回顾

支持向量机（SVM）能够从无限多的候选超平面中找出潜在的最佳类分隔超平面，其原理是最大化超平面与最近的正例和负例之间的距离。感知机学习原理由Rosenblatt在1958年提出，WINNOW由Littlestone提出并分析，而线性和多项式分类器的容量问题由Cover进行分析，支持向量机原理则是Vapnik作为计算学习理论的成果之一发明的。

1.2 练习题

• 线性分类器方程编写
  • 实现“布尔属性x1, …, x5中至少有两个为真”的线性分类器方程。
  • 实现“布尔属性x1, …, x6中至少有三个为真，且至少有一个为假”的线性分类器方程。
• 感知机学习算法模拟 ：回到相关示例，从与表中不同的初始权重集开始，手动模拟感知机学习算法的过程，同时尝试不同的学习率。
• WINNOW算法模拟 ：重复上述练习，使用WINNOW算法，注意引入感知机中对应负权重的额外“属性”。
• 多项式方程与乘数需求 ：写出二维三阶多项式的定义方程，并计算若使用感知机学习算法训练权重所需的乘数（每个最多有三个输入）数量。

1.3 思考实验

• 识别无关属性 ：通过在