10、机器学习中的线性、多项式分类器与神经网络

机器学习中的线性、多项式分类器与神经网络

1. 线性与多项式分类器知识巩固

1.1 支持向量机与历史回顾

支持向量机（SVM）能够在众多候选超平面中找出潜在的最佳类别分离超平面。它的目标是最大化最近的正例和负例到超平面的距离。感知机学习原理由Rosenblatt在1958年提出，WINNOW由Littlestone提出并分析。Cover分析了线性和多项式分类器的容量问题，而支持向量机原理是Vapnik作为计算学习理论的成果之一发明的。

1.2 练习题

• 线性分类器方程编写
  • 对于布尔属性$x_1,\cdots,x_5$，至少两个为真的线性分类器方程。
  • 对于布尔属性$x_1,\cdots,x_6$，至少三个为真且至少一个为假的线性分类器方程。
• 感知机学习算法模拟 ：回到相关示例，从与表中不同的初始权重集开始，手动模拟感知机学习算法的过程，并尝试不同的学习率。
• WINNOW算法模拟 ：重复上述感知机学习算法的练习，使用WINNOW算法，注意引入额外的“属性”来处理感知机中的负权重。
• 多项式方程与乘数数量 ：写出二维三阶多项式的定义方程，并计算使用感知机学习算法训练权重时所需的乘数（每个最多三个输入）数量。

1.3 思考问题

• 识别无关属性