8、感知机与K近邻算法详解

感知机与K近邻算法详解

1. 感知机

1.1 感知机学习算法的解

当训练数据集线性可分时，感知机学习算法存在无穷多个解，这些解会因不同的初始值或不同的迭代顺序而有所差异。并且有不等式 (k \leq (\frac{R}{\gamma})^2) 存在。

1.2 感知机的发展与拓展

感知机由Rosenblatt于1957年首次提出，此后Novikoff、Minsky和Papert等学者对其进行了诸多理论研究。感知机的扩展学习方法包括口袋算法、投票感知机和带间隔的感知机等。

1.3 感知机相关练习

• 验证感知机无法表示异或（XOR） ：Minsky和Papert指出，由于感知机是线性模型，所以它无法表示像异或这样的复杂函数。
• 构造求解感知机模型的示例 ：可仿照相关示例，从训练数据集中构建求解感知机模型的例子。
• 证明线性可分的充要条件 ：样本集线性可分的充要条件是正实例点集形成的凸壳与负实例点集形成的凸壳不相交。

凸壳的定义为：设集合 (S \subseteq R^n) 是 (R^n) 中的 (k) 个点的集合，即 (S = {x_1, x_2, \cdots, x_k})，则 (S) 的凸壳 (conv(S)) 定义为 ({x = \sum_{i = 1}^{k} \lambda_i x_i | \sum_{i = 1}^{k} \lambda_i = 1, \lambda_i \geq 0, i = 1, 2