《统计学习方法》感知机学习笔记与Python实现

最新推荐文章于 2024-01-23 11:06:37 发布

木百栢

最新推荐文章于 2024-01-23 11:06:37 发布

阅读量784

点赞数

CC 4.0 BY-SA版权

分类专栏：统计学习方法文章标签：统计学习方法感知机模型 pyhton 学习笔记

本文链接：https://blog.youkuaiyun.com/baixiangxue/article/details/80379993

学习笔记

1.感知机模型

假设输入空间（特征空间）是 $\mathcal X \subseteq \mathbf R^n$ ，输出空间是 $\mathcal Y = \{+1, -1\}$ 。输入 $x \in \mathcal X$ 表示示例的特征向量，对应于输如入空间的点；输出 $y \in \mathcal Y$ 表示示例的类别。由输入空间到输出空间的如下函数

$f (x) = sign (w \cdot x + b$ $f(x) = \text{sign}(w \cdot x + b$ 成为感知机。其中， $w$ 和 $b$ 为感知机模型参数， $w \in \mathbf R^n$ 叫作权重（weight）或权值向量（weight vector）， $b \in \mathbf R$ 叫作偏置（bias）， $w \cdot x$ 表示 $w$ 和 $x$ 的内积。sign是符号函数，即
$sign (x) = {+ 1, - 1, x \geq 0 x < 0$ $\text{sign}(x)=\begin{cases} +1, & x\ge 0 \\ -1, &x\lt 0 \end{cases}$

感知机是一种线性分类模型，属于判别模型。
线性方程 $w \cdot x+b=0$ 对应于特征空间 $\mathbf R^n$ 中的超平面 $\mathcal S$ ,其中 $w$ 是超平面的法向量， $b$ 是超平面的截距。这个超平面将特征空间划分为两部分，位于两部分的点分别被分为正类和负类。超平面 $\mathcal S$ 也被称为分离超平面。

2.感知机学习策略

为确定感知机模型的参数 $w$ 和 $b$ ，需要确定一个学习策略，即定义损失函数并将损失函数极小化。感知机学习的策略是在假设空间中选取使损失函数最小的模型参数 $w$ 和 $b$ 。在这里，感知机所采用的损失函数是误分类点到超平面 $\mathcal S$ 的总距离。
给定一个线性可分的训练集

T = {(x 1, y 1), (x 2, y 2), . . . (x N, y N)}

$T = \{ (x_1,y_1),(x_2,y_2),...(x_N,y_N)\}$ 其中，

xi∈X=Rn,y∈Y={ +1,−1},i=1,2,…,Nxi∈X=Rn,y∈Y={ +1,−1},i=1,2,…,N $x_i \in \mathcal X = \mathbf R^n, y \in \mathcal Y = \{+1, -1\}, i = 1,2,\ldots, N$
在输入空间