梯度下降（感知机为例）

最新推荐文章于 2024-09-03 22:31:31 发布

原创最新推荐文章于 2024-09-03 22:31:31 发布 · 469 阅读

1 ·

CC 4.0 BY-SA版权

先看了宋浩老师高数的课搞懂方向导数和梯度的概念

一、方向导数和梯度

1.方向导数（是个数）

人话来说就是从一个点出发，沿这个方向的导数。先看方向导数的定义：

$\lim_{t->0}\frac{f(x_{0}+tcos\alpha ,y_{0}+tcos\beta )-f(x_{0},y_{0})}{t}$

不过是从二维的求导变成了三维的求导，从 $(x_{0},y_{0})$ 出发，到（x,y），t是两点距离。

2.梯度（是个向量）

就是从这一点出发，方向导数最大的方向（最陡的地方）

大小：梯度的模是方向导数

方向：从这点出发，指向最陡的地方

二、感知机的梯度下降(此处为随机梯度下降）

随机梯度下降：一次随机选一个误分类点使其梯度下降。

感知机的算法是为了找到使损失函数中，参数w,b最小的模型。

先随机定个 $(w_{0},b_{0})$ ，一步一步让w，b接近最优值。

损失函数L(w,b)的梯度为：（L对w求偏导，L对b求偏导），再随机选个样本 $(x_{i},y_{i})$ 代入，得出 $(-\sum y_{i}x_{i},-\sum y_{i})$ ，即从 $(w_{0},b_{0})$ 出发，向着 $(-\sum y_{i}x_{i},-\sum y_{i})$ 的方向最陡峭。