白板推导：线性分类

最新推荐文章于 2022-03-07 21:01:42 发布

原创最新推荐文章于 2022-03-07 21:01:42 发布 · 217 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

机器学习专栏收录该内容

17 篇文章

订阅专栏

线性回归的三个特性：线性，全局性，数据未加工。打破其中一个特性可以转换成其他算法模型。

属性非线性(特征) $\rightarrow$ 特征转换(多项式回归)

1.线性 全局非线性(输出) $\rightarrow$ 线性分类(激活函数)

系数非线性(参数) $\rightarrow$ 神经网络

2.全局性 输入x分段 $\rightarrow$ 决策树

3.数据未加工 降维 $\rightarrow$ PCA，流形

线性分类

硬输出： $y\in\begin{Bmatrix} -1,1 \end{Bmatrix}$ ;感知机，线性判别分析。

软输出： $y\in\begin{bmatrix} 0,1 \end{bmatrix}$ ；逻辑回归，高斯判别分析GDA，朴素贝叶斯。

感知机

思想：错误驱动

模型： $f(x) = sign(w^{T}x)$

loss函数： $L(w) = \sum_{i=1}^{N}-y_{i}w^{T}x_{i}$

算法：SGD

线性判别分析

思想：类内小，类间大

目标函数： $J(w)=\frac{(\bar{z_{1}}-\bar{z_{2}})^{2}}{S_{1}+S_{2}}$ ,

$z_{1}$ , $z_{2}$ 表示各个类别数据在w上的映射之后的均值， $S_{1}$ , $S_{2}$ 表示各个类别数据在w上的映射之后的方差。

逻辑回归

sigmoid 函数： $\sigma (x) = \frac{1}{1+e^{-x}}$

$P_{0}=\sigma (w^{T}x)$ ， $P_{1} = 1-P_{0}$

MLE：

$\hat{w} = argmax\sum_{i=1}^{N}(y_{i}logP_{0}+(1-y_{i})log(1-P_{1}))$

可以看出最大化似然估计的就是负的交叉熵：MLE(max) $\rightarrow$ min Cross Entropy

高斯判别分析(GDA)

$P(y|x) \propto P(x|y)P(y)$ ,生成模型考虑的是联合分布 $P(x,y)$ 。

即 $\hat{y} = argmaxP(y|x)=argmaxP(y)P(x|y)$

GDA假设：先验P(y)满足伯努利分布，似然满足高斯分布。

$y\sim Bernoulli(\phi ) \rightarrow \phi ^{y}(1-\phi )^{1-y}$

$x|y=1 \sim N(\mu _{1},\Sigma )$

$x|y=0 \sim N(\mu _{2},\Sigma )$

使用最大似然估计求解： $\mu _{1}$ ， $\mu _{2}$ ， $\Sigma$ ， $\phi$ 。

$\hat{\phi }=\frac{N_{1}}{N}$ ; $\hat{\mu _{1}} = \frac{\sum_{i=1}^{N}y_{i}x_{i}}{N_{1}}$ ; $\hat{\mu _{2}} = \frac{\sum_{i=1}^{N}(1-y_{i})x_{i}}{N_{2}}$ ; $\hat{\Sigma }=\frac{N_{1}S_{1}+N_{2}S_{2}}{N}$

朴素贝叶斯

思想：朴素贝叶斯假设 $\rightarrow$ 条件独立性假设 $\rightarrow$ 最简单的概率图模型

视频地址：https://www.bilibili.com/video/av33101528/

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。