AI遮天传 DL-回归与分类_分类回归 ai-优快云博客

本文链接：https://blog.youkuaiyun.com/m0_57128696/article/details/145259857

两种典型的线性分类器：

感知机
SVM(AI遮天传 ML-SVM入门)

回归 - 预测连续的 $y=f(x)$
分类 - 预测 $y=\left{\begin{matrix} 1 & f(x)\geq 0.5\ 0& f(x)< 0.5 \end{matrix}\right.$

利用线性回归进行二分类：

假定 $t\epsilon \left {0,1 \right }$ ,考虑一维特征的情况

假定 $t\epsilon \left {0,1 \right }$ ,考虑高维特征的情况

使用非线性回归进行二分类

$f(x)$ 可以是非线性函数，如：logisitic sigoid function

同理我们可以用训练线性回归模型的方法训练非线性回归，只不过原来的 $f(x) = w^{T}x+b$

变成了 $f(x) = h(w^{T}+b)$

注:这里的h是一个函数如 logisitic sigoid function

从概率的角度看问题

假设标签服从均值为 $f(x) = h(w^{T}+b)$ 的正态分布，则其极大似然估计等同于最小化:

对于回归问题(t是连续的)，正态分布假设是自然的。
对于分类问题(t是离散的)，正态分布假设会很奇怪。
对于二分类问题的数据分布有更适合的假设 ----> 伯努利分布

为什么伯努利分布更适合二分类问题呢？

二、Logistic回归

对于一个二分类任务，一个0-1单元足以表示一个标签

尝试学习条件概率(已经将b融入 $\theta$ ，x为输入，t为标签)

$P(t=1|x) = \frac{1}{1+exp(-\theta ^{T}x)}\overset{\Delta }{=}h(x)$
$P(t=0|x) = 1-P(t=1|x)=1-h(x)$

我们的目标是寻找一个 $\theta$ 值使得概率 $P(t=1|x)=h(x)$

当x属于类别1时，取很大的值如0.99999。

当x属于类别2时，取很小的值如0.00001 (因此 $P(t=0|x)$ 取很大的值)

我们实质上是在用另一个连续函数 h 来 “回归” 一个离散的函数 (x -> t）

交叉熵误差函数(CSE)

对于伯努利分布，我们最大化条件数据似然，得到等同于最小化：

得到新的损失函数(CSE) $E(\theta) = -\frac{1}{N}\sum_{n=1}{N}(t{(n)}ln(h(x{(n)}))-(1-t{(n)})ln(1-h(x^{(n)})))$

我们拿出其中一项： $E(\theta )^{(n)} = -t{(n)}ln(h(x{(n)}))-(1-t{(n)})ln(1-h(x{(n)}))$

可见，如果t=1, 则E = -ln(h)

如果t=0, 则E = -ln(1-h)

可见河里。

训练和测试

二分类问题总结

三、SoftMax回归

我们上面讲解了一维和多维二分类，其实对于多分类，只是增加了函数个数作为维度。

如上图，比如对于一个x，三个函数的结果为1.2、4.1、1.9，那么便可根据后续操作对其进行回归或者分类。这三个函数可能是线性的，也可能是非线性的，如logistic回归。

选择均方误差(MSE)作为损失函数

$E = \frac{1}{2N}\sum_{n=1}{N}\sum_{k=1}{K}(f_{k}(x{(n)})-t_{k}{(n)})^{2}$

对其使用最小二乘法/梯度下降法进行计算得出参数。

标签类别的表示

对于分类问题，即经过一个映射f 输出是一个离散的集合，我们有两种表示标签的方法：

对于第一种方法，类别之间有了远近的关系，因此我们一般使用第二种表示法。每一个维度只有0-1两种结果。

我们只需看输出的某个点里哪一类代表的点更近即可进行分类。

概率角度：

我们上面提到，对于二分类任务，伯努利分布更加适合，因此我们引入了logistic回归。

而当面对多分类任务(K>2)时，我们选择 统筹 multinoulli/categorical 分布

回顾统筹 multinoulli/categorical 分布

统筹分布学习：

令 $P(t_{k}=1|x)$ 采取以下形式：

$P(t_{k}=1|x)=\frac{exp(\theta {(k)T}x)}{\sum_{j=1}{K}exp(\theta ^{(j)T}x)}\overset{\Delta }{=}h(x)$

明显地， $h_{k}(x)\epsilon (0,1)$ 并且 $\sum_{k=1}^{K}h_{k}(x)=1$

给定一个测试输入x，对每一个k=1，2，…，K，估计 $P(t_{k}=1|x)$

- 当x属于第K个类时，取很大的值

- 当x属于其他类时，取很小的值

由于 $h_{k}(x)$ 是一个(连续的)概率，我们需要将它转换为符合分类的离散值。

Softmax函数

$P(t_{k}=1|x)=\frac{exp(\theta {(k)T}x)}{\sum_{j=1}{K}exp(\theta ^{(j)T}x)}\overset{\Delta }{=}h(x)$

下列函数被称为Softmax函数：

$\psi (x_{i})=\frac{exp(z_{i})}{\sum_{j}^{}exp(z_{i})}=\frac{exp(z_{i})}{exp(z_{i})+\sum_{j\neq i}^{}exp(z_{i})}, \epsilon , (0,1)$

如果 $z_{i} > z_{j }$ 对于所有 $j\neq i$ 都成立，则对于所有的 $j\neq i$ 有 $\psi (z_{i})>\psi (z_{j})$ 但其值小于1。
如果 $z_{i} > z_{j }$ 对于所有 $j\neq i$ 都成立，则对于所有的 $j\neq i$ 有 $\psi (z_{i})\rightarrow 1,: : \psi (z_{j})\rightarrow 0$ 。

同样，我们最大条件似然得到交叉熵误差函数：

$E(\theta )=-\frac{1}{N}lnP(t{(1)},...,t{(N)})=-\frac{1}{N}\sum_{n=1}{N}\sum_{k=1}{K}t_{k}^{(n)}ln\frac{exp(\theta {(k)T}x{(n)})}{\sum_{j=1}^{K}exp(\theta {(j)T}x{(n)})}$

注：

$\sum_{k=1}^{K}\frac{exp(\theta {(k)T}x{(n)})}{\sum_{j=1}^{K}exp(\theta {(j)T}x{(n)})}$ 对于每个K，只有一个非0项(因为如(0,0,0,1,0,0))

计算梯度

向量-矩阵形式

训练和测试

随机梯度下降

在整个训练集中，最小化成恨函数的计算开销非常大，我们通常将训练集划分为较小的子集或 minibatches 然后在单个 minibatches (xi,yi)上优化成本函数，并取平均值。

引入偏置bias

到目前为止，我们已经假设 $h_{k}(x)=P(t_{k}=1|x)=\frac{exp( u_{k}{(n)})}{\sum_{j=1}{K}exp( u_{j}^{))n})}$

其中 $u_{k}^{(n)}=\theta {(k)T}x{(n)}$

有时偏置项可以引入到 $u_{k}^{(n)}$ 中，参数成为{w,b}

$u_{k}{(n)}=w{(k)T}x{(n)}+b{(k)}$

得到

正则化通常只应用在w上

$J(W,b)=E(W,b)+\lambda \begin{Vmatrix} W \end{Vmatrix}^{2}/2$

Softmax过度参数化

有假设 $P(t_{k}=1|x)=\frac{exp(\theta {(k)T}x)}{\sum_{j=1}{K}exp(\theta ^{(j)T}x)} =\frac{exp((\theta ^{(k)}-\phi ){T}x)}{\sum_{j=1}{K}exp((\theta ^{(k)}-\phi )^{T}x)}$

新的参数 $\widehat{\theta }^{(k)}\equiv \theta ^{(k)}-\phi$ 会得到同样的预测结果

最小化交叉熵函数可以有无限多个解，因为：

$E(\theta )=-\frac{1}{N}\sum_{n=1}{N}\sum_{k=1}{K}t_{k}^{(n)}ln\frac{exp(\theta {(k)T}x{(n)})}{\sum_{j=1}^{K}exp(\theta {(j)T}x{(n)})}=E(\theta -\phi )$