logistics regression

逻辑回归

用于估算一个实例属于某个特定类别的概率。

logistic回归损失函数推导

罗列一些基本的公式：
$$\hat{p}=h_{\theta }(X)=\sigma ({\theta }^T\cdot X)$$
逻辑模型是一个sigmoid函数记作$\sigma (\cdot )$,它的输出为一个0-1之间数字。
逻辑函数：
$$\sigma =\frac{1}{1+\exp (-t)}$$
逻辑回归模型预测
$$\hat{y}=\{\begin{array}{r}0(\hat{p}<0.5)\\ 1(\hat{p}\ge 0.5)\end{array}$$

逻辑回归成本函数推导过程

假定：$P(y=1|x;\theta )=h_{\theta }(x)$
$P(y=0|x;\theta )=1-h_{\theta }(x)$
$p(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}$
do:
$$\begin{array}{rl}L(\theta )& =\prod _{i=1}^m{p}_i^{y_i}(1-p_i{)}^{1-y_i}\\ & \Rightarrow l(\theta )=\sum _{i=1}^{m}ln[p_i^{y_i}(1-p_i{)}^{1-y_i}]\\ & loss=-l(\theta )\end{array}$$
log损失函数：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m[y_{i}ln(p_i)+(1-y_i)ln(1-p_i)]$$

迭代公式推导公式

$$\begin{array}{rl}\varrho (\theta )& =logL(\theta )\\ & =\sum _{i=1}^{m}logh(x^{(i)})+(1-y^{(i)})log(1-h(x^{(i)}))\\ \frac{\partial \varrho (\theta )}{\partial {\theta }_j}& =(y\frac{1}{g({\theta }^{T}x)}-(1-y)\frac{1}{1-g({\theta }^{T}x)})\frac{\partial }{\partial {\theta }_j}g({\theta }^{T}x)\\ & =(y\frac{1}{g({\theta }^{T}x)}-(1-y)\frac{1}{1-g({\theta }^{T}x)})g({\theta }^{T}x)(1-g({\theta }^{T}x))\frac{\partial }{\partial {\theta }_j}{\theta }^{T}x\\ & =(y(1-g({\theta }^{T}x))-(1-y)g({\theta }^{T}x)x_j\\ & =(y-h_{\theta }(x))x_j\end{array}$$
可以得到参数的迭代公式为：
$${\theta }_j={\theta }_j+\alpha (y^{(i)}-h_{\theta }(x^{(i)}))x_j$$
转化为向量形式为：
$${\theta }^{nextstep}=\theta -\eta \cdot x^{(i)}.T(\frac{1}{1-exp(-{\theta }^T\cdot x)}-y_i)$$

实验演练

引入鸢尾花数据集。

from sklearn import datasets
iris = datasets.load_iris()

数据集里面有四个特征，当我们使用其中一个特征作为数据集的时候，
随着特征的线性变化会出现这种变化。

与是规模的具有相同的变化趋势。而判断的类别会以50%的可能性为边界来区分。
下图将更加清晰的给出了分类的边界。

这里我忘记写标签了，需要指出的是红色三角形代表的是鸢尾花，蓝色的原型代表的是非鸢尾花。

解读LogisticRegression函数（官方文档）

通过解读函数我们能够更加理解概念。并且验证我们的猜想。
逻辑回归默认的情况下正则化使用的是l2范数，且给出的目标函数为：
$$\underset{w,c}{\min }\frac{1}{2}{w}^{T}w+C\sum _{i=1}^{n}log(exp(-y_i(X_i^{T}w+c))+1)$$
为了得到这个表达式只需推导上述公式。
$$\begin{array}{rl}J(\theta )& =-\frac{1}{m}\sum _{i=1}^m[y_{i}ln(p_i)+(1-y_i)ln(1-p_i)]\\ & =-y_{i}log(exp(-X_i^{T}w+c)+1)+(y_i-1)log(exp(c-X_i^{T}w)+1)\end{array}$$
根据$y_i$的实际取值，让$y_i$分别去值为0,1 可以得到与官网给定的公式一样。
l1正则化：
$$\underset{w,c}{\min }||w|{|}_1+C\sum _{i=1}^{n}log(exp(-y_i(X_i^{T}w+c))+1)$$
每个惩罚项对于求解器是否支持表（只挑选出了我认识的惩罚项）。

Penalties	liblinear	lbfgs	newton-cg	sag
Multinomial+L2	no	yes	yes	yes
Multinomial+L1	no	no	no	no
Elastic-Net	no	no	no	no
No penalty	no	yes	yes	yes
Faster for large datasets（对于大型数据集的解决速度）	no	no	no	yes
Robust to unscaled datasets（对于未缩放数据集是否保持健壮性）	yes	yes	yes	no

弹性网络仅由saga支持。
参数解读

• penalty 选择正则惩罚项默认选择的是l2惩罚项。
• dual 当样本数大于特征数的时候首选dual = False.
• C 正则化强度的逆，必须是正的浮动，较小的中指定更强的正则化。
• class_weight 指定初始化权重。
• 保留之前模型的参数数据。
• n_jobs 设置cpu的核数。
• max_iter 设置最大的迭代次数。
  Note: 底层的C实现使用随机数生成器在拟合模型时选择特性，因此同一个模型每次运行的结果可能不同。可以使用较小的col参数。

softmax解决多分类问题

对于一个给定的实例X1,softmax回归首先计算出每个类别的得分然后再对这些分数应用softmax函数，估计每个类别的概率。
类别k的softmax分数：
$$s_k(X)={\theta }_k^T\cdot X$$
参数${\theta }_k$表示k类别的参数，通常参数向量会存储在矩阵向量中。
Softmax函数
$$\widehat{p_k}=\sigma (s(X){)}_k=\frac{exp(s_k(X))}{{\sum }_{j=1}^{K}exp(s_j(X))}$$
给定一个样本，分别计算出每个权重对赢的成绩结果。
最终的预测结果就是：
$$\hat{y}=argma{x}_m\sigma (s(X){)}_k=argmax{s}_k(X)=argmax({\theta }_k^T\cdot X)$$
交叉熵成本函数
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}log({\hat{p}}_k^{(i)})$$
对于类别k的交叉熵梯度向量
$${\nabla }_{{\theta }_k}J(\theta )=\frac{1}{m}\sum _{i=1}^m({\hat{p}}_k^{(i)}-y_k^{(k)})X^{(i)}$$
通过该公式可以计算出每个公式的梯度向量。使用梯度下降法找到最小化成本函数的参数矩阵。
引入三类别的鸢尾花。

from sklearn.linear_model import LogisticRegression
softmax_reg = LogisticRegression(multi_class='multinomial', solver='lbfgs', C=10)
softmax_reg.fit(X, y) #训练模型

需要说明的是需要将参数修改为：multi_class='multinomial’可以将其切换为softmax回归，还要选定一个支持softmax回归的秋求解器。
最后可以得到如下的分类结果；