逻辑回归算法

逻辑回归介绍

逻辑回归（Logistic Regression）是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。 如给的一封邮件，判断是不是垃圾邮件。逻辑回归一般是提供样本和已知模型求回归参数。

 

逻辑回归算法模型以及模型推导

将任意的输入映射到了[0,1]区间，我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid 函数中，这样就由求值转换成了求概率的问题。

Sigmoid 函数：

预测函数：

转换为二分类任务：

整合后函数：

所有的样本函数相乘得似然函数：

转化为对数似然函数：

此时梯度上升求最大值，引入J(）= 1/ml(),变成梯度下降任务，也即是转换为损失函数，函数值越小，模型就越好。

对函数求偏导得到更新方向：

得到参数更新函数：

多分类的softmax:

作用

一般是解决二分类问题，一般判断某个样本事件所属分类的概率。

相关定义

最大似然估计

就是在假定整体模型分布已知，利用已知的样本结果信息，反推最具有可能(最大概率）导致这些样本结果出现的模型参数值。换句话说，最大似然估计提供了一种给定观察数据来评估模型参数的方法，即模型一定，参数未知。

损失函数

1. 平方损失函数(quadraticloss function)

 L(Y,f(X))=(Y−f(X))^2

2. 对数损失函数(logarithmicloss function) 或对数似然损失函数(log-likelihood loss function)

 L(Y,P(Y|X))=−logP(Y|X)

 逻辑回归中，采用的则是对数损失函数，损失函数越小，模型就越好,。

机器学习模型

模型(model)、目标(cost function)、优化算法

Step1：对于一个问题，需要首先建立一个模型，如回归或分类模型；

step2：通过最小分类误差、最大似然或最大后验概率建立模型的代价函数；

step3：最优化问题求解

a.如果优化函数存在解析解，则可以通过一般的求值方法-对代价函数求导，找到倒数为0的点，即是最大值或者最小孩子；

b.如果上述方法求优化函数导数比较复杂，可利用迭代算法也求解。v