机器学习算法梳理(二)：逻辑回归

一、逻辑回归与线性回归的联系与区别

• 联系
  逻辑回归与线性回归都属于广义线性回归模型
• 区别

1. 因变量不同，如果是连续的，就是多重线性回归，如果是二项分布，就是logistic回归。logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最为常用的就是二分类的logistic回归。
2. 线性回归用于解决回归问题，逻辑回归主要用于解决分类问题。

二、逻辑回归的原理

三、逻辑回归损失函数推导及优化

常见的损失函数

机器学习或者统计机器学习常见的损失函数如下：

1. 0-1损失函数 （0-1 loss function）
   L(Y,f(X))={1,0,Y ≠ f(X)Y = f(X)
   L(Y,f(X))={1,Y ≠ f(X)0,Y = f(X)
2. 平方损失函数（quadratic loss function)
   L(Y,f(X))=(Y−f(x))2
   L(Y,f(X))=(Y−f(x))2
3. 绝对值损失函数(absolute loss function)
   L(Y,f(x))=|Y−f(X)|
   L(Y,f(x))=|Y−f(X)|
4. 对数损失函数（logarithmic loss function) 或对数似然损失函数(log-likehood loss function)
   L(Y,P(Y|X))=−logP(Y|X)
   L(Y,P(Y|X))=−logP(Y|X)
   逻辑回归中，采用的则是对数损失函数。如果损失函数越小，表示模型越好。

线性回归的损失函数为平方损失函数，如果将其用于逻辑回归的损失函数，则其数学特性不好，有很多局部极小值，难以用梯度下降法求最优。


代价函数

得到代价函数之后，便可以用梯度下降法来求得使得代价函数最小的参数了，算法为：

求导之后