【机器学习】LR回归（逻辑回归）和softmax回归

1. LR回归

Logistic回归（Logistic Regression，简称LR）是一种常用的处理二类分类问题的模型

在二分类问题中，把因变量y可能属于的两个类分别称为负类和正类，则因变量y∈{0, 1}，其中0表示负类，1表示正类。线性回归

的输出值在负无穷到正无穷的范围上，不太好解决这个问题。于是我们引入非线性变换，把线性回归的输出值压缩到（0, 1）之间，那就成了Logistic回归

使得h(x)≥0.5时，预测y=1，而当h(x)<0.5时，预测y=0。Logistic回归的名字中尽管带有回归二字，可是它是实打实的分类算法。

那用什么非线性变换把线性回归转化成Logistic回归呢？

---

Logistic回归的函数形式

Logistic回归模型的函数形式为：

其中x代表样本的特征向量，g(z)代表sigmoid函数，公式为

下图为sigmoid函数的图形。

此外非常重要的，sigmoid函数求导后为：

所以Logistic回归模型就是：

对于给定的输入变量，根据选择的参数确定输出变量y=1的概率，即后验概率

---

Logistic回归的损失函数

Logistic回归中的参数是θ，怎么估计这个参数呢？那么就要定义损失函数，通过最小化损失函数来求解参数。

线性回归中的损失函数是平方误差损失函数，如果Logistic回归也采用这种损失函数形式，那么得到的损失函数将是一个非凸函数。这意味着损失函数会有很多局部极小值，因此不容易找到全局最小值。比如左边这个就是非凸函数的形状，明显右边这个平滑的图不容易陷入局部极小值陷阱。

假设训练数据集为{(x1,y1),(x2,y2),…(xm, ym)}，即有m个样本，令x=[x0, x1, …, xn]T，x0=1，即每个样本有n个特征，y∈{0, 1}。于是把Logistic回归的损失函数定义为对数损失函数：

这个对数损失函数的特点是：当类别y=1时，损失随着h(x