【机器学习的一些问题】经典算法之逻辑回归

逻辑回归Logistic Regression

 

逻辑回归处理分类问题，线性回归处理回归问题。逻辑回归的因变量取值是一个二元分布，给定自变量和超参数后，得到因变量的期望，并根据该期望处理预测分类问题。

逻辑回归和线性回归的最大区别在于：逻辑回归的自变量是离散的，而线性回归的自变量是连续的。

逻辑回归和线性回归的相同之处：使用极大似然估计对训练样本建模，使用梯度下降方法求解超参数。

 

多项逻辑回归Softmax Regression是二分类逻辑回归在多标签分类下的一种拓展。每个样本对应一个标签，每个样本对应多个标签，都可以使用多项逻辑回归来处理多标签分类问题。