机器学习入门（逻辑回归详解）

最新推荐文章于 2020-11-23 01:29:34 发布

原创

最新推荐文章于 2020-11-23 01:29:34 发布 · 2.4k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习入门 #逻辑回归推导

逻辑回归详解

1.简介

首先逻辑回归（Logistic Regression）是一个分类算法，它可以处理二元分类以及多元分类，是机器学习中一个非常非常常见的模型，在实际生产环境中也常常被使用，是一种经典的分类模型（不是回归模型）

2.模型构建

2.1 线性回归

为了更容易理解LR，我先说一下线性回归吧，线性回归的主要思想就是通过历史数据拟合出一条直线，用这条直线对新的数据进行预测。
对于一元的自变量：
$\widehat{y}= wx + b$
模型参数为w,b
对于每个样本误差为：
$\varepsilon_i =y_i - \widehat{y_i}$
最小误差平方和（线性回归是连续的所以可以用模型误差平方和定义损失函数）：
$\atop {\scriptstyle w,b}}\Sigma_i{\varepsilon_i}^2 = \Sigma_i(wx_i+b -y_i)^2$
这里取最小误差平方和是因为误差有正有负，防止正负抵消影响误差判断
对于多元的自变量：
自变量可以看作是一个向量，则方程可记为（i为样本特征的数量，j为样本的数量）：
$f(x_i,w,,b) = \displaystyle\sum_{j}w_jx_i+b = [x_{i1} ...x_{ij}]\begin{bmatrix} w_1 \\ \vdots\\ w_j \end{bmatrix}+b=w_ix_i+b$
因为这里的b最终会是一个常数，需要注意的是这里的w和x的维度是相同的，故上述公式可变形为：
$f(x_i,w,,b) = [x_{i1} ...x_{ij}]\begin{bmatrix} w_1 \\ \vdots\\ w_j \end{bmatrix}+b=[x_{i1} ...x_{ij} \space\space1]\begin{bmatrix} w_1 \\ \vdots\\ w_j\\ b \end{bmatrix}=\widetilde{w_i}\widetilde{x_i}$