轻松入门自然语言处理系列专题1 AI工程师面试必备考题之关于逻辑回归的一切

本文链接：https://blog.youkuaiyun.com/CUFEECR/article/details/123701811

本文详细介绍了逻辑回归的基本概念、面试常见问题及其解答。内容涵盖逻辑回归的作用、模型假设、损失函数、多分类问题解决方案、与线性回归的区别、特征选择和过拟合处理等。通过对逻辑回归的深入探讨，为AI工程师面试提供了关键准备。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

前言
一、逻辑回归总结
二、面试题
总结

前言

本文主要介绍了逻辑回归的基本概念和面试题，包含了面试中关于逻辑回归最常见的面试题目和解答思路。

一、逻辑回归总结

虽然名字是回归，但是实际上是用在分类问题上的，实现了将线性模型应用到分类，需要找到一个函数实现将原来的连续变量y映射到一个分类模型。

最简单的就是unit-step函数（单位阶跃函数）：

$y=\left\{\begin{array}{cc} 0, & z<0 \\ 0.5, & z=0 \\ 1, & z>0 \end{array}\right.$

但是这是不连续的，不易于求导。此时就可以用到sigmoid函数：

在这里插入图片描述

sigmoid函数

$y=\frac{1}{1+e^{-z}}$

sigmoid函数与线性函数结合

$y=\frac{1}{1+e^{-\left(\boldsymbol{w}^{\mathrm{T}} \boldsymbol{x}+b\right)}}$

逻辑回归中，sigmoid函数的作用：

（1）线性函数的值域范围是实数范围，逻辑回归的预测范围是0_{1，sigmoid函数将线性函数的范围限制在0}1之间；

（2）线性函数在实数域的敏感度是一致的，sigmoid函数在0附近更加敏感（从斜率可以看出），在远离0附近不敏感，好处是模型可以更加关注模型的边界，增加模型的鲁棒性。

逻辑回归（Logistic Regression，LR）模型的假设：

（1）假设数据服从伯努利分布

伯努利分布：是一个离散型概率分布，若成功，则随机变量取值1；若失败，随机变量取值为0。成功概率记为p，失败为q=1-p。

如下：

$f_{X}(x)=p^{x}(1-p)^{1-x}=\left\{\begin{array}{ll} p & \text { if } x=1 \\ q & \text { if } x=0 \end{array}\right.$

一个样本为正类的概率 $p=h_{\theta}(x ; \theta)$ ,一个样本为负类的概率 $q=1-h_{\theta}(x ; \theta)$ 。

实际使用中并不一定要求遵循严格的伯努利分布，一般只需要是二分类问题即可。

（2）正类的概率由sigmoid函数计算。

二、面试题

1.LR主要解决什么问题？目的是什么？

Logistic 回归的本质是：逻辑回归假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。

应用：

各种分类场景
CTR（点击率）预估
点击的样本当作正例，未点击的样本当作负例，求解样本为正例的概率，一般作为baseline。
推荐系统的learning to rank

2.LR推导

极大似然估计：利用已知的样本结果信息，反推最有可能（最大概率）导致这些样本结果出现的模型参数值（模型已定，参数未知）。

公式如下：

$\ell(\boldsymbol{w}, b)=\sum_{i=1}^{m} \ln p\left(y_{i} \mid \boldsymbol{x}_{i} ; \boldsymbol{w}, b\right)$

为什么用极大似然函数作为损失函数：

（1）先尝试线性回归——平方损失函数

$\begin{array}{c} z=w^{T} x+b \\ \phi(z)=\frac{1}{1+e^{-z}} \\ J(w)=\sum_{i} \frac{1}{2}\left(\phi\left(z^{(i)}\right)-y^{(i)}\right)^{2} \end{array}$

存在的问题是：损失函数J(w)并不是一个严格的凸函数，存在局部最优值（原因1）。因此需要转换思路。

（2）类别的条件概率

$\begin{array}{c} p(y=1 \mid x ; w)=\phi\left(w^{T} x+b\right)=\phi(z) \\\\ p(y=0 \mid x ; w)=1-\phi(z) \end{array}$

进行合并：

$\mid x ; w)=\phi(z)^{y}(1-\phi(z))^{(1-y)}$

（3）最大化目标函数

$\begin{array}{c} \prod_{i=1}^{n} p\left(y^{(i)} \mid x^{(i)} ; w\right)=\prod_{i=1}^{n}\left(\phi\left(z^{(i)}\right)\right)^{y^{(i)}}\left(1-\phi\left(z^{(i)}\right)\right)^{1-y^{(i)}} \\\\ l(w)=\ln L(w)=\sum_{i=1}^{n} y^{(i)} \ln \left(\phi\left(z^{(i)}\right)\right)+\left(1-y^{(i)}\right) \ln \left(1-\phi\left(z^{(i)}\right)\right) \\\\ J(w)=-l(w)=-\sum_{i=1}^{n} y^{(i)} \ln \left(\phi\left(z^{(i)}\right)\right)+\left(1-y^{(i)}\right) \ln \left(1-\phi\left(z^{(i)}\right)\right) \end{array}$

LR模型摒弃掉了均方误差函数，而选择了交叉熵损失函数。

两种损失函数对比：

均方误差函数MSE

$\begin{array}{c} L=\frac{(y-\hat{y})^{2}}{2} \\\\ \frac{\partial L}{\partial w}=(\hat{y}-y) \sigma^{\prime}(w \cdot x) x \\\\ \sigma^{\prime}(w \cdot x)=w \cdot x(1-w \cdot x) \end{array}$

可以看到，w在初始化时，如果值的波动比较大，则可能会存在梯度值很小的情况，就会导致收敛速度很慢；同时训练过程中还可能会出现梯度值很小而提前终止的情况。这就是梯度消失的现象。

交叉熵损失函数Cross Entropy

$g^{\prime}=\sum_{i=1}^{N} x_{i}\left(y_{i}-p\left(x_{i}\right)\right)$

当模型的输出概率偏离于真实概率时，梯度是非常大的，这样可以加快训练速度；当拟合概率接近真实概率时，训练速度会随着梯度值的减小而变缓，这就是我们想要的。交叉熵损失函数可以更新速度稳定，避免梯度消失（原因2）。

3.LR的求解方法

LR是使用梯度下降法求解的；

通过梯度下降法不一定能得到全局最优解，除非保证函数是严格的凸函数，否则容易陷入局部最优值点，而且如果选择的学习率不合适，就会在某一个点附近震荡。

如何对模型选择合适的学习率：

选择非常小的学习率时，则更新的速度会很慢；选择非常大的学习率时，则可能跳过最优解点。所以选择合适的学习率很重要。

在实际操作过程中，可以进行这样的尝试，训练开始时可以选择稍微较大的学习率，让学习的速率较快，后边再调小学习率，避免跳过最优值点。

4.多分类问题如何解决？

有的二分类任务的学习方法可以直接推广到多分类，更多情况下是不支持的，需要基于基本策略把LR针对二分类问题的方法推广到多分类问题：即将一个多分类问题拆分为多个二分类问题，为拆分得到的每一个二分类问题都分类一个分类器，在预测时也需要集成多个分类器的预测结果得到真实的预测值。因此多分类问题的关键在于如何对多分类任务拆分和如何将多个分类器进行集成。

有几种方式：

OVO（One Vs One）一对一
对于n个类别，将n个类别中的每两个进行配对，产生$C_{n}^{2} $个二分类任务，在每个二分类任务上使用 L R ，得到$ C_{n}^{2} $个分类器。
可以通过投票机制来进行整合。

优点是在一定程度上规避了数据集不平衡的情况，性能相对稳定，即使需要训练的模型数增多，但是每个模型使用的训练集数量相对是较少的，整体训练效率可能更高；缺点是需要更多的分类器。
OVR（One Vs Rest）一对其他
一次将一个类的样例作为正例、其他所有类别的样例作为负例进行训练，得到n个分类器。
在预测时，如果只有一个预测器预测为正例，则对应的类别标记为最终分类的结果；如果有多个分类器预测为正例时，选择置信度最大的类别作为分类结果。

优点在于分类器数目更少；缺点是会造成训练集样本数量的不平衡现象，特别是类别较多时，容易出现正类样本的数量远远不及负类样本的数量的情况，易造成分类器的不平衡现象。
Softmax回归
Softmax也可以实现将多逻辑回归运用到多分类。
Softmax函数的形式如下：
$\sigma(\mathbf{z})_{j}=\frac{e^{z_{j}}}{\sum_{k=1}^{K} e^{z_{k}}} \quad \text { for } j=1, \ldots, K$

目标函数如下：
$h_{\theta}\left(x^{(i)}\right)=\left[\begin{array}{c} p\left(y^{(i)}=1 \mid x^{(i)} ; \theta\right) \\ p\left(y^{(i)}=2 \mid x^{(i)} ; \theta\right) \\ \vdots \\ p\left(y^{(i)}=k \mid x^{(i)} ; \theta\right) \end{array}\right]=\frac{1}{\sum_{j=1}^{k} e^{\theta_{j}^{T} x^{(i)}}}\left[\begin{array}{c} e^{\theta_{1}^{T} x^{(i)}} \\ e^{\theta_{2}^{T} x^{(i)}} \\ \vdots \\ e^{\theta_{k}^{T} x^{(i)}} \end{array}\right]$

损失函数如下：
$J(\theta)=-\frac{1}{m}\left[\sum_{i=1}^{m} \sum_{j=1}^{k} 1\left\{y^{(i)}=j\right\} \log \frac{e^{\theta_{j}^{T} x^{(i)}}}{\sum_{l=1}^{k} e^{\theta_{l}^{T} x^{(i)}}}\right]$
其他模型
例如MLP（多层感知机）模型。

5.线性回归与逻辑回归的区别

简单来说，逻辑回归是在线性回归的基础上加了sigmoid函数，进行了函数区间从实数区间到0~1之间的映射，使得逻辑回归成为一个分类算法。

对比如下：

线性回归

一般形式是Y=aX+b，y的取值范围是[-∞，+∞]。

解决的是回归问题，输出的是连续值。

使用了最小二乘法（平方损失函数）作为参数估计方法。

逻辑回归

分类：把Y的结果带入sigmoid函数中，得到[0, 1]之间的取值范围。常用于二分类，设定一个阈值，判断正类概率是否大于该阈值。

解决的是分类问题，输出的是离散值。

使用了极大似然法作为参数估计方法。

6.特征的选择

LR方案不能自动进行特征选择，一般是先进行特征工程，再将筛选好的特征输入LR进行训练。因此在使用LR时通常会有一些注意点：

将高度相关的特征去掉
一方面是为了增加可解释性；另一方面也会增加模型的训练速度。
不能自动进行特征选择

7.如何解决过拟合现象？

过拟合现象的原因一般是模型过分拟合了训练数据的噪声。

一般的措施是正则化：

L1正则
假设模型参数服从零均值拉普拉斯分布，偏向于使模型参数更稀疏。
L2正则
假设模型参数服从零均值正态分布，偏向于使模型得每个参数都较小、但是更稠密。

8.什么是特征的离散化和特征交叉？逻辑回归为什么要对特征进行离散化？

一般来说，在使用LR时，很少直接将数据输入到模型中进行训练，而是先将特征进行离散化处理：将连续特征进行离散化为0-1特征，再进行训练。

好处是：

计算速度更快
离散化得到的稀疏向量得内积乘法计算速度更快，计算结果更方便存储、容易扩展。
对异常值更具鲁棒性
降低离群点对模型的干扰，例如年龄值为200和40都可以离散化为1。
离散化相当于非线性，提升表达能力
LR属于广义的线性模型，表达能力很有限，经过离散化后，每个变量都有单独的权重，某种程度上相当于引入了非线性，提升了模型的表达能力、加大了拟合。
离散后可以进行特征交叉，提升表达能力
可以将m+n个变量转化为mn个变量，进一步引入非线性、提升表达能力。
特征交叉是指将两个维度的特征进行拼凑，例如两个特征（取值为0、1）进行内积之后，就有了22=4种拼凑方法，例如性别和年龄2个特征进行组合。
特征交叉引入了特征之间的交互，某种程度是为了引入非线性，来提升模型的表达能力。

特征的离散化和特征交叉都属于特征工程的范畴，都是为了提升模型的表现和可解释性的。LR本来很简单，要提升它的表现，研究特征并进行特征工程是一个可以带来很大收益的手段，找到好的特征输入模型。LR因其简单、拓展方便、优化快、可解释性好，经常作为工业界的baseline，经常会用到离散化和特征交叉的方案，基本特征和组合特征（更加精细）兼具了全局性和个性化建模，因此表现更好。