线性回归和逻辑回归的典型面试考点

最新推荐文章于 2025-04-20 16:53:43 发布

CWJ的博客

最新推荐文章于 2025-04-20 16:53:43 发布

阅读量746

点赞数

分类专栏：机器学习文章标签：机器学习线性回归逻辑回归人工智能

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.youkuaiyun.com/chenweijiSun/article/details/106265509

版权

机器学习专栏收录该内容

8 篇文章

订阅专栏

什么是线性回归和逻辑回归 ？参考：https://blog.youkuaiyun.com/jiaoyangwm/article/details/81139362

1、有监督学习和无监督学习区别？

简单来讲：
有数据，有标签（有监督学习）
有数据，无标签（无监督学习）

有监督学习：对具有标记的训练样本进行学习，以尽可能对训练样本集外的数据进行分类预
测。
无监督学习：对未标记的样本进行训练学习，比发现这些样本中的结构知识。

2、分类和回归区别？

回归的输出是连续的，比如：1、2、3、4、5、6。注意，所谓“连续”意味着是有序的，是排序的。比如输出为3，那么我们可以肯定真实为3、4、5、6的可能性顺序减小，真实为2、1的可能性也是顺序减小。

分类的输出是：A类、B类、C类。注意，所谓“分类”意味着ABC之间不存在排序，不存在谁比谁更亲密或更远、可能或更不可能。输出为A，那么不意味着真实为B的可能性比C更大。

3、线性回归方程用向量化可以表示为？

$f(\mathbf{x})=\theta^{T} \mathbf{x}$

4、写一下线性回归损失函数，并理解下损失函数的目标？

目标是找到最好的能拟合输入数据的权重参数。我们用最小二乘法来评估拟合效果。
$J\left(\theta_{0}, \theta_{1}, \ldots, \theta_{n}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$

5、过拟合和欠拟合各有什么问题？

欠拟合问题：模型本身能力不够，没有学习到数据的规律。
过拟合问题：模型能力很强，数据的每个点包括噪声点都能学习到，但是对新的数据预测效果很差。

6、模型的过拟合问题可以怎么解决？

有很多方法：比如获取更多数据，使用更简单的模型等等
另一种方法是使用正则化项，因为过拟合是因为模型太复杂了，对应于线性回归，说明某些权重参数对模型的影响过大或者多余了，我们可以通过加一个正则化项，模型训练时，相当于最小化下面公式的损失函数时，会把一些对模型复杂度影响很大的权重参数的权重数值变小，这样曲线就变得比较平滑了，可以消减模型的复杂度。
$J(\theta)=\frac{1}{2 m}\left[\sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}+\lambda \sum_{j=1}^{n} \theta_{j}^{2}\right]$

7、逻辑回归明明是分类问题，为什么又叫回归？

因为逻辑回归还是以线性回归为基础的，只是加了一个sigmoid函数，才具有了分类的功能。sigmoid函数表达式如下
在这里插入图片描述

8、逻辑回归为什么不用平方损失函数？

因为逻辑回归的平方损失函数是非凸函数，梯度下降时很难得到全局极值点。

9、写一下逻辑回归损失函数，并理解是怎么来的？

这个损失函数是凸函数，梯度下降可以找到全局极值点。
$J(\theta)=-\frac{1}{m} \left[ \sum_{i=1}^{m} y^{(i)} \log h_{\theta}\left(x^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\left(x^{(i)}\right)\right)\right]+\frac{\lambda}{2 m} \sum_{j=1}^{n} \theta_{j}^{2}$
其中 $\frac{\lambda}{2 m} \sum_{j=1}^{n} \theta_{j}^{2}$ 是一个正则化项