分类和回归的区别和联系

最新推荐文章于 2025-11-02 23:14:38 发布
转载 最新推荐文章于 2025-11-02 23:14:38 发布 · 5.6k 阅读 · 18

先简单的说下吧，下面给出实际例子

类和回归的区别在于输出变量的类型。

定量输出称为回归，或者说是连续变量预测；
定性输出称为分类，或者说是离散变量预测。

举个例子：
预测明天的气温是多少度，这是一个回归任务；
预测明天是阴、晴还是雨，就是一个分类任务。 


拿支持向量机举个例子，分类问题和回归问题都要根据训练样本找到一个实值函数g(x)。

回归问题的要求是：给定一个新的模式，根据训练集推断它所对应的输出y（实数）是多少。也就是使用y=g(x)来推断任一输入x所对应的输出值。

分类问题是：给定一个新的模式，根据训练集推断它所对应的类别（如：+1，-1）。也就是使用y=sign(g(x))来推断任一输入x所对应的类别。

综上，回归问题和分类问题的本质一样，不同仅在于他们输出的取值范围不同。分类问题中，输出只允许取两个值；而在回归问题中，输出可取任意实数。

也就是说，回归其实是求一个函数能尽可能的描述出X和Y的关系。对应的是每一个X都有一个Y与之对应。分类是一定范围内的X确定与一个Y对应。



最后在粘贴下两个的概念和方法：

1. 线性回归

回归分析常用于分析两个变量X和Y 之间的关系。 比如 X＝房子大小 和 Y＝房价 之间的关系， X=(公园人流量，公园门票票价） 与 Y=(公园收入) 之间的关系等等。

那么你的数据点在图上可以这么看


现在你想找到 房子大小和房价的关系， 也就是一个函数f(x) = y. 能够很好的表示 这两个变量之间的关系。

于是你需要大概评估一下这个 房子大小和房价大概是一个什么关系.

是线性的关系吗? 还是非线性的关系?


当然在这个问题里面， 线性的关系更符合这两者的关系。于是我们 选择一个合适的 线性模型, 最常用的是 f(x) = ax+b. 

然后用这个线性的模型 去 匹配这些数据点。

1.1 怎么匹配? 

有了数据点 和 你臆想出来的线性模型，怎么进行匹配，也就是怎么用这根线最好地描述些数据点的关系?

需要最好地描述点, 我们又需要一个关于“好”的定义。你也可以想出很多关于“好”的定义。下面有两个,


这两个定义都是 将模型与数据点之间的距离差 之和做为 衡量匹配好坏的标准。  误差越小,  匹配程度越大。

但是 总的来说， 我们想要找到的模型， 最后是想要使 f(x) 最大程度地 与y相似， 所以我们想要尽量地减少 f(x)与y之间的差值。 所以在这里 用第二个图的“好的定义” 来评估这根线的匹配程度是很合理的。于是我们有了误差公式!!!!!


这个公式，说的是，可以通过调整不同的a 和 b的值，就能使 误差不断变化，而当你找到这个公式的最小值时，你就能得到最好的a,b. 而这对(a,b)就是能最好描述你数据关系的模型参数。


1.1.1 沿导数下降法(Gradient Descent)

怎么找 cost(a,b)的最小? cost(a,b) 的图像其实像一个碗 一样，有一个最低点。 找这个最低点的办法就是，先随便找一个点(e.g. a=3, b = 2), 然后 沿着这个碗下降的方向找，最后就能找到碗的最低点。


cost(a,b) 的形状

怎么找(某一点)碗下降的方向?? 答案是，找那一点导数的反方向。拿参数a 举个例子,  a与cost 关系如下图,


只要将任意一个a, 沿着使cost 导数的反方向 慢慢移动，那么 最终有一天a值就会到达使 cost 最小的那一点. 于是你可以不断地移动a,b, 向着最低点前进。



当然在进行移动的时候也需要考虑，每次移动的速度，也就是\Alpha的值，这个值也叫做（学习率）. 学习率的增大可以加速参数逼近最优的情况， 但是如果在快要到达函数的底端的时候，需要减小学习率，以免出现cost 不断增大或者不停摆动的情况(如下图, J(a,b)就是cost(a,b) )。 所以说，当出现以上两种情况时候，我们应该果断选取一个较小的学习率， 以保证cost能减少到一个稳定的值(我们称为 收敛converge). 


1.1.2 直接求解最小点方法

这时候，有的人会问，为什么要让a不停地往下跑呢？ 而且还需要设定学习率， 多麻烦， 直接让找 导数为0点(最小极值)， 不就可以了吗? 嗯。。。也可以...但是各有优缺，

具体方法和优劣分析可见Rachel-Zhang 的博客: http://blog.youkuaiyun.com/abcjennifer/article/details/7700772


总结一下：  回归问题的解决方法是:

     1. 假定一个模型   2.  定义什么叫做最好的匹配(构造误差函数)   3. 用这个模型去匹配已有的数据点(训练集)


需要进一步讨论的问题:

  • 如果参数(a,b)更多了该怎么办?
  • 如果最合适的匹配模型并不是线性的怎么办?   －－－ 选用一个 非线性模型  比如  y = ax^2 + bx + c.
  • 如果误差(cost)与a,b（模型参数）的关系不是像碗一样的, 而是凹凸不平的该怎么办? ------   这时候你就得注意你得到的cost的最低点(局部的最低)可能因初始点的不同而不同。 而这些最低点你需要进行比较，以确定是不是全局的最低

2.分类(Logistic regression)

分类问题也是一类很常见的问题。 比如说，怎么判定一个人是高富帅还是吊丝? 假如我是中央电视台的记者，采访了N个人, 拿到了第一手资料。资料如下

我们想要根据一个人的口袋钱数量，来预测一个人是(富帅) 还是 （吊丝）.  我们能不能用回归的方法做呢?  显然是可以的， 我们只要找到一个模型，然后再进行匹配就可以了。
但是因为分类问题的y值常常是一些离散的数字，(比如， 富帅为1, 吊丝为0)， 所以我们已经不能用一个 简单的线性函数来拟合这些数据了。我们需要一个更逼真的模型。 

于是我们引入了一个更适合处理分类问题的函数--- 一个 非线性函数， 阶跃函数。

这个函数的形状更像我们分类问题的数据分布，所以，用他来拟合分类问题的数据将 更适合！
所以我们有了一个新的模型, 

通过调整a,b 的值，可以让模型不断改变以匹配数据点。 为了匹配数据点，我们又需要一个衡量匹配程度的函数，就像 回归问题一样的cost 函数. 于是同理我们可以得到cost

于是我们急切地想要把它用我们之前的gradient descent 的方法求解出使cost 最小的两个a,b值。 但是很遗憾的是， 这个cost函数关于a,b,是非凸(non-convex)的。 就像下面那张图那样坑坑洼洼。。。



所以你 没有办法通过以上两种方法(1.1.1和1.1.2)求出这个cost函数的 全局最小值。
所以你需要构造一个更好的cost函数， 在可以 衡量拟合程度的同时 又是 一个关于a,b 的凸函数(像回归问题的cost一样，和一个碗一样，只有一个极小值). 
这怎么构造啊....


幸好我们还有各种伟大的数学家，他们夜以继日，终于赶制出了一个形状和碗一样(convex)的cost函数. (Maximum Likelihoods Estimation 更具体的介绍请看 http://www.holehouse.org/mlclass/06_Logistic_Regression.html )

现在我们又可以用我们熟悉的 导数方向下降法(gradient descent) 移动a, b的值，使cost 降低到最小。



最后，分类的问题就这样被解决了。


当然，更复杂的问题可能有:
  • 现在是分成两类，如果数据需要分成三类或者更多该怎么办?  ---- 假如有A,B,C三类， 把其中A类做为1，BC做为0,然后做Logistic regression, 得到模型a, 同理将B类做为1,AC作为0,得到模型b, 再同理得到模型c.    最后测试的时候， 对任意一个数据点x, 我们能够得到x分别属于A,B,C三类的概率值 

最后比较大小，哪个大，这个x就属于哪一类


3.总结(两个问题的区别)

这篇文章大概的意图是能想让大家了解， 机器学习中最基本的两类问题，线性回归和分类。 能让大家有个清晰的思想，对于这两类问题都有以下几个步骤,
  • 如何选取一个 合理的模型(线性的，or 非线性的(e.g. 阶跃函数， 高斯函数)).--模型
  • 制造一个"美好"的 误差函数 (可以评估拟合程度，而且还是convex函数)--策略
  • 采取一切可能的技术(e.g. 导数下降法，解极值方程法) 求出最好的模型参数--算法（算法中涵盖：1.对策略的实现，2.以及为了达到某种效果（例如，时间减少），而对策略的优化）

谈谈回归和分类的区别：
总的来说两个问题本质上都是一致的，就是模型的拟合（匹配）。 但是分类问题的y值(也称为label), 更离散化一些. 而且， 同一个y值可能对应着一大批的x,  这些x是具有一定范围的。 
所以分类问题更多的是 (一定区域的一些x) 对应 着 (一个y).   而回归问题的模型更倾向于 (很小区域内的x，或者一般是一个x)  对应着  (一个y).

在把一个问题建模的时候一定要考虑好需求，让你的模型更好的与现实问题相对应。


转自：

http://blog.youkuaiyun.com/abcjennifer/article/details/7716281

http://blog.youkuaiyun.com/ppn029012/article/details/8775597

http://blog.youkuaiyun.com/u010159842/article/details/46457781

分类问题和回归问题区别与联系
Mr数据杨
02-03 1万+
分类和回归是机器学习中的两大主要预测任务，二者在输出类型、评价方式和应用场景上存在显著区别。分类模型通常用于预测标签，回归模型用于预测数量。理解分类与回归的本质差异有助于更有效地选择算法和评价指标，从而在特定任务中获得更佳的预测效果。在实际应用中，通过适当的任务转换，可以拓展算法的应用场景，并提高模型的灵活性。
每天五分钟机器学习：一文搞懂回归算法和分类算法的异同点
huanfeng_AI的博客
08-04 3896
回归算法和分类算法虽然都是监督学习的方法，但是它们在实际应用中有着不同的特点和用途。回归算法主要应用于数值型数据的预测，而分类算法主要应用于类别型数据的分类。两者的模型形式、评估指标等也有所不同。在实际应用中，我们需要根据具体问题的特点，选择合适的算法来解决问题。
分类与回归算法（一）- 模型评价指标
最新发布
zcs2312852665的博客
11-02 817
本文系统介绍了分类与回归算法的核心原理、适用场景及优缺点，重点分析了常用分类算法（逻辑回归、决策树、SVM、随机森林）和回归算法（线性回归、岭回归/Lasso回归、决策树回归、GBDT）。针对分类任务，详细阐述了基于混淆矩阵的评价指标体系，包括准确率、精确率、召回率和F1分数，通过数学公式说明其计算方法，并结合实际业务场景（如医疗诊断、金融风控）分析各指标的适用性与权衡关系。文章为机器学习模型选择与评估提供了全面的方法论指导。
机器学习 --- 1. 线性回归与分类, 解决与区别
小小鸟小小
04-09 5万+
机器学习可以解决很多问题，其中最为重要的两个是 回归与分类。 这两个问题怎么解决， 它们之间又有什么区别呢？ 以下举几个简单的例子，以给大家一个概念 1. 线性回归 回归分析常用于分析两个变量X和Y 之间的关系。 比如 X＝房子大小 和 Y＝房价 之间的关系， X=(公园人流量，公园门票票价） 与 Y=(公园收入) 之间的关系等等。 那么你的数据点在图上可以这么看 现在你想找到 房
回归问题经典算法 | 线性回归 ：解析解法（公式推导）
ToBeCeratinToBeTall的博客
02-18 4805
线性回归公式推导 | 解析解法求解参数 | 一篇文章读懂线性回归底层数学思想 | 代码实现
分类(classification)与回归(regression)的区别与关系
Tiiktak‘s
01-07 3285
我的博客: konosuba.xyz 分类与回归是监督学习中的两个主要任务，它们即对应了监督学习中“学习”的部分 分类模型与回归模型的本质其实一样。分类模型可将回归模型的输出离散化，回归模型也可将分类模型的输出连续化 例如： Linear Recognition 线性回归 使用 y = wx + b 的形式，y就是模型的输出，是一个连续值，所以可以用于处理回归问题 Logistic Reco...
深度学习——分类和回归问题联系与区别
qimo601的专栏
09-02 1万+
深度学习——分类和回归问题联系与区别
简述回归，分类，聚类方法的区别和联系并分别举出一个例子
weixin_44623752的博客
07-21 9417
简述回归，分类，聚类方法的区别和联系并分别举出一个例子一级目录二级目录三级目录 一级目录 二级目录 三级目录 以前偶然找到过下图，该图对分类，聚类及其回归表达的很清晰。 由上图我们可以看到，机器学习分为四大块，分别是 classification (分类)， regression (回归), clustering (聚类), dimensionality reduction (降维)。 1，给定一个样本特征 , 我们希望预测其对应的属性值 , 如果 是离散的, 那么这就是一个分类问题，反之，如果 是
人工智能和机器学习之分类算法：逻辑回归与神经网络的联系与区别.docx
08-29
人工智能和机器学习之分类算法：逻辑回归与神经网络的联系与区别.docx
深度学习原理30——分类与回归的区别
xiaotiig的博客
12-27 5078
学过机器学习的人都听过两个概念：分类与回归，特别的，在YOLO v1中，作者也提到了 YOLO之前的物体检测方法通常都转变为了一个分类问题，如 R-CNN、Fast R-CNN 等等。而YOLO将检测变为一个 回归问题。 那么这两个概念有什么联系，有什么区别呢？ 写这篇博客，参考过很多人的简介，不同的人给的回复也不同， 在这里，我把他们汇总一下。 重点来啦重点来啦！！！ 分类和回归二级目录三级目录1、分类与回归是干嘛的？2、二者有什么区别1.输出不同2.目的不同3.损失函数不同4.结果不同3、场景应用1.分
机器学习中分类与回归问题的区别与联系
haosen
10-18 2万+
分类和回归问题之间存在重要差异。 从根本上说，分类是关于预测标签，而回归是关于预测数量。 我经常看到诸如以下问题： 如何计算回归问题的准确性？ 像这样的问题是没有真正理解分类和回归之间的差异以及试图衡量的准确度的症状。 在本教程中，您将发现分类和回归之间的差异。 完成本教程后，您将了解： 该预测建模是关于学习从输入到输出的映射函数的问题，称为函数逼近。 该分类是预测示例的离散类...
回归(regression)与分类(classification)的区别
飘过的春风
06-22 3万+
“无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。” 回归与分类的不同 1.回归问题的应用场景（预测的结果是连续的，例如预测明天的温度，23，24，25度） 回归问题通常是用来预测一个值，如预测房价、未来的天气情况等等，例如一个产品的实际价格为500元，通过回归分析预测值为...
机器学习中的回归(regression)与分类(classification)问题
热门推荐
小时候贼聪明
03-13 6万+
分类模型和回归模型本质一样，分类模型是将回归模型的输出离散化。
分类与回归的关系和区别
weixin_33800463的博客
09-09 237
走刀口 分类和回归的区别在于输出变量的类型。 定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。 举个例子：预测明天的气温是多少度，这是一个回归任务；预测明天是阴、晴还是雨，就是一个分类任务。   输入变量与输出变量均为连续变量的预测问题是回归问题；输出变量为有限个离散变量的预测问题成为分类问题；输入变量与输出变量均为变量序列的预测问题成为...
【机器学习基础】分类任务 和 回归任务 的 区别与联系
__阿健__的博客
12-20 1万+
分类任务 和 回归任务 的区别在于 需要预测的值的类型： 回归任务，是对 连续值 进行预测（比如 多少）； 分类任务，是对 离散值 进行预测（比如 是不是，属不属于，或者 属于哪一类）。 打个比方， 预测 明天的气温是多少度，这是一个回归任务； 预测 明天会不会下雨，就是一个分类任务。
回归与分类的区别
Aurora_DM的博客
01-22 623
1）输出数据的类型 分类输出的数据类型是离散数据，也就是分类的标签。比如我们前面通过学生学习预测考试是否通过，这里的预测结果是考试通过，或者不通过，这2种离散数据。 回归输出的是连续数据类型。比如我们通过学习时间预测学生的考试分数，这里的预测结果分数，是连续数据。 2）第2个区别是我们想要通过机器学习算法得到什么？ 分类算法得到是一个决策面，用于对数据集中的数据进行分类。 回归算法得到是
分类和回归的特的点和区别
09-02
<think> 我们正在讨论分类问题和回归问题的区别与联系。根据用户的需求，我们需要详细解释分类和回归的特点及区别。我们可以参考之前提供的引用内容，特别是引用[1]和引用[3]中的内容。 分类和回归是监督学习中的两种主要任务。它们的核心区别在于目标变量的类型： - 分类：目标变量是离散的类别标签（例如：垃圾邮件/非垃圾邮件，猫/狗/鸟）。 - 回归：目标变量是连续的数值（例如：房价，温度，销售额）。 下面我们详细展开： ### 一、特点与区别 #### 1. **输出类型** - **分类**：输出是离散的类别标签。例如： - 二分类：输出只有两种可能（如0和1） - 多分类：输出有多个类别（如手写数字识别0-9） - **回归**：输出是连续的数值。例如： - 预测房价（输出可以是任意实数） - 预测温度（可以是小数） #### 2. **算法目标** - **分类**：目标是学习决策边界，将数据划分到不同的类别中。常用算法包括： - 决策树（用于分类） - 支持向量机（SVM） - 逻辑回归（虽然名字叫回归，但实际上是分类算法） - 神经网络（用于分类） - **回归**：目标是学习输入特征与连续目标值之间的映射关系。常用算法包括： - 线性回归 - 多项式回归 - 回归树 - 神经网络（用于回归） #### 3. **评价指标** - **分类**：评价指标关注预测类别的准确性。常用指标： - 准确率（Accuracy） - 精确率（Precision）和召回率（Recall） - F1分数（F1-Score） - AUC-ROC曲线 - **回归**：评价指标关注预测值与真实值之间的误差大小。常用指标： - 均方误差（MSE） - 均方根误差（RMSE） - 平均绝对误差（MAE） - R-squared（决定系数） #### 4. **应用场景** - **分类**的应用场景： - 图像识别（识别图像中的物体类别） - 文本分类（如垃圾邮件检测、情感分析） - 医学诊断（判断是否患有某种疾病） - 欺诈检测（判断交易是否为欺诈） - **回归**的应用场景： - 房价预测 - 股票价格预测 - 销售额预测 - 气象预测（如温度、降水量） ### 二、联系 尽管分类和回归有显著区别，但它们之间也存在联系： 1. **问题转换**：某些问题可以从分类转化为回归，反之亦然。例如： - 将回归问题离散化（如将房价分为高、中、低三档）就变成了分类问题。 - 某些分类算法（如逻辑回归）实际上是通过回归方法（如线性回归+激活函数）来实现分类的。 2. **算法通用性**：一些算法可以同时处理分类和回归任务，例如： - 决策树：通过改变目标变量类型，可以用于分类（分类树）和回归（回归树）。 - 神经网络：通过改变输出层（如分类用softmax，回归用线性激活）可以处理两种任务。 3. **特征处理相似性**：在特征工程阶段，两类任务的处理方法高度相似，包括： - 缺失值处理 - 特征缩放 - 特征编码（如独热编码处理分类特征） ### 三、示例对比 假设我们有一个关于房屋的数据集： - 如果我们要预测房屋的**价格**（连续值），这是一个回归问题。 - 如果我们要预测房屋是否**畅销**（是/否），这就是一个分类问题。 ### 总结 分类和回归是监督学习的核心任务，二者在输出类型、算法目标、评价指标和应用场景上存在本质区别。但在实际应用中，它们又相互关联，通过适当的问题转换和算法调整，可以扩展模型的应用范围[^1][^3]。 §§相关问题§§ 1. 逻辑回归为什么用于分类却被称为回归？ 2. 决策树如何同时用于分类和回归任务？ 3. 分类问题中如何处理类别不平衡？ 4. 回归问题中如何处理非线性关系？ </think> ### 分类与回归的特点及区别 #### 一、核心特点对比 | **维度** | **分类 (Classification)** | **回归 (Regression)** | |----------------|--------------------------------------------------|---------------------------------------------| | **输出类型** | 离散类别标签（如猫/狗/鸟） | 连续数值（如房价、温度） | | **算法目标** | 学习决策边界，划分数据类别 | 学习特征与目标值的映射函数 | | **预测本质** | 定性判断（"是什么"） | 定量预测（"有多少"） | | **典型算法** | 逻辑回归、决策树、SVM、随机森林 | 线性回归、多项式回归、回归树、神经网络 | #### 二、详细区别解析 1. **输出形式（核心区别）** - **分类**：输出有限个离散类别 $$ \hat{y} \in \{0, 1, ..., K\} \quad (\text{K为类别数}) $$ 例如：垃圾邮件检测（0=正常，1=垃圾）[^1] - **回归**：输出连续实数 $$ \hat{y} \in \mathbb{R} $$ 例如：房价预测（输出可能为 325.7万）[^3] 2. **评价指标差异** - **分类**：关注类别准确性 - 准确率：$ \text{Accuracy} = \frac{\text{正确预测数}}{\text{总样本数}} $ - F1-score：$ \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} $ - **回归**：关注数值误差 - 均方误差：$ \text{MSE} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2 $ - $R^2$ 决定系数：$ 1 - \frac{\sum(y_i - \hat{y}_i)^2}{\sum(y_i - \bar{y})^2} $ 3. **应用场景对比** ```mermaid graph LR A[分类应用] --> B[图像识别] A --> C[疾病诊断] A --> D[情感分析] E[回归应用] --> F[房价预测] E --> G[股票走势] E --> H[气温预报] ``` - **分类**：需要定性结论的场景（如信用卡欺诈检测[^4]） - **回归**：需精确数值的场景（如销售额预测[^3]） 4. **模型解释方式** - **分类模型**：输出类别概率 $$ P(y=k|\mathbf{x}) = \frac{e^{\mathbf{w}_k^T \mathbf{x}}}{\sum_{j=1}^{K} e^{\mathbf{w}_j^T \mathbf{x}}} \quad \text{(softmax函数)} $$ - **回归模型**：输出数值关系 $$ \hat{y} = \beta_0 + \beta_1 x_1 + ... + \beta_n x_n \quad \text{(线性回归)} $$ #### 三、本质联系 1. **问题可转换性** - 回归→分类：设定阈值将连续值离散化（如血糖>7mmol/L判为糖尿病） - 分类→回归：将类别次序视为连续值（如电影评分1-5星） 2. **算法互通性** - 决策树、神经网络等算法可同时处理两类任务 - 逻辑回归本质是**用回归方法解决分类问题**（通过Sigmoid函数映射概率）[^2] #### 四、典型场景选择指南 1. **选择分类**当： - 目标为判断类型/状态（如垃圾邮件检测） - 输出有明确边界（如动物种类不可介于猫狗之间） 2. **选择回归**当： - 需精确量化影响（如广告投入对销售额的影响） - 预测值有连续变化特性（如时间序列预测）[^3] > **总结**：分类解决“是什么”的定性问题，回归解决“有多少”的定量问题。二者根本区别在于输出的离散性与连续性，但在算法实现和问题转换上存在深层联系[^1][^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值