5、机器学习中的回归与分类：从基础到实战应用

机器学习中的回归与分类：从基础到实战应用

1. 回归与分类概述

回归和分类是机器学习中几乎无处不在的两个基本任务，广泛应用于工程、物理科学、生物学、金融市场和社会科学等各个领域，是统计学家和数据科学家手中的基本工具。下面将详细介绍回归相关的内容。

1.1 什么是回归

回归通常是机器学习中人们首先接触的算法，它通过学习一组给定的因变量和自变量之间的关系，从数据中进行预测。在几乎所有领域，只要有兴趣找出两个或多个事物之间的关系，都可以使用回归。

以房屋价格估计为例，房屋价格受到多种因素的影响，如房间数量、建筑面积、地理位置、配套设施、停车位等。回归分析可以帮助我们找到这些因素与房屋价格之间的数学关系。

假设在一个简化的世界中，只有房屋面积决定其价格。使用回归，我们可以确定房屋面积（自变量，不依赖于其他变量）和价格（因变量，依赖于一个或多个自变量）之间的关系，然后利用这种关系预测任何给定面积房屋的价格。

在机器学习中，自变量通常作为输入输入到模型中，因变量则是模型的输出。根据自变量的数量、因变量的数量和关系类型，有多种不同类型的回归。回归有两个重要组成部分：自变量和因变量之间的关系，以及不同自变量对因变量的影响强度。下面将详细介绍广泛使用的线性回归技术。

2. 线性回归预测

线性回归是最广为人知的建模技术之一，已经存在了200多年，从几乎所有可能的角度都进行了探索。线性回归假设输入变量（X）和输出变量（Y）之间存在线性关系。其基本思想是使用训练数据构建一个模型，该模型可以根据输入预测输出，使得预测输出 𝑌̂ 尽可能接近输入 X 的观察训练输出 Y。它涉及找到预测值 𝑌̂ 的线