36、机器学习基础：回归、聚类与深度学习入门

机器学习基础：回归、聚类与深度学习入门

1. 回归问题概述

在经典的回归问题中，我们可以设想这样一个场景：银行经理能否根据客户的工资预测其储蓄，从而为客户提供定制化的银行规划？为了回答这个问题，我们可以构建一个简单的回归模型，其形式为：$y = α + β * x$，其中 $y$ 是待预测的变量（收入），$x$ 是预测因子（工资），$β$ 是斜率，$α$ 是截距（在机器学习术语中通常称为偏差）。

如果要从 $x$ 预测 $y$，我们可以收集许多点 $(x, y)$，然后尝试确定 $α$ 和 $β$ 的值（它们通常统称为系数），以使这些点得到最优拟合。一旦得到这些系数，就可以使用上述公式为任何 $x$ 值计算 $y$ 的估计值 $\hat{y}$。

然而，这个例子相当简单，实际上，准确预测收入可能不仅取决于工资，还受到许多其他因素的影响，如年龄、抵押贷款等。与分类问题类似，更多的输入特征可以帮助我们做出更明智的决策。实际上，基于多个特征的回归也是可行的，此时方程扩展为：$y = α + \sum β_i * x_i$。在这个公式中，每个 $β_i$ 代表特征 $x_i$ 对预测的“权重”（正或负）。

2. 回归算法

2.1 简单线性回归

本节开头给出的方程代表了回归的最基本形式，即简单线性回归。这里的“线性”意味着模型表示为各项的“加权”和。这些项可以是特征本身，也可以是对特征进行函数运算的结果。例如，对于某些实例分布，曲线可能比直线更适合拟合。当我们对特征使用幂、乘法或三角函数等运算时，就是在定义基函数。通过使用这些非线性函数，我们可以寻找其他（通常更好的）“拟合”方式，但得到的模型仍然是线性的。

<