70、梯度下降的应用与图嵌入优化

梯度下降的应用与图嵌入优化

1. 线性回归：梯度下降的典型应用

线性回归是一种用于寻找输入（自变量）与模型输出的实数（因变量）之间关系的方法。例如，我们有一个汽车数据集，包含汽车的制造年份、发动机、行驶里程等特征以及对应的市场价格，我们希望通过线性回归学习这些特征与价格之间的关系，以便判断经销商给出的汽车价格是否合理。

在进行线性回归时，我们需要选择一个合适的模型来近似数据集中自变量和因变量之间的真实关系。为了简化问题，我们可以先考虑只包含一个参数的函数，如常数函数（y = m）、一般直线（y = mx + b）、二次曲线（m1*x² + m2 * x + b）等。通常，模型越简单，所需的数据点就越少来“学习”它，因为选择模型复杂度后，我们还需要确定具体的参数值。

确定参数的方法是通过训练，也就是应用梯度下降算法。在线性回归中，我们定义一个成本函数（在机器学习中通常称为损失函数），用于衡量模型对数据集中每个点的因变量预测值与实际值之间的距离。这个函数通常是最小二乘误差的总和或其变体。通过最小化每个点与模型线在y轴上的平方距离，我们得到一个凸的、碗状的函数，这对于梯度下降算法来说是非常理想的，因为它有一个全局最小值。

以下是线性回归中选择模型和使用梯度下降的步骤：
1. 选择模型 ：根据数据特点和问题需求，选择合适复杂度的模型，如常数函数、直线或二次曲线等。
2. 定义成本函数 ：通常使用最小二乘误差的总和作为成本函数，衡量预测值与实际值的距离。
3. 应用梯度下降 ：通过计算成本函数关于模型参数的偏导数，更新参数值，逐