4、机器学习基础算法介绍

机器学习基础算法介绍

1. 线性回归

线性回归模型的训练可通过最小化成本函数来实现，主要有以下两种方式：
- 计算在训练集上最小化成本函数的模型参数，使模型最适合训练集。
- 使用梯度下降法，这是一种迭代优化技术，通过逐步调整模型参数来最小化成本函数。

线性回归模型的训练过程，就是寻找模型参数 $w_1, \cdots, w_n$ 和 $b$ 的值，以最小化均方根误差（RMSE）或均方误差（MSE）。

2. 多项式回归

多项式回归是用于处理非线性数据的预测模型。实现方法是将特征的幂作为新特征添加，然后在这个扩展的特征集上训练线性模型。

单变量的 $k$ 阶多项式回归模型表示为：
$\hat{y} = w_1x + w_2x^2 + \cdots + w_kx^k + b$

多变量的多项式模型也可依此类推，例如双变量的二阶多项式模型为：
$\hat{y} = b + w_1x_1 + w_2x_2 + w_3x_1^2 + w_4x_2^2 + w_5x_1x_2$

3. 逻辑回归

逻辑回归通常用于估计数据实例属于特定类别的概率。在逻辑回归中，会估计分类因变量 $Y$ 与一组自变量 $X_1, \cdots, X_n$ 之间关联的概率。若估计概率大于 0.50，模型预测该实例属于该类别；否则，不属于。

逻辑回归使用自变量（也称为解释变量）的数学模型来预测因变量的对数变换。假设 0 和 1 表示二元变量的结果，该变量的均值 $p$ 是结果为 1 的概率，$1 - p$ 是结果为 0 的概率。$p/(1 - p)$ 称为