牛客题解 | 使用梯度下降的线性回归

题目

题目链接

梯度下降在机器学习中是一种常用的优化算法，用于求解最小化损失函数的问题。其具体步骤如下：

1. 初始化参数

• 创建一个与输入矩阵 $X$ 和输出矩阵 $y$ 相关的矩阵 $w$。
• 数学表达式为：
  $$w=0$$

本题初始化参数为0，但在实际使用中更常见的是使用随机初始化。

2. 计算梯度

• 计算损失函数 $L$ 对参数 $w$ 的梯度 $g$。
• 数学表达式为：
  $$g=\nabla L(w)$$

本题使用的损失函数为均方误差，即：

$$L(w)=\frac{1}{2m}\sum _{i=1}^m(h(x_i)-y_i{)}^2$$
其中，$h(x_i)$ 是预测值，$y_i$ 是真实值，$m$ 是样本数量。
因此，梯度为：
$$g=\frac{1}{m}\sum _{i=1}^m(h(x_i)-y_i)\times x_i$$
值得注意是，均方误差有两种形式，区别在于是否乘以1/2，本题使用的是乘以1/2的形式，这种形式的好处在于求梯度时可以消去1/2，使得计算更加简洁。

3. 更新参数

• 更新参数 $w$。
• 数学表达式为：
  $$w=w-\eta \times g$$

值得注意的是，梯度下降有三种形式，分别是批量梯度下降、随机梯度下降和mini-batch梯度下降。

标准代码如下

def linear_regression_gradient_descent(X, y, alpha, iterations):
    m, n = X.shape
    # 初始化权重
    theta = np.zeros((n, 1))
    for _ in range(iterations):
        predictions = X @ theta
        errors = predictions - y.reshape(-1, 1)
        updates = X.T @ errors / m
        theta -= alpha * updates
    return np.round(theta.flatten(), 4)