牛客题解 | 使用正规方程的线性回归

题目## 题目

题目链接

线性回归是一类回归问题，其目标是通过找到一组参数，使得输入数据和输出数据之间的线性关系尽可能地接近。其数学表达式为：
$$y=X\times w$$
其中，$X$ 是输入矩阵，$w$ 是回归系数，$y$ 是输出矩阵。
而正规方程是一种求解线性回归问题的方法，它通过求解矩阵的逆来得到回归系数。其具体步骤如下：

1. 初始化矩阵

• 创建一个与输入矩阵 $X$ 和输出矩阵 $y$ 相关的矩阵 $A$。
• 数学表达式为：
  $$A=X^T\times X$$

2. 求解回归系数

• 通过求解矩阵 $A$ 的逆来得到回归系数。
• 数学表达式为：
  $$w=A^{-1}\times X^T\times y$$

3. 返回回归系数

• 将计算得到的回归系数返回。

标准代码如下

def linear_regression_normal_equation(X: list[list[float]], y: list[float]) -> list[float]:
    X = np.array(X)
    # 将y转换为列向量
    y = np.array(y).reshape(-1, 1)
    X_transpose = X.T
    # 计算正规方程的解
    theta = np.linalg.inv(X_transpose.dot(X)).dot(X_transpose).dot(y)
    theta = np.round(theta, 4).flatten().tolist()
    return theta

题目链接

梯度下降在机器学习中是一种常用的优化算法，用于求解最小化损失函数的问题。其具体步骤如下：

1. 初始化参数

• 创建一个与输入矩阵 $X$ 和输出矩阵 $y$ 相关的矩阵 $w$。
• 数学表达式为：
  $$w=0$$

本题初始化参数为0，但在实际使用中更常见的是使用随机初始化。

2. 计算梯度

• 计算损失函数 $L$ 对参数 $w$ 的梯度 $g$。
• 数学表达式为：
  $$g=\nabla L(w)$$

本题使用的损失函数为均方误差，即：

$$L(w)=\frac{1}{2m}\sum _{i=1}^m(h(x_i)-y_i{)}^2$$
其中，$h(x_i)$ 是预测值，$y_i$ 是真实值，$m$ 是样本数量。
因此，梯度为：
$$g=\frac{1}{m}\sum _{i=1}^m(h(x_i)-y_i)\times x_i$$
值得注意是，均方误差有两种形式，区别在于是否乘以1/2，本题使用的是乘以1/2的形式，这种形式的好处在于求梯度时可以消去1/2，使得计算更加简洁。

3. 更新参数

• 更新参数 $w$。
• 数学表达式为：
  $$w=w-\eta \times g$$

值得注意的是，梯度下降有三种形式，分别是批量梯度下降、随机梯度下降和mini-batch梯度下降。

标准代码如下

def linear_regression_gradient_descent(X, y, alpha, iterations):
    m, n = X.shape
    # 初始化权重
    theta = np.zeros((n, 1))
    for _ in range(iterations):
        predictions = X @ theta
        errors = predictions - y.reshape(-1, 1)
        updates = X.T @ errors / m
        theta -= alpha * updates
    return np.round(theta.flatten(), 4)