牛客题解 | 使用梯度下降的线性回归

题目

题目链接

梯度下降在机器学习中是一种常用的优化算法，用于求解最小化损失函数的问题。其具体步骤如下：

1. 初始化参数

• 创建一个与输入矩阵 $X$ 和输出矩阵 $y$ 相关的矩阵 $w$。
• 数学表达式为：
  $$w=0$$

本题初始化参数为0，但在实际使用中更常见的是使用随机初始化。

2. 计算梯度

• 计算损失函数 $L$ 对参数 $w$ 的梯度 $g$。
• 数学表达式为：
  $$g=\nabla L(w)$$

本题使用的损失函数为均方误差，即：

L ( w ) = 1 2 m ∑ i = 1 m ( h ( x i ) − y i ) 2 L(w) = \frac{1}{2m} \sum_{i=1}^{m} (h(x_i) - y_i)^2