16、线性回归：从简单到多元的深入探索

线性回归：从简单到多元的深入探索

1. 简单线性回归中的R平方与梯度下降

在简单线性回归中，R平方是衡量模型拟合数据好坏的一个重要指标。当残差平方和等于总平方和时，R平方为0，这意味着模型的表现和直接预测均值差不多。实际上，最小二乘法模型至少不会比这种情况差，所以残差平方和最多等于总平方和，这就决定了R平方至少为0；又因为残差平方和至少为0，所以R平方最多为1。R平方值越高，模型对数据的拟合效果越好。例如，计算得到的R平方为0.329，说明模型对数据的拟合效果一般，显然还有其他因素在起作用。

可以使用梯度下降法来求解简单线性回归问题。以下是具体的代码实现：

import random
import tqdm
from scratch.gradient_descent import gradient_step

num_epochs = 10000
random.seed(0)
guess = [random.random(), random.random()]  # 选择随机值作为起始点
learning_rate = 0.00001

with tqdm.trange(num_epochs) as t:
    for _ in t:
        alpha, beta = guess
        # 损失函数关于alpha的偏导数
        grad_a = sum(2 * error(alpha, beta, x_i, y_i)
                     for x_i, y_i in zip(num_friends_good,