【机器学习】案例2.8——优化后的小批量梯度下降法，可动态调整学习率

# 导入numpy库，用于高效的数值计算（矩阵运算、随机数生成、索引打乱等），是机器学习数值计算的核心依赖
import numpy as np

# ===================== 1. 构造模拟数据集（单特征线性回归场景） =====================
# 生成特征矩阵X：100个样本，每个样本1个特征，特征值服从[0,2)区间的均匀分布（2*rand放大取值范围）
# 形状为(100, 1)，符合"多样本、单特征"的简单线性回归数据格式
X = 2 * np.random.rand(100, 1)
# 构造标签y：模拟真实线性关系 y = 4（截距w0） + 3*X（特征系数w1） + 噪声
# np.random.randn(100, 1)：添加标准正态分布（均值0、方差1）的噪声，模拟真实数据的随机性，避免理想线性关系
y = 4 + 3 * X + np.random.randn(100, 1)
# 给特征矩阵拼接偏置项（对应模型截距w0）：在X每一行前添加1个"1"
# 最终X_b形状为(100, 2)，每一行格式为[1, X_i]，方便通过矩阵乘法计算预测值 w0*1 + w1*X_i
X_b = np.c_[np.ones((100, 1)), X]

# ===================== 2. 定义动态学习率调度相关 =====================
t0, t1 = 5, 500  # 动态学习率的调节参数（经验阈值）：
# - t0：控制初始学习率大小（t0越大，初始步长越大，前期收敛越快）
# - t1：控制学习率衰减速度（t1越大，衰减越慢，后期调整越平缓）

def learning_rate_schedule(t):
    """
    动态学习率调度函数（模拟"模拟退火"思想），核心是"累计迭代次数越多，学习率越小"
    解决固定学习率的痛点：
        - 固定学习率过大：后期参数在最优解附近震荡，无法稳定收敛
        - 固定学习率过小：前期收敛速度极慢，需大量迭代才能靠近最优解
    参数：
        t: 累计迭代次数（覆盖所有轮次、所有批次的总更新次数，从0开始递增）
    返回：
        当前累计迭代对应的动态学习率
    公式原理：η(t) = t0/(t + t1)，t增大时η(t)单调递减且始终为正，保证参数更新方向稳定
    """
    return t0 / (t + t1)

# ===================== 3. 设置超参数 =====================
n_epochs = 10000  # 训练轮数（epoch）：每轮会完整随机遍历一次所有样本（分批次处理）
m = 100  # 总样本数量
batch_size = 10  # 小批量样本数（核心参数）：每批用10个样本计算梯度，介于SGD（1样本）和BGD（全样本）之间
num_batches = int(m / batch_size)  # 每轮的批次数：总样本数 ÷ 每批样本数 = 100÷10=10批/轮

# ===================== 4. 初始化模型参数 =====================
# 初始化参数theta：包含2个参数（w0：截距，w1：特征X的系数）
# 用标准正态分布（均值0、方差1）随机生成初始值，形状为(2, 1)，符合机器学习参数初始化的常用实践
theta = np.random.randn(2, 1)

# ===================== 5. 优化版小批量梯度下降核心迭代（动态学习率+全样本随机遍历） =====================
# 外层循环：遍历每一轮训练（每轮会完整处理所有批次，即遍历所有样本）
for epoch in range(n_epochs):
    # ---------------- 优化点1：每轮开始前打乱样本索引，确保所有样本被随机分配到批次 ----------------
    # 生成样本索引数组（0~99，对应100个样本的原始顺序）
    arr = np.arange(len(X_b))
    # 打乱索引数组：破坏样本原始顺序，避免固定批次导致的"样本偏见"（部分样本反复在同一批次，部分样本被忽视）
    np.random.shuffle(arr)
    # 按打乱后的索引重新排列特征矩阵和标签：保证特征与标签的对应关系不被破坏（关键！）
    X_b = X_b[arr]
    y = y[arr]
    
    # 内层循环：遍历当前轮的所有批次（每批10个样本，共10批）
    for i in range(num_batches):
        # 步骤1：计算当前批次的样本索引范围
        batch_start = i * batch_size  # 批次起始索引（如i=0时为0，i=1时为10，...，i=9时为90）
        batch_end = batch_start + batch_size  # 批次结束索引（如i=0时为10，i=1时为20，...，i=9时为100）
        
        # 步骤2：取出当前批次的特征和标签
        x_batch = X_b[batch_start: batch_end]  # 当前批次特征，形状(10, 2)
        y_batch = y[batch_start: batch_end]    # 当前批次标签，形状(10, 1)
        
        # 步骤3：计算小批量梯度（兼顾效率与稳定性）
        # - x_batch.dot(theta)：计算当前批次所有样本的预测值（形状(10,1)）
        # - x_batch.dot(theta) - y_batch：计算当前批次的预测误差（预测值 - 真实值）
        # - x_batch.T.dot(...)：对预测误差转置后与特征矩阵相乘，得到损失函数对theta的梯度（形状(2,1)）
        # 注：小批量梯度的噪声比SGD小，计算速度比BGD快，是二者的折中
        gradients = x_batch.T.dot(x_batch.dot(theta) - y_batch)
        
        # 步骤4：计算当前累计迭代次数t（核心：保证学习率持续衰减）
        # t = 轮次编号×总样本数 + 当前轮的批次索引 → 确保t从0开始持续递增，无重复、无遗漏
        t = epoch * m + i
        # 获取当前累计迭代对应的动态学习率
        learning_rate = learning_rate_schedule(t)
        
        # 步骤5：更新模型参数（梯度下降核心公式）
        # 公式：theta_new = theta_old - 学习率 × 梯度
        # 核心逻辑：参数向梯度反方向更新，以最小化均方误差损失函数
        # 动态学习率优势：前期大步快速靠近最优解，后期小步微调避免震荡，抵消小批量梯度的轻微噪声
        theta = theta - learning_rate * gradients

# 打印最终学习到的模型参数theta
# 理想情况下，theta会稳定接近真实参数[4, 3]（受噪声影响有轻微波动）
# 相比固定学习率/未打乱样本的版本，该代码收敛更稳定、结果更接近真实值
print(theta)