3、线性回归模型：原理、方法与应用

线性回归模型：原理、方法与应用

1. 回归概述

回归的目标是根据输入变量的 D 维向量 x 来预测一个或多个连续目标变量 t 的值。线性回归模型是一类重要的回归模型，其关键特性是关于可调参数为线性函数。最简单的线性回归模型是输入变量的线性组合，但这种模型存在显著局限性，因此可通过输入变量的固定非线性基函数的线性组合来扩展模型类别。

2. 线性基函数模型

• 模型形式
  • 最简单的线性回归模型：(y(x, w) = w_0 + w_1x_1 + \cdots + w_Dx_D)，其中 (x = (x_1, \cdots, x_D)^T)。
  • 扩展后的线性基函数模型：(y(x, w) = w_0 + \sum_{j = 1}^{M - 1} w_j\varphi_j(x))，其中 (\varphi_j(x)) 为基函数。为方便表示，可定义额外的虚拟基函数 (\varphi_0(x) = 1)，则 (y(x, w) = \sum_{j = 0}^{M - 1} w_j\varphi_j(x) = w^T\varphi(x))，其中 (w = (w_0, \cdots, w_{M - 1})^T) 且 (\varphi = (\varphi_0, \cdots, \varphi_{M - 1})^T)。
• 基函数选择
  • 多项式基函数 ：如 (\varphi_j(x) = x^j)，但它是输入变量的全局函数，一个区域的变化会影响其他