5、回归分析：从线性回归到特征设计

回归分析：从线性回归到特征设计

1. 回归问题概述

回归问题旨在为一组输入/输出数据点拟合一条代表性的直线、曲线（在高维空间中为超平面或一般曲面）。进行回归分析的原因多种多样，比如生成趋势线（或曲线）以直观总结数据、突出特定观点，或者学习模型以对未来输出值进行精确预测。

2. 线性回归基础

2.1 符号与建模

回归问题的数据以包含 $P$ 个输入/输出观测对的训练集形式呈现：
${(x_1, y_1), (x_2, y_2), \cdots, (x_P, y_P)}$，简记为 $\left[\begin{array}{c}x_p, y_p\end{array}\right]_{p = 1}^{P}$，其中 $x_p$ 和 $y_p$ 分别表示第 $p$ 个输入和输出。

在许多回归实例中，输入为标量值，此时线性回归问题在几何上是为二维空间中的数据点拟合一条直线。一般情况下，每个输入 $x_p$ 可能是长度为 $N$ 的列向量：
$x_p =
\begin{bmatrix}
x_{1,p}\
x_{2,p}\
\vdots\
x_{N,p}
\end{bmatrix}$
此时线性回归问题则是为 $N + 1$ 维空间中的数据点拟合一个超平面。

对于标量输入，为数据拟合直线需要确定斜率 $w$ 和偏置（或“y 截距”）$b$，使得输入/输出数据之间大致满足线性关系：
$b + x_pw \approx y_p, p = 1, \cdots, P$

当输入维度 $N \geq 1$ 时，有一个偏置和 $