21、线性回归与分类方法详解

线性回归与分类方法详解

1. 多元线性回归

在处理任意数量的特征时，采用矩阵符号会很有用。单变量线性回归的矩阵形式为：
[
\begin{pmatrix}
y_1 \
\vdots \
y_n
\end{pmatrix}
=
\begin{pmatrix}
1 \
\vdots \
1
\end{pmatrix}a +
\begin{pmatrix}
x_1 \
\vdots \
x_n
\end{pmatrix}b +
\begin{pmatrix}
\epsilon_1 \
\vdots \
\epsilon_n
\end{pmatrix}
]
可简化为 (y = a + Xb + \epsilon)，其中 (y, a, X) 和 (\epsilon) 是 (n) 维向量，(b) 是标量。

对于 (d) 个特征的情况，(X) 变为 (n\times d) 矩阵，(b) 变为 (d) 维回归系数向量。使用齐次坐标可进一步简化方程为 (y = X^{\circ}w + \epsilon)，其中 (X^{\circ}) 是 (n\times (d + 1)) 矩阵，第一列全为 1，其余列是 (X) 的列，(w) 的第一个元素是截距，其余 (d) 个元素是回归系数。

在单变量情况下，我们能得到 (w) 的闭式解，那么在多变量情况下是否也可以呢？首先，我们可能需要每个特征与目标变量之间的协方差。考虑表达式 (X^Ty)，它是一个 (n) 维向量，第