3、线性回归：机器学习的基础操作

线性回归：机器学习的基础操作

1. 单变量线性回归

单变量线性回归旨在用一个预测变量 (x) 来预测定量响应 (Y)，假设 (Y) 与 (x) 存在线性关系，模型可表示为 (Y = \beta_0 + \beta_1x + \epsilon)。这里，(\beta_0) 是截距，(\beta_1) 是斜率，(\epsilon) 是误差项。最小二乘法用于选择模型参数，使预测的 (y) 值与实际的 (Y) 值的残差平方和（RSS）最小。

例如，若实际值 (Y_1 = 10)，(Y_2 = 20)，预测值 (y_1 = 12)，(y_2 = 18)，则 RSS 计算如下：
[
\begin{align }
RSS&=(Y_1 - y_1)^2 + (Y_2 - y_2)^2\
&=(10 - 12)^2 + (20 - 18)^2\
&= 4 + 4\
&= 8
\end{align }
]

在进行实际应用前，需谨慎对待各种研究突破的头条新闻，因为媒体给出的结论可能并不有效。R 等软件无论输入如何都会给出解决方案，但数学上合理且有高相关性或高 (R^2) 统计量并不意味着结论有效。

以著名的 Anscombe 数据集为例，该数据集包含四对 (X) 和 (Y) 变量，它们具有相同的统计特性，但绘制图形时却呈现出截然不同的结果。以下是调用和探索数据的代码：

# 调用并探索数据
data(anscombe)
attach(anscombe)
anscombe