方差分析与一元线性回归

最新推荐文章于 2024-07-16 21:52:05 发布

Emma_bbb

最新推荐文章于 2024-07-16 21:52:05 发布

阅读量3.9k

点赞数

CC 4.0 BY-SA版权

分类专栏：统计文章标签：方差分析回归分析

本文链接：https://blog.youkuaiyun.com/weixin_43174621/article/details/98883635

统计专栏收录该内容

4 篇文章

订阅专栏

本文深入探讨了方差分析(ANOVA)与一元线性回归之间的内在联系，通过数学推导揭示两者在统计检验、模型参数及原假设上的等价性，强调了ANOVA实际上是一种特殊的一元线性回归。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在一般的回归教材中，都不会提到经典的方差分析，而在数理统计教材中，方差分析又往往作为独立于回归分析的章节存在。所以我们一般不会去思考方差分析与回归分析之间的关系。而事实上，方差分析就是一种特殊的回归分析，oneway-anova和一元线性回归时完全等价的！

oneway-anova

举个栗子，一个因子A下有三个水平 $A_1,A_2,A_3$ ，我们要比较这三个水平间是否有显著的差异, 每一个 $A_i$ 的观测都是 $y_{i1},y_{i2},...,y_{in_i}$ ,各水平均值记为 $μi{\mu}_i$ , 总体均值记为 $μ\mu$ , 水平效应 $ai=μ−μia_i=\mu-\mu_i$ , 总观测数为 $n=n_1+n_2+n_3$ 。
$H_0:a_1=a_2=a_3=0$
$F=SA/fASe/fe∼F(fA,fe)=F(2,n−3)F=\frac{S_A/f_A}{S_e/f_e} \sim F(f_A,f_e) =F(2,n-3)$
其中， $S_A$ 是组间偏差平方和， $S_e$ 是组内偏差平方和。

一元线性回归

上述方差分析的目的在于检验3个水平间是否有差距，放在线性回归里，检验3个水平是否有差距的方法就是把三个水平上的观测值作为因变量，把水平的类别作为自变量，然后检验回归系数的显著性。
可以通过设置哑变量，实现将水平类别作为自变量。因为有3个水平，所以可设置2个哑变量 $x_1,x_2$ , 则3个水平对应的 $x_1,x_2)$ 取值分别为 (0,0), (1,0), (0,1)。再考虑上截距项，设计矩阵为:
$X$ = $(100......110......101......)n∗3\left( \begin{array}{ccc} 1&0&0\\..&..&..\\1&1&0\\..&..&..\\1&0&1\\..&..&.. \end{array} \right)_{n*3}$

回归方程为： $X\beta +\epsilon$
因变量取值为： $y = (y_{11},...,y_{1n_1},y_{21},...,y_{2n_2},y_{31},...,y_{3n_3})^T$

使用最小二乘法解得： $β^=(X′X)−1X′y=(μ1,−μ1+μ2,−μ1+μ3)T\hat{\beta} = (X'X)^{-1}X'y=(\mu_1,-\mu_1+\mu_2, -\mu_1+\mu_3)^T$
$H0:β1=β2=β3=0H_0:\beta_1=\beta_2=\beta_3=0$
$F=SSR/pSSE/n−p−1∼F(p,n−p−1)=F(2,n−3)F=\frac{SSR/p}{SSE/n-p-1}\sim F(p,n-p-1)=F(2,n-3)$

anova vs. 一元线性回归

上面可以看出，两个统计量服从的是一模一样的分布 $F (2, n - 3)$ 。那么从其他的角度看呢？

数值的关系
事实上，根据 $S_A,S_e,SSR,SSE$ 的定义，以及上面求出的 $β^=(μ1,−μ1+μ2,−μ1+μ3)T\hat{\beta} =(\mu_1,-\mu_1+\mu_2, -\mu_1+\mu_3)^T$ , 我们可以得出数值上的关系： $S_A=SSR$ ， $S_e=SSE$ .