应用回归分析基本公式

1. 线性回归模型

1.1 简单线性回归

$$y={\beta }_0+{\beta }_{1}x+ϵ$$

1.2 多元线性回归

$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_p{x}_p+ϵ$$

2. 参数估计

2.1 最小二乘估计

$$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}y$$

2.2 残差计算

$$e_i=y_i-{\hat{y}}_i$$

3. 模型评估

3.1 总平方和(SST)

$$SST=\sum _{i=1}^n(y_i-\bar{y}{)}^2$$

3.2 回归平方和(SSR)

$$SSR=\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2$$

3.3 残差平方和(SSE)

$$SSE=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

3.4 决定系数(R²)

$$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$$

3.5 调整R²

$$\text{Adj. }{R}^2=1-\frac{SSE/(n-p-1)}{SST/(n-1)}$$

4. 假设检验

4.1 t检验统计量

$$t=\frac{{\hat{\beta }}_j}{SE({\hat{\beta }}_j)}$$

4.2 F检验统计量

$$F=\frac{SSR/p}{SSE/(n-p-1)}$$

5. 其他回归模型

5.1 逻辑回归

$$\ln \left(\frac{p}{1-p}\right)={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p$$

5.2 泊松回归

$$\ln (\lambda )={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p$$

符号说明

• $y$: 因变量
• $x$: 自变量
• $\beta$: 回归系数
• $ϵ$: 随机误差项
• $n$: 样本量
• $p$: 自变量个数
• $\hat{y}$: 预测值
• $\bar{y}$: 因变量均值