统计回归与Matlab软件实现上(一元多元线性回归模型)

引言

关于数学建模的基本方法

1. 机理驱动
   由于客观事物内部规律的复杂及人们认识程度的限制，无法得到内在因果关系，建立合乎机理规律的数学模型
2. 数据驱动
   直接从数据出发，找到隐含在数据背后的最佳模型，是数学模型建立的另一大思路
   统计回归方法是基于统计理论建立的最基本的一类数据驱动建模方法

学习目的

1. 用统计回归方法估计数据中隐含的模型
2. 对模型参数和模型结果的可靠性做必要检验
3. 分析建模过程中的一些细节问题：异常数据的辨识与处理，变量的筛选
4. 用MATLAB软件实现

一元线性回归模型的概念

一元线性回归模型基本概念

一般地，称由
$$y={\beta }_0+{\beta }_{1}x+\epsilon$$
确定的模型为一元线性回归模型

• ${\beta }_0,{\beta }_1$为回归系数
• $x$为自变量、回归变量或解释变量
• $y$为因变量或被解释变量
• $\epsilon$为随机误差

随机误差$\epsilon$的基本假设

1. 高斯-马尔科夫条件
   $$\{\begin{array}{c}E(\epsilon )=0\\ cov(\epsilon ,\epsilon )={\sigma }^2\end{array}$$

• 随机误差项必须是0均值的
• 方差等于${\sigma }^2$，是恒定的，即与$x$的取值无关

2. 正太分布假设
   $$\epsilon \sim N(0,{\sigma }^2)$$
   随机误差项要服从0均值的正太分布，并且方差同样是恒定的，与$x$无关

一元线性回归分析的主要任务

1. 基于样本数据，对参数${\beta }_0,{\beta }_1,\sigma$做参数估计
2. 对模型参数${\beta }_0,{\beta }_1$以及模型显著性作假设检验分析
3. 对$y$的值作预测，即对$y$作点(区间)估计

Matlab实现

[b, bint, r, rint, stats]=regress(Y,X,alpha)

• bint，回归系数的区间估计
• r，残差
• rint，残差的置信区间
• stats，检验回归模型的统计量：决定系数$r^2$，F值，与F值对应的概率p
• alpha，显著性水平，缺省时为0.05

模型的参数估计与软件实现

回归系数的最小二乘估计

有$n$组独立样本：$(x_1,y_1),(x_2,y_2),\dots ,(x_n,y(n))$，带入回归方程可得
$$\{\begin{array}{c}{y}_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i,i=1,2,\dots ,n\\ E({\epsilon }_i)=0,var({\epsilon }_i)={\sigma }^2\end{array}$$
其中，${\epsilon }_1,{\epsilon }_2,\dots ,{\epsilon }_n$相互独立

• 拟合误差或残差：$r_i=y_i-y_i^{\prime }$
• 最好直线：使残差平方和最小的直线
  $$Q({\beta }_0,{\beta }_1)=\sum _{i=1}^n(y_i-y_i^{\prime }{)}^2=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_i{x}_i{)}^2$$
  最小化的参数值${\beta }_0^{\prime },{\beta }_1^{\prime }$称为${\beta }_0,{\beta }_1$的最小二乘估计

该优化问题的求解，可以基于极值原理实现
通过残差平方和，分别对${\beta }_0,{\beta }_1$求偏导数，令偏导数等于0
$$\{\begin{array}{c}\frac{\partial Q}{\partial {\beta }_0}=0\\ \frac{\partial Q}{\partial {\beta }_1}=0\end{array}$$
得到的是二元一次线性方程组

相应的最小二乘估计为
$$\{\begin{array}{c}{\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}\\ {\hat{\beta }}_1=\frac{\bar{x}\bar{y}-\bar{x}\bar{y}}{\overline{x^2}-{\bar{x}}^2}\end{array}$$
其中
$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i,\bar{y}=\frac{1}{n}\sum _{i=1}^n{y}_i,$$
$${\bar{x}}^2=\frac{1}{n}\sum _{i=1}^n{x}_i^2,\bar{x}\bar{y}=\frac{1}{n}\sum _{i=1}^n{x}_i{y}_i$$

Matlab实现

regress命令

b=regress(Y, X)

待求解的线性方程组
$$y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i,i=1,2,\dots ,n$$
[y1y2…yn]=[1x11x2……1xn][β0β1] \begin{bmatrix} y_{1} \\ y_{2} \\ \dots \\ y_{n} \end{bmatrix}=\begin{bmatrix} 1&&x_{1} \\ 1&&x_{2} \\ \dots&&\dots \\ 1&&x_{n} \end{bmatrix}\begin{bmatrix} \beta_{0} \\ \beta_{1} \end{bmatrix} ​y