§2 回归系数的最小二乘估计

设分别为的最小二乘估计值, 于是的观测值

　　　　, , (2.1)

其中为误差的估计值, 称为残差或剩余。令为的估计值, 则有

　　　　, (2.2)

　　　　, , (2.3)

(2.3)式表示实际值与估计值的偏离程度。欲使估计值与实际值拟合的最好, 则应使残差平方和

　　　　

达到最小, 为此, 我们可以应用微分求极值原理确定, 即解下列方程组

　　　　, (2.4)

即

　　　　, (2.5)

整理并化简则得以下正规方程组:

　　　　, (2.6)

如果记(2.6)式的系数矩阵为, 右端常数项矩阵记为, 则有

　　　　, (2.7)

　　　　, (2.8)

因此正规方程(2.6)的矩阵形式为

　　　　, (2.9)

或

　　　　, (2.10)

其中为正规方程中待定的未知实数向量, 如果系数矩阵满秩, 则存在, 此时有

　　　　, (2.11)

(2.11)式即为多元线性回归模型(1.2)式中参数的最小二乘估计。

　　正规方程组(2.6)亦可表达为下述另一种形式, 如果记

　　　　, ,

　　　　,

则由(2.6)式中第一等式可解出

　　　　, (2.12)

再将(2.12)代入到(2.6)其它各式中并经化简整理可得

　　　　, (2.13)

又由

　　　　, ,

　　　　, ,

如果记

　　　　, , (2.14)

　　　　, , (2.15)

则(2.13)式可以表示为

　　　　, (2.16)

(2.16)式称为正规方程组, 解此方程组可得, 再代入到(2.12)式中则得, 于是得回归方程

　　　　, (2.17)

(2.17)式称为回归超平面方程。

　　如果记(2.16)式的系数矩阵为, 右端常数项向量为, 则

　　　　,

　　　　,

且记, 则正规方程组(2.16)的矩阵形式为

　　　　, (2.18)

解(2.18)得

　　　　, (2.19)

再代回到(2.12), 则得到。

　

　　以下是一对多线性回归分析的两个例子。

　

例2.1 某养猪场估算猪的毛重, 测得14头猪的体长(cm)、胸围(cm)与体重(kg)数据如表１, 试建立与及的预测方程。

表2.1

序号	体长()	胸围()	体重()
1	41	49	28
2	45	58	39
3	51	62	41
4	52	71	44
5	59	62	43
6	62	74	50
7	69	71	51
8	72	74	57
9	78	79	63
10	80	84	66
11	90	85	70
12	92	94	76
13	98	91	80
14	103	95	81

　　经计算: , , , ,

　　　　　　,

　　　　　　, 
　　　　　　,

　　　　　　,

　　　　　　,

　　于是正规方程组为

　　　　　　,

　　解此方程组得

　　　　　　, ,

　　又

　　　　　　,

　　因此所求预测回归方程为

　　　　　　

　　回归方程中系数与的含义是体长每增加1cm, 则猪体重毛重平均增加0.522kg, 胸围每增加1cm, 则猪体重毛重平均增加0.475kg。

　

例2.2 某地区二化螟的第一代成虫发生量与四个因素有关, 这四个因素分别如下, 已知原始观测数据如表2.2, 试建立二化螟发生总量的回归方程。

　　: 冬季积雪期限(单位为周),

　　: 每年化雪日期(以2月1日为1),

　　: 二月份平均气温(℃),

　　: 三月份平均气温(℃),

　　: 二化螟发生总量(头),

　　经计算:

　　　　,

　　　　,

表2.2

序号
1	10	26	0.2	3.6	9
2	12	26	-1.4	4.4	17
3	14	40	-0.8	1.7	34
4	16	32	0.2	1.4	42
5	19	51	-1.4	0.9	40
6	16	33	0.2	2.1	27
7	7	26	2.7	2.7	4
8	7	25	1.0	4.0	27
9	12	17	2.2	3.7	13
10	11	24	-0.8	3.0	56
11	12	16	-0.5	4.9	15
12	7	16	2.0	4.1	8
13	11	15	1.1	4.7	20
	154	347	4.7	41.2	312
	11.8462	26.6923	0.3615	3.1692	24

　　　　,

　　于是

　　　　,

　　又

　　　　

　　　　＝24 + 0.99742×11.8462 + 1.62581×26.6923 + 11.19263×0.3615 + 16.95291×3.1692 ＝ 136.98554,

　　因此所求二化螟发生总量的预测回归方程为

　　　　。

本系列转自：http://hutangao.blog.163.com/blog/static/4888314200982852442975/