介绍
线性回归的假设是在输入X1,…,Xp与回归方程E(Y|X)的关系是线性的。
对于输入向量 X T = ( X 1 , X 2 , . . . , X p ) X^T =(X_1, X_2,..., X_p) XT=(X1,X2,...,Xp), 线性回归模型公式为:
f ( X ) = β 0 + ∑ j = 1 p ( X j β j ) . f(X) = β_0 + \sum_{j=1}^p(X_jβ_j). f(X)=β0+j=1∑p(Xjβj).
其中参数β是需要训练集数据 ( x 1 , y 1 ) , … ( x N , y N ) (x_1, y_1), …(x_N, y_N) (x1,y1),…(xN,yN)进行估计(estimate)的参数, β = ( β 0 , β 1 , … , β p ) T β = (β_0, β_1, …, β_p)^T β=(β0,β1,…,βp)T
优化策略
优化策略指的是按照什么样的准则学习或选择最优模型,所以在优化之前需引入一个函数在评判模型的拟合或预测的程度,即损失函数,记为L(β)。
通常线性回归采用最小二乘法来优化模型,即:
L ( β ) = 1 2 ∑ i = 1 N ( y i − f ( x i ; β ) ) 2 = 1 2 ∑ i = 1 N ( y i − β 0 − ∑ j = 1 N x i j β j ) 2 L(β) =\frac{1}{2} \sum_{i=1}^N(y_i - f(x_i;β))^2 = \frac{1}{2}\sum_{i=1}^N(y_i - β_0 - \sum_{j=1}^Nx_{ij} β_j)^2 L(β)=2