本文介绍了线性回归的基本概念，包括模型公式、优化策略如最小二乘法和梯度下降，并探讨了正则化在防止过拟合中的作用，涉及L1、L2和Elastic正则化。
介绍
线性回归的假设是在输入X1,…,Xp与回归方程E(Y|X)的关系是线性的。
对于输入向量 X T = ( X 1 , X 2 , . . . , X p ) X^T =(X_1, X_2,..., X_p) XT=(X1,X2,...,Xp), 线性回归模型公式为：
f ( X ) = β 0 + ∑ j = 1 p ( X j β j ) . f(X) = β_0 + \sum_{j=1}^p(X_jβ_j). f(X)=β0+j=1∑p(Xjβj).
其中参数β是需要训练集数据 ( x 1 , y 1 ) , … ( x N , y N ) (x_1, y_1), …(x_N, y_N) (x1,y1),…(xN,yN)进行估计（estimate）的参数， β = ( β 0 , β 1 , … , β p ) T β = (β_0, β_1, …, β_p)^T β=(β0,β1,…,βp)T
优化策略
优化策略指的是按照什么样的准则学习或选择最优模型，所以在优化之前需引入一个函数在评判模型的拟合或预测的程度，即损失函数，记为L(β)。
通常线性回归采用最小二乘法来优化模型，即：
L ( β ) = 1 2 ∑ i = 1 N ( y i − f ( x i ; β ) ) 2 = 1 2 ∑ i = 1 N ( y i − β 0 − ∑ j = 1 N x i j β j ) 2 L(β) =\frac{1}{2} \sum_{i=1}^N(y_i - f(x_i;β))^2 = \frac{1}{2}\sum_{i=1}^N(y_i - β_0 - \sum_{j=1}^Nx_{ij} β_j)^2 L(β)=2
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
