线性回归 岭回归 lasso 详细介绍

本文详细介绍了线性回归的几种形式,包括最小二乘模型、子空间约束最小二乘(岭回归)和l1约束最小二乘(Lasso)。重点讨论了岭回归和Lasso的模型、算法,如坐标下降法、二次规划和投影随机梯度下降,并解释了它们在处理高维数据和特征选择上的优势。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

线性回归

已知nn个样本 { ( x i , y i ) } i = 1 n ,其中xiRd,yiRxi∈Rd,yi∈R

回归问题学习实值函数y=f(x)y=f(x),其中f:RdRf:Rd→R

最小二乘模型(Least Squares Regression)

模型

最小二乘模型的优化问题为:

θ^LS=argminθJLS(θ)(1)(1)θ^LS=argminθ⁡JLS(θ)

其中
JLS(θ)=12i=1n(yifθ(xi))2fθ(x)=i=1bθiϕi(x)=θTϕ(x)JLS(θ)=12∑i=1n(yi−fθ(xi))2fθ(x)=∑i=1bθiϕi(x)=θTϕ(x)

ϕ:RdRbϕ:Rd→Rb 为一个映射,可以是非线性,如 ϕ(x)=xTxϕ(x)=xTx

用向量和矩阵可表示为:

JLS(θ)=12||yΦθ||22JLS(θ)=12||y−Φθ||22

其中
y=(y1,,yn)TΦ=ϕ1(x1)ϕ1(xn)ϕb(x1)ϕb(xn)y=(y1,…,yn)TΦ=[ϕ1(x1)⋯ϕb(x1)⋮⋮ϕ1(xn)⋯ϕb(xn)]

ΦRn×bΦ∈Rn×b 为设计矩阵(design matrix)

由于JLS(θ)JLS(θ)为凸函数,优化问题(1)有最优解,且最优值点满足:

θJLS=ΦT(yΦθ)=0∇θJLS=−ΦT(y−Φθ)=0

求解线性方程可得:
θ^LS=(ΦTΦ)+Φyθ^LS=(ΦTΦ)+Φy

其中 (ΦTΦ)+(ΦTΦ)+ 表示 ΦTΦΦTΦ 的广义逆,当 ΦΦ 列满秩时, ΦTΦΦTΦ 为满秩矩阵,即 (ΦTΦ)+=(ΦTΦ)1(ΦTΦ)+=(ΦTΦ)−1 ,此时
θ^LS=(ΦTΦ)1Φyθ^LS=(ΦTΦ)−1Φy

算法

  1. 利用公式θ^LS=(ΦTΦ)+Φyθ^LS=(ΦTΦ)+Φy计算

  2. 梯度下降(收敛):

    迭代公式为θθϵθJLSθ⟵θ−ϵ∇θJLS,其中θJLS=ΦT(yΦθ)∇θJLS=−ΦT(y−Φθ)

拓展

加权最小二乘(Weighted LS):

argminθ12i=1nwi(yifθ(xi))2argminθ⁡12∑i=1nwi(yi−fθ(xi))2

其中 wiR+,i=1,
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值