线性回归(理论篇)

本文深入介绍了线性回归的基本原理及应用。从线性模型出发,详细讲解了如何使用极大似然估计来确定最佳参数,并提供了参数求解的具体数学推导过程。此外,还探讨了正则化方法以避免过拟合问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

线性回归(理论篇)

线性模型

线性模型(Linear Model)是机器学习中应用最广泛的模型,指通过样本特征的线性组合来进行预测的模型。给定一个n维样本x=[x1,x2,,xn]Tx=[x1,x2,···,xn]T,其线性组合函数为:

hθ(x)=θ1x1+θ2x2++θnxn+b=(θ;b)T(x;1)hθ(x)=θ1x1+θ2x2+···+θnxn+b=(θ;b)T(x;1)

线性回归

给定数据集D=(x1,y1),(x2,y2),,(xN,yN)D=(x1,y1),(x2,y2),···,(xN,yN),其中xx是一个m维向量,yiRyi∈ℜ。 线性回归(linear regression)试图用一个线性模型以尽可能准确地预测实值输出值。

极大似然估计

yi^yi^表示第i样本的预测值,则估计误差:

εi=yi^yiεi=yi^−yi

根据中心极限定理,误差εiεi是独立同分布的,且符合均值为0方差为σ2σ2的高斯分布。则:
p(εi)=12πσexp(ε2i2σ2)p(εi)=12πσexp(−εi22σ2)

p(yi|xi,θ)=12πσexp((yiθTxi)22σ2)p(yi|xi,θ)=12πσexp(−(yi−θTxi)22σ2)

采用极大似然估计时,似然函数为:

L(y1,y2,,yN|x1,x2,,xN,θ)=Np(yi|xi,θ)=N12πσexp((yiθTxi)22σ2)L(y1,y2,···,yN|x1,x2,···,xN,θ)=∏Np(yi|xi,θ)=∏N12πσexp(−(yi−θTxi)22σ2)

对数似然函数为:

l(y1,y2,,yN|x1,x2,,xN,θ)=logL(y1,y2,,yN|x1,x2,,xN,θ)=Nlog(12πσexp((yiθTxi)22σ2))=Nlog12πσ1σ212N(yiθTxi)2l(y1,y2,···,yN|x1,x2,···,xN,θ)=logL(y1,y2,···,yN|x1,x2,···,xN,θ)=∑Nlog(12πσexp(−(yi−θTxi)22σ2))=Nlog12πσ−1σ212∑N(yi−θTxi)2

J(θ)=12N(θTxiyi)2J(θ)=12∑N(θTxi−yi)2

则求l(y1,y2,,yN|x1,x2,,xN,θ)l(y1,y2,···,yN|x1,x2,···,xN,θ)最大即求:J(θ)J(θ)最小。J(θ)J(θ)称为线性回归的目标函数。

参数解析解

J(θ)J(θ)求导得:

J(θj)θj=N(x2ijθjxijyi)=(x1jx2jxNj)x1jx2jxNjθj(x1jx2jxNj)y1y2yN∇J(θj)θj=∑N(xij2θj−xijyi)=(x1jx2j⋮xNj)(x1jx2j⋮xNj)θj−(x1jx2j···xNj)(y1y2⋮yN)

其中j1,2,,Mj∈1,2,···,Mxijxij表示第i个样本的第j维。令倒数等于0,并写出矩阵形式得:
x11x12x1Nx21x22x2NxN1xN2xNNx11x21xN1x12x22xN2x1Nx2NxNNθ1θ2θNx11x12x1Nx21x22x2NxN1xN2xNNy1y2yN=0(x11x21···xN1x12x22···xN2⋮⋮⋮⋮x1Nx2N···xNN)(x11x12···x1Nx21x22···x2N⋮⋮⋮⋮xN1xN2···xNN)(θ1θ2⋮θN)−(x11x21···xN1x12x22···xN2⋮⋮⋮⋮x1Nx2N···xNN)(y1y2···yN)=0

即:
XTXθXTY=0XTXθ−XTY=0

使用最小二乘法得到解析解:
θ=(XTX)1XTYθ=(XTX)−1XTY

为了防止过拟合或者XTXXTX不可逆,增加λλ扰动:
θ=(XTX+λI)1XTYθ=(XTX+λI)−1XTY

线性回归的复杂度惩罚因子

  1. 增加L1正则的目标函数为(lasso):
    J(θ)=12N(θTxiyi)2+λM|θj|J(θ)=12∑N(θTxi−yi)2+λ∑M|θj|

    通常L1正则求解出的参数是稀疏的。
  2. 增加L2正则的目标函数为(rige):
    J(θ)=12N(θTxiyi)2+λMθ2jJ(θ)=12∑N(θTxi−yi)2+λ∑Mθj2
  3. L1与L2正则混合的目标函数为(ElasticNet):
    J(θ)=12N(θTxiyi)2+ρM|θj|+(1ρ)Mθ2jJ(θ)=12∑N(θTxi−yi)2+ρ∑M|θj|+(1−ρ)∑Mθj2
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值