线性回归
已知nn个样本 ,其中xi∈Rd,yi∈Rxi∈Rd,yi∈R
回归问题学习实值函数y=f(x)y=f(x),其中f:Rd→Rf:Rd→R
最小二乘模型(Least Squares Regression)
模型
最小二乘模型的优化问题为:
θ^LS=argminθJLS(θ)(1)(1)θ^LS=argminθJLS(θ)
其中
JLS(θ)=12∑i=1n(yi−fθ(xi))2fθ(x)=∑i=1bθiϕi(x)=θTϕ(x)JLS(θ)=12∑i=1n(yi−fθ(xi))2fθ(x)=∑i=1bθiϕi(x)=θTϕ(x)
ϕ:Rd→Rbϕ:Rd→Rb 为一个映射,可以是非线性,如 ϕ(x)=xTxϕ(x)=xTx
用向量和矩阵可表示为:
JLS(θ)=12||y−Φθ||22JLS(θ)=12||y−Φθ||22
其中
y=(y1,…,yn)TΦ=⎡⎣⎢⎢ϕ1(x1)⋮ϕ1(xn)⋯⋯ϕb(x1)⋮ϕb(xn)⎤⎦⎥⎥y=(y1,…,yn)TΦ=[ϕ1(x1)⋯ϕb(x1)⋮⋮ϕ1(xn)⋯ϕb(xn)]
Φ∈Rn×bΦ∈Rn×b 为设计矩阵(design matrix)
由于JLS(θ)JLS(θ)为凸函数,优化问题(1)有最优解,且最优值点满足:
∇θJLS=−ΦT(y−Φθ)=0∇θJLS=−ΦT(y−Φθ)=0
求解线性方程可得:
θ^LS=(ΦTΦ)+Φyθ^LS=(ΦTΦ)+Φy
其中 (ΦTΦ)+(ΦTΦ)+ 表示 ΦTΦΦTΦ 的广义逆,当 ΦΦ 列满秩时, ΦTΦΦTΦ 为满秩矩阵,即 (ΦTΦ)+=(ΦTΦ)−1(ΦTΦ)+=(ΦTΦ)−1 ,此时
θ^LS=(ΦTΦ)−1Φyθ^LS=(ΦTΦ)−1Φy
算法
利用公式θ^LS=(ΦTΦ)+Φyθ^LS=(ΦTΦ)+Φy计算
梯度下降(收敛):
迭代公式为θ⟵θ−ϵ∇θJLSθ⟵θ−ϵ∇θJLS,其中∇θJLS=−ΦT(y−Φθ)∇θJLS=−ΦT(y−Φθ)
拓展
加权最小二乘(Weighted LS):
argminθ12∑i=1nwi(yi−fθ(xi))2argminθ12∑i=1nwi(yi−fθ(xi))2
其中 wi∈R+,i=1,…