本文介绍了线性模型的概念，特别是在回归问题中的应用。通过最小二乘法求解模型参数，并展示了在Python中如何实现。当样本数量少于特征数量时，可能会遇到奇异矩阵问题，导致求解失败。
概念
样本： x ⃗ = ( x ( 1 ) , x ( 2 ) , ⋯   , x ( n ) ) T \vec{x}=(x^{(1)},x^{(2)},\cdots,x^{(n)})^T x=(x(1),x(2),⋯,x(n))T
(一般向量 w ⃗ , x ⃗ \vec{w},\vec{x} w,x 都为默认为列向量 , w ⃗ T , x ⃗ T ,\vec{w}^{T},\vec{x}^{T} ,wT,xT为横向量)
线性模型： f ( x ⃗ ) = w ⃗ ⋅ x ⃗ + b f(\vec{x})=\vec{w}\cdot\vec{x}+b f(x)=w⋅x+b
所谓线性模型就是系列一次特征的线性组合，特征空间推广到 n 维，就是广义线性模型。
常 见 的 广 义 线 性 模 型 { 岭回归 lasso回归 Elastic Net 逻辑回归 线性判别分析 常见的广义线性模型\begin{cases} \text{岭回归} \\ \text{lasso回归 }\\ \text{Elastic Net} \\ \text{逻辑回归}\\ \text{线性判别分析}\\ \end{cases} 常见的广义线性模型⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧岭回归lasso回归 Elastic Net逻辑回归线性判别分析
回归
数据集： T = { ( x 1 ⃗ , y 1 ) , ( x 2 ⃗ , y 2 ) , ⋯   , ( x N ⃗ , y N ) } T = \{(\vec{x_1},y_1),(\vec{x_2},y_2),\cdots,(\vec{x_N},y_N)\} T={
(x1,y1),(x2,y2),⋯,(xN,yN)}
其中， x i ⃗ ∈ X ⊆ R n , y i ∈ Y ⊆ R \vec{x_i} \in \mathcal{X} \subseteq\ \mathbb{R^n},y_i \in \mathcal{Y}\subseteq\mathbb{R} xi∈X⊆ Rn,yi∈Y⊆R
需要学习： f ( x ⃗ ) = w ⃗ ⋅ x ⃗ + b f(\vec{x})=\vec{w}\cdot\vec{x}+b f(x)=w⋅x+b中的 w ⃗ \vec{w} w 和 b b b。模型预测出来的 y y y 称为 y i ^ \hat{y_i} yi^ (一般笔者将其读作yi一尖儿尖儿)。计算过程中的优化目标，为损失函数。
损失函数： L ( f ) = ∑ i = 1 N ( y i ^ − y i ) 2 = ∑ i = 1 N ( w ⃗ ⋅ x ⃗ + b − y i ) 2 L(f)=\sum_{i=1}^{N}( \hat{y_i}-y_i)^2=\sum_{i=1}^{N}( \vec{w}\cdot\vec{x}+b-y_i)^2 L(f)=i=1∑N(yi^−yi)2=i=1∑N(w⋅x
最低0.47元/天 解锁文章
扫一扫
1697
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
