本文深入探讨线性模型，包括线性回归的一元和多元情况，对数线性回归，对数几率回归（逻辑回归）以及线性判别分析。介绍了线性模型的基本形式，利用均方误差度量模型性能，通过拉格朗日乘子法解决约束优化问题，并讨论了多分类技术和样本不均衡问题的应对策略。
3.1 基本形式
f ( x ) = ω 1 x 1 + ω 2 x 2 + . . . + ω d x d + b f(x)=\omega_1 x_1 + \omega_2 x_2+... +\omega_dx_d+b f(x)=ω1x1+ω2x2+...+ωdxd+b
其中， x i x_i xi是x在第i个属性上的取值，也可以写成
f ( x ) = ω T x + b f(x)=\omega^Tx+b f(x)=ωTx+b
公式中的 ω \omega ω比较直观地反应了每个属性的重要性，因而线性模型具有很好的可解释性(comprehensibility)。
3.2 线性回归
3.2.1 一元情况
线性回归的目的是学得
f ( x i ) = ω x i + b , 使 得 f ( x i ) = y i f(x_i)={\omega} x_i+b, 使得f(x_i)=y_i f(xi)=ωxi+b,使得f(xi)=yi
在回归任务中，我们通常使用均方误差来度量模型的性能
( w ∗ , b ∗ ) = a r g m i n ( w , b ) ∑ i = 1 m ( f ( x i ) − y i ) 2 (w^*,b^*)= \mathop{argmin}\limits_{(w, b)} \sum_{i=1}^{m}(f(x_i)-y_i)^2 (w∗,b∗)=(w,b)argmini=1∑m(f(xi)−yi)2
由于上式的右侧对于 ω , b \omega,b ω,b是凸函数，因此可以采用求偏导取0的方式求得最值点。
3.2.2 多元情况
更一般地，如果我们把属性值扩充为多个，上述的问题就变为了多元线性回归问题。为了方便讨论，我们把 ω \omega ω和 b b b合在一起写为 w ^ = ( ω ; b ) \hat{w}=(\omega;b) w^=(ω;b)的形式，把数据集也用矩阵表示
X = [ x 1 T 1 x 2 T 1 . . . . . . x m T 1 ] X= \left[ \begin{matrix} x_1^T & 1\\ x_2^T & 1\\ ... & ...\\ x_m^T & 1\\ \end{matrix} \right] X=⎣⎢⎢⎡x1Tx2T...x
最低0.47元/天 解锁文章
扫一扫
338
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
