本文通过极大似然估计方法详细推导了线性回归模型的求解过程，探讨了误差项 ϵ 的独立同分布假设，最终得出最小二乘法中的代价函数。
线性回归（linear regression）
什么是线性回归？
线性回归对一个或者多个自变量和因变量之间的关系进行建模的一种回归分析，线性回归模型应用于有监督的回归问题。
线性回归模型为： y ( i ) = Θ T × x ( i ) + ε ( i ) y^{(i)}=\Theta ^{T}\times x^{(i)}+\varepsilon ^{(i)} y(i)=ΘT×x(i)+ε(i)
其中 ϵ \epsilon ϵ 代表偏差项（error term）
关于 ϵ \epsilon ϵ 的假设？
若对一个问题建立线性回归模型进行求解，其 ϵ \epsilon ϵ 需满足以下两个假设：
1.独立的，即 ϵ \epsilon ϵ 之间互不影响，相互独立。
2.同分布，即 ϵ \epsilon ϵ 之间满足相同的分布（对于线性回归满足高斯分布，对于逻辑斯蒂回归满足伯努利分布）。
推导过程
假设 ϵ \epsilon ϵ 满足均值为0，标准差为 σ \sigma σ 的高斯分布；即 ε ∼ ( 0 , σ 2 ) \varepsilon \sim (0,\sigma ^{2}) ε∼(0,σ2)。则：
P ( ε ( i ) ) = 1 2 π σ e x p ( − ( ϵ ( i ) ) 2 2 σ 2 ) P(\varepsilon ^{(i)})= \frac{1}{2\pi \sigma }exp(-\frac{(\epsilon ^{(i)})^{2}}{2\sigma ^{2}}) P(ε(i))=2πσ1exp(−2
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
