微信公众号:大数据左右手
专注于大数据技术,人工智能和编程语言
个人既可码代码也可以码文字。欢迎转发与关注
上一篇我们介绍了线性回归的概述和最小二乘的介绍,对简单的一元线性方程模型手推了公式和python代码的实现。
今天这一篇来介绍多元线性回归模型
多元线性回归模型介绍
在回归分析中,如果有两个或两个以上的自变量,就称为多元回归。事实上,一种现象常常是与多个因素相联系的,由多个自变量的最优组合共同来预测或估计因变量,比只用一个自变量进行预测或估计更有效,更符合实际。因此多元线性回归比一元线性回归的实用意义更大
比如糖尿病人的血糖变化可能受胰岛素、糖化血红蛋白、血清总胆固醇、甘油三酯等多种指标的影响。但很多情况下,由于自变量的单位是不一样的,需要做标准化处理。比如在消费水平预测模型中,工资水平、受教育程度、职业、地区、家庭负担等因素都会影响到消费水平,而这些影响因素的单位和量级肯定是不同的,虽然不会影响自变量的重要程度,但是对回归系数的大小还是有直接影响作用的。标准化回归系数没有单位,其值越大,说明该自变量对因变量的影响越大。
数学模型
1.描述因变量 y 如何依赖于自变量 X1,X2,…,Xn 和误差项ε的方程,称为多元回归模型
2.涉及n个自变量的多元回归模型可表示为


-
应变量Y可以近似地表示为自变量x1,x2,…,xm的线性函数
-
ω0为常数项
-
ω1,ω2,…,ωm是偏回归系数,表示在其他变量不变时时候x增加一个或者减少一个单位时候,Y的平均变化量
-
ε是被称为误差项的随机变量,又称为残差
3.参数𝜃 ∶= {𝑤1,𝑤2,𝑤3,…,𝑤𝑛,𝑏}确定了模型的状态,通过固定𝜃参数即可确定此模型的处理逻辑。当输入节点数𝑛 = 1时,数学模型可进一步简化为最简单的模型
𝑦 = 𝑤𝑥 + 𝑏

4.对于某个神经元来说,𝑥和𝑦的映射关系f。𝑤,𝑏是未知但确定的。两点即可确定一条直线,为了估计𝑤和𝑏的值,我们只需从图中直线上采样任意2个数据点就可以表示这条直线。

5.可以看到,只需要观测两个不同数据点,就可完美求解单输入线性模型的参数,对于n输入的现象模型,只需要采样n + 1组不同数据点即可,似乎线性模型可以得到完美解决。那么上述方法存在什么问题呢?考虑对于任何采样点,都有可能存在观测误差
𝑦 = 𝑤𝑥 + 𝑏 +

本文深入探讨了多元线性回归模型及其在实际应用中的重要性,特别是在处理复杂多变量关系时的优势。文章详细介绍了多元线性回归的数学模型,包括常数项、偏回归系数和误差项的概念,并讨论了标准化处理的必要性。此外,通过引入梯度下降法,阐述了求解模型参数的迭代过程,以及如何通过调整学习率优化参数更新,最终实现模型的训练和预测。
最低0.47元/天 解锁文章





