机器学习之多元线性回归模型梯度下降公式与代码实现(篇二)

本文深入探讨了多元线性回归模型及其在实际应用中的重要性,特别是在处理复杂多变量关系时的优势。文章详细介绍了多元线性回归的数学模型,包括常数项、偏回归系数和误差项的概念,并讨论了标准化处理的必要性。此外,通过引入梯度下降法,阐述了求解模型参数的迭代过程,以及如何通过调整学习率优化参数更新,最终实现模型的训练和预测。

微信公众号:大数据左右手
专注于大数据技术,人工智能和编程语言
个人既可码代码也可以码文字。欢迎转发与关注

上一篇我们介绍了线性回归的概述和最小二乘的介绍,对简单的一元线性方程模型手推了公式和python代码的实现。

机器学习之线性回归模型详细手推公式与代码实现(篇一)

今天这一篇来介绍多元线性回归模型

多元线性回归模型介绍

在回归分析中,如果有两个或两个以上的自变量,就称为多元回归。事实上,一种现象常常是与多个因素相联系的,由多个自变量的最优组合共同来预测或估计因变量,比只用一个自变量进行预测或估计更有效,更符合实际。因此多元线性回归比一元线性回归的实用意义更大

比如糖尿病人的血糖变化可能受胰岛素、糖化血红蛋白、血清总胆固醇、甘油三酯等多种指标的影响。但很多情况下,由于自变量的单位是不一样的,需要做标准化处理。比如在消费水平预测模型中,工资水平、受教育程度、职业、地区、家庭负担等因素都会影响到消费水平,而这些影响因素的单位和量级肯定是不同的,虽然不会影响自变量的重要程度,但是对回归系数的大小还是有直接影响作用的。标准化回归系数没有单位,其值越大,说明该自变量对因变量的影响越大。

数学模型

1.描述因变量 y 如何依赖于自变量 X1,X2,…,Xn 和误差项ε的方程,称为多元回归模型

2.涉及n个自变量的多元回归模型可表示为

  • 应变量Y可以近似地表示为自变量x1,x2,…,xm的线性函数

  • ω0为常数项

  • ω1,ω2,…,ωm是偏回归系数,表示在其他变量不变时时候x增加一个或者减少一个单位时候,Y的平均变化量

  • ε是被称为误差项的随机变量,又称为残差

3.参数𝜃 ∶= {𝑤1,𝑤2,𝑤3,…,𝑤𝑛,𝑏}确定了模型的状态,通过固定𝜃参数即可确定此模型的处理逻辑。当输入节点数𝑛 = 1时,数学模型可进一步简化为最简单的模型

𝑦 = 𝑤𝑥 + 𝑏

4.对于某个神经元来说,𝑥和𝑦的映射关系f。𝑤,𝑏是未知但确定的。两点即可确定一条直线,为了估计𝑤和𝑏的值,我们只需从图中直线上采样任意2个数据点就可以表示这条直线。

5.可以看到,只需要观测两个不同数据点,就可完美求解单输入线性模型的参数,对于n输入的现象模型,只需要采样n + 1组不同数据点即可,似乎线性模型可以得到完美解决。那么上述方法存在什么问题呢?考虑对于任何采样点,都有可能存在观测误差

𝑦 = 𝑤𝑥 + 𝑏 +  

评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值