多元线性回归

本文介绍了多元线性回归的概念,包括代价函数、梯度下降法及其优化技巧如特征缩放,以及特征选择的重要性。讨论了如何通过梯度下降和学习率调整找到最佳参数,同时提到了特征选择可以改善模型性能。此外,还简要提及了标准方程法作为另一种计算参数的方法,虽然避免了迭代,但在处理不可逆矩阵时需注意。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

举例为:预测房屋价格(这里的特征也称作变量,变量不一定为特征)

特征为 房屋平方、卧室数量、楼层数、房屋年龄 

label 为房屋价格

X的上标表示第i个样本   下标j表示第i个样本的第j个特征

x=[x0,x1,x2,....xn]向量 (其中x0为构造的值为1)      theat = [theta0,theta1,.....,thetan] 向量


***********************分割线*****************

代价函数:

损失函数(loss function/cost function):平方损失

函数J为所有误差平方之和

如何获得最佳的theta向量呢?
Gradient Descent 


其中alph为学习率,后面为J(theta)导数

如何让梯度下降更快地收敛:

  • 特征缩放features scaling

    若各特征值差别过大,将会影响梯度下降收敛效率。比如说房屋大小是平方米(0-2000),但是卧室的个数(1-5)。这两者的差异导致J(theta)呈现出来的图像是扁平的,这样在收敛过程中就会效率低下。也就是说各个

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值