机器学习基础 - [第二章:多变量线性回归](2)多元线性回归模型的梯度下降算法技巧

在多元线性回归中,梯度下降法在特征取值范围差异大时可能导致慢速收敛。通过特征缩放,如均值归一化,可以改善这一问题,加快收敛速度,确保模型优化效果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、多元线性回归模型在使用梯度下降可能会遇到什么样的问题?

多元性线性回归具有多个特征{x1,x2,...,xn}\{x_{1},x_{2},...,x_{n}\}{x1,x2,...,xn},当某些特征的取值范围差异很大时,梯度下降法可能要经过一段很长的时间才能收敛到局部最优值,如图1左边所示:
图1
但是,如果这些特征这些特征的值在一个比较相似的范围,收敛速度就会很快。所以,当特征取值差距比较明显,为了加快收敛速度,我们需要用到特征缩放技巧。

2、特征缩放(Feature Scaling)

特征缩放,指的是将每一个特征的取值都映射到某个区间内,一般来讲,区间为[-1,1],图1右半部分就将x1x_{1}x1x2x_{2}x2的取值映射到了0-1范围内

3、选择特征缩放的条件?

一般在以下情况下,我们会选择尺度缩放:
(1)学习算法选用的是梯度下降算法;
(2)特征的取值相差太大;

那么,对于(2)而言,什么样的取值算相差太大呢,下图2给出了一些经验,其中✔的表示是可以接受的,而打叉的是不能接受的,而且需要注意的是,特征的取值范围不一定要求非得在-1-1之间,只要它们足够的相近即可,这样梯度下降就能正常工作:
在这里插入图片描述

4、特征缩放有哪些方法?

特征缩放的方法有以下几种:
(1)除以最大值(取值为正):这样可以把特征的取值映射到(0,1)
(2)均值归一化:xi−usi\frac{x_{i}-u}{s_{i}}sixiu其中,
u表示特征xix_{i}xi的均值,sis_{i}si的可以是xix_{i}xi的最大值、取值范围,或者是标准差。
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Albert_YuHan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值