BN (Batch Normlization) 批归一化

批归一化(BN)是深度学习中用于解决内部协变量偏移(Internal Covariate Shift)的手段,通过规范化每一层的输入,加速训练过程并防止梯度弥散。BN通过两次平移和缩放操作,将数据转换为标准分布,再根据学习到的参数恢复非线性表达能力,提高模型的性能和训练效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

BN,Batch Normalization, 属于Normalization中的一种归一化方式,所以在介绍BN之前,首先了解一下Normalization.

1. 为什么需要 Normalization
在机器学习领域中,通常假设数据具有“独立同分布”的特性,这样可以简化常规机器学习模型的训练、提升机器学习模型的预测能力。

具体为什么要求“独立同分布”,也附上相关解释:

关于独立同分布,西瓜书这样解释道:

输入空间中的所有样本服从一个隐含未知的分布,训练数据所有样本都是独立地从这个分布上采样而得。

**好了,那为啥非要有这个假设呢?

我们知道,机器学习就是利用当前获取到的信息(或数据)进行训练学习,用以对未来的数据进行预测、模拟。所以都是建立在历史数据之上,采用模型去拟合未来的数据。因此需要我们使用的历史数据具有总体的代表性。

** 为什么要有总体代表性?
我们要从已有的数据(经验) 中总结出规律来对未知数据做决策,如果获取训练数据是不具有总体代表性的,就是特例的情况,那规律就会总结得不好或是错误,因为这些规律是由个例推算的,不具有推广的效果。

通过独立同分布的假设,就可以大大减小训练样本中个例的情形。

机器学习并不总是要求数据同分布。在不少问题中要求样本(数据)采样自同一个分布是因为希望用训练数据集训练得到的模型可以合理用于测试集,使用同分布假设能够使得这个做法解释得通。

因此,在把数据喂给机器学习模型之前,“白化(whitening)”是一个重要的数据预处理步骤。白化一般包含两个目的:

(1)去除特征之间的相关性 —> 独立;

(2)使得所有特征具有相同的均值和方差 —> 同分布。

白化最典型的方法

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值