【Llama源码】归一化RMSNorm

数学公式与代码

RMSNorm是在Layer Norm之上的改进,它通过舍弃中心不变性来降低计算量。

a ‾ i = a i R M S ( a ) g i 其中, R M S ( a ) = 1 n ∑ r = 1 n a i 2 \overline a_i = \frac {a_i}{RMS(a)} g_i \\ 其中,RMS(a)=\sqrt { { \frac1n}{\sum_{r=1}^n a_i^2}} ai=RMS(a)aig

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值