数学公式与代码 RMSNorm是在Layer Norm之上的改进，它通过舍弃中心不变性来降低计算量。 a ‾ i = a i R M S ( a ) g i 其中， R M S ( a ) = 1 n ∑ r = 1 n a i 2 \overline a_i = \frac {a_i}{RMS(a)} g_i \\ 其中，RMS(a)=\sqrt { { \frac1n}{\sum_{r=1}^n a_i^2}} ai=RMS(a)aig
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
