文章探讨了在计算大模型参数时，为何使用B作为单位而非G，以及如何将6B参数转换为GB显存需求。提到训练过程中所需的额外显存和RoLA等低参数训练方法以降低能耗。
我们说的大模型参数量都是6B,130B等等, 一般模型运行需要多少显存呢.
我其实在想,为啥要发明一个B出来, 我们用G来描述不香吗.
推理过程:
计算的公式是 G = B ( 1.024 ) 3 × s i z e o f ( 参数类型 ) G = \frac{B}{(1.024)^3}\times sizeof(参数类型) G=(1.024)
最低0.47元/天 解锁文章
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
