一、概念
近几年,大模型的规模越做越大。普通码农没几张显卡几乎都跑不动动辄几百B的模型了。当然,随着SLM进一步发展,移动端、PC端部署SLM变得轻松了起来。即便只有CPU也能带得起3B以内的SLM,只不过推理速度比较感人。因此,我们需要通过一些优化来使得CPU也能高效地运行大型模型推理。这里,我们一起来看看HuggingFace教程给出的推理加速方案。
二、python实现
1、BetterTransformer
BetterTransformer 通过其快速路径(Transformer函数的原生PyTorch专门实现)执行来加速推理。快速路径执行中的两种优化如下:
- 将多个连续操作组合成一个单一的“内核”,以减少计算步骤的数量
- 跳过padding tokens的固有稀疏性,以避免使用嵌套张量进行不必要的计算
BetterTransformer还将所有注意力操作转换为使用更节省内存的缩放点积注意力。但需要注意不是所有模型都支持这个方法,具体可以查看官网链接。
from transformers import AutoModelForSequenceClassific

最低0.47元/天 解锁文章
1335

被折叠的 条评论
为什么被折叠?



