CPU跑大模型怎么加速?

一、概念

        近几年，大模型的规模越做越大。普通码农没几张显卡几乎都跑不动动辄几百B的模型了。当然，随着SLM进一步发展，移动端、PC端部署SLM变得轻松了起来。即便只有CPU也能带得起3B以内的SLM，只不过推理速度比较感人。因此，我们需要通过一些优化来使得CPU也能高效地运行大型模型推理。这里，我们一起来看看HuggingFace教程给出的推理加速方案。

二、python实现

1、BetterTransformer

        BetterTransformer 通过其快速路径（Transformer函数的原生PyTorch专门实现）执行来加速推理。快速路径执行中的两种优化如下：

• 将多个连续操作组合成一个单一的“内核”，以减少计算步骤的数量
• 跳过padding tokens的固有稀疏性，以避免使用嵌套张量进行不必要的计算

        BetterTransformer还将所有注意力操作转换为使用更节省内存的缩放点积注意力。但需要注意不是所有模型都支持这个方法，具体可以查看官网链接。

from transformers import AutoModelForSequenceClassific