使用 Intel Extension 实现 Hugging Face 模型的权重量化-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/148794891

随着 AI 模型的规模日益增大，直接运行这些模型所需的计算资源也在增加。为了解决这一问题，模型量化成为一种有效的技术手段。今天，我们将介绍如何利用 Intel Extension for Transformers 实现 Hugging Face 模型的权重量化，以提高模型的推理效率。

技术背景介绍

Hugging Face 的模型库中拥有超过 12 万个模型及各种数据集和应用。为了在资源有限的本地环境中高效地运行这些模型，量化技术应运而生。权重量化是一种将模型权重压缩为更小数据类型的技术，从而在不显著降低模型性能的情况下减少内存占用和计算负担。Intel Extension for Transformers 提供了一种便捷的方法，通过权重量化来加速 Hugging Face 模型的推理。

核心原理解析

权重量化的核心在于将原始浮点型权重压缩为较小的整数类型或自定义浮点类型。Intel Extension for Transformers 提供了多种支持的数据类型，如 int8、int4、nf4 等。通过这些数据类型，我们可以在保持计算精度的前提下，显著减少模型的内存占用。

代码实现演示

在此示例中，我们将展示如何使用 WeightOnlyQuantPipeline 类来加载并运行权重量化后的 transformers 模型。

# 安装必要的库
%pip install transformers --quiet
%pip install intel-extension-for-transformers

# 导入所需模块
from intel_extension_for_transformers.transformers import WeightOnlyQuantConfig
from langchain_community.llms.weight_only_quantization import WeightOnlyQuantPipeline
from transformers import AutoTokenizer

# 配置量化
conf = WeightOnlyQuantConfig(weight_dtype="nf4")
hf = WeightOnlyQuantPipeline.from_model_id(
    model_id="google/flan-t5-large",
    task="text2text-generation",
    quantization_config=conf,
    pipeline_kwargs={"max_new_tokens": 10},
)

# 创建提示模版
from langchain_core.prompts import PromptTemplate
template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

# 组合链
chain = prompt | hf

# 提问并获取答案
question = "What is electroencephalography?"
print(chain.invoke({"question": question}))

运行批量 CPU 推理

您还可以在 CPU 上以批量模式运行推理：

questions = [{"question": f"What is the number {i} in french?"} for i in range(4)]
answers = chain.batch(questions)
for answer in answers:
    print(answer)