llm-compressor：模型优化利器，加速推理效率

llm-compressor：模型优化利器，加速推理效率

llm-compressor 项目地址: https://gitcode.com/gh_mirrors/ll/llm-compressor

项目介绍

llmcompressor 是一个易于使用的库，旨在优化模型以配合 vllm 进行部署。它为用户提供了全面的量化算法，包括针对权重和激活的量化，以及与 Hugging Face 模型和仓库的无缝集成。通过 safetensors 文件格式支持大模型，并兼容 vllm。无论是从性能优化还是易用性出发，llmcompressor 都是一个不可多得的开源工具。

项目技术分析

核心功能

llmcompressor 的核心功能包括：

• 权重和激活的全面量化算法集
• 与 Hugging Face 模型和仓库的无缝集成
• 基于 safetensors 的文件格式，与 vllm 兼容
• 大模型支持，通过 accelerate 实现

支持的格式和算法

llmcompressor 支持以下格式和算法：

• 格式：激活量化支持 W8A8（int8 和 fp8），混合精度支持 W4A16、W8A16，以及 2:4 半结构化和非结构化稀疏。
• 算法：包括 Simple PTQ、GPTQ、SmoothQuant 和 SparseGPT。

量化方案选择

具体使用哪种优化方案，可以参考项目文档中的 schemes.md，以获取关于可用优化方案及其应用场景的详细信息。

项目及技术应用场景

llmcompressor 适用于多种场景，主要包括：

• 模型部署：通过量化，减少模型大小和推理时间，适合在资源受限的设备上进行部署。
• 推理加速：在服务器端，量化后的模型可以加速推理过程，提高整体性能。
• 多模态模型量化：支持音频-语言和视觉-语言等多模态模型的量化。

项目特点

1. 全面的量化算法：支持多种量化算法，用户可以根据模型和任务需求灵活选择。
2. 无缝集成：与 Hugging Face 模型和仓库的无缝集成，使得量化过程更加便捷。
3. 大模型支持：通过 accelerate，支持大模型的量化，进一步扩大了适用范围。
4. 易于使用：提供了详细的安装指南和端到端的示例，用户可以快速上手。

以下是 llmcompressor 的具体使用示例：

安装

pip install llmcompressor

快速开始

使用 llmcompressor 对 TinyLlama 模型进行量化：

from llmcompressor.modifiers.smoothquant import SmoothQuantModifier
from llmcompressor.modifiers.quantization import GPTQModifier
from llmcompressor import oneshot

# 选择量化算法
recipe = [
    SmoothQuantModifier(smoothing_strength=0.8),
    GPTQModifier(scheme="W8A8", targets="Linear", ignore=["lm_head"]),
]

# 应用量化
oneshot(
    model="TinyLlama/TinyLlama-1.1B-Chat-v1.0",
    dataset="open_platypus",
    recipe=recipe,
    output_dir="TinyLlama-1.1B-Chat-v1.0-INT8",
    max_seq_length=2048,
    num_calibration_samples=512,
)

推理

使用量化后的模型进行推理：

pip install vllm

from vllm import LLM
model = LLM("TinyLlama-1.1B-Chat-v1.0-INT8")
output = model.generate("My name is")

llmcompressor 的出现，为模型优化和推理加速提供了新的解决方案。其全面的量化算法和无缝的集成能力，使得它成为开发者手中的得力工具。如果您正在寻找一种有效的方式来优化您的模型，并提升推理效率，那么 llmcompressor 绝对值得一试。

llm-compressor 项目地址: https://gitcode.com/gh_mirrors/ll/llm-compressor