MQBench 技术文档

MQBench 技术文档

【免费下载链接】MQBench Model Quantization Benchmark 项目地址: https://gitcode.com/gh_mirrors/mq/MQBench

项目介绍

MQBench 是一个基于 PyTorch fx 的开源模型量化工具包。MQBench 的目标是为硬件供应商和研究人员提供：

• 最先进的算法：MQBench 整合了最新的学术研究成果，帮助用户在实际应用中受益。
• 强大的工具包：通过 MQBench，量化节点可以自动插入到原始的 PyTorch 模块中，并根据特定的硬件进行调整。训练完成后，量化模型可以无缝转换为能够在真实设备上推理的格式。

安装指南

系统要求

• Python 3.6 或更高版本
• PyTorch 1.7 或更高版本

安装步骤

1. 克隆仓库：

   git clone git@github.com:ModelTC/MQBench.git
   

2. 进入项目目录：

   cd MQBench
   

3. 安装 MQBench：

   python setup.py install
   

项目使用说明

快速开始

MQBench 提供了两种快速开始的方式：

1. 部署只需 4 行代码：

   from mqbench.deploy import deploy_model
   deploy_model(model, backend='TensorRT')
   

2. 拥抱最佳研究体验：

   from mqbench.quantization import quantize_model
   quantize_model(model, backend='TensorRT')
   

支持矩阵

MQBench 支持多种硬件后端和量化算法，具体支持情况请参考 MQBench 文档。

项目 API 使用文档

主要 API

• deploy_model(model, backend)：

  • 描述：将量化后的模型部署到指定的硬件后端。
  • 参数：
    • model：量化后的模型。
    • backend：目标硬件后端，如 TensorRT、ONNX 等。

• quantize_model(model, backend)：

  • 描述：对模型进行量化处理。
  • 参数：
    • model：原始模型。
    • backend：目标硬件后端，如 TensorRT、ONNX 等。

示例代码

from mqbench.deploy import deploy_model
from mqbench.quantization import quantize_model

# 原始模型
model = ...

# 量化模型
quantized_model = quantize_model(model, backend='TensorRT')

# 部署模型
deploy_model(quantized_model, backend='TensorRT')

项目安装方式

MQBench 可以通过以下方式安装：

1. 从源码安装：

   git clone git@github.com:ModelTC/MQBench.git
   cd MQBench
   python setup.py install
   

2. 通过 pip 安装（即将支持）：

   pip install mqbench
   

参考文献

如果您在研究中使用了 MQBench 或其基准测试，请引用此项目：

@article{MQBench,
  title   = {MQBench: Towards Reproducible and Deployable Model Quantization Benchmark},
  author  = {Yuhang Li* and Mingzhu Shen* and Jian Ma* and Yan Ren* and Mingxin Zhao* and
             Qi Zhang* and Ruihao Gong* and Fengwei Yu and Junjie Yan},
  journal= {Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmarks},
  year={2021}
}

许可证

本项目基于 Apache 2.0 许可证 发布。

【免费下载链接】MQBench Model Quantization Benchmark 项目地址: https://gitcode.com/gh_mirrors/mq/MQBench