SmoothQuant 项目教程

SmoothQuant 项目教程

smoothquant[ICML 2023] SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models项目地址:https://gitcode.com/gh_mirrors/smo/smoothquant

1. 项目的目录结构及介绍

SmoothQuant 项目的目录结构如下：

smoothquant/
├── act_scales/
├── assets/
├── examples/
├── figures/
├── smoothquant/
│   ├── __init__.py
│   ├── opt.py
│   ├── fake_quant.py
│   ├── ppl_eval.py
│   └── ...
├── .gitattributes
├── .gitignore
├── LICENSE
├── README.md
├── setup.py
└── ...

目录介绍

• act_scales/: 存放激活尺度相关的文件。
• assets/: 存放项目资源文件。
• examples/: 存放示例代码和演示文件。
• figures/: 存放项目图表文件。
• smoothquant/: 核心代码目录，包含模型量化相关的实现。
  • __init__.py: 模块初始化文件。
  • opt.py: 量化 OPT 模型的实现。
  • fake_quant.py: 模拟量化实现。
  • ppl_eval.py: 语言模型困惑度评估脚本。
• .gitattributes: Git 属性配置文件。
• .gitignore: Git 忽略配置文件。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文档。
• setup.py: 项目安装脚本。

2. 项目的启动文件介绍

项目的启动文件主要是 setup.py 和 README.md。

setup.py

setup.py 是项目的安装脚本，用于配置和安装项目所需的依赖项。以下是 setup.py 的基本内容：

from setuptools import setup, find_packages

setup(
    name='smoothquant',
    version='1.0',
    packages=find_packages(),
    install_requires=[
        'torch==1.12.1+cu113',
        'torchvision==0.13.1+cu113',
        'torchaudio==0.12.1',
        'transformers==4.36.0',
        'accelerate',
        'datasets',
        'zstandard'
    ],
    author='Guangxuan Xiao',
    author_email='guangxuang.xiao@example.com',
    description='SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models',
    license='MIT',
    keywords='quantization LLM',
    url='https://github.com/mit-han-lab/smoothquant',
)

README.md

README.md 是项目的说明文档，包含了项目的介绍、安装方法、使用方法等信息。以下是 README.md 的部分内容：

# SmoothQuant

SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models

## 安装

```bash
conda create -n smoothquant python=3.8
conda activate smoothquant
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
pip install transformers==4.36.0 accelerate datasets zstandard
python setup.py install

使用

SmoothQuant INT8 Inference for PyTorch

请先安装 torch-int 再运行 SmoothQuant PyTorch INT8 推理。

pip install torch-int

然后在 smoothquant/opt.py 中使用 INT8 线性层。

## 3. 项目的配置文件介绍

项目的配置文件主要是 `.gitattributes` 和 `.gitignore`。

### `.gitattributes`

`.gitattributes` 文件用于配置 Git 的属性，例如文件的换行符处理等。以下是 `.gitattributes` 的基本内容：

• text=auto *.py text eol=lf *.md text eol=lf

### `.gitignore`

`.gitignore` 文件用于配置 Git 忽略的文件和目录，例如临时文件、编译输出文件等。以下是 `.gitignore` 

smoothquant[ICML 2023] SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models项目地址:https://gitcode.com/gh_mirrors/smo/smoothquant