DeepSparse 项目使用教程

DeepSparse 项目使用教程

deepsparse Sparsity-aware deep learning inference runtime for CPUs 项目地址: https://gitcode.com/gh_mirrors/de/deepsparse

1. 项目目录结构及介绍

DeepSparse 项目的目录结构如下：

deepsparse/
├── docker/
├── docs/
├── examples/
├── integrations/
├── research/
│   └── mpt/
├── src/
├── tests/
└── utils/
├── .gitignore
├── CITATION.cff
├── CODE_OF_CONDUCT.md
├── CONTRIBUTING.md
├── DEVELOPING.md
├── LICENSE
├── MANIFEST.in
├── Makefile
├── NOTICE
├── README.md
├── pyproject.toml
├── setup.cfg
└── setup.py

目录介绍

• docker/: 包含 Docker 相关的配置文件和脚本。
• docs/: 包含项目的文档文件。
• examples/: 包含项目的示例代码。
• integrations/: 包含与其他系统或工具的集成代码。
• research/mpt/: 包含与 MPT（一种模型）相关的研究代码。
• src/: 包含项目的源代码。
• tests/: 包含项目的测试代码。
• utils/: 包含项目的实用工具代码。
• .gitignore: Git 忽略文件配置。
• CITATION.cff: 项目引用格式文件。
• CODE_OF_CONDUCT.md: 项目行为准则。
• CONTRIBUTING.md: 项目贡献指南。
• DEVELOPING.md: 项目开发指南。
• LICENSE: 项目许可证。
• MANIFEST.in: Python 包清单文件。
• Makefile: 项目构建文件。
• NOTICE: 项目通知文件。
• README.md: 项目介绍和使用说明。
• pyproject.toml: Python 项目配置文件。
• setup.cfg: Python 包配置文件。
• setup.py: Python 包安装脚本。

2. 项目启动文件介绍

DeepSparse 项目的启动文件主要集中在 src/ 目录下。以下是一些关键的启动文件：

• src/deepsparse/engine.py: 这是 DeepSparse 的核心引擎文件，负责模型的编译和推理。
• src/deepsparse/pipeline.py: 这是 Pipeline 的实现文件，负责模型的预处理和后处理。
• src/deepsparse/server.py: 这是 DeepSparse Server 的实现文件，负责提供 REST API 服务。

启动示例

from deepsparse import Engine

# 下载并编译模型
zoo_stub = "zoo:nlp/sentiment_analysis/obert-base/pytorch/huggingface/sst2/pruned90_quant-none"
compiled_model = Engine(model=zoo_stub, batch_size=1)

# 运行推理
inputs = compiled_model.generate_random_inputs()
output = compiled_model(inputs)
print(output)

3. 项目的配置文件介绍

DeepSparse 项目的配置文件主要包括以下几个：

• pyproject.toml: 这是 Python 项目的配置文件，定义了项目的依赖和构建配置。
• setup.cfg: 这是 Python 包的配置文件，定义了包的元数据和安装配置。
• setup.py: 这是 Python 包的安装脚本，通常用于自定义安装过程。

配置示例

pyproject.toml:

[project]
name = "deepsparse"
version = "0.0.1"
description = "Sparsity-aware deep learning inference runtime for CPUs"
authors = [
    { name="Neural Magic", email="info@neuralmagic.com" }
]
dependencies = [
    "numpy",
    "onnx",
    "torch"
]

setup.cfg:

[metadata]
name = deepsparse
version = 0.0.1
description = Sparsity-aware deep learning inference runtime for CPUs
author = Neural Magic
author_email = info@neuralmagic.com
license = Apache License 2.0

通过这些配置文件，可以方便地管理和安装 DeepSparse 项目。

deepsparse Sparsity-aware deep learning inference runtime for CPUs 项目地址: https://gitcode.com/gh_mirrors/de/deepsparse