Optimum详解

Optimum库功能及参数详解

原创

已于 2025-05-13 14:34:44 修改 · 1.3k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#python

于 2025-05-08 18:26:18 首次发布

Optimum 是 Hugging Face 提供的 Transformers 和 Diffusers 的扩展库，旨在帮助用户在目标硬件上以最高效率训练和运行模型，同时保持易于使用的特性。

主要功能

模型优化 ：支持多种优化技术，如图优化、训练后动态量化、训练后静态量化、量化感知训练、FP16 等，可适应不同的硬件和应用场景。
硬件加速支持 ：兼容多种硬件加速框架，包括 ONNX Runtime、TensorFlow Lite、OpenVINO、Habana Gaudi、TensorRT 等，能根据硬件设备特性实现最优性能。
模型导出与转换 ：可将模型导出为 ONNX 等格式，便于在不同平台和环境中部署，并支持从 PyTorch 等框架检查点转换为优化后的模型格式。
与 Transformers 无缝集成 ：使用简单，只需替换 Transformers 中的对应类，即可加载和运行优化后的模型，无需大幅修改现有代码结构。
量化功能 ：支持对模型进行量化，以减少显存占用、提高推理速度，同时保持模型精度。

安装依赖

conda create -n llm python=3.11
conda activate llm
pip install --pre -U openvino-genai openvino openvino-tokenizers --extra-index-url https://storage.openvinotoolkit.org/simple/wheels/nightly
pip install nncf
pip install git+https://github.com/huggingface/optimum-intel.git

optimum-cli 参数详解

optimum-cli 是 Hugging Face Optimum 提供的一个命令行工具，可用于将模型导出为不同的格式，如 ONNX 或 OpenVINO IR，并对模型进行优化等操作。

模型导出相关参数

-m 或 --model ：指定模型 ID 或模型在本地的路径，这是要进行导出或优化的模型来源，比如 meta-llama/Meta-Llama-3.1-8B。
--task ：指定模型的任务类型，如果不指定，工具会尝试根据模型自动推断。若为本地模型或需要指定特定任务时，必须使用该参数，例如 text-generation 表示文本生成任务，qu