为什么选择Hugging Face Transformers？核心功能与设计哲学揭秘

0 前言

Transformers，一个包含预训练模型的库，支持自然语言处理、计算机视觉、音频处理和多模态任务，可用于模型推理和训练。可用它在自己的数据上训练模型、构建推理应用，或用LLM生成文本。

访问 Hugging Face Hub，查找模型并开始用Transformers！

1 功能

Transformers 提供用最先进的预训练模型进行推理和训练所需一切工具，主要功能包括：

• Pipeline：一个简单且经过优化的推理接口，支持多种机器学习任务，如文本生成、图像分割、语音识别、文档问答等。
• Trainer：一个功能完善的训练器，支持混合精度训练、torch.compile、FlashAttention 等高级特性，适用于 PyTorch 模型的本地和分布式训练。
• generate：支持大语言模型（LLM）和视觉语言模型（VLM）的快速文本生成，支持流式输出和多种解码策略。

2 设计理念（Design）

可阅读设计哲学（Philosophy） 深入了解 Transformers 核心设计原则。

目标用户是开发者、机器学习工程师和研究人员，其主要设计原则包括：

快速且易于使用

每个模型都由三个核心类（配置类、模型类、预处理类）构建而成，可通过 Pipeline 或 Trainer 快速进行推理或训练。

优先使用预训练模型

通过使用预训练模型，而非从零开始训练新模型，可大幅减少碳排放、计算成本和开发时间。每个预训练模型都尽可能还原原始论文中的实现，具有业界领先的性能表