Transformers库入门实战：用Pipeline和Trainer玩转你的第一个AI模型

最新推荐文章于 2025-11-24 14:49:36 发布

原创

最新推荐文章于 2025-11-24 14:49:36 发布 · 845 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习 #transformer

0 前言

Transformers设计目标是简单易用，让每个人都能轻松上手学习和构建 Transformer 模型。

用户只需掌握三个主要的类和两个 API，即可实现模型实例化、推理和训练。本快速入门将带你了解 Transformers 的核心功能，包括：

加载预训练模型
使用 Pipeline 进行推理
使用 Trainer 微调模型

1 设置

创建一个 Hugging Face 账号：

可助你托管和访问模型、数据集及Spaces（一个构建和分享AI应用的平台）。

创建一个User Access Tokens，再登录你的账号：

from huggingface_hub import notebook_login

notebook_login()

安装huggingface_hub：

(.venv) javaedge@JavaEdgedeMac-Studio AIAgent % huggingface-cli login
    To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Enter your token (input will not be visible): 
Add token as git credential? (Y/n) Y
Token is valid (permission: fineGrained).
The token `JavaEdge-Mac-Studio-HF` has been saved to /Users/javaedge/.cache/huggingface/stored_tokens
Your token has been saved in your configured git credential helpers (osxkeychain).
Your token has been saved to /Users/javaedge/.cache/huggingface/token
Login