Transformers 项目使用指南

最新推荐文章于 2025-04-07 18:42:44 发布

包力文Hardy

最新推荐文章于 2025-04-07 18:42:44 发布

阅读量937

点赞数 11

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_01061/article/details/142240952

Transformers 项目使用指南

transformers 项目地址: https://gitcode.com/gh_mirrors/transf/transformers

1. 项目介绍

Transformers 是一个由 Hugging Face 开发的开源库，提供了数千个预训练模型，用于处理文本、图像和音频等多种模态的数据。该库支持 PyTorch、TensorFlow 和 JAX 三大深度学习框架，使得用户可以在不同框架之间无缝切换，极大地简化了模型的训练和推理过程。

Transformers 的主要特点包括：

易用性：提供统一的 API，方便用户快速下载和使用预训练模型。
高性能：支持多种先进的模型架构，如 BERT、GPT、T5 等，适用于各种自然语言处理、计算机视觉和音频处理任务。
跨框架支持：可以在 PyTorch、TensorFlow 和 JAX 之间无缝切换，方便用户根据需求选择合适的框架。
社区支持：模型库由社区维护，用户可以轻松分享和下载其他用户上传的模型。

2. 项目快速启动

安装

首先，确保你已经安装了 Python 3.8 或更高版本。然后，使用 pip 安装 Transformers 库：

pip install transformers

快速使用

以下是一个简单的示例，展示如何使用 Transformers 库进行情感分析：

from transformers import pipeline

# 创建一个情感分析的 pipeline
classifier = pipeline('sentiment-analysis')

# 对文本进行情感分析
result = classifier("我很高兴使用 Transformers 库")
print(result)

输出结果将显示文本的情感分类及其置信度：

[{'label': 'POSITIVE', 'score': 0.9998}]

3. 应用案例和最佳实践

文本分类

文本分类是自然语言处理中的一个常见任务。以下是一个使用 BERT 模型进行文本分类的示例：

from transformers import BertTokenizer, BertForSequenceClassification
import torch

# 加载预训练的 BERT 模型和 tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

# 准备输入数据
inputs = tokenizer("这是一个测试句子", return_tensors="pt")

# 进行推理
with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits

# 获取分类结果
predicted_class = torch.argmax(logits, dim=-1).item()
print(f"预测的类别: {predicted_class}")

图像分类

Transformers 库也支持图像分类任务。以下是一个使用 ViT（Vision Transformer）模型进行图像分类的示例：

from transformers import ViTFeatureExtractor, ViTForImageClassification
from PIL import Image
import requests

# 加载预训练的 ViT 模型和 feature extractor
feature_extractor = ViTFeatureExtractor.from_pretrained('google/vit-base-patch16-224')
model = ViTForImageClassification.from_pretrained('google/vit-base-patch16-224')

# 下载并打开图像
url = "https://example.com/image.jpg"
image = Image.open(requests.get(url, stream=True).raw)

# 准备输入数据
inputs = feature_extractor(images=image, return_tensors="pt")

# 进行推理
with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits

# 获取分类结果
predicted_class_idx = torch.argmax(logits, dim=-1).item()
print(f"预测的类别: {model.config.id2label[predicted_class_idx]}")