【Transformer-Hugging Face手册 07/10】 微调预训练模型

一、说明

   使用预训练模型有显着的好处。它可以降低计算成本和碳足迹，并允许您使用最先进的模型，而无需从头开始训练。 🤗 Transformers 提供了针对各种任务的数千个预训练模型的访问权限。当您使用预训练模型时，您可以在特定于您的任务的数据集上对其进行训练。这被称为微调，是一种非常强大的训练技术。在本教程中，您将使用您选择的深度学习框架微调预训练模型：

•    使用 🤗 Transformers Trainer微调预训练模型。
•    使用 Keras 微调 TensorFlow 中的预训练模型。

二、在本机 PyTorch 中微调预训练模型。

   在微调预训练模型之前，请下载数据集并准备进行训练。之前的教程向您展示了如何处理训练数据，现在您有机会测试这些技能！

2.1 加载数据

   首先加载Yelp 评论数据集：