qq_51764183的博客

这很有效，但它的缺点是返回字典（字典的键是输入词id(input_ids) ， 注意力遮罩(attention_mask) 和 类型标记ID(token_type_ids)，字典的值是键所对应值的列表）。我们的标记函数(tokenize_function)返回包含输入词id(input_ids) ， 注意力遮罩(attention_mask) 和 类型标记ID(token_type_ids) 键的字典,所以这三个字段被添加到数据集的标记的结果中。毫无疑问，我们得到了不同长度的样本，从32到67。

正如我们在中看到的那样，Transformers模型通常非常大。对于数以百万计到数千万计数十亿的参数，训练和部署这些模型是一项复杂的任务。此外，由于几乎每天都在发布新模型，而且每种模型都有自己的实现，因此尝试它们绝非易事。而🤗Hugging Face为我们创建了Transformer库，这个库的目标是提供一个API，通过它可以加载、训练和保存任何Transformer模型。这个库的主要特点是：易于使用：下载、加载和使用最先进的NLP模型进行推理只需两行代码即可完成。

首先我们先看一下有关Transformer模型的发展历史，下面的图是基于Transformer架构的一些关键模型节点：图片来源于Hugging Face图片来源于Hugging Face于 2017 年 6 月推出。原本研究的重点是翻译任务。随后推出了几个有影响力的模型，包括2018 年 6 月:, 第一个预训练的 Transformer 模型，用于各种 NLP 任务并获得极好的结果2018 年 10 月:, 另一个大型预训练模型2019 年 2 月:, GPT 的改进（并且更大）版本。