HuggingfaceNLP笔记2.2Models

在本节中，我们将深入探讨如何创建和使用模型。我们将使用AutoModel类，它在您想要从检查点实例化任何模型时非常方便。

AutoModel类及其所有相关类实际上是对库中提供的各种模型的简单封装。这是一个聪明的封装，因为它可以根据您的检查点自动猜测合适的模型架构，然后根据这个架构实例化模型。

然而，如果您知道要使用的模型类型，可以直接使用定义其架构的类。让我们看看如何使用BERT模型来实现这一点。

Creating a Transformer

要初始化BERT模型，首先需要加载一个配置对象：

from transformers import BertConfig, BertModel

# 构建配置
config = BertConfig()

# 根据配置构建模型
model = BertModel(config)

配置对象包含用于构建模型的许多属性：

print(config)

BertConfig {
   
   
  [...]
  "hidden_size": 768,
  "intermediate_size"