取出BERT中的某一部分网络/参数

今天在写代码的需要提取bert的部分网络或者参数，倒腾了好一会才弄明白。

准备工作

首先还是加载模型：

from transformers import BertTokenizer, BertConfig, BertModel
tokenizer = BertTokenizer.from_pretrained(bert_path)
bert_config = BertConfig.from_pretrained(bert_path)
model = BertModel.from_pretrained(bert_path)

获取某一层的网络

查看所有层

print(model)

会得到这样的结果：

 获取网络

然后就需要像俄罗斯套娃一样一层层去获取，比如我想要第一层中attention中output的dense层，那我就可以通过以下指令获取：

model.encoder.layer[0].attention.output.dense

 得到结果：

Linear(in_features=768, out_features=768, bias=True)

 其他层也是一样的，