【BERT系列】—— 将Tensorflow格式的模型转换为Pytorch格式的模型

BERT模型跨框架移植

最新推荐文章于 2025-09-29 06:47:11 发布

原创最新推荐文章于 2025-09-29 06:47:11 发布 · 3.3k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #pytorch #tensorflow #神经网络

BERT 专栏收录该内容

4 篇文章

订阅专栏

本文介绍如何将Google的BERT模型从Tensorflow格式转换为Pytorch格式，通过使用Transformers工具，实现模型的无缝迁移，方便Pytorch用户进行NLP任务。

部署运行你感兴趣的模型镜像

以BERT为代表的预训练模型是目前NLP领域最火热的方向，但是Google发布的 BERT 是Tensorflow格式的，这让使用pytorch格式 程序猿 们很为难。
为解决这个问题，本篇以BERT为例，介绍将Tensorflow格式的模型转换为Pytorch格式的模型。

1. 工具安装

在这里插入图片描述
使用工具为：Transformers（链接），该工具对常用的预训练模型进行封装，可以非常方便的使用 pytorch调用预训练模型。
使用如下命令安装：

pip install transformers

2. 模型转换

下载google的 BERT 模型；
使用如下命令进行转换：

export BERT_BASE_DIR=/path/to/bert/uncased_L-12_H-768_A-12
transformers bert \
  $BERT_BASE_DIR/bert_model.ckpt \
  $BERT_BASE_DIR/bert_config.json \
  $BERT_BASE_DIR/pytorch_model.bin