[bert4keras].weights权重文件转换成.ckpt格式，便于build_transformer_model方法加载

xxyAI

于 2023-01-13 17:53:51 发布

阅读量1k

点赞数 1

分类专栏： bert4keras 文章标签： transformer 深度学习人工智能

本文链接：https://blog.youkuaiyun.com/XP1990/article/details/128677757

版权

bert4keras 专栏收录该内容

3 篇文章

订阅专栏

该文详细介绍了如何利用build_transformer_model函数构建RoFormer模型，设置为UNILM应用，加载预训练的BERT权重。之后，模型的权重被加载到best_model.weights，并保存为新的检查点文件./bert_model.ckpt，这涉及到了模型的训练状态迁移和持久化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

方法步骤：

建立同样的模型

bert = build_transformer_model(
    config_path,
    checkpoint_path,
    model='roformer',
    application='unilm',
    with_pool='linear',
    with_mlm='linear',
    dropout_rate=0.2,
    ignore_invalid_weights=True,
    return_keras_model=False # 必须；参考源码：为True，返回transformer.model；为False，返回transformer
)

`load_weights`加载你之前保存的权重

bert.model.load_weights('best_model.weights')

`save_weights_as_checkpoint`保存为新的权重

bert.save_weights_as_checkpoint(filename='./bert_model.ckpt')

[bert4keras].weights权重文件转换成.ckpt格式，便于build_transformer_model方法加载

方法步骤：

建立同样的模型

load_weights加载你之前保存的权重

save_weights_as_checkpoint保存为新的权重

`load_weights`加载你之前保存的权重

`save_weights_as_checkpoint`保存为新的权重