bert模型cpkt、h5转pb格式，tf serving部署restful、grpc、flask访问,curl、wget post访问

loong_XL

已于 2022-07-15 07:50:56 修改

阅读量2.2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签： flask bert python

于 2021-02-03 11:33:51 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_42357472/article/details/113591311

深度学习专栏收录该内容

339 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何将ckpt和h5格式的BERT模型转换为pb格式，并利用TF Serving在CPU和GPU环境下进行部署。详细步骤包括模型的保存、RESTful和gRPC接口的使用，以及通过curl和wget进行POST访问。同时，展示了在Flask应用中结合gRPC进行预测，以及如何处理多值预测的情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、保存pb格式

参考：https://gist.github.com/liprais/78ef34ac0779fb6b604eae044d789f90
注意：
1）os.environ['TF_KERAS'] = '1' 放在bert4keras，keras 前
2）模型save保存这里的tf版本2.X以上
3）模型predict使用的时候tf版本1.X才行

** cpkt转pb


import numpy as np
import os
from collections import Counter
os.environ['TF_KERAS'] = '1'
from bert4keras.backend import keras, K
from bert4keras.models import build_transformer_model
from bert4keras.tokenizers import Tokenizer
from bert4keras.snippets import sequence_padding
from bert4keras.snippets import uniout
from keras.models import Model
# import pandas as pd

# bert配置
config_path = r'C:\*****_L-6_H-384_A-12\bert_config.json'
checkpoint_path = r'C*******L-6_H-384_A-12\bert_model.ckpt'
dict_path = r'C:******-6_H-384_A-12\

了解本专栏