tensroflow-serving部署自己模型

经过一系列测试，tensorlfow-serving确实要比直接利用flask部署快非常多，虽然网上也有很多有关怎么把自己的训练好的模型部署到tensorlfow-serving上。但是为了有一个自己完整的记录，还是写了这样的经验供大家参考。

（1）训练自己的tensorflow模型或者直接使用预训练的bert模型，这里我采用的tensorflow1.15.0版本。最终生成的是如下结构的模型文件：

如果利用预训练模型，在重加在参数的时候我是使用的

加载模型所以在预训练模型里边添加一个checkpoint文件内容如下：

  model_checkpoint_path: "bert_model.ckpt"

所以文件结构如下：

（2）构造模型图以及生成pb文件

有了如上文件，然后我们就需要构造tensorflow-serving服务的infer函数，也就是推断函数，由于以上文件不包含图模型，所以我们需要重新构建模型图。具体代码也比较简单，我们以输出bert最后一层为例，具体代码如下：

import json

import os

import tensorflow as tf

import argparse

import modeling

def create_model(bert_config, is_training, input_ids):

    # 通过传入的训练数据，进行representation

    model = modeling.BertModel(config=bert_config, is_training=is_training, input_ids=input_ids)

    # output = model.get_pooled_output()

    output = model.get_sequence_output()

    re