NLP 训练及推理一体化工具（TurboNLPExp）

导语

NLP 任务（序列标注、分类、句子关系判断、生成式）训练时，通常使用机器学习框架 Pytorch 或 Tensorflow，在其之上定义模型以及自定义模型的数据预处理，这种方式很难做到模型沉淀、复用和共享，而对于模型上线同样也面临：上线难、延迟高、成本高等问题，TEG-AI 平台部-搜索业务中心从 2019 年底开始，前期经过大量调研，在 AllenNLP 基础上自研了推理及训练一体化工具 TurboNLP， 涵盖了训练框架 TurboNLP-exp 和推理框架 TuboNLP-inference，TurboNLP-exp 训练框架具备可配置、简单、多框架、多任务、可复用等特点，在其之上能够快速、高效的进行 NLP 实验.

TurboNLP-inference 推理框架底层支持高效的模型推理库 BertInference，集成了常用的 NLP 模型， 具备无缝兼容 TurboNLP-exp、推理性能高（在 BERT-base 文档分类业务模型上实测，FP6 精度在 batch\_size=64、seq\_len=64 的情况下达到了 0.275ms/query，INT8 精度在 batch\_size=64、seq\_len=64 的情况下达到了 0.126ms/query 性能）等特点，NLP 训练和推理一体化工具极大的简化了训练到推理的流程，降低了任务训练、模型上线等人力成本，本文将主要介绍 NLP 训练和推理一体化工具。

背景

NLP 任务通常是算法研究者自定义模型和数据预处理在机器学习框架Pytorch或Tensorflow进行训练，并手动部署到 libtorch 或 tensorfl