NLP 训练及推理一体化工具（TurboNLPExp）

追逐程序梦想者

于 2021-02-02 16:51:45 发布

阅读量531

点赞数 2

CC 4.0 BY-SA版权

文章标签： c++ 大数据编程语言机器学习 python

本文链接：https://blog.youkuaiyun.com/ai52learn/article/details/113565704

Python基础及其应用专栏收录该内容

605 篇文章 ¥59.90 ¥99.00

订阅专栏

本文介绍了TEG-AI平台部-搜索业务中心研发的NLP工具TurboNLP，包括训练框架TurboNLP-exp和推理框架TurboNLP-inference。这两个框架解决了NLP任务中模型训练、复用、共享和上线难的问题，提供模块化、可配置、高性能的训练和推理。TurboNLP-inference在BERT-base文档分类模型上的推理性能优异，且支持多模型、多任务训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

导语

NLP 任务（序列标注、分类、句子关系判断、生成式）训练时，通常使用机器学习框架 Pytorch 或 Tensorflow，在其之上定义模型以及自定义模型的数据预处理，这种方式很难做到模型沉淀、复用和共享，而对于模型上线同样也面临：上线难、延迟高、成本高等问题，TEG-AI 平台部-搜索业务中心从 2019 年底开始，前期经过大量调研，在 AllenNLP 基础上自研了推理及训练一体化工具 TurboNLP，涵盖了训练框架 TurboNLP-exp 和推理框架 TuboNLP-inference，TurboNLP-exp 训练框架具备可配置、简单、多框架、多任务、可复用等特点，在其之上能够快速、高效的进行 NLP 实验.

TurboNLP-inference 推理框架底层支持高效的模型推理库 BertInference，集成了常用的 NLP 模型，具备无缝兼容 TurboNLP-exp、推理性能高（在 BERT-base 文档分类业务模型上实测，FP6 精度在 batch\_size=64、seq\_len=64 的情况下达到了 0.275ms/query，INT8 精度在 batch\_size=64、seq\_len=64 的情况下达到了 0.126ms/query 性能）等特点，NLP 训练和推理一体化工具极大的简化了训练到推理的流程，降低了任务训练、模型上线等人力成本&#

了解本专栏