TurboTransformers 加速预训练模型推理

FB1024

于 2022-10-10 17:39:45 发布

阅读量1.1k

点赞数

分类专栏：自然语言处理文章标签： python 深度学习

本文链接：https://blog.youkuaiyun.com/u011613991/article/details/127249134

版权

TurboTransformers是腾讯开源的用于加速BERT等预训练模型推理的库，支持Python和C++接口，兼容TensorFlow和PyTorch模型。相比ONNX-runtime、TensorRT、Torchlib，它在性能和易用性上更具优势。通过简单的安装和代码改写，开发者可以实现模型的端对端加速，提升服务效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

TurboTransformers 是腾讯开源的BERT推理模型
TurboTransformers 支持 python 和 C++接口进行调用。TurboTransformers 支持 TensorFlow 和 PyTorch 预训练模型的载入。它可以作为 huggingface/transformers 的推理加速插件，通过加入几行 python 代码获得 BERT 模型的端对端加速效果。
和 ONNX-runtime、TensorRT、Torchlib 等推理优化引擎相比，TurboTransformers 在性能和使用方式上都具备优势。

使用方式：
1. 安装TurboTansformers容器环境
1.1 下载镜像
可参考官方github地址上的步骤进行构建，也可以直接下载官方已经构造好的cpu/gpu镜像（我是这么操作的）
docker pull thufeifeibear/turbo_transformers_cpu:latest
1.2 构造自己的容器
容器使用，参考菜鸟教程：Docker 容器使用 | 菜鸟教程

最低0.47元/天解锁文章