FasterTransformer 安装

最新推荐文章于 2025-06-07 09:01:36 发布

九妖在行动

最新推荐文章于 2025-06-07 09:01:36 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏：算法文章标签： Bert transformer fast nvidia

本文链接：https://blog.youkuaiyun.com/alain1/article/details/100033265

算法专栏收录该内容

2 篇文章

订阅专栏

本文档详细介绍了如何安装FasterTransformer，它支持CUDA10.0。首先，需要下载并安装TensorRT的CUDA10.0对应版本，接着安装pycuda。然后，进行FasterTransformer的安装，包括修改源文件、创建build目录、配置CMake，并解决可能出现的错误，如未知GPU架构、缺少头文件和libtensorflow_framework.so链接问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一：安装TensorRT（FasterTransformer 支持cuda10.0,所以TensorRT也下cuda10.0对应版本）

1、下载TensorRT

https://developer.nvidia.com/nvidia-tensorrt-5x-download

2、安装pycuda

pip install pycuda

3、安装 TensorRT

#在home下新建文件夹，命名为tensorrt_tar，然后将下载的压缩文件拷贝进来解压
tar xzvf TensorRT-5.0.2.6.Ubuntu-16.04.4.x86_64-gnu.cuda-9.0.cudnn7.3.tar
 
#解压得到TensorRT-5.0.2.6的文件夹，将里边的lib绝对路径添加到环境变量中
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/lthpc/tensorrt_tar/TensorRT-5.0.2.6/lib
 
#安装TensorRT
cd TensorRT-5.0.2.6/python
#if python2
sudo pip2 install tensorrt-5.0.2.6-py2.py3-none-any.whl
#if python3
sudo pip3 install tensorrt-5.0.2.6-py2.py3-none-any.whl
 
#安装UFF
cd TensorRT-5.0.2.6/uff
#if python2
sudo pip2 install uff-0.5.5-py2.py3-none-any.whl
#if python3
sudo pip3 install uff-0.5.5-py2.py3-none-any.whl
 
#安装graphsurgeon
cd TensorRT-5.0.2.6/graphsurgeon
#if python2
sudo pip2 install graphsurgeon-0.3.2-py2.py3-none-any.whl
#if python3
sudo pip3 install graphsurgeon-0.3.2-py2.py3-none-any.whl

第二：安装 FasterTransformer

1、修改 fastertransformer/common.h 文件

添加： #include <stdexcept> 要不cmake会报错

2、新建build目录

mkdir build

3、cmake

cmake -DCUDA_TOOLKIT_ROOT_DIR=/YOURDIR/cuda/10.0 -DSM=61 -DCMAKE_BUILD_TYPE=Release -DBUILD_TRT=ON -DTRT_PATH=/YOURDIR/TensorRT-5.1.5.0 -DBUILD_TF=ON -DTF_PATH=/YOURDIR/site-packages/tensorflow

其中 YOURDIR 指你自己的路径、-DSM 要根据自己的gpu确定gpu的算力

4、make 编译

make

遇见的错误：

1、

Unknown or unsupported GPU architecture 错误

因为 -DSM 未制定

2、