Paddle Inference C++ 依赖库安装
Paddle Inference 是飞桨的原生推理库, 提供服务器端的高性能推理能力。由于 Paddle Inference 能力直接基于飞桨的训练算子,因此它支持飞桨训练出的所有模型的推理。Paddle Inference 功能特性丰富,性能优异,针对不同平台不同的应用场景进行了深度的适配优化,做到高吞吐、低时延,保证了飞桨模型在服务器端即训即用,快速部署。
此处针对使用GPU加速的方式安装,主要依靠NVIDIA 官方文档了解 CUDA、cuDNN 和 TensorRT
1. 环境准备
此处针对使用GPU加速的方式安装,主要依靠NVIDIA 显卡CUDA、cuDNN 和 TensorRT,所以首先电脑环境应当安装上CUDA、cuDNN 和 TensorRT,具体版本对应如下表所示:
| CUDA 版本 | cuDNN 版本 | TensorRT 版本 |
|---|---|---|
| 10.2 | 7.6.5 | 7.0.0.11 |
| 11.2 | 8.2.1 | 8.0.1.6 |
| 11.6 | 8.4.0 | 8.4.0.6 |
| 11.7 | 8.4.1 |

最低0.47元/天 解锁文章
5962





