【ai】trition:tritonclient yolov4:ubuntu18.04部署python client成功

### 在 Ubuntu 系统中安装 TensorRT 8.6 #### 准备工作 在开始之前,需确认操作系统和硬件环境满足以下条件: - 使用支持的操作系统版本(如 Ubuntu 18.04 或 20.04)。 - 已正确配置 NVIDIA GPU 驱动程序以及对应的 CUDA 和 cuDNN 版本。 对于不同的操作环境组合,可以选择适合的安装包形式。以下是两种常见的安装方法: --- #### 方法一:通过 DEB 包本地仓库安装(适用于 Ubuntu 18.04) 如果目标平台为 **Ubuntu 18.04** 并希望使用 CUDA 12.0,则可以采用官方提供的 DEB 包进行安装[^1]。 1. 下载对应版本的 DEB 文件 `nv-tensorrt-local-repo-ubuntu1804-8.6.1-cuda-12.0_1.0-1_amd64.deb`。 ```bash wget https://developer.nvidia.com/<path_to_deb_package>/nv-tensorrt-local-repo-ubuntu1804-8.6.1-cuda-12.0_1.0-1_amd64.deb ``` 2. 安装该 DEB 软件包以设置本地 APT 存储库。 ```bash sudo dpkg -i nv-tensorrt-local-repo-ubuntu1804-8.6.1-cuda-12.0_1.0-1_amd64.deb sudo apt-get update ``` 3. 安装 TensorRT 库及其开发工具。 ```bash sudo apt-get install tensorrt sudo apt-get install uff-converter-tf libnvinfer-bin onnx-graphsurgeon ``` 此过程会自动完成依赖项解析并安装所需组件。 --- #### 方法二:通过 TAR 包手动安装(适用于 Ubuntu 20.04) 当运行的是较新的发行版(例如 Ubuntu 20.04),推荐下载 `.tar.gz` 压缩包来实现更灵活的手动部署[^2][^3]。 1. 访问 NVIDIA 开发者网站获取最新发布的 TensorRT 源码压缩包链接,并选择兼容的目标 CUDA 版本(比如 CUDA 11.8 对应 TensorRT 8.6.1.6)。 ```bash wget https://developer.nvidia.com/nvidia-tensorrt-8x-download/TensorRT-8.6.1.6.Linux.x86_64-gnu.cuda-11.8.tar.gz tar zxvf TensorRT-8.6.1.6.Linux.x86_64-gnu.cuda-11.8.tar.gz cd TensorRT-8.6.1.6/ ``` 2. 将解压后的目录中的头文件复制到标准路径下供编译器访问。 ```bash sudo cp -r include/* /usr/local/include/ sudo mkdir -p /usr/lib/x86_64-linux-gnu/ sudo cp lib/*.so* /usr/lib/x86_64-linux-gnu/ ``` 3. 更新动态链接器缓存以便加载新加入的共享对象文件。 ```bash echo "/usr/lib/x86_64-linux-gnu/" | sudo tee -a /etc/ld.so.conf.d/tensorrt.conf sudo ldconfig ``` 至此完成了基本框架搭建;后续可根据具体项目需求进一步调整优化参数或者测试性能表现。 --- ### 注意事项 - 如果计划集成 TensorFlow 或 PyTorch 等深度学习框架,请额外关注其插件模块的支持情况。 - 不同次主要更新之间可能存在 API 变化,建议仔细阅读发布说明文档了解改动详情。 ```python import ctypes ctypes.cdll.LoadLibrary("/usr/lib/x86_64-linux-gnu/libnvinfer.so") # 测试是否成功导入核心库 print("TensorRT 加载成功") ``` 上述脚本可用于验证 Python 层面能否正常调用底层 C++ 实现部分功能接口。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

等风来不如迎风去

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值