TensorRT
关注
分享
扫一扫
shizao
这个作者很懒，什么都没留下…
展开
-
TensorRT设置低精度推理
据说TensorRT7实现了尽量低精度运算，还没有使用过。TensorRT5要设置低精度运算的话，可以设置为Fp16或int8的。1 Fp16需要先查询设备是否支持fp16:boolfp16=builder->platformHasFastFp16();返回true了，才能设置引擎以fp16进行推理。builder->setFp16Mode(true);...原创 2019-12-19 18:13:25 · 2175 阅读 · 0 评论 -
TensorRT 5.1.5开发简介
环境搭建 本机环境 CUDA:9.0(cat /usr/local/cuda/version.txt)cudnn:7.2 (cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2)需要升级cudnn到7.5，就可以使用最新版本的TensorRT 5.1.5。TensorRT-5.1.5.0.Ubuntu-...原创 2019-08-02 14:52:37 · 2974 阅读 · 1 评论