
tensorrt
文章平均质量分 86
有来有去9527
这个作者很懒,什么都没留下…
展开
-
大模型推理优化--TensorRT-LLM初体验
TensorRT-LLM可以视为TensorRT和FastTransformer的结合体,旨为大模型推理加速而生。原创 2023-10-20 15:16:27 · 3182 阅读 · 2 评论 -
trition模型注册和访问验证(易错点加粗)
trition服务启动后,关于模型注册和推理请求易错汇总原创 2023-03-15 12:00:30 · 1186 阅读 · 0 评论 -
pytorch模型转tensorrt,pad报错,opset11
tensorrt unsupport opset11 padding原创 2022-10-11 14:30:43 · 2614 阅读 · 4 评论