tensorrt,tensorrtllm优化原理

原创 已于 2024-05-08 10:14:33 修改 · 1.7k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#gpu算力 #人工智能

于 2024-05-07 16:31:11 首次发布


tensorrt

1.算子融合
水平融合，垂直融合，删除冗余
计算图优化的目标是对计算图进行等价的组合变换，使得减少算子的读写操作提供效率。模型中有很多层，在部署模型推理时，每一层的运算操作都是由GPU完成的，但实际上是GPU通过启动不同的CUDA（Compute unified device architecture）核心来完成计算的，CUDA核心计算张量的速度是很快的，但是往往大量的时间是浪费在CUDA核心的启动和对每一层输入/输出张量的读写操作上面，这造成了内存带宽的瓶颈和GPU资源的浪费。TensorRT通过对层间的横向或纵向合并（合并后的结构称为CBR，意指 convolution, bias, and ReLU layers are fused to form a single layer），使得层的数量大大减少。横向合并可以把卷积、偏置和激活层合并成一个CBR结构，只占用一个CUDA核心。纵向合并可以把结构相同，但是权值不同的层合并成一个更宽的层，也只占用一个CUDA核心。合并之后的计算图（图4右侧）的层次更少了，占用的CUDA核心数也少了，因此整个模型结构会更小，更快，更高效。

2.数据排布优化
在TensorFlow框架的输入格式NHWC，而pytorch是NCHW。这些格式是框架抽象出来的矩阵格式，实际在内存中的存储都是按照1维的形式存储。这就涉及物理存储和逻辑存储之间的映射关系，如何更好的布局数据能带来存储数据的访问是一个优化方向；另外在硬件层面，有些硬件在某种存储下有最佳的性能，通常可以根据硬件的读写特点进行优化。

3.量化（低精度优化）
FP16/BF16/INT8/FP8/INT4
低精度的Tensor Core可以加速计算,量化的weight可以减少内存的访问，从而提性能

4.组batch(动态batch)
模型的输入只有单个batch的时候，单个batch的计算量并不能充分的利用CUDA核心的计算资源，有相当一部分的核心在闲置等待中；当输入有多个batch的时候，由于GP

最低0.47元/天 解锁文章
litart coder
关注
大模型部署指南：TensorRT-LLM 框架
举世誉之而不加劝，举世非之而不加沮，定乎内外之分，辩乎荣辱之境，斯已矣。
09-24 1222
本文介绍TensorRT-LLM大模型部署框架的使用
【TensorRT】TensorRT及加速原理
浩瀚之水的专栏
03-12 1711
TensorRT通过硬件级优化和计算图重构，可在保持模型精度的前提下实现5-10倍加速。其核心在于充分利用GPU的并行计算特性，通过内存优化、计算重组、精度调整等技术突破传统框架的性能瓶颈。TensorRT是NVIDIA推出的高性能推理优化器，专为GPU加速设计。
TensorRT：1.基本概念和环境准备
阿丹的彩蛋
08-23 1043
TensorRT的基本概念和环境准备
NVIDIA大模型推理框架：TensorRT-LLM软件流程（一）
最新发布
chinamaoge的博客
10-19 801
通过trtllm-serve启动部署大模型推理框架Server端作为切入点，对整个TensorRT-LLM推理引擎的启动、加载模型文件、接收推理请求并且给出推理结构的整个流程，给出代码层面的详细梳理！
Cuda编程2：TensorRT及ONNX
qq_44753080的博客
03-20 1220
TensorRT和ONNX
TensorRT-LLM保姆级教程（二）-离线环境搭建、模型量化及推理
吃果冻不吐果冻皮
12-04 3708
接下来以Bloom模型为例，进行 TensorRT-LLM 开发实践。build.py：用于构建 TensorRT 引擎来运行Bloom模型。run.py：模型推理。：使用模型来总结 CNN Dailymail 数据集中的文章。：将HF格式的模型进行转换。支持 FP16支持 INT8 & INT4 仅权重量化支持 INT8 KV CACHE 量化支持SmoothQuant 量化支持张量并行大模型量化概述进行过简要概述，后续有时间更详细的梳理常见的一些大模型量化技术。
TensorRT-LLM——优化大型语言模型推理以实现最大性能的综合指南
知来者逆的博客
09-17 3497
TensorRT-LLM 允许您使用简单的 Python API 定义 LLM。该 API 构建一个图形表示模型，使其更容易管理 GPT 或 BERT 等 LLM 架构中涉及的复杂层。
TensorRT-优化-原理
吴建明wujianming_110117
05-28 1984
TensorRT-优化-原理 一．优化方式 TentsorRT 优化方式： TensorRT优化方法主要有以下几种方式，最主要的是前面两种。 层间融合或张量融合（Layer & Tensor Fusion） 如下图左侧是GoogLeNetInception模块的计算图。这个结构中有很多层，在部署模型推理时，这每一层的运算操作都是由GPU完成的，但实际上是GPU通过启动不同的CUDA（Compute unified device architecture）核心来完成计算的，CUDA核心计算张量的速度
TensorRT优化原理和TensorRT Plguin总结
qq_33287871的博客
05-23 1829
TensorRT优化原理和TensorRT Plguin总结1. TensorRT优化原理2. TensorRT开发基本流程3. TensorRT Network Definition API4. TensorRT Plugin4.1 实现plugin4.2 编译plugin.so动态库4.3 在TensorRT中加载plugin5. plugin实例 1. TensorRT优化原理 TensorRT加速DL Inference的能力来源于optimizer和runtime。其优化原理包括四个方面： L
【nvidia】TensorRT-LLM
静谧、淡雅
04-16 1513
TensorRT-LLM
大模型推理框架（四）TensorRT-LLM
深数研究院
01-04 1205
TensorRT-LLM是 NVIDIA 提供的一个用于优化大型语言模型（LLMs）在 NVIDIA GPU 上的推理性能的开源库。它通过一系列先进的优化技术，如量化、内核融合、动态批处理和多 GPU 支持，显著提高了 LLMs 的推理速度，与传统的基于 CPU 的方法相比，推理速度可提高多达 8 倍；
TensorRT-LLM：LLM API 精简指令畅享卓越性能！
NVIDIA_Community的博客
02-05 1242
直接从 Hugging Face 模型库下载模型，例如 TinyLlama/TinyLlama-1.1B-Chat-v1.0。本地 Hugging Face 模型：使用已下载到本地的 Hugging Face 模型。本地 TensorRT-LLM 引擎：使用通过 trtllm-build 工具构建或由 Python LLM API 保存的 Engine。您可以使用 LLM(model=<any-model-path>) 构造函数来灵活切换这些格式。以下各节将详细介绍具体使用方法。
【一起来学AI大模型】部署优化推理加速：TensorRT-LLM
hhhhuuuu_的博客
07-13 1112
TensorRT-LLM 是 NVIDIA 推出的，通过极致硬件优化实现，成为企业生产环境部署的黄金标准。
TensorRT-LLM 深度解析：解锁大模型极致推理性能
小钻风的博客
08-25 1420
TensorRT-LLM：NVIDIA的大模型推理加速利器 摘要：TensorRT-LLM是NVIDIA推出的高性能大语言模型推理框架，通过三级架构设计实现极致优化：1）Pythonic模型定义层保持开发灵活性；2）AOT编译层实现算子融合与内核调优；3）运行时系统支持动态批处理。核心优势包括：支持H100专属FP8量化，吞吐量达6000+tokens/s；分页KV缓存将显存碎片率从35%降至5%；相比vLLM等框架，在NVIDIA硬件上性能提升50%以上。
TensorRT-llm入门
weixin_40777649的博客
05-13 2880
3. int8-kv-cache量化: KV Cache 量化是指将逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。最先进的量化方法，如SmoothQuant和AWQ，在量化造成的性能损失适中时，可以有效提升性能。1. 模型量化 参考：https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/qwen。对于伦理任务，小型模型对量化的敏感性更高。
TensorRT与LLM完美结合：保姆级教程带你飞
2401_84204413的博客
12-09 2115
接下来以Bloom模型为例，进行 TensorRT-LLM 开发实践。Bloom 示例中主要文件：build.py：用于构建 TensorRT 引擎来运行Bloom模型。run.py：模型推理。summarize.py：使用模型来总结 CNN Dailymail 数据集中的文章。hf_bloom_convert.py：将HF格式的模型进行转换。TensorRT-LLM 中，目前针对 Bloom 模型支持的特性如下：支持 FP16支持 INT8 & INT4 仅权重量化。
（一）TensorRT-LLM | 初探（v0.20.0rc3）
Skies_的博客
05-30 1347
TensorRT-LLM 大模型推理后端快速使用
TensorRT-LLM：大模型推理加速引擎的架构与实践
wanmeijuhao的博客
06-30 4058
本文介绍了TensorRT-LLM推理加速框架的安装与Ollama整合方案。针对大语言模型推理面临的显存占用高、计算延迟大等问题，TensorRT-LLM通过优化计算图、高效Kernels实现和多卡并行等技术支持高性能推理。文章详细说明了在Linux环境下安装TensorRT-LLM的硬件要求、Docker构建步骤，以及如何与Ollama模型服务整合，包括配置文件修改、API调用验证和常见问题解决方法。通过这套方案，用户可以在NVIDIA GPU上实现高效的LLM推理服务部署。
TensorRT-LLM Docker镜像制作
2301_77978404的博客
10-26 1438
在trt-llm的docker中默认的基础镜像是nvcr.io/nvidia/pytorch:23.08-py3。因此，尝试在该基础镜像中安装trt-llm。步骤：1. 宿主机联网，启动容器，容器内也要联网2. 在容器内拉取TensorRT-LLM仓库3. 安装必要的依赖，然后构建tensorrt_llm的whl注意：该过程中，安装tensorrt过程比较长预留出至少100G左右的磁盘空间此外，还可以直接按照官方方法安装。
TensorRT 的优化加速原理
02-09
### TensorRT 优化加速原理 #### 高效的 GPU 利用率 TensorRT 是一种专门针对 GPU 设计的高度优化深度学习推理引擎，旨在最大化利用 GPU 的并行处理能力[^1]。该引擎不仅能够执行经过优化的推理图，还实现了模型的高效运行。 #### 自动与手动优化策略 为了提高性能，TensorRT 提供了两种主要的优化路径： - **全图自动优化**：当输入模型中的操作均被 TensorRT 支持时，可以直接从常见的深度学习框架（如 Caffe、TensorFlow、MXNet 或 PyTorch）加载预训练好的神经网络，并自动生成高效的推理引擎。对于特定情况下的 PyTorch 模型，还可以使用 Trtorch 进行进一步优化。此外，也可以通过 ONNX 中间表示来连接不同的前端框架到 TensorRT 后端[^2]。 - **部分图的手工/自动分图优化**：如果某些层或节点不在 TensorRT 原生支持范围内，则可以通过混合模式来进行针对性调整——即保留不受支持的部分不变的同时，将其余部分交给 TensorRT 处理以获得最佳效果。这通常涉及到重新定义这些组件之间的接口以便更好地集成进整个流水线中去。 #### 关键技术细节 具体来说，在实际部署过程中，TensorRT 实现了一系列关键技术手段来确保高性能表现： - **内核融合**：将多个连续的小规模运算合并成单一大规模运算单元，减少内存访问次数从而加快速度； - **精度裁剪**：允许用户选择 FP32 (浮点数), FP16 (半精度)，甚至 INT8 (整数) 来平衡准确性和效率之间关系； - **批量化处理**：通过对一批数据同时做预测而不是逐条记录单独计算的方式显著降低单位时间内所需资源消耗； - **异步调用机制**：充分利用多核心架构优势，使 CPU 和 GPU 能够并发工作而不必等待对方完成当前任务后再继续下一步骤。 ```python import tensorrt as trt def build_engine(onnx_file_path): TRT_LOGGER = trt.Logger(trt.Logger.WARNING) with trt.Builder(TRT_LOGGER) as builder, \ builder.create_network() as network, \ trt.OnnxParser(network, TRT_LOGGER) as parser: config = builder.create_builder_config() # Set optimization profile and precision mode here with open(onnx_file_path, 'rb') as model: if not parser.parse(model.read()): print('Failed to parse the ONNX file.') for error in range(parser.num_errors): print(parser.get_error(error)) return None engine = builder.build_serialized_network(network, config) return engine ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值