大模型推理优化--TensorRT-LLM初体验

原创 已于 2023-11-10 10:13:14 修改 · 3.3k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #人工智能 #深度学习

于 2023-10-20 15:16:27 首次发布
本文介绍了TensorRT-LLM，一个结合了TensorRT和FastTransformer的工具，专注于大模型推理优化。它包含多种优化技术，如Multi-headAttention等，并支持多种开源大模型。文章详细说明了如何编译和使用TensorRT-LLM，并提供了性能对比实例。

TensorRT-LLM初体验

千呼万唤始出来，备受期待的Tensorrt-LLM终于发布，发布版本0.5.0。

在这里插入图片描述

github:
https://github.com/NVIDIA/TensorRT-LLM/tree/main

1.介绍

TensorRT-LLM可以视为TensorRT和FastTransformer的结合体，旨为大模型推理加速而生。

1.1丰富的优化特性

除了FastTransformer对Transformer做的attention优化、softmax优化、算子融合等方式之外，还引入了众多的大模型推理优化特性：

Multi-head Attention(MHA)
Multi-query Attention (MQA)
Group-query Attention(GQA)
In-flight Batching
Paged KV Cache for the Attention
Tensor Parallelism
Pipeline Parallelism
最低0.47元/天 解锁文章
大模型部署指南：TensorRT-LLM 框架
举世誉之而不加劝，举世非之而不加沮，定乎内外之分，辩乎荣辱之境，斯已矣。
09-24 1262
本文介绍TensorRT-LLM大模型部署框架的使用
LLM推理部署（二）：英伟达LLM推理部署工具TensorRT-LLM
wshzd的博客
11-03 2350
在大模型时代，各大公司在陆续推出和优化各自的底座大模型，不断刷新榜单，然而大模型的超大参数给生产部署带来了很大的困难，由此也带来大模型部署框架的蓬勃发展（可以参考之前写的。
NVIDIA大模型推理框架：TensorRT-LLM软件流程（一）
最新发布
chinamaoge的博客
10-19 818
通过trtllm-serve启动部署大模型推理框架Server端作为切入点，对整个TensorRT-LLM推理引擎的启动、加载模型文件、接收推理请求并且给出推理结构的整个流程，给出代码层面的详细梳理！
用TensorRT-LLM跑通chatGLM3_6B模型
weixin_51954774的博客
02-24 2907
用TensorRT-LLM跑通chatGLM3_6B模型
TensorRT-LLM保姆级教程（二）-离线环境搭建、模型量化及推理
吃果冻不吐果冻皮
12-04 3719
接下来以Bloom模型为例，进行 TensorRT-LLM 开发实践。build.py：用于构建 TensorRT 引擎来运行Bloom模型。run.py：模型推理。：使用模型来总结 CNN Dailymail 数据集中的文章。：将HF格式的模型进行转换。支持 FP16支持 INT8 & INT4 仅权重量化支持 INT8 KV CACHE 量化支持SmoothQuant 量化支持张量并行大模型量化概述进行过简要概述，后续有时间更详细的梳理常见的一些大模型量化技术。
【nvidia】TensorRT-LLM
静谧、淡雅
04-16 1536
TensorRT-LLM
大模型部署-使用Triton+TensorRT-LLM部署ChatGLM3-6B大模型-附项目源码+流程教程-优质项目实战
10-15
它能够提供高性能、高可用性的模型推理服务，尤其适合于生产环境。Triton通过统一接口与模型仓库的概念，使得模型部署变得更加简便和标准化。在大模型部署方面，Triton能够有效管理多个模型的生命周期，支持自动扩...
大模型推理框架解析（vLLM、TensorRT-LLM、TGI 等）
技术引领业务创新
08-07 2622
大模型推理框架全面解析（摘要） 当前大模型推理面临显存墙、计算密度低等核心挑战，主流框架通过技术创新实现性能突破。vLLM采用PagedAttention和连续批处理，显存利用率超95%；TensorRT-LLM通过定制内核和量化流水线，延迟优化显著；SGLang的RadixAttention技术使多轮对话吞吐提升5倍。实测显示，TensorRT-LLM在吞吐量（3880 tokens/s）和首Token延迟（85ms）上表现最优，而SGLang在长上下文支持（256K）和显存占用（410GB）更具优势。未
大模型部署-基于TensorRT-LLM部署Qwen1.5大语言模型-附项目源码+流程教程-优质项目实战.zip
10-15
TensorRT是NVIDIA推出的一个深度学习推理优化器，它旨在提升深度学习模型在NVIDIA硬件上的性能和推理速度。TensorRT针对GPU架构进行了深度优化，能够将训练好的深度学习模型转换成高效的运行时引擎，从而在保持精度...
TensorRT-LLM——优化大型语言模型推理以实现最大性能的综合指南
知来者逆的博客
09-17 3530
TensorRT-LLM 允许您使用简单的 Python API 定义 LLM。该 API 构建一个图形表示模型，使其更容易管理 GPT 或 BERT 等 LLM 架构中涉及的复杂层。
大模型推理框架（四）TensorRT-LLM
深数研究院
01-04 1223
TensorRT-LLM是 NVIDIA 提供的一个用于优化大型语言模型（LLMs）在 NVIDIA GPU 上的推理性能的开源库。它通过一系列先进的优化技术，如量化、内核融合、动态批处理和多 GPU 支持，显著提高了 LLMs 的推理速度，与传统的基于 CPU 的方法相比，推理速度可提高多达 8 倍；
TensorRT-llm入门
weixin_40777649的博客
05-13 2904
3. int8-kv-cache量化: KV Cache 量化是指将逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。最先进的量化方法，如SmoothQuant和AWQ，在量化造成的性能损失适中时，可以有效提升性能。1. 模型量化 参考：https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/qwen。对于伦理任务，小型模型对量化的敏感性更高。
（一）TensorRT-LLM | 初探（v0.20.0rc3）
Skies_的博客
05-30 1373
TensorRT-LLM 大模型推理后端快速使用
TensorRT-LLM | 大模型部署专用框架
CV_Autobot的博客
10-21 672
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大模型部署』技术交流群编辑 | 自动驾驶之心TensorRT-LLM是NVIDIA推出的一款高性能深度学习推理优化库，专注于提升大型语言模型（LLM）在NVIDIA GPU上的推理速度和效率。如果您绕不开Nvidia的芯片，那么一定要好好了解这款推理库。项目链接：http...
TensorRT与LLM完美结合：保姆级教程带你飞
2401_84204413的博客
12-09 2131
接下来以Bloom模型为例，进行 TensorRT-LLM 开发实践。Bloom 示例中主要文件：build.py：用于构建 TensorRT 引擎来运行Bloom模型。run.py：模型推理。summarize.py：使用模型来总结 CNN Dailymail 数据集中的文章。hf_bloom_convert.py：将HF格式的模型进行转换。TensorRT-LLM 中，目前针对 Bloom 模型支持的特性如下：支持 FP16支持 INT8 & INT4 仅权重量化。
TensorRT-LLM保姆级教程（一）-快速入门
吃果冻不吐果冻皮
12-04 3131
Protobuf是一种轻量级的、高效的数据交换格式，但它在序列化和反序列化大型数据时有一个默认的大小限制。同时，它的接口和文档相对较少，用户可能需要更深入地了解其底层实现和使用方式，这对于初学者来说可能会增加学习和使用的难度。并且 FastTransformer 的生态较小，可用的资源和支持较少，这也会增加使用者在理解和应用 FastTransformer 上的困难。随着大模型的爆火，投入到生产环境的模型参数量规模也变得越来越大（从数十亿参数到千亿参数规模），从而导致大模型的推理成本急剧增加。
TensorRT-LLM 深度解析：解锁大模型极致推理性能
小钻风的博客
08-25 1431
TensorRT-LLM：NVIDIA的大模型推理加速利器 摘要：TensorRT-LLM是NVIDIA推出的高性能大语言模型推理框架，通过三级架构设计实现极致优化：1）Pythonic模型定义层保持开发灵活性；2）AOT编译层实现算子融合与内核调优；3）运行时系统支持动态批处理。核心优势包括：支持H100专属FP8量化，吞吐量达6000+tokens/s；分页KV缓存将显存碎片率从35%降至5%；相比vLLM等框架，在NVIDIA硬件上性能提升50%以上。
让我们一起走进TensorRT-LLM
helloworldchina的博客
07-02 1242
TensorRT-LLM 是 NVIDIA 开发的一款高性能大语言模型（LLM）推理优化工具，专为加速 Transformer 架构设计，可显著提升各类大语言模型（如 GPT、Llama、BERT 等）的推理速度和吞吐量。
1. Tensorrt-llm 基础
yangyu222的专栏
06-27 2477
修改/usr/local/lib/python3.10/dist-packages/tensorrt_llm/quantization/quantize.py。其中exclusive 为不想量化的decode block。转换huggince face 模型为checkpoint。同样exclusive_modules 为不想量化的层。注意： cuda 版本不必和宿主机cuda 版本一致。可以看出放弃最后几层的量化是对模型精度有略微提升的。注意：截至2024年6月建议安装0.10.0。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值