TensorRT-LLM分解式服务架构深度解析

TensorRT-LLM分解式服务架构深度解析

TensorRT-LLM TensorRT-LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and build TensorRT engines that contain state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT-LLM also contains components to create Python and C++ runtimes that execute those TensorRT engines. 项目地址: https://gitcode.com/gh_mirrors/te/TensorRT-LLM

概述

TensorRT-LLM作为NVIDIA推出的高性能大语言模型推理引擎，其最新实验性功能"分解式服务"(Disaggregated-Service)为LLM推理提供了创新的架构设计。该功能将传统的端到端推理流程拆分为上下文处理(Context Phase)和生成处理(Generation Phase)两个独立阶段，允许它们运行在不同的计算资源上，从而带来更高的资源利用率和系统吞吐量。

核心概念

分解式服务架构的核心思想源自学术界提出的DistServe、SplitWise等论文，其关键技术特点包括：

1. 阶段分离：将LLM推理的上下文处理和token生成两个计算特征不同的阶段解耦
2. 资源隔离：不同阶段可以使用不同类型的硬件资源进行优化
3. KV缓存共享：上下文阶段产生的KV缓存可被后续生成阶段复用

架构设计

TensorRT-LLM通过Executor API实现了这一架构，主要包含三种请求类型：

enum class RequestType {
    REQUEST_TYPE_CONTEXT_AND_GENERATION = 0,  // 传统端到端请求
    REQUEST_TYPE_CONTEXT_ONLY = 1,            // 仅处理上下文阶段
    REREQUEST_TYPE_GENERATION_ONLY = 2         // 仅处理生成阶段
};

工作流程

1. 上下文阶段：由Context Executor处理，生成KV缓存
2. 参数传递：通过contextPhaseParams传递上下文处理结果
3. 生成阶段：Generation Executor基于KV缓存进行token生成

关键技术实现

KV缓存传输

TensorRT-LLM支持两种KV缓存传输方式：

1. MPI传输：基于CUDA-aware MPI实现
2. UCX传输：基于统一通信框架

需设置环境变量启用：

export TRTLLM_USE_MPI_KVCACHE=1
# 或
export TRTLLM_USE_UCX_KVCACHE=1

性能优化参数

系统提供多个环境变量用于调优：

# 并行传输控制
export TRTLLM_PARALLEL_CACHE_SEND=1  # 启用并行KV缓存发送
export TRTLLM_REQUEST_KV_CACHE_CONCURRENT=1  # 并发处理不同请求的KV缓存

# 内存管理
export TRTLLM_KVCACHE_TRANSFER_BUFFER_SIZE=1GB  # 传输缓冲区大小
export TRTLLM_KVCACHE_TRANSFER_USE_ASYNC_BUFFER=1  # 使用异步内存分配

# 传输优化
export TRTLLM_TRY_ZCOPY_FOR_KVCACHE_TRANSFER=1  # 尝试零拷贝传输

最佳实践

部署建议

1. 资源分配：建议为上下文和生成阶段分配不同的GPU资源
2. 引擎配置：上下文和生成阶段可以使用不同的TP/PP配置
3. 请求路由：需要实现智能的请求路由策略（如基于负载均衡）

性能调优

针对不同场景推荐的环境变量组合：

场景A：单节点高性能

export TRTLLM_KVCACHE_TRANSFER_BUFFER_SIZE=0B
export UCX_CUDA_COPY_ASYNC_MEM_TYPE=cuda
export UCX_CUDA_COPY_DMABUF=no
export UCX_MEMTYPE_CACHE=n
export UCX_RNDV_PIPELINE_ERROR_HANDLING=y

场景B：多节点部署

export TRTLLM_KVCACHE_TRANSFER_BUFFER_SIZE=2GB
export UCX_MEMTYPE_CACHE=n
export UCX_RNDV_PIPELINE_ERROR_HANDLING=y

常见问题解答

功能限制

Q: 当前版本有哪些限制？ A: 目前仅支持decoder-only模型，beamWidth必须为1，且各层的KV缓存需保持相同的数据类型和注意力头数。

部署问题

Q: 上下文和生成阶段能否使用不同配置的引擎？ A: 可以，两者的TP/PP配置可以不同，TensorRT-LLM会自动处理KV缓存的异构性。

Q: 能否在同一Executor上混合处理两种请求？ A: 技术上可行但不推荐，系统未对混合请求场景做专门优化。

性能问题

Q: 如何确认是否启用了NVLink？ A: 需检查UCX版本和配置，对于UCX<=1.17需设置特定环境变量，BlackWell架构GPU需要UCX>=1.19。

Q: 跨节点传输如何启用GPUDirect RDMA？ A: 需正确配置UCX环境变量，并建议在MPI初始化前创建CUDA上下文。

总结

TensorRT-LLM的分解式服务架构为大规模LLM推理部署提供了新的可能性。通过将计算密集型阶段解耦，用户可以更灵活地分配计算资源，优化系统吞吐量。虽然目前该功能仍处于实验阶段，但其设计理念和实现方式已经展现出良好的应用前景。随着功能的进一步完善，分解式服务有望成为LLM推理部署的重要架构选择。

TensorRT-LLM TensorRT-LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and build TensorRT engines that contain state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT-LLM also contains components to create Python and C++ runtimes that execute those TensorRT engines. 项目地址: https://gitcode.com/gh_mirrors/te/TensorRT-LLM