轻松部署、加速推理：TensorRT LLM 1.0 正式上线，全新易用的 Python 式运行

更简单、更快速、更开放 —— TensorRT LLM 1.0 实现了开源、可扩展的简便部署体验，同时持续推动推理性能的技术边界。

该版本采用全新架构打造，基于模块化 Python 和 PyTorch 构建，显著简化了开发与部署流程，并在 NVIDIA 平台上持续提供业界领先的大语言模型（LLM）推理性能。

全新特性：

1. 支持 PyTorch 模型创作，加速开发进程

2. 模块化的 Python 运行时，灵活度更高

3. 稳定的 LLM API，实现无缝部署

点击“阅读原文”或扫描下方二维码观看直播回放，了解更多详情：

https://www.bilibili.com/video/BV1tyxyzHEgP/?spm_id_from=333.1387.homepage.video_card.click

TensorRT LLM 1.0 现已在 GitHub 正式发布，欢迎下载体验：https://github.com/NVIDIA/TensorRT-LLM/releases/tag/v1.0.0　

TensorRT LLM 快速入门指南：

https://nvidia.github.io/TensorRT-LLM/1.2.0rc0/overview.html