如何部署推理大模型，大模型推理原理及部署一文全解

最新推荐文章于 2025-04-20 08:00:00 发布

程序员鑫港

最新推荐文章于 2025-04-20 08:00:00 发布

阅读量982

点赞数 21

文章标签：人工智能开源数据库服务器 ai 大模型本地部署

本文链接：https://blog.youkuaiyun.com/a2875254060/article/details/146325625

版权

一、推理原理及业务痛点：

1.1. 业务场景：

针对特定任务训练出一个模型后，要将这个模型部署，以便和模型互动及集成模型到程序中。

1.2. 技术原理：

推理的本质：List item transformer结构，根据输入内容预测输出内容。
- 核心生成原理：将输入的语句以词向量的表征形式传递给神经网络，通过编码器/解码器、位置编码和自注意力机制建立单词（或字）之间的联系。
理解：从现有数据中汲取知识、提升能力的过程，而推理则是运用这些学习到的能力，迅速且高效地对未知的数据进行处理，以获得预期的结果。
流程：输入的每个单词（或字）首先会与已经编码在模型中的单词（或字）进行相关性计算，然后把这种相关性以编码的形式叠加在每个单词（或字）中。

1.3. 痛点：

总结：大模型推理要求更高的计算、存储和内存需求，以及如何确保低延迟生成推理结果。并平衡预算。

模型的推理的速度和质量如何？（过慢的推理速度会导致系统的整体运行效率降低，进而影响用户的满意度与体验感。）
为计算资源设定的预算是多少？
为了获得更快的推理速度以及更低的存储成本，愿意对模型能力做出何种妥协及权衡？

二、方案与策略：

2.1. 常见解决方法：

模型压缩和加速技术：

减小模型尺寸：在保证模型性能的前提下有效缩小模型体积，此时需要在模型性能、计算预算和延迟之间进行权衡。通过缩小模型体积，可以提高模型的加载速度和降低延迟，同时减少对计算、存储和内存资源的需求。
减少计算操作

推理服务提升技术（吞吐量、时延；两者很难兼顾）：

KV Cache：KV Cache是常用的大模型性能优化技术之一，主要采用“以空间换时间”的策略，通过提高模型推理性能来增强模型的实际应用效果。该技术在目前业界主流的大模型推理框架中得到广泛支持和应用。
将K、V等信息存储在内存中，使得它们可以在之后的每步推理中重复使用。这一方法被称为KV Cache。对于后面的计算过程，这些已计算的结果会直接从KV Cache中读取并与新的输入进行拼接，以供后续计算使用。这种方法避免了重复计算，可以大幅减少参数的计算量，提高推理效率。
尽管KV Cache能够显著提高推理性能，但值得注意的是，由于它会缓存每一轮已计算的向量，因此会占用额外的显存资源。这意味着在使用KV Cache时，我们需要权衡性能提高与显存开销之间的关系。
PagedAttention
vLLM框架使用PagedAttention注意力算法。这一算法的创新之处在于，它极大地降低了大模型服务的部署门槛，使得开发者能够以更低的成本、更高的效率将大模型服务推向市场。
在应对大量用户推理请求时，一般做法是使模型基于用户提供的输入和历史信息一次生成一个结果。但是该做法非常低效，无法充分利用GPU设备的计算能力。为了突破这一瓶颈，可以采用批处理方法，一次处理多个请求，以提升模型推理的吞吐量，但需要有效管理每个推理请求占用的内存空间。
原论文作者发现，除了模型权重参数（约占60%）及部分其他数据之外，与注意力机制相关的KV Cache占据约30%的内存。图7-8展示了模型在NVIDIAA100 GPU中推理时的显存分布情况。