sparse_transformers：提升大型语言模型推理效率的关键技术

sparse_transformers：提升大型语言模型推理效率的关键技术

sparse_transformers Sparse Inferencing for transformer based LLMs 项目地址: https://gitcode.com/gh_mirrors/sp/sparse_transformers

项目介绍

sparse_transformers 是一个开源项目，致力于通过融合稀疏矩阵乘法和上下投影在 MLP 层中的低秩权重激活，来提高大型语言模型（Large Language Models, LLM）的推理性能。该项目基于 Deja Vu 和 Apple 的 LLM in a Flash 论文，通过创新的稀疏推理技术，显著提升了模型处理速度和降低了内存消耗。

项目技术分析

sparse_transformers 的核心是稀疏矩阵运算和权重缓存技术的结合。项目使用了一种称为“差分权重缓存”的方法，能够动态地根据稀疏性选择和替换权重。以下是项目的主要技术组成：

• 稀疏选择：通过隐藏状态到 LoRA 投影的重要性评分，生成二进制掩码，并对掩码进行归一化处理。
• 差分权重缓存：利用 XOR 操作检测掩码变化，通过直接替换算法进行配对替换，并使用 torch::from_blob 引用实现零复制张量视图。
• 稀疏计算：通过融合门控和上投影操作，以及元素级激活函数和仅激活中间维度的稀疏下投影，实现高效的推理。

项目技术应用场景

sparse_transformers 的设计适用于需要高效处理大量文本数据的场景，特别是在资源受限的环境下进行大型语言模型的推理。以下是几个典型的应用场景：

• 云服务：在云平台上提供高性能的自然语言处理服务。
• 边缘计算：在边缘设备上部署轻量级的语言模型，满足实时处理的需求。
• 移动应用：为移动设备上的应用提供快速的自然语言理解和生成功能。

项目特点

sparse_transformers 的特点如下：

1. 显著的速度提升：在 Time to First Token (TTFT) 和 Tokens Per Second (TPS) 上实现了 1.6-1.8 倍的速度提升，特别是在 MLP 推理上，速度提升可达 4-5 倍。
2. 内存使用减少：通过稀疏矩阵技术，实现了 26.4% 的内存使用减少。
3. 快速的权重缓存更新：通过差分权重缓存技术，权重缓存更新速度提高了 6.7 倍。
4. 灵活的配置和扩展性：项目支持多种模型配置和不同的数据类型，包括 fp16、fp32，并计划支持 int8、int32 和 int64。

以下是项目的性能基准数据，对比了使用 sparse_transformers 和标准实现的大型语言模型 LLaMA 3.2 3B 在 CPU 和 GPU 上的表现：

CPU 性能

• TTFT：1.51 倍速度提升
• 输出生成速度：1.79 倍速度提升
• 总吞吐量：1.78 倍速度提升
• 内存使用：26.4% 减少

GPU 性能

• 平均时间（稀疏）：0.021 秒
• 平均时间（标准）：0.018 秒
• CUDA 速度提升：0.86 倍（开发中）

结论

sparse_transformers 是一个针对大型语言模型推理的高效开源解决方案。通过融合稀疏矩阵技术和高效的权重缓存机制，它能够显著提升模型推理速度并降低内存使用，适用于多种计算环境。对于需要在处理大量文本数据的同时保持资源效率的应用开发者而言，sparse_transformers 无疑是一个值得尝试的项目。

sparse_transformers Sparse Inferencing for transformer based LLMs 项目地址: https://gitcode.com/gh_mirrors/sp/sparse_transformers