支持LLama3.1：
量化：
vllm git下的子项目：llm-compressor
CPU offloading
允许跑更大的模型；会变慢些；在CPU-GPU之间有NVLink的机器上，变慢的幅度小。
新增对Medusa（用1个Head并行推出好几个output tokens)和MLP-Speculor(考虑output token的上下文依赖）:
VLLM历次会议(2024.7)
最新推荐文章于 2025-02-15 09:56:45 发布
部署运行你感兴趣的模型镜像
您可能感兴趣的与本文相关的镜像
Vllm-v0.11.0
Vllm
vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值
扫一扫
468
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
