【vLLM 学习】使用 XPU 安装

【总结篇】LLM推理环境安装部署全指南 本文介绍了安装WSL2、Ubuntu、NVIDIA显卡驱动、CUDA 12.4.1、cuDNN的方法及Xinference、vLLM、SGLang等推理框架的部署使用方法。本文适用于NVIDIA显卡用户,建议GPU架构为Turing或更新(对应RTX 20系或以上)。 阅读详情

vLLM 是一款专为大语言模型推理加速而设计的框架,实现了 KV 缓存内存几乎零浪费,解决了内存管理瓶颈问题。

更多 vLLM 中文文档及教程可访问 →https://vllm.hyper.ai/

vLLM 最初在 Intel GPU 平台上支持基本模型推理和服务。

  1. 依赖环境
  2. 使用 Dockerfile 快速开始
  3. 从源代码构建

依赖环境​

  • 操作系统:Linux
  • 支持的硬件:英特尔数据中心 GPU(英特尔 ARC GPU WIP)
  • OneAPI 要求:oneAPI 2024.1

使用 Dockerfile 快速开始​

docker build -f Dockerfile.xpu -t vllm-xpu-env --shm-size=4g .
docker run -it \
             --rm \
             --network=host \
             --device /dev/dri \
             -v /dev/dri/by-path:/dev/dri/by-path \
             vllm-xpu-env

从源代码构建​

  • 首先,安装所需的驱动程序和 intel OneAPI 2024.1 (或更高版本)。
  • 其次,安装用于 vLLM XPU 后端构建的 Python 包:
source /opt/intel/oneapi/setvars.sh
pip install --upgrade pip
pip install -v -r requirements-xpu.txt 
  • 最后,构建并安装 vLLM XPU 后端:
VLLM_TARGET_DEVICE=xpu python setup.py install

注意

  • FP16 是当前 XPU 后端的默认数据类型,未来将支持 BF16 数据类型。
本地部署 vllm 阅读详情

相关推荐

vllm --安装vllm

默认使用HuggingFace.容易下载超时。所以就按照上述命令来本地下载模型,下载模型成功后即可与模型交流。出现导入模块错误,安装正确版本的模块即可。使用conda安装,前提安装conda。安装modelscope库。.(确定GPU可用)

m0_50920058的博客 1462

vLLM :安装及部署大模型详解

vLLM是一个高效的LLM推理库,支持多种模型和GPU加速。安装要求包括NVIDIA GPU(16GB+显存)、CUDA 11.8/12.1和16GB内存,可通过pip或源码安装。部署时需要下载模型到本地并配置参数。常见问题包括依赖缺失(推荐使用Python 3.10和指定版本PyTorch)和CUDA问题(需正确安装驱动、CUDA并配置环境变量)。官网提供详细安装指南和问题解决方案。

weixin_67327688的博客 5622

昆仑芯XPU适配GLM-4与vLLM/SGLang全栈实践

大模型推理框架(如vLLM、SGLang)是当前AI工程落地的核心基础设施,其性能与硬件协同能力直接决定服务延迟、吞吐与成本。vLLM凭借PagedAttention内存管理显著降低显存开销,SGLang则以原生Function Calling支持复杂AI应用编排;而国产AI加速芯片(如昆仑芯XPU)需突破驱动层兼容、算子支持、内存调度等多重瓶颈,才能真正承载GLM系列等高性能开源大模型。本文聚焦国产AI全栈协同的关键技术路径——从XPU架构特性(重数据流、重稀疏、重片上存储)出发,解析其与vLLM内存管理

weixin_30379531的博客 454

【实战指南】vLLM框架安装教程:从零开始快速部署大语言模型推理加速

在大语言模型(LLM)应用开发中,高效的推理框架至关重要。vLLM作为一款专为LLM优化的开源推理引擎,通过创新的技术可实现高达30倍的吞吐量提升。本文将手把手教你完成vLLM的完整安装流程,助你快速开启高效推理之旅!

qq_48843534的博客 3964

昆仑芯XPU优化大模型推理:性能提升3倍

AI加速芯片作为提升大模型推理效率的核心硬件,其架构设计直接影响计算密度和能效比。昆仑芯XPU作为国产自研芯片,通过专用脉动阵列和动态指令调度机制,在transformer类模型上展现出显著优势。在工程实践中,结合SGLang和vLLM等推理框架的深度优化,实现了算子融合、混合精度计算等关键技术突破。实际部署GLM-4模型时,单卡推理速度提升3倍的同时降低60%能耗,特别适合长序列生成和高并发场景。这种异构计算方案为千亿参数大模型的落地提供了新的可能性。

weixin_34082854的博客 424

昆仑芯XPU+GLM-4+SGLang/vLLM国产AI推理全栈适配实践

大模型推理引擎是AI基础设施的核心组件,其性能与兼容性直接决定应用落地效率。vLLM凭借PagedAttention实现高吞吐,SGLang通过结构化任务调度支持复杂Agent工作流,二者已成为开源推理事实标准。在国产化替代背景下,硬件适配不再仅是驱动层兼容,更需芯片微架构(如昆仑芯XPU的异构内存、INT4张量核心)与框架调度逻辑(如vLLM的页表管理、SGLang的状态一致性)深度协同。本文聚焦GLM-4系列模型在昆仑芯XPU上的真实落地,详解量化策略、运行时配置与软硬协同优化路径,覆盖从INT4分层精

weixin_30892037的博客 446

vLLM Intel XPU 部署实战:环境准备、安装方式与分布式推理配置指南

本文基于 vLLM 官方安装文档的 Intel XPU 章节,系统讲解如何在 Intel 数据中心 GPU 与 Intel Arc GPU 上部署 vLLM。全文覆盖软硬件前提、预编译 Wheel 与源码编译两种 Python 安装路径、官方 Docker 镜像的使用与自建镜像方法,并深入剖析 XPU 平台的张量并行 / 流水线并行推理配置以及 torch-ccl / xccl 分布式后端的选择逻

gitblog_00545的博客 858

vLLM在Ascend上的适配解析

通过图片可以看到,vllm-ascend plugin使Ascend社区开发的能够让大模型推理框架vLLM无缝运行在华为NPU上的硬件后端插件。Plugin方法优点类似于面向对象思想当中的继承和多态,官方考虑通用性和定义框架标准(父类),由Ascend通过继承PlatForm,自己实现Worker、ModelRunner、AttentionBackend等子类。Ascend通过优化,将vLLM的核心计算图对接到了自己的CANN算子库上。

weixin_43549643的博客 3717

vLLM 在 Intel® GPU(XPU)平台上的部署与模型支持实践指南

本指南以 [docs/models/hardware_supported_models/xpu.md](https://link.gitcode.com/i/36c953c65ce74466a62dc9df8a987ccf) 为主线,系统梳理 vLLM 在 Intel GPU(XPU)硬件上的官方验证范围、推荐模型矩阵(文本 / 多模态 / 向量与重排)及相应的数据精度(BF16、Online F

gitblog_01061的博客 477

DeepSeek V4推理优化:昆仑芯XPU与NVIDIA GPU的算力成本权衡

大模型推理正从‘能跑’迈向‘高效稳跑’,核心挑战在于算力架构与模型结构的深度协同。当模型引入动态稀疏注意力、200K上下文等新特性,通用CUDA库的统计平均优化逐渐失效,显存带宽、计算单元利用率和功耗成为瓶颈。此时,Kernel级硬件定制(如昆仑芯XPU的SPARSE_ATTENTION指令)与全栈编译器协同,可实现延迟降低2.45倍、推理成本下降37%的技术价值。该路径广泛应用于金融文本生成、长文档摘要等低延迟高确定性场景。DeepSeek V4正是这一范式的典型实践——它并非禁用英伟达GPU,而是通过架

weixin_26950847的博客 270

vllm专题(一):安装-GPU

vLLM 是一个 Python 库,支持以下 GPU 变体。vLLM 包含预编译的 C++ 和 CUDA(12.1)二进制文件。vLLM 支持配备 ROCm 6.3 的 AMD GPU。此设备没有预构建的 wheel 包,因此您必须使用预构建的 Docker 镜像或从源代码构建 vLLM。vLLM 初步支持在 Intel GPU 平台上进行基本模型推理和服务。此设备没有预构建的 wheel 包或镜像,因此您必须从源代码构建 vLLM。

1300

国产昆仑芯XPU实战:vLLM-Kunlun插件部署Qwen3.6大模型全流程

本文详细记录了在昆仑芯P800加速卡上部署Qwen3.6-35B-A3B大语言模型的全过程。通过Docker容器配置、vLLM-Kunlun插件编译安装、定制版XPU-PyTorch部署及关键补丁应用等步骤,最终实现模型推理服务的成功启动。实测表明,单张96GB显存的P800可流畅运行MoE架构的35B参数模型,验证了国产AI加速卡在大模型推理场景下的可行性。文章提供了完整的操作流程和避坑指南,包括环境变量配置、容器参数优化等关键细节,为国产硬件的大模型部署提供了实用参考。

qq_62652984的博客 2127

MobaXterm结合SSH密钥对安全连接阿里云ECS的实战教程

本文详细介绍了如何使用MobaXterm结合SSH密钥对安全连接阿里云ECS的实战教程。通过对比传统密码登录的风险,重点讲解了密钥对的生成与配置、阿里云控制台的密钥绑定技巧,以及MobaXterm的高级设置和故障排查方法,帮助用户实现高效、安全的远程连接。

weixin_29208327的博客 469

百度百舸基于昆仑芯 XPU 完成 GLM-4.x 在 SGLang 与 vLLM 上的适配落地

研发团队通过 torch_xray 精度对齐工具,对 GLM-4.x 系列语言模型在昆仑芯平台上的推理过程进行逐层、逐算子的数值对齐,一旦发现精度异常,迅速结合代码判断,可以快速定位和解决精度异常的原因,从而确保 XPU 平台的模型输出与 GPU 平台保持一致;通过双推理框架的适配实践、插件化的高效迭代机制,以及覆盖推理流程全链路的系统级优化能力,GLM-4.x 系列语言模型在昆仑芯 XPU 平台上,在保持推理精度与 GPU 平台一致的前提下,实现了稳定且高效的推理性能表现,充分发挥了硬件性能。

2301_82040283的博客 914

电子技术——共栅和共源共栅放大器的高频响应

我们在之前学过无论是是CS放大器还是CE放大器,都可以看做是一个带通(IC低通)滤波器。在高频处的响应收到输入电容 $C_{in}$ 的限制(主要是米勒效应)。因此,若想扩大放大器的带宽,我们必须减小米勒效应,一种方案就是共栅放大器。

jiahonghao2002的博客 4186

Brim与ZUI协同安装指南:从下载到流量分析实战

本文提供Brim与ZUI协同安装与实战指南,详细讲解从下载、环境变量配置到流量分析的全流程。通过将PCAP文件转换为ZNG格式,结合直观的Zed查询语言,这套组合能极大提升大型网络数据包的分析效率,是网络安全与运维人员进行高效流量分析的利器。

metal的博客 462

百度百舸 X 昆仑芯 | 开源 vLLM-Kunlun Plugin,快速适配新模型、跑出极致性能

为解决国产芯片部署开源大模型的效率与性能瓶颈,百度百舸联合昆仑芯正式推出 vLLM-Kunlun Plugin —— 一款面向百度昆仑芯 XPU 的高性能 vLLM 平台插件,该 Plugin 现已全面开源。同时,项目同步开放了配套工具链,包括用于算子精度验证的与支持性能剖析的,助力开发者高效完成模型迁移、调试与优化。欢迎访问以下地址获取资源:torch_xray。

2301_82040283的博客 1470

Plant Simulation新手入门:5步搞定生产线物流仿真(附模型库使用技巧)

本文为Plant Simulation新手提供了从零开始构建生产线物流仿真的五步入门指南。通过理念重塑、流程规划、对象连接、参数设置到数据分析的完整流程,帮助用户快速掌握这一强大仿真工具的核心逻辑。文章特别强调了模型库的高效使用技巧,助力工程师在虚拟环境中精准模拟和优化生产系统,提升规划效率。

efc123456的博客 336

vLLM-Kunlun:国产芯片高效推理新方案

生态兼容性:基于开源标准,无缝集成vLLM生态性能卓越性:深度优化融合算子,达到极致推理性能适配敏捷性:复杂模型2天内完成全流程部署工具完整性:提供从开发到调试的全链路工具支持国产化价值:推动国产AI芯片在大模型领域的技术突破该项目的开源发布标志着国产AI基础设施在软硬协同优化方面达到了新的高度,为国内大模型产业的发展提供了坚实的技术底座。

m0_55193386的博客 1049

滤波器设计实战:Filter Solutions软件从入门到精通

本文是Filter Solutions滤波器设计软件的实战指南,从入门到精通。通过设计一个低通数字滤波器的完整流程,详细讲解了参数设置、FIR/IIR选择、窗函数及逼近函数应用。文章重点介绍了如何利用这款经典工具高效完成滤波器设计、性能权衡,并将设计成果导出至MATLAB等平台进行实际验证与应用,是信号处理工程师提升效率的实用参考。

weixin_29095049的博客 534

深入博通PEX89000内部:那颗ARM CPU和Synthetic Mode到底能玩出什么花样?

本文深入解析博通PEX89000系列PCIe交换芯片内置的ARM CPU与Synthetic Mode技术,揭示其在AI计算和数据中心的智能潜能。通过ARM Cortex CPU的实时控制和Synthetic Mode的自治网络功能,PEX89000实现了GPU集群的动态拓扑重组和资源池化,大幅提升AI训练效率。文章还探讨了该技术在软件定义数据平面和弹性AI架构中的创新应用。

weixin_30776273的博客 217

MinerU 如何在昆仑芯 Kunlunxin 上构建 vllm 镜像并启动 MinerU 容器

如果你需要在昆仑芯(Kunlunxin)加速卡上运行 MinerU,官方文档给出了完整的部署路径:先用仓库提供的 Dockerfile 构建一个包含 vLLM 推理环境的镜像,再用 `docker run` 把 XPU 设备映射进容器,进入交互式终端后即可直接执行 `mineru` 相关命令。该方案在 Ubuntu 22.04.5 LTS + Intel x86-64 + P800 加速卡、doc

gitblog_01073的博客 428

芯片ATE测试PAT(Part Average Testing)学习总结-20250916

文章摘要:零件平均测试(PAT)是半导体制造中基于统计学的质量控制方法,分为静态和动态两种类型。静态PAT通过预先设定的固定限值(每6-8批次更新)筛选异常芯片,计算采用稳健平均值和四分位间距。动态PAT则根据实时数据调整限值,能更精确识别异常而不误判合格芯片。两种方法均采用"均值±6倍标准差"的计算公式,但动态PAT具有更好的适应性和准确性。该方法通过统计分析提高了芯片产品的质量和可靠性。

歌颂苦难的行为是无耻的; 1194

vLLM GPU 安装 — Pre-built Wheels AND Build From Source

vLLM 是一个面向高性能 LLM 推理的库,支持多种 GPU 平台(NVIDIA CUDA / AMD ROCm / Intel XPU)。它会:查找当前分支对应的 base commit,下载对应的预编译 wheel,并将其编译库用于本地开发,从而不用重新编译 kernel。场景:你要修改 C++/CUDA kernel 或者需要针对特定平台(aarch64/GH200)做定制。场景:你只需要使用 vLLM(不改 C++/CUDA)。注意:如果你改动了 C++/CUDA,那么必须做完整源码编译。

do better. 2707

【Altium Designer】Off grid pin解决方法

​今天我画完原理图编译时,出现了太多的黄色(出现warning警告提示)Off grid pin警告,这个警告并不是原理图电气连接出问题了,而是元器件或器件PIN脚没有和栅格对齐造成的原因。再编译还是出现这个警告。 最后经过不断翻阅网上经验和实践,才最终解决,本经验详细记录了解决该警告的有效方法。 解决方案:以下是问题解决步骤... ​

夜半少年的博客 7552

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

昆仑芯XPU适配GLM-4推理:从能跑到敢用的工程闭环

大语言模型推理框架适配,本质是计算图、内存带宽与硬件特性的深度协同。理解vLLM的PagedAttention原理和SGLang的MQA感知机制,是释放国产XPU算力的关键;而LayerNorm数值稳定性、RoPE相位偏移、Softmax梯度消失等精度问题,则直指FP16/INT4混合精度下的底层计算图重构需求。这类技术实践不仅支撑GLM-4在昆仑芯XPU上的低延迟高吞吐商用落地,更代表国产AI基础设施在模型、芯片、云平台与推理中间件四层栈中实现端到端工程可行性的重要里程碑。

weixin_34034261的博客 314

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

上一篇: 准确率远超初级皮肤科医生,北大国际医院等开发深度学习算法,实现痤疮病变检测与分级
下一篇: AlphaFold应用新里程碑!剑桥大学团队提出AlphaFold-Metainference,精准预测无序蛋白质结构集合
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值