Xinference+Transformers+vLLM 部署qwen2.5-72B

原创

已于 2025-03-06 10:36:04 修改 · 2.1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#transformer #深度学习 #人工智能

于 2025-01-15 16:15:24 首次发布

在使用Xinference部署qwen2.5-instruct-awq-72B-Int4时遇到的问题

分别使用了Transformer和vLLM两种框架

1.LInux环境安装好Xinference后，可以使用--log-level debug启动xinference并且打开debug模式，方便跟踪问题。

xinference-local --host 0.0.0.0 --port 9998 --log-level debug

通过上述界面可以选择模型下载。

2.RuntimeError: [address=192.168.80.41:40325, pid=4188716] Failed to download model 'qwen-chat' (size: 1_8, format: pytorch) after multiple retries

在下载模型的时候如果显示上面错误可能是因为huggingface源问题

打开debug记录显示是访问huggingface的时候网络连接错误，在xinference启动之前，先运行:

export HF_ENDPOINT="https://hf-mirror.com"

3.下载过程根据模型大小可能长达5个小时。

在启动下载好的模型后cannot import name 'shard_checkpoint' from 'transformers.modeling_utils' (/root/miniconda3/envs/xinferen

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

bagepython

关注关注

3
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Qwen2.5-Omni 大模型部署实践（六）：语音聊天的实践应用与体验

寻道AI，探索AI无限可能！

04-11

1896

在当今数字化时代，自然交互方式愈发受到人们的青睐，语音聊天作为一种便捷、高效的交互手段，正逐渐融入到各种应用场景中。Qwen2.5-Omni这款强大的多模态大模型，不仅在文本处理方面表现出色，在语音聊天领域同样展现出了卓越的能力，能够实现流畅的语音输入和输出交互。接下来，让我们深入探索如何借助Qwen2.5-Omni开启奇妙的语音聊天之旅。为了能够高效地处理音频输入，并生成准确的文本和音频输出，我们需要定义一个专门的推理函数。这个函数协调模型和各种工具，确保语音聊天任务的顺利完成。"""

开源模型应用落地-Qwen2-7B-Instruct-GPTQ-Int4与vllm-单机多卡-RTX 4090双卡（十二）

最新发布

Trb701012的博客

09-15

1371

本文详细介绍了在无网络环境下如何通过 Docker 容器实现 Xinference 大模型推理框架的离线部署。内容包括下载并保存 Docker 镜像、传输到内网服务器、加载镜像、配置启动参数以及运行大模型。文章重点解决了内网环境下模型加载和运行的技术难题，提供了完整的操作流程和参数配置说明，帮助开发者在受限网络环境中成功部署大模型服务。

使用Xinference 在mac m2 上部署模型 Qwen 7B

Angus

05-01

4403

23款 mac pro M232G内存注意，花内存比较多一些。参数规模越大，需要的内存越多。我部署了一个7B的qwen就花了16G的内存空间我使用Xinference来部署模型。这里是Xinference的安装文档。

xinference部署Qwen2.5vl-32B

m0_60304650的博客

07-03

1157

遇到的错误：如果直接安装肯定基本上会遇到llama-cpp-python这个库安装不下来的问题。

vllm多卡部署Qwen2.5-72B-Instruct-GPTQ-Int4

qq_41502855的博客

01-19

2383

3卡，tensor_parallel_size=3，tensor并行的数量一定要能被attentionheads整除。4卡，tensor_parallel_size=4，推理速度4s。双卡v10032G部署结果如下，推理时长16s。

Ubuntu22部署Qwen2.5-Omni-7B

Lilk5的博客

05-14

1128

部署Qwen2.5-Omni-7B模型，是通义千问（Qwen）系列中一个，适用于文本生成、对话理解、图像理解等任务。

从零开始实践大模型 - 模型推理

LucienShui

12-06

976

本文介绍了如何使用Qwen2.5-0.5B-Instruct模型快速启动一个模型服务，包括下载模型、安装git-lfs、使用git clone下载模型、编写推理代码、使用vLLM加速推理，并通过Docker部署服务。同时也分享了部署时的一些经验。

【xinference】（8）：在autodl上，使用xinference部署qwen1.5大模型，速度特别快，同时还支持函数调用，测试成功！

freewebsys的专栏

04-02

2201

可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。然后就可以查看全部支持的模型进行启动。启动Xinference服务。

【vllm】Qwen2.5-VL-72B-AWQ 部署记录

x66ccff

03-10

3617

【代码】【vllm】Qwen2.5-VL-AWQ 部署记录。

qwen2.5-72b-instruct部署经验（极简版）

m0_46520208的博客

05-08

4200

不太明白什么意思，似乎打开之后每张卡会有 1~3 GB 的额外显存占用，用来存储某种东西。：OpenAI 的 Python 库强制要求使用 API-key，如果不使用会拒绝请求。此处可以随便填写，不需要遵循 OpenAI 的 API-key 命名规则。：最大的位置嵌入（max_position_embedding）长度，Qwen 系列的默认值是 32768。：提供的 OpenAI 风格的 API 能够接受的模型名称。：张量并行的路数，可以简单地理解为使用多少张卡来推理。：监听的主机名，一般是。

大模型部署到底该用啥框架？vLLM、SGLang这些，一文给你捋清楚！

m0_65555479的博客

07-28

1345

本文系统评测了主流大语言模型推理框架（vLLM、SGLang、TensorRT-LLM等），从核心技术、性能指标、适用场景等维度进行对比分析。vLLM凭借PagedAttention和连续批处理技术实现高吞吐，TensorRT-LLM在低延迟场景表现优异，SGLang擅长结构化输出和多轮对话，Ollama适合本地轻量部署，XInference和LightLLM则分别侧重分布式和边缘计算。针对国产硬件，昇腾框架和LMDeploy提供了优化方案，支持多模态任务。文章指出，框架选择需综合考虑业务需求、硬件资源和扩

关于 vLLM 和 Xinference 对本地模型的分布式部署支持说明

学亮编程手记

03-28

2056

（张量并行）实现多GPU分布式推理，适用于大模型（如 Qwen2-72B）的本地部署。，可通过 Kubernetes 或 Docker Swarm 扩展，适合大规模生产环境。Xinference 支持。

vLLM 和 Xinference、Ollama 对 .safetensors 和 .gguf 格式的支持对比

学亮编程手记

03-28

4128

格式的模型加载（尤其是 Transformer 架构的模型）。文件的目录，例如将 Lora 微调后的适配器与基础模型结合使用。例如，在 CPU 或 Apple M 芯片上运行时，Xinference 可通过内存映射（mmap）高效加载量化后的。例如，在 AMD GPU 上使用 ROCm 后端时，vLLM 能高效运行量化后的。Xinference 通过集成 Hugging Face 生态，默认支持。命令，并指定模型路径。显式指定格式，并搭配对应的量化参数（如。直接加载此类文件，例如在部署时使用。

vllm多卡部署qwen2.5-72b-instruct

xuebodx0923的博客

02-23

3136

1. 介绍1.1 vllmvLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值。vLLM的特点和优势：采用了 PagedAttention，可以有效管理 attention 的 keys、values。vllm多卡部署qwen2.5-72b-instru

基于vllm和xinference本地化部署GraphRAG

weixin_46133588的博客

03-24

2441

基于VLLM和xinference私有化部署graphrag

LLM多GPU的分布式推理框架: Xinference和vLLM

学亮编程手记

08-23

979

工具/框架核心优势分布式集成方式易用性适合场景Xinference开箱即用的分布式，一体化解决方案原生主从架构，自动调度高快速搭建私有模型集群，兼顾开发和生产vLLM极致性能和高吞吐量需手动部署多个实例 + Nginx 负载均衡中生产环境高并发推理的首选基石TGIHuggingFace 生态首选需手动部署多个实例 + Nginx 负载均衡中部署 Hugging Face 家族的模型NVIDIA 硬件极致优化原生支持多机多卡模型并行低对延迟和效率有极端要求的NVIDIA环境。

docker vllm部署qwen2.5-72b-instruct

03-25

### 使用 Docker 和 vLLM 部署 Qwen2.5-72B-Instruct 模型为了实现通过 Docker 和 vLLM 来部署 Qwen2.5-72B-Instruct 多模态视觉大模型，以下是详细的说明： #### 准备工作在开始之前，请确保已安装并配置好以下工具和环境： 1. **Docker**：用于容器化运行模型服务。 2. **NVIDIA GPU 及驱动程序**：Qwen2.5 是基于 CUDA 的深度学习框架，因此需要支持 NVIDIA GPU 加速[^1]。 3. **Python 环境 (推荐 Python 3.9 或以上)**。 --- #### 安装依赖项首先，在主机上创建一个新的目录作为项目根路径，并初始化必要的文件结构。接着下载或克隆 `vLLM` 库到本地机器中。可以通过以下命令完成操作： ```bash git clone https://github.com/vllm-project/vllm.git cd vllm pip install -r requirements.txt ``` 由于 Qwen2.5-72B-Instruct 属于超大规模参数量的多模态预训练模型，其推理过程可能涉及大量的显存占用以及计算资源需求。所以建议使用至少具备 A100 或 V100 类似性能级别的硬件设备来执行此任务。 --- #### 构建自定义镜像编写一份适合当前场景使用的 Dockerfile 文件内容如下所示： ```dockerfile FROM nvidia/cuda:12.1.1-cudnn8-devel-ubuntu22.04 # 设置工作目录 WORKDIR /app # 安装基础包 RUN apt-get update && \ DEBIAN_FRONTEND=noninteractive apt-get install -y --no-install-recommends \ python3-pip git build-essential libjpeg-dev zlib1g-dev ffmpeg && \ rm -rf /var/lib/apt/lists/* # 升级 pip 并安装依赖库 COPY . . RUN pip install --upgrade pip && pip install -e . # 将权重加载至指定位置 ENV MODEL_PATH=/models/qwen_2_5_vl/ VOLUME ${MODEL_PATH} CMD ["python", "-m", "vllm.entrypoints.api_server"] ``` 上述脚本会构建一个基于 Ubuntu 22.04 LTS 的开发环境，并集成最新版本的 PyTorch 和 Transformers SDKs 支持。 --- #### 启动容器实例当成功建立定制化的 docker image 后，则可以利用下面给出的一系列指令快速启动关联的服务端口映射关系： ```bash docker run -it --rm \ --name qwen-vllm-server \ --gpus all \ -e MODEL_NAME="qwen/Qwen2.5-VL" \ -v $(pwd)/weights:/models/qwen_2_5_vl/ \ -p 8000:8000 your_docker_image_name ``` 这里需要注意的是 `-v` 参数指定了宿主机上的实际存储路径与容器内部相对应的目标地址之间的绑定方式；而 `your_docker_image_name` 则替换为你自己所生成的具体镜像名称标签。 --- #### 测试 API 接口功能最后一步就是验证整个系统的正常运作状态了。打开浏览器或者 Postman 工具访问 http://localhost:8000/docs 地址查看 Swagger UI 文档界面，按照提示输入相应的 JSON 数据格式请求即可获得预期的结果反馈信息。 ```json { "prompt": "描述一张图片的内容。", "max_tokens": 50, "temperature": 0.7 } ``` --- ### 注意事项尽管本文提供了关于如何借助 Docker 技术配合 vLLM 开源项目高效部署 Qwen2.5-72B-Instruct 模型的方法论指导，但在实践过程中仍需密切关注以下几个方面的问题： - 显卡内存容量是否充足； - 是否正确设置了环境变量以匹配目标架构特性； - 对外部网络连接是否有额外的安全防护措施加以限制等等。