vLLM+Qwen-32B+Open Web UI构建本地私有大模型

最新推荐文章于 2025-10-17 11:38:18 发布
原创 最新推荐文章于 2025-10-17 11:38:18 发布 · 1.9k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#前端 #ui #机器人 #安全 #langchain #低代码 #人工智能

部署运行你感兴趣的模型镜像
1. vLLM简介

vLLM（Vectorized Large Language Model Serving System）是由加州大学伯克利分校团队开发的高性能、易扩展的大语言模型（LLM）推理引擎，专注于通过创新的内存管理和计算优化技术实现高吞吐、低延迟、低成本的模型服务。vLLM采用PagedAttention内存管理技术，显著提升GPU显存利用率，同时支持分布式推理，能高效利用多机多卡资源。无论是低延迟、高吞吐的在线服务，还是资源受限的边缘部署场景，vLLM 都能提供卓越的性能表现。

  • 中文站点：https://vllm.hyper.ai/docs/

  • 英文站点：https://docs.vllm.ai/en/latest/index.html

2. ModelScope简介

ModelScope‌是一个由阿里巴巴集团推出的开源模型即服务（MaaS）平台，旨在简化模型应用的过程，为AI开发者提供灵活、易用、低成本的一站式模型服务产品。该平台汇集了多种最先进的机器学习模型，涵盖自然语言处理、计算机视觉、语音识别等多个领域，并提供丰富的API接口和工具，使开发人员能够轻松地集成和使用这些模型。‌

  • 官方网站：https://modelscope.cn/models
安装ModelScope
pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
创建存储目录
mkdir -p /data/Qwen/models/Qwen-32B
下载QwQ-32B模型
modelscope download --local_dir /data/Qwen/models/Qwen-32B --model Qwen/QWQ-32B
3. 启用与优化NVIDIA GPU
更新软件包列表
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
配置NVIDIA容器运行时
sudo nvidia-ctk runtime configure --runtime=docker
重启服务
sudo systemctl daemon-reload && sudo systemctl restart docker
4. 运行vLLM容器
拉取镜像
docker pull docker.1panel.live/vllm/vllm-openai
启动vLLM容器
docker run -itd --restart=always --name Qwen-32B \`  `-v /data/Qwen:/data \`  `-p 18005:8000 \`  `--gpus '"device=1,2,3,4"' \`  `--ipc=host --shm-size=16g \`  `vllm/vllm-openai:latest \`  `--dtype bfloat16 \`  `--served-model-name Qwen-32B \`  `--model "/data/models/Qwen-32B" \`  `--tensor-parallel-size 4 \`  `--gpu-memory-utilization 0.95 \`  `--max-model-len 81920 \`  `--api-key token-abc123 \`  `--enforce-eager
Docker命令参数解析详解

  • -i（interactive）：允许用户与容器进行交互，即使容器不在前台运行。用户可以通过docker logs或docker attach命令查看容器的输出日志

  • -t（tty）：分配一个伪TTY（虚拟终端）到容器，模拟终端环境。

  • -d（detach：在后台运行容器，不占用当前终端。

  • –restart=always：设置容器在主机重启或容器退出后自动重启。

  • –name Qwen-32B：为容器指定一个唯一的名称。

  • -v /data/Qwen:/data：将宿主机上的/data/Qwen目录挂载到容器内的/data目录。避免容器重启或删除而导致的数据丢失问题。

  • -p 18005:8000：将宿主机的18005端口映射到容器内的8000端口。

  • –gpus ‘“device=1,2,3,4”’：指定容器使用宿主机上的GPU设备1、2、3、4。

  • –ipc=host：共享宿主机的IPC（进程间通信）命名空间，允许容器与宿主机的进程进行通信。

VLLM模型启动参数

  • –dtype bfloat16：指定使用bfloat16（Brain Floating Point 16）进行模型计算。

  • –served-model-name Qwen-32B：设置模型的服务名称为“Qwen-32B”，用于API请求时的模型标识。

  • –model “/data/models/Qwen-32B”：指定模型文件的路径为容器内的/data/models/Qwen-32B。

  • –tensor-parallel-size 4：设置张量并行的规模为4，对应使用4块GPU进行模型并行计算。

  • –gpu-memory-utilization 0.85：设置GPU内存使用率为85%，预留15%的内存空间，防止因内存溢出导致的程序崩溃。

  • –max-model-len 81920：指定模型的最大上下文长度为81920 Token。模型在单次推理中可以处理的输入和输出的总Token数不超过81920个。

  • –api-key token-abc123：设置API访问密钥为“token-abc123”，调用API时需要在请求头中提供此密钥。

  • –enforce-eager：启用Eager执行模式，确保模型推理时逐层计算，避免由于延迟执行可能引发的内存问题。

5. Open Web UI部署
拉取open-webui镜像
docker pull ghcr.nju.edu.cn/open-webui/open-webui:main
启动Open Web UI
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \`  `-v /data/open-webui:/app/backend/data \`  `--name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
访问Web界面

浏览器访问：http://localhost:3000

管理员面板–外部链接–新建模型连接

模型ID留空即可自动从/v1/models接口中获取，开启新对面默认选择DeepSeek-R1-Distill-Llama-70B模型

开启新对话

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

您可能感兴趣的与本文相关的镜像

Vllm-v0.11.0

Vllm-v0.11.0

Vllm

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值

训练和部署Qwen2.5，实战教程步骤，训练qwen2.5教程，vLLM，Open WebUI，LLaMA-Factory
q742971636的博客
11-01 1986
Qwen2.5多规模模型：提供从 0.5B 到 72B 参数规模的模型，满足不同需求。强大的语言理解和生成能力：在文本生成、对话、问答等任务上表现出色。开源友好：模型和代码在上公开，方便开发者下载和使用。通过本教程，您应该已经了解了如何下载、部署和训练 Qwen2.5 模型。无论是直接调用 API，还是通过前端界面与模型交互，都可以帮助您更好地利用 Qwen2.5 的强大功能。如果您需要对模型进行微调，LLaMA-Factory 提供了便捷的工具链，助您快速实现自定义需求。
详细！离线部署大模型：ollama+deepseek+open-webui安装使用方法及常见问题解决
02-20 1109
通过以上内容，我们了解了 ollama 在国内环境下的安装使用方法，并介绍了因为国内网络特色导致安装过程可能会遇到的常见问题及解决办法。希望这些内容对你有所帮助，如果你有任何问题或建议，欢迎在评论区留言交流。• ollama 官方站：https://ollama.com• ollama 中文站：https://ollama.org.cn• ollama 入门：https://ollama.readthedocs.io/quickstart/
【LLM】在PAI-DSW上使用 vLLM + Open-WebUI 部署Qwen2.5
m0_74824123的博客
12-11 2686
最近在玩LLM，听闻PAI-DSW有三个月免费试用，试了一下感觉还不错，就是有一些学习成本。刚通过vllm+open-webui成功部署了Qwen2.5-7B-Instruct，也是摸索了一段时间，记录一下以便需要使用同样方案的朋友们节省时间，迅速上手。简便起见，本文所有安装均使用pip工具，不使用docker。
【大模型部署实战】VLLM+OpenWebUI实现DeepSeek模型部署
AI浩
03-16 3577
vLLM（Very Large Language Model Serving）是由加州大学伯克利分校团队开发的高性能、低延迟大语言模型（LLM）推理和服务框架。其核心创新在于，通过将注意力键值（KV）缓存分页管理，显著提升显存利用率并降低碎片化问题，使吞吐量比传统框架（如Hugging Face Transformers）提升24倍。该框架支持和，能够高效处理8k+长上下文请求，并兼容OpenAI API接口，开发者可快速部署Hugging Face模型。
【必藏教程】DeepSeek大模型部署全流程：vLLM+OpenWebUI环境配置详解，打造你的专属AI智能助手
最新发布
datian1234的博客
10-17 1068
文章详细介绍了在Ubuntu 22.04系统上使用8×NVIDIA H20 GPU部署DeepSeek大模型的环境准备工作，包括安装GPU驱动、CUDA、nvidia-fabricmanager以支持NVLink通信，以及配置Docker和NVIDIA Container Toolkit环境。最后通过ModelScope下载DeepSeek-R1-Distill-Qwen-32B模型权重，为后续使用vLLM+OpenWebUI容器化部署DeepSeek大模型做好准备。
红帽 AI 推理服务（vLLM）- 运行本地的模型
多恩斯基的博客
08-15 367
【代码】红帽 AI 推理服务（vLLM）- 运行本地的模型。
Linux环境下使用vLLM部署本地大模型
剑飞的架构思维
02-07 7419
通过以上步骤，您可以在Linux环境下成功部署vLLM并运行大模型服务。在实际操作中，可能需要根据具体的vLLM版本和模型文件进行调整和优化。后续的步骤3和步骤4将依赖于该服务进行测试，因此请务必不要关闭此终端窗口。下载成功后，模型文件会保存在./model/qwen2_5-1_5b-instruct文件夹下。本课程实验环境需与微调章节保持一致，确保在GPU环境下执行模型部署操作。如果你希望在后台持续运行服务而不受终端窗口关闭的影响，可以使用这条命令。下载开源模型进行部署，暂不在此演示。
vllm 本地大模型加速推理
jieshenai的博客
04-11 3609
使用 modelscope 的 chatglm3-6B，调用 vllm 加速推理，推理速度快很多；我的显卡显存为 24G；chatglm3-6B，如果不用vllm，我的显存不够，必须使用half才能放进显存；使用 vllm 后，vllm 加载的大模型模型权重占用空间会小一点；不使用half，恰好能放进我的显存空间；
手把手教你私有化部署带聊天界面的DeepSeek-32b-----Linux版
ltbweber的博客
02-08 2340
手把手教你搭建基于Linux云服务的DeepSeek
十分钟让你学会微调LLM大语言模型_text-generation-webui微调训练
lhx17673139267的博客
07-16 885
有同学给我留言说想知道怎么训练自己的大语言模型，让它更贴合自己的业务场景。完整的大语言模型训练成本比较高昂，不是我们业余玩家能搞的，如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。本文就来介绍一种大语言模型微调的方法，使用的工具是我最近在用的 Text Generation WebUI，它提供了一个训练LoRA的功能。
Windows环境中Cursor远程访问QWQ32B模型的网络穿透技术应用
2301_79855962的博客
06-14 717
本研究提出一种基于Windows系统的智能开发环境构建策略，通过集成Cursor代码辅助平台、Ollama模型部署架构及cpolar内网穿透工具，实现千问QwQ-32B大模型的私有化远程服务架构。该体系由三个核心单元构成：首先通过Ollama平台实现QwQ-32B模型的本地实施；其次构建符合OPENAI API标准的模型调用接口；最终运用内网穿透技术突破局域网限制，创建可远程访问的服务端。在技术优化层面，Cursor作为主流AI编程工具存在两个固有局限：一是依赖公网模型接口进行交互；
vLLM + Open-WebUI 本地私有化部署 DeepSeek-R1-Distill-Qwen-32B 方案
小毕超博客
03-07 4427
vLLM是一个快速且易于使用的大模型库，专为大模型的推理和部署而设计。可以无缝集成 HuggingFace、Modelscope 上的模型。Open WebUI是一个开源的、可扩展的、功能丰富的自托管AI平台，旨在完全离线运行。它主要设计用于与大型语言模型（LLMs）进行交互，支持多种模型和API，提供了直观的图形用户界面，使得用户可以更方便地管理和运行模型。通过 vLLM+Open WebUI快速部署DeepSeek-R1-Distill-Qwen-14B模型。
vLLM + Open WebUI 本地部署 QwQ-32B 模型
weixin_51609751的博客
03-12 1565
QwQ 是 Qwen 系列的推理模型。与传统的指令调优模型相比，能够思考和推理的 QwQ 可以在下游任务中实现显着增强的性能，尤其是难题。QwQ-32B 是中型推理模型，能够实现与最先进的推理模型（如 DeepSeek-R1、o1-mini）相比的竞争性能。
【自然语言处理与大模型】vLLM部署本地大模型①
qq_39780701的博客
12-18 2176
本文记录我个人在使用vllm部署私有大模型的时候遇到的困难和详细部署过程。
vllm部署QwQ32B(满精度)
hbkybkzw的博客
03-24 3738
Ollama是一个轻量级的开源LLM推理框架，注重简单易用和本地部署，而VLLM是一个专注于高效推理的开源大型语言模型推理引擎，适合开发者在实际应用中集成和使用。两者的主要区别在于Ollama更注重为用户提供多种模型选择和易用性，而VLLM更注重模型推理性能的优化。所以VLLM更适合企业级的高并发需求。vllm的github地址QwQ32B硬件要求Q4_K_M量化，大概需要22G左右够用，一张3090或者4090即可，魔改2080ti 的 22G 显存差不多够用。
DeepSeek-R1本机部署（VLLM+OpenWebUI）
weixin_59534602的博客
02-12 5508
VLLM本机部署DeepSeek-R1的不同参数量化模型，并配置可视化WebUI界面。
vLLM部署本地大模型进行在线调用
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
11-22 5573
vLLM部署本地大模型进行在线调用
LangChain + MCP + vLLM + Qwen3-32B 构建本地私有化智能体应用 原创
07-01
### 本地私有化 AI Agent 应用构建教程 在本教程中，将详细介绍如何使用 LangChain、MCP 协议、vLLM 框架以及 Qwen3-32B 模型构建一个本地私有化的 AI Agent 应用。该方案不仅具备高性能推理能力，还支持企业级隐私保护和定制化功能扩展。 #### 环境准备 首先，确保系统满足以下要求： - **硬件配置**：建议使用至少一块 NVIDIA A100 GPU 或更高性能的显卡，以支持 Qwen3-32B 的高效推理。 - **软件环境**： - Python 3.10+ - CUDA 11.8+ - 安装必要的库：`langchain`, `transformers`, `vLLM`, `qwen3` ```bash pip install langchain transformers vllm qwen3 ``` #### 架构设计 整体架构分为以下几个核心组件： 1. **LangChain**：用于构建提示词链路、调用模型接口、处理中间逻辑。 2. **MCP 协议**：作为通信桥梁，连接前端界面与后端推理服务，实现任务调度和状态反馈[^2]。 3. **vLLM**：提供高效的推理引擎，优化 Qwen3-32B 的推理速度并降低内存占用。 4. **Qwen3-32B**：作为主语言模型，负责自然语言理解、生成及工具调用。 #### 部署流程 ##### 步骤一：启动 vLLM 推理服务 使用 vLLM 启动 Qwen3-32B 模型的服务端，命令如下： ```bash python -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --port 8000 --model Qwen/Qwen3-32B ``` 此命令将在本地启动一个基于 OpenAI API 兼容的 HTTP 服务，监听 8000 端口。 ##### 步骤二：集成 LangChain 调用链 在 Python 中使用 LangChain 调用 vLLM 提供的 API： ```python from langchain_openai import ChatOpenAI from langchain_core.messages import HumanMessage # 初始化模型客户端 llm = ChatOpenAI( openai_api_key="EMPTY", # 不需要密钥 openai_api_base="http://localhost:8000/v1", model_name="Qwen/Qwen3-32B" ) # 发送请求 response = llm.invoke([HumanMessage(content="你好，请介绍一下你自己")]) print(response.content) ``` ##### 步骤三：引入 MCP 协议进行任务调度 通过 MCP 协议定义任务流，例如从用户输入到模型响应再到工具调用的完整流程： ```python from mcp.client import Client from mcp.protocol import ToolCall # 初始化 MCP 客户端 client = Client("ws://localhost:8080") # 注册工具 def search_internet(query): # 实现网络搜索功能 return "搜索结果：" + query client.register_tool("search_internet", search_internet) # 触发任务 task_id = client.start_task("回答用户关于量子计算的问题") client.send_message(task_id, "用户问：什么是量子叠加？") tool_call = ToolCall(name="search_internet", arguments={"query": "量子叠加原理"}) client.send_tool_call(task_id, tool_call) ``` ##### 步骤四：构建 AI Agent 流程 结合上述组件，构建完整的 AI Agent 流程： ```python def ai_agent_query(user_input): # 使用 LangChain 构建提示 prompt = f"请根据以下问题调用合适的工具：{user_input}" response = llm.invoke([HumanMessage(content=prompt)]) # 解析响应中的工具调用 if "tool_call" in response.content: tool_name, args = parse_tool_call(response.content) result = client.call_tool(tool_name, args) final_answer = llm.invoke([HumanMessage(content=f"根据工具返回结果：{result}，请给出最终答案")]) return final_answer.content else: return response.content # 示例调用 answer = ai_agent_query("最近有哪些关于气候变化的新研究？") print(answer) ``` #### 扩展与优化 - **微调 Qwen3-32B**：可使用 LoRA 技术对模型进行领域特定微调，提升垂直场景表现[^3]。 - **RAG 增强检索**：结合向量数据库（如 FAISS）和文档检索模块，增强模型的知识覆盖范围。 - **多模态支持**：通过扩展 LangChain 插件，支持图像识别、语音转文字等多模态能力。 #### 总结 通过 LangChain、MCP、vLLM 和 Qwen3-32B 的组合，可以快速搭建一个高性能、低延迟、可扩展的本地私有化 AI Agent 应用。该架构适用于企业内部知识管理、自动化客服、数据分析等多个场景，具备良好的工程实践价值。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值