GPU利用率从30%到70%+,ZStack的算力共享方法论

gpustack:轻量级GPU资源虚拟化平台,实现多用户安全共享与高效调度 GPU虚拟化技术通过将物理GPU资源进行逻辑分割,允许多个任务或用户共享同一硬件,从而提升资源利用率和部署灵活性。其核心原理通常基于硬件分区(如NVIDIA MIG)或软件层面的显存与算力隔离,结合容器化技术实现环境与依赖的封装。这项技术的价值在于能够将昂贵的GPU算力“化整为零”,实现按需分配,降低使用门槛和成本。在AI模型训练、推理服务、高性能计算等场景中,它帮助团队解决资源争抢、环境冲突和管理混乱的痛点。本文以gpustack项目为例,探讨如何通过细粒度资源虚拟化和全栈环境容器化,构建一个开箱即用的轻 阅读详情

在客户的 AI 平台环境里,我们反复看到同一个现象:

GPU 高价采购回来,平均利用率却只有 30% 左右。

访谈下来,我们了解到,这个原因几乎是共性的。GPU通常都是按整卡分配给部门或项目,一个只需要十几 GB 显存的推理服务独占一张卡;算法团队的卡深夜闲置,业务团队白天却在排队等卡。算力被组织边界和分配粒度硬性切成了孤岛。

一句话总结,买得越多,闲置越多。

把 GPU 共享起来,是每个运维负责人都会想到的方向。今年 6 月,CNCF 沙箱项目 HAMi-core 被 NVIDIA 开源的 KAI Scheduler 集成,显存与算力的“硬隔离”进入主流调度生态,也印证了这个方向已是行业共识。但从我们服务大量企业算力平台的经验看,GPU 共享要真正落进生产环境,有三道必答题——答不好,共享往往在第一次生产事故后被叫停,重新回到整卡分配的老路。

今天,我们把这三道题和ZStack AIOS的解法展开,供正在规划算力平台的团队参考。

图片

第一道题:切分粒度怎么定?

共享的第一步是把整卡切开,但切多细、按什么切,直接决定共享的收益。

我们的经验是——按任务真实需求双维度切分——显存和算力分开定。 显存按模型实际占用分配(一个 13B 模型的推理服务要多少显存是可以测算的),算力按业务的延迟容忍度分配(在线推理给足、批处理任务给少)。只按显存切不管算力,高峰期任务互相拖慢;只按整卡的二分之一、四分之一机械切分,又会回到粒度浪费的老问题。

在 ZStack AIOS 智塔里,这套切分是平台原生能力:GPU 池化后按需切分,显存与算力独立定义,一张卡同时服务多个推理任务。更进一步,训练与推理通过队列调度与优先级机制错峰复用——白天推理为主、夜间训练接管,这类调度不再依赖运维手工腾挪。

判断你的切分方案靠不靠谱,一个简单的测试:新上一个任务时,你能不能说清它拿到了多少显存、多少算力?

如果说不清,那就还是“大锅饭”。

第二道题:隔离边界怎么验证?

切分之后,真正的生死线是隔离。多个任务共享一张卡,显存互相挤占、算力互相干扰,一个任务 OOM 拖垮同卡邻居——生产环境里,没有硬边界的共享等于不可用。

怎么验证隔离是硬的?我们建议在 POC 阶段做三个压力测试: 让一个任务故意超显存申请,看它是否只在自己的配额内失败、邻居无感;让一个任务满负载抢算力,看同卡其他任务的延迟波动是否在可接受范围;模拟任务异常退出,看资源是否干净回收。三个测试都过,隔离才算硬。

AIOS 的切分自带硬边界:每份算力的显存与算力配额是强制的,超限在自己的边界内处理,不外溢、不传染。这也是“软共享”和“硬隔离”的本质差别——前者靠任务自觉,后者靠平台强制。

这条边界我们自己先压测过。

在内部测试环境中,AIOS 的 dGPU 切分以 16 路并发连续运行 23.5 小时、处理 134074 次请求,零失败,虚拟化开销约 7%,性能漂移小于 0.5%——高并发、长时间、大请求量之下,隔离边界稳定,切分带来的性能损耗被控制在个位数。

我们希望所有人都明白,硬隔离不是纸面能力,是经得起连续压测的工程结果。

第三道题:多租户怎么运营?

切分和隔离解决的是技术问题,共享要长期运转,还要回答运营问题:谁能用多少?用了多少?超了怎么办?

我们见过多个平台死在这一步——技术上能共享了,但没有配额和计量,算力分配靠拍脑袋和抢,部门之间的矛盾比共享前更大。共享算力池必须配一套租户运营体系:组织、项目、用户三级配额,让分配有规则;用量全程计量,让成本可分摊;审批和优先级机制,让争抢有秩序。

这套体系在 AIOS 里是开箱即用的:三级权限与配额管理、算力用量计量、面向内部结算的用量报表。算力从“抢来的资源”变成“按份额使用的服务”,共享才能从技术验证走向长期运营。

图片

异构算力,同一套方法论

当然,现实工作中,还有一个越来越普遍的现实:信创进程中,昇腾、海光等国产算力与既有英伟达卡是长期并存的。如果每种芯片一套平台、一套分配逻辑,上面三道题就要答两遍,让运营成本直接翻倍。

显然,这道题也是有解法的。

ZStack AIOS 可以统一纳管英伟达及阿里 PPU、昇腾、海光、摩尔线程等多元 GPU,支持 5 个以上品牌、30 多种型号——切分、隔离、配额、计量这套方法论,在异构算力池上同样成立。企业不必因为芯片品牌不同,把算力割裂成两套体系。

从三成到七成,分水岭在方法不在硬件

回到开头的数字,GPU 利用率 30% 还是 70%,差的不是硬件,是方法——切分有没有按真实需求定粒度,隔离是不是经得起压力测试,运营有没有配额和计量的体系。这三道题答好,同样的算力投入承载一倍以上的业务增量。

答不好,再多的卡也是孤岛。

这套方法论,ZStack AIOS 智塔已经做进了平台底座——GPU 池化切分、硬隔离边界、多租户配额计量、异构统一调度,四大功能开箱即用。企业建 AI 平台的第一天,就可以站在“好用”的起点上,而不是在“能用”的阶段反复交学费。

如果企业正在规划 AI 算力平台,或希望提升现有 GPU 资源的使用效率,欢迎联系 ZStack 各区域团队,获取基于现有环境的算力调度方案建议。

Claude Code 实战指南:用 AI 玩转终端编程,效率狂飙! 本文介绍了终端 AI 代理工具 Claude Code,涵盖常用命令、使用方法(如 init 初始化、权限配置、工作流程、上下文管理)、MCP 扩展工具及实战案例,展示其通过自然语言辅助开发的高效性与实用性。 阅读详情

相关推荐

【Linux】常见指令的使用

Linux常用指令

qq_74897518的博客 1480

GPU 利用率从 30% 到 70%+,ZStack 的算力共享方法论

在内部测试环境中,AIOS 的 dGPU 切分以 16 路并发连续运行 23.5 小时、处理 134074 次请求,零失败,虚拟化开销约 7%,性能漂移小于 0.5%——高并发、长时间、大请求量之下,隔离边界稳定,切分带来的性能损耗被控制在个位数。回到开头的数字,GPU 利用率 30% 还是 70%,差的不是硬件,是方法——切分有没有按真实需求定粒度,隔离是不是经得起压力测试,运营有没有配额和计量的体系。AIOS 的切分自带硬边界:每份算力的显存与算力配额是强制的,超限在自己的边界内处理,不外溢、不传染。

xinyuan82的博客

智能车竞赛独轮组信标灯系统全解析:从硬件选型到实战调试

本文全面解析了智能车竞赛独轮组信标灯系统的核心原理与实战应用。从硬件架构(灯板、灯罩、控制器)的深度剖析,到红外信号(特别是40kHz调制信号)的接收与解码策略,再到车模的灭灯机构设计与路径规划,提供了从硬件选型到软件调试的全链路指南。文章重点分享了实战调试技巧与常见问题排查方法,旨在帮助参赛队伍深入理解系统,提升车模的识别精度与比赛表现。

e4f5g6h的博客 1124

数据不出域的企业级智能体平台有哪些推荐

按阿里云 PAI-EAS 部署 Dify 的官方文档描述,Dify 的服务组件包括 Web 界面、API 后端、异步任务 Worker 与插件沙箱,依赖 PostgreSQL(用户、对话、知识库、工作流与插件配置)、Redis(缓存、会话状态、异步任务分发)、Elasticsearch(兼作向量库与全文检索)、对象存储(插件与知识库文件)四类外部服务。按公开信息,常见的有开源自部署的 Dify、云厂商的阿里云百炼、腾讯云 ADP、华为云 AgentArts、百度千帆,以及走本地化交付路线的领铄智能。

lanren_45的博客 240

CANoe SOME/IP实战:从ARXML到VCODM的完整配置与调试

本文详细介绍了使用CANoe进行SOME/IP通信测试的完整流程,从硬件环境准备、ARXML文件处理到VCODM文件配置与调试。通过实战技巧和常见问题解决方案,帮助工程师高效完成从ARXML到VCODM的配置,确保SOME/IP通信的稳定性和可靠性。

weixin_29169899的博客 467

Android 埋点信息分析——statsd框架

StatsPullAtomService 用以采集数据,并将数据填充到参数中,在StatsManager.PullAtomCallbackInternal 中会转换成 Parcel 格式传入到 native。 StatsCallbackPuller::PullInternal 中会回调StatsManager.PullAtomCallbackInternal 的onPullAtom,该函数中会回调StatsCallbackPuller::PullInternal 中定义的PullResultRecei

私房菜 2632

高校5G专网部署方案:打造智慧校园新一代数字底座

随着智慧校园建设持续深化,传统校园网络已难以适配高校多元化的教学、科研与校园管理需求。WiFi、有线网络等传统组网方式,在超高并发接入、超低时延交互、广域稳定覆盖、业务安全隔离等方面存在明显短板,无法支撑沉浸式教学、科研算力调度、校园智能安防、无人设备巡检等新型智慧校园场景落地。在此背景下,凭借专用带宽、独立组网、超低时延、高可靠、强隔离的核心优势,成为高校数字化转型的核心基础设施,为现代化智慧校园建设提供全新解决方案。

爱浦路 IPLOOK 179

NVIDIA AI 学习与认证指南:从入门到精通

NVIDIA的AI学习与认证体系,凭借其先进的技术背景、丰富的课程资源以及强大的行业认可度,已成为AI学习者和从业者的宝贵资源。通过深入学习NVIDIA的课程和获得认证,学习者可以快速掌握最前沿的AI技术,提升自己的职业竞争力。从基础课程到专业认证,NVIDIA为不同层次的学习者提供了量身定制的学习资源,帮助他们掌握AI的核心技能,提升职业竞争力。是其中的一个亮点,它结合了信息检索与生成式AI的能力,使AI可以从外部知识库中实时提取信息,生成更具深度和准确性的内容。,帮助学习者快速掌握该领域的核心技术。

高校图书馆高级系统架构师/研究馆员,推动高校AI从概念演示到可评审、可交付、可运维:路线图与立项评审、PoC交付、评测回归与上线运维(Baseline/Eval/Ops)。 1883

Docker Compose:搭建本地多服务开发环境

从一个 Java API、PostgreSQL 和 Redis 开始,配置服务名、端口、环境变量、健康检查、数据卷和依赖关系。理解 Compose 文件如何被解析、项目如何隔离,以及哪些数据不能依赖“重建容器”保留,能够把个人开发环境整理成团队可复用的启动入口。

m0_62221377的博客 478

光伏微电网蓄电池储能控制系统设计及动态性能分析

本文构建了光伏微电网蓄电池储能控制系统的完整理论体系。在系统架构方面,提出了基于直流母线电压平衡的多时间尺度能量管理理论,建立了光伏发电单元的二阶物理模型和MPPT动态跟踪算法。针对蓄电池系统,设计了融合二阶RC等效电路与扩展卡尔曼滤波的SOC估计方法,误差控制在3%以内。双向DC-DC变换器采用状态空间平均建模方法,推导了小信号传递函数,为闭环控制提供理论基础。该体系实现了从瞬时功率平衡到长期能量调度的多层级协同控制,为微电网稳定运行提供了系统的解决方案。

AI的内部世界的博客 191

实战指南:Qwen3-ASR-1.7B 语音识别

本文介绍了Qwen3-ASR语音识别模型的安装与使用。

举世誉之而不加劝,举世非之而不加沮,定乎内外之分,辩乎荣辱之境,斯已矣。 1810

给openlab搭建web网站

此时输入song 账号 即可登录。

ytdbc的博客 113

8,9,10,11,12,13代CPU特制win7 64位系统

对于7代以上的CPU装win7,在UEFI的模式下,如果不提前注入显卡驱动,就会一直卡在LOGO界面。对于此情况,我们推出一个内置了显卡和USB驱动的特制版win7系统。由于单文件已经大于了4G,所以推荐使用rufus来写入镜像安装。如还有问题,请记录下电脑配置,联系QQ11717907。制作完成以后,就可以通过U盘启动安装了。

海康威视技术支持 7261

本地化部署会议视频软件如何替换旧平台?账号迁移、历史数据与用户培训怎么安排?

账号先映射:身份与权限验证通过,再开放使用。资料分级处理:能查、能读、权限正确,比“全部搬完”更重要。切换可恢复:入口、增量数据和业务通知都要纳入回退方案。培训按岗位落地:让用户完成真实任务,而不是只听功能介绍。这套方法适合政企、集团及医疗等具有长期资料留存、多终端接入和业务集成需求的组织。小规模替换可以简化批次与流程,但不应省略权限验证、备份恢复和关键会议演练。

hz56789的博客 293

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

锅炉房已经有PLC,还需要IoT吗?从安全控制到全局能效的智能化升级

无论是工业蒸汽锅炉房,还是酒店、医院等商业热水场景,改造都可以从现有条件出发:先梳理控制系统、仪表和通信情况,再明确安全边界与数据需求;盈电物联网的云边协同思路,是在尽量保留原有控制与仪表设备的基础上,通过IOT控制器补齐数据接入和边缘处理能力,再与云端平台协同,逐步建立运行、能耗与运维之间的数据闭环。锅炉房智能化,不是用IoT取代PLC,也不是简单增加一块远程大屏,而是在保障安全控制独立可靠的基础上,让分散的数据真正服务于运行管理。将告警、排查、处理、复核和维修记录串联起来,形成可追溯的设备档案。

olzorange的博客 301

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

中科热备备份一体机选型技术剖析:安全厂商跨界后的能力边界与实测数据对比

灾备与数据保护技术实战:CDP持续保护、数据库备份、异地容灾架构等核心技术深度解析。

weixin_70618949的博客 312

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

信创环境下OA文档控件技术选型方案对比

在国产 OA 的开发与实施中,文档编辑往往是返工较集中的一个环节。问题通常不出在产品本身,而是选型时没有先把约束写清楚:公文打印必须与本地 WPS 一致、文档不能出内网、一套代码要同时覆盖 Windows 与国产终端。这三条一旦成为验收项,可选的路线会迅速收窄。本文按“约束—对象—路线—实施—验收”的顺序,把目前市面上的四条技术路线的原理、能力和代价拆开对比,并给出实施阶段容易忽略的几个点。

zi_wu_xian的专栏 222

LNMP 容器化实战:基于 Harbor 私有仓库部署 ECShop,吃透 Docker 底层机制

优势:同一网络内部支持容器 DNS 解析,直接写容器名字访问服务,不用硬编码 IP。网络层面:多容器 LNMP 架构,优先自建自定义 bridge 网络,利用容器名 DNS 解析,避免写死 IP,方便环境迁移;持久化思想:镜像保存程序代码;配置、数据库数据、日志全部 volume 挂载宿主机目录,删除容器业务数据不丢失;镜像管理:生产环境建议部署 Harbor 私有仓库,业务镜像统一内网托管;PHP 镜像构建:php‑fpm 容器补齐业务需要全部扩展;商城上传、缓存目录读写权限是高频故障点;

Wzh5452830的博客 163

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 363

宝塔装在服务器上,极目装在本机,差别到底在哪

宝塔 极目 装服务器 装本机 区别,不是比谁好用,是比"软件落在谁的账上"。宝塔的端口、资源、维护都记在服务器;极目这些都落在你电脑,服务器保持和纯 SSH 管理一样的干净。想保护服务器资源和安全面,选装本机的方案;想浏览器点就完事,装服务器的面板也行。

AI_Lab01的博客 352

航空航天与高端装备的孪生运维与预测性维护

发射窗口、航线、载荷配置等决策影响任务成败,孪生可在镜像中预演多种方案,评估风险与资源消耗,辅助择优。连续档案把"用过即忘"变为"越用越懂",使每一次运维都沉淀为组织知识。认证过程虽慢,却是孪生获得运行授权的门票,也区分了"能演示"与"敢托付"两套标准,行业对此格外审慎。把"人始终是决策者"写入流程,既是对安全的尊重,也让孪生在失误时仍有缓冲,而非把命运完全交给一个尚未完美的镜像。视情维修压缩无效维护,也降低突发失效概率,对昂贵且稀缺的装备尤具价值,使有限保障资源投向最该修的地方,提升整体就绪水平。

renhongxia1的博客 248

Linux配置网络

前两天配好的网络配置消失了,不知道怎么回事,没想太多又重新配了一遍,正好把详细流程完整记录下来。呃,不过重启发现配置又没了,折腾了半天才发现,配置文件其实一直都在,只是没有开自动启用,把对应设置开开就OK了。现代 Linux 使用管理网络,日常操作统一使用nmcli命令。(新格式)。注意不要在 Rocky 9 的下手动新建ifcfg文件,老格式会导致系统读取混乱。强烈建议只用nmcli修改,不要手动vim编辑配置文件。

Yisitelz的博客 227

Docker部署linkding:HTTPS与数据备份

部署私人书签库,除了让页面能够打开,还需要考虑几个实际问题:重建容器后数据是否保留、登录和保存是否正常、升级前怎样备份,以及出现 502 或 CSRF 错误时从哪里检查。本文使用 Docker Compose 部署 linkding,采用默认 SQLite 数据库,通过 Caddy 提供 HTTPS,并完成账户创建、数据持久化验证和备份。如果重建后账户或书签消失,应先检查是否换了项目目录、改了挂载路径,或者启动了另一套实例,不要急着重新初始化。遇到权限问题,应根据日志确认具体目录和运行用户,再调整权限。

tedcloud123的博客 196

跨园区分布式环境监控:以太网温湿度传感器云边协同组网方案

很多企业拥有多个独立园区、异地机房、分散库房,传统方案痛点很明显:每个园区单独一套监控平台,数据孤岛;直接把传感器端口映射公网,安全风险高;广域网链路不稳定,断网之后完全丢失本地数据、告警失效;如果用 RS485 总线,跨园区布线完全不现实。以太网温湿度传感器(H-THRJ45)原生 IP 化、支持 PoE 供电、ModbusTCP/SNMP,天然适合分布式点位采集。但多园区场景,不能简单把所有传感器直接上云,最佳落地方式是云边协同:边缘网关负责本地自治采集、缓存、本地告警;

weixin_41865733的博客 350

Docker 镜像构建 + 仓库管理全实战|曼巴精神打磨容器进阶基本功

进容器改完配置,直接打包成新镜像,适合临时救急、快速验证。# 1. 启动基础容器,装软件改配置# 2. 另开终端,commit成新镜像docker commit 容器ID centos7:sshd缺点很致命:黑盒镜像,里面改了啥没人知道,不可追溯、不可复现,镜像还越做越大。曼巴忠告:生产环境绝对别用 commit 构建镜像!临时救急凑合用可以,标准化交付一律用 Dockerfile。Man!镜像构建是容器化交付的标准,私有仓库是企业镜像管理的底座。

kkkdoor的博客 426

Docker 与 Kubernetes 深度解析:从容器运行时到集群编排

维度DockerKubernetes回答的问题一个进程怎么隔离、打包、分发一堆进程怎么调度、连接、自愈抽象层级运行时 + 镜像格式分布式操作系统最小单元ContainerPod状态模型命令式(run声明式(apply)+ 控制循环收敛作用范围单机跨主机集群核心协议CRI / CNI / CSI(可插拔)失效时表现容器挂掉,没人管控制器自动重建学习曲线一天半年Docker 定义了"一个应用的形状",Kubernetes 定义了"一群应用如何共生"。

2601_95494915的博客 627
上一篇: 企业级K8S不用拼,AI算力一站交付:ZStack Zaku容器云全栈解析
下一篇: ZStack企业级知识工程实践:如何“造”出可信知识?
ZStack开发者社区
博客等级 码龄2年 682粉丝 257原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值