抢先体验 | Qwen3 模型发布:基于 ZStack AIOS 平台极速体验

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

Qwen3 已于4月29日早上发布,如何在 ZStack AIOS 上立刻体验最新的 Qwen3 模型?

图片

由于 Qwen3 模型的支持需要较新的推理框架(vllm、sglang、llama.cpp 等底层框架),本篇文章将先向大家介绍如何一步步升级推理模板,平台的管理员或者 AI 开发者在完成推理模板升级后可以共享给平台所有用户,所有用户即可无需配置立即体验最新的 Qwen3 模型。

通过 ZStack AIOS 平台,企业可以像本文所示,迅速部署和体验像 Qwen3 这样的最新 AI 模型,并将其无缝赋能给各个业务部门。这种便捷的模型部署与管理机制充分体现了 ZStack AIOS 的灵活性和产品成熟度,使得从 AI 研发到业务应用的路径显著缩短。平台的统一化管理特性确保了 IT 管理人员可以高效地控制资源分配,同时让业务部门能够根据实际需求自主访问和使用 AI 能力,进而加速企业数字化转型,助力业务创新与 AI 应用场景的高效探索和落地实践。无论是产品研发、客户服务还是内部流程优化,ZStack AIOS 都能为企业提供强有力的技术支撑。

准备环节

创建推理模板

首先进入到 ZStack AIOS 模型平台,克隆一个系统自带 SGlang 的推理模板

image.png-183.5kB


由于最新的 SGLang 版本为0.4.6.post1,因此我们将推理模板名称设置为 SGLang-0.4.6.post1,实例配置选择 “云主机”

image.png-70.2kB

配置推理镜像

下面使用一个 Qwen2.5 模型来配置这个推理模板,例如 Qwen2-0.5B 或平台内置的 Qwen2-7B 均可,主要是验证新版本 SGLang 的可用性。创建推理服务的时候推理模板选择 SGLang-0.4.6.post1:

image.png-179.5kB


启动后进入 jupyter notebook,选择 terminal,执行以下命令升级 sglang 和配套依赖:

pip install sglang[all]==0.4.6.post1 -U
wget https://bj20013.api.aliyunfile.com/v2/redirect\?id\=9b8b2fa73e484893a5f567e6be22c1921745913012094149418 -O flashinfer_python-0.2.3+cu124torch2.6-cp38-abi3-linux_x86_64.whl
pip install flashinfer_python-0.2.3+cu124torch2.6-cp38-abi3-linux_x86_64.whl
dnf -y install gcc-toolset-9-gcc gcc-toolset-9-gcc-c++

echo -e "\nsource /opt/rh/gcc-toolset-9/enable" >> /etc/profile; systemctl restart zstack_ai.service

image.png-716.4kB


执行完systemctl restart zstack_ai.service之后模型服务会显示启动中,是正常的

image.png-129.5kB


稍等片刻后即可检查模型输出是否正常:

image.png-101.5kB


下面我们进入模型服务的“配置信息”页面,找到这个实例,创建一个实例镜像:

image.png-161.4kB


将云主机停止,点击创建镜像,命名为 SGLang-0.4.6.post1-image

image.png-44.9kB


然后编辑前面创建的推理模板,将推理模板所关联的云主机镜像改为刚刚封装的这个 SGLang-0.4.6.post1-image

image.png-90.7kB

image.png-189.4kB

启动 Qwen3 模型

下载模型

此时进入模型仓库,添加模型,假设我们从 ModelScope 下载,在来源选择 ModelScope,Model ID 填入我们计划使用的模型,例如 Qwen/Qwen3-14B、Qwen/Qwen3-235B-A22B 等,在推理模板选择我们刚刚新建的推理模板 SGLang-0.4.6.post1

image.png-163.8kB

运行模型

由于 14B 模型有 28GB 的权重,因此我们使用两张 22GB GPU 进行部署:

image.png-497.1kB


接下来等待启动即可,可以通过界面对话或者通过其他客户端如 chatwise 等接入测试:

image.png-238.1kB

image.png-425kB

可以看到,在 Qwen3 模型中 /think、/no_think 可以作为特殊 token 来控制是否打开思考,这极大地方便了我们在需要逻辑推理和不需要逻辑推理的时候快速进行切换。

此外,我们也可以通过服务评测对推理服务进行测试,得益于高性能的 flashinfer 后端,两张 22GB 的消费级 GPU 即可实现接近 700 的 TPS。

图片

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统 船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。 阅读详情

相关推荐

腾讯游戏安全组件运行异常的全面解决方案

在使用腾讯游戏时,玩家可能会遭遇游戏安全组件运行异常的问题,这不仅影响游戏的正常启动,还可能在游戏过程中引发一系列问题。本文将详细介绍解决腾讯游戏安全组件运行异常的几种方法,帮助玩家重拾游戏乐趣。腾讯游戏安全组件运行异常是一个复杂的问题,可能涉及服务设置、游戏更新、系统环境优化以及硬件与驱动检查等多个方面。最后,希望本文能帮助玩家顺利解决腾讯游戏安全组件运行异常的问题,让玩家能够无忧无虑地享受游戏带来的乐趣。首先,我们需要从系统的服务管理入手,检查与游戏安全组件相关的服务是否正常运行。

nntxthml的博客 5820

AI Infra 如何打造?云轴科技ZStack在中国CID大会上主题演讲

训练场景里,机器间的通信网络是非常非常关键的因素,但现在训练门槛越来越高,大部分企业所需要的主要是推理和微调,因此更多要考虑的反而是机器内通信,借助 PCIe Switch,可以将通信延迟缩短到 1us 乃至 0.1us,但是需要注意 PCIe 通道的使用率,使用率高的时候会明显增加延迟,因此需要合理的规划 PCIe 链路的使用。可以看到除了传统的资源相关的情况之外,模型部署便利程度、扩展性、模型评估等工作是传统 IaaS 云难以满足的,因此我们需要面向 AI 业务的 AI Infra。

ZStack_io的博客 1196

博途WinCC多语言项目配置指南

在博途(TIA Portal)中为WinCC项目配置多语言功能,需通过系统化步骤实现界面文本的动态切换。

dhaimo的博客 2478

ZStack AIOS平台智塔入选2024世界计算大会专题展优秀成果

已支持生成式AI(GenAI)、自然语言处理 (NLP)、计算机视觉、机器学习(ML)、深度学习(DL)以及多模态AI,并支持Llama、Gemma、通义千问Qwen、智谱ChatGLM、百川Baichuan、零一万物Yi、OLMo、GPT-NeoX等数百种开源大模型,实现模型压缩与性能优化,模型选型与生命周期管理,训推高效部署与自适应调度,达到跨软硬件的全面性能优化。未来,ZStack将继续推进技术创新的深度和广度,增强在智能计算领域的研发力度,并与行业伙伴紧密合作,共同促进AI技术的革新和实际应用。

ZStack_io的博客 583

FPGA开发者必看:如何用SATA3.0主机控制器IP实现高速存储扩展(附Xilinx实测数据)

本文为FPGA开发者提供了基于SATA3.0主机控制器IP核的高速存储方案设计与优化指南。通过详细解析IP核架构、Xilinx FPGA平台集成实战及性能优化技巧,帮助开发者实现接近理论极限的540MB/s数据传输速度。文章还包含常见问题解决方案和高级应用场景拓展,是硬件工程师提升存储性能的必备参考。

weixin_30632089的博客 115

射频总集篇:(不断更新)

射频每一章涉及到的重点理论/设计方法 CHAPTER 1 传输线理论 输入阻抗Zin,负载阻抗ZL,驻波比ρ,反射系数 CHAPTER 2 波导 矩形波导,圆波导,同轴线 CHAPTER 3 微型带状传输线 微带线的参数设计,带状线的参数设计 CHAPTER 4 ...

jieyannn的博客 1923

首批入驻 | ZStack AIOS平台智塔入驻信通院“铸基计划”应用商店

助推企业数字化转型高质量发展。

ZStack_io的博客 499

全球APN信息汇总

全球APN信息,电信APN,移动APN,联通APN,台湾APN,马来西亚APN,俄罗斯APN,日本APN,泰国APN,美国APN,英国APN,法国APN,德国APN,意大利APN,葡萄牙APN,土耳其APN,荷兰APN,丹麦APN,比利时APN,爱尔兰APN,新加坡APN,越南APN,老挝APN,菲律宾APN,印尼APN,泰国APN,柬埔寨APN,巴基斯坦APN,印度APN,奥地利APN,保加利亚APN,捷克APN,立陶宛APN,罗马尼亚APN,挪威APN,希腊APN,匈牙利APN,瑞士APN,乌克兰APN

renkai721的专栏 2796

云轴科技ZStack AIOS平台智塔亮相华为全联接大会

可以支持生成式AI(GenAI)、自然语言处理 (NLP)、计算机视觉、机器学习(ML)、深度学习(DL)以及多模态AI,并支持Llama、Gemma、通义千问Qwen、智谱ChatGLM、百川Baichuan、零一万物Yi、智源BGE、StableDiffusion、XTTS等数百种开源文字类、图形类、声音类大模型,实现模型压缩与性能优化,模型选型与生命周期管理,训推高效部署与自适应调度,达到跨软硬件的全面性能优化。这种技术的应用,不仅缩短了金融分析师获取信息的反馈周期,也提高了决策的时效性。

ZStack_io的博客 1009

JavaFX 概述

要从 JavaFX 中充分受益,了解 JavaFX 的设计方式以及对 JavaFX 包含的功能有一个很好的概述是很有用的。本文的目的是为您提供 JavaFX 概述。本文将首先介绍一般的 JavaFX 设计,然后介绍 JavaFX 中的各种特性。如果您熟悉 Flash/Flex,您会发现 JavaFX 在某种程度上受到了 Flash/Flex 的启发。JavaFX 中也有一些相同的想法。一般来说,JavaFX 应用程序包含一个或多个对应于窗口的阶段。每个阶段都有一个场景。

2012年开始工作,全栈开发老兵,目前已是一个老师,分享这么多年的心得体会 408

实战指南:Qwen3-ASR-1.7B 语音识别

本文介绍了Qwen3-ASR语音识别模型的安装与使用。

举世誉之而不加劝,举世非之而不加沮,定乎内外之分,辩乎荣辱之境,斯已矣。 1810

Supabase CLI核心功能解析:数据库管理与迁移全攻略

Supabase CLI是一款功能强大的命令行工具,专为PostgreSQL数据库管理和迁移设计,帮助开发者轻松处理数据库架构变更、版本控制和部署流程。无论是本地开发还是远程项目管理,Supabase CLI都提供了直观高效的命令集,让数据库操作变得简单而可靠。 ## 数据库基础操作:从启动到管理 ### 快速启动本地数据库 Supabase CLI提供了便捷的本地数据库启动功能,只需一条命令

gitblog_01000的博客 440

如何做好软件需求分析?

软件需求分析也称为系统需求分析或需求分析工程等,是开发人员经过深入细致的调研和分析,准确理解用户和项目的功能、性能、可靠性等具体要求,将用户非形式的需求表述转化为完整的需求定义,从而确定系统必须做什么的过程。软件开发一般包括:可行性分析、需求分析、软件设计、软件开发、软件测试、软件实施、软件服务等步骤,需求分时软件开发的第一步骤。用户需求分析是指在系统设计之前和设计、开发过程中对用户需求所作的调查与分析,是系统设计、系统完善和系统维护的依据。

qq_41854911的博客 1417

你应该懂的AI大模型 之 推理框架

大模型推理框架是专门优化预训练大模型 “推理阶段” 的工具集,专注于解决模型部署中的效率、成本和工程化问题。与训练框架(如 PyTorch、TensorFlow)不同,推理框架不参与模型参数的学习过程,而是聚焦于如何让训练好的模型在生产环境中更快速、更经济、更稳定地响应请求。​简单来说,训练框架负责 “教会模型思考”,而推理框架负责 “让模型高效地回答问题”。

u010803649的博客 1372

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

新一代AI软件基础设施 | ZStack AIOS平台“智塔”发布

ZStack正式发布新一代AI基础设施AIOS平台“智塔“,在算力层、模型层、运营层帮助企业实现以AI为核心的重构,同时解耦算力竖井和模型竖井,优化AI应用性能和成本,解锁千亿级企业AI市场。

ZStack_io的博客 1943

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

浪潮云海发布 InCloud AIOS,以五大技术亮点破解企业AI落地难题

浪潮云海正式发布AI云基础设施平台InCloud AIOS,基于"分层解耦"设计理念,助力企业从私有云向智能云平滑演进。

优快云资讯 519

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

AI应用、轻量云、虚拟化|云轴科技ZStack参编金融行标与报告

未来,ZStack将继续致力于推动金融行业的云计算技术发展,持续加强与金融行业的深度合作,为金融机构提供更多创新、灵活、安全的云计算解决方案,推动金融行业的数字化转型和智能化升级。

ZStack_io的博客 1422

第四范式携AIOS平台亮相2021年世界互联网领先科技成果征集活动

6月18日,由世界互联网大会秘书处主办的2021年世界互联网领先科技成果征集路演活动正式举办。此次路演共设置7个项目,包括第四范式、中国移动、卡巴斯基等。第四范式AIOS负责人黄缨宁出席了...

weixin_43798812的博客 344

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 327

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 260

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 609

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 198

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 333

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 336

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 80

从设备增点到治理闭环:老旧小区物业数智化落地实践

系统连接合同审批、银行流水、收费记录与项目台账,执行到期提醒、收入核验、异常标色和月度对账,让每一笔资金来源明确、去向可查。针对设施老旧、诉求响应慢、公共收益不透明等问题,津南以6类小区为试点场景,统一建设物业数字化底座,关联楼栋、单元、房屋、业主、空间、设施设备、工单、公共收益等核心数据。系统采用统一编码管理,将摄像头、路灯、井盖、道路、绿化等设施纳入资产台账,解决纸质记录更新滞后、故障责任难追溯的问题。基于历史工单建立分类模型和知识库,辅助识别照明、给排水、电梯、环境秩序、秩序维护等问题;

wuyeshuzhihua的博客 154
上一篇: 云轴科技ZStack获评赛迪顾问2025年中国人工智能百强企业
下一篇: ZStack Cloud 5.3.28正式发布
ZStack开发者社区
博客等级 码龄2年 682粉丝 257原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值