新一代AI软件基础设施 | ZStack AIOS平台“智塔”发布

记录MaaS (一)关于简介和部署 当前使用版本:/2.0MAAS(Metal as a Service)是由Canonical公司开发的一种开源工具,旨在简化和自动化物理服务器的部署和管理。它的理念是将物理硬件资源抽象成类似于云计算资源,提供与云服务类似的灵活性和便利性。MAAS广泛应用于数据中心和大规模计算环境,特别适合需要频繁部署和管理大量物理服务器的场景。这个过程涵盖了环境准备、MAAS的安装和初始化、节点的注册和操作系统的部署。MAAS提供了强大的工具集,用于管理和监控数据中心的物理服务器,提高了资源利用率和运维效率。 阅读详情

新一代 IT 基础设施,将从通用算力+云平台转型为AI算力+AIOS平台。

AI正在重构世界。正如世界是立体的,AI重构也正从多维度开启:基础设施重构,业务应用重构,交互模式重构,数据价值重构,生态系统重构……

2023年6月,英伟达市值首次突破万亿美元,率先引爆基础设施重构的全球化浪潮。随着数据中心转向智算中心,硬件基础设施从通用算力走向AI算力,软件基础设施也将转型为新一代AI基础设施——AI操作系统(AIOS)平台。


 

新一代AI基础设施AIOS平台

AI企业级商用的道路并不平坦。

2022年11月,‌OpenAI ChatGPT-3‌开启了生成式AI(GenAI)走向商用的新时刻。据IDC预测,到2025年仅仅三年时间,全球2000强企业就会把超过40%的核心IT支出用于AI相关计划,千亿级企业AI大市场已徐徐拉开。但另一方面,‌OpenAI ChatGPT企业版收入占比仅为21%,且有外媒报道2024年OpenAI或将面临50亿美元巨额亏损。


中国AI企业级市场则面临更多挑战。

算力层

与国外以英伟达为主的AI算力不同,中国市场呈现多架构多品牌的AI算力格局。企业不仅仍旧面临算力稀缺,如果各异构算力之间无法互通,还会形成硬件算力竖井。

模型层

产品导向必将转向场景导向。随着训推模型向场景化发展,不同场景下模型分工将更为专业,大模型呈垂直化趋势,在企业侧部署易于发展为模型生态竖井。

运营层

“百模大战”迅速走向推理应用,亟待在解耦算力竖井和模型竖井的基础上,实现跨平台的计量计费,迅速提升企业AI普及率。

“AI任务的多样性要求不同的模型处理,数据的多样性要求多模态能力,算力的异构性要求分布式多架构并行,模型的不断演进要求企业灵活更迭新的AI模型……面对企业AI的复杂与困境,亟待能够破局的新一代AI基础设施。”云轴科技ZStack创始人兼CEO张鑫认为,“一个能够同时解耦算力竖井和模型竖井、全域感知动态调度、实现自服务运营的新一代AI基础设施AIOS平台,成为提升企业AI渗透率的关键一环。”

作为AI生态系统中的新型形态,AIOS平台应该如何定义,包括哪些关键要素?

与模型即服务(MaaS)不同,AIOS是专门为AI应用而设计的操作系统平台,它不仅可以高效管理硬件算力资源,还内置AI引擎解耦不同模型、调度不同算力、执行各种AI任务,通过自服务运营模式降低AI应用门槛,提高AI应用效率。ZStack张鑫认为,作为新一代AI基础设施,AIOS平台需要在安全可控、持续迭代的基础上,同时在算力层、模型层、运营层三大层面实现以AI为核心的重构:


 

算力层

从运维视角,以AI为核心进行算力资源预测、精分、调度,降低AI应用成本;

模型层

从开发视角,以AI应用框架进行AI训推模型无缝集成与生命周期管理,优化AI应用性能;

运营层

从业务视角,提供多智算中心、多集群、多租户的按量计费运营,实现AI自服务化。

8月6日,云轴科技ZStack正式发布首个AIOS平台“智塔“,期望通过同时解耦算力竖井和模型竖井,优化AI应用性能和成本,解锁千亿级企业AI市场。

算力层

ZStack AIOS平台“智塔“的算力精分调度平台,支持NVIDIA、AMD、Intel、海光、华为昇腾、寒武纪、燧原、天数智芯、太初元碁、壁仞、摩尔线程、沐曦等中国市场上的主流品牌和几十种AI芯片型号,实现异构算力协同不同AI 模型之间的优化路由。

模型层

ZStack AIOS平台”智塔”的动态模型自适应平台,可以支持生成式AI(GenAI)、自然语言处理 (NLP)、计算机视觉、机器学习(ML)、深度学习(DL)以及多模态AI,并支持Llama、Gemma、通义千问Qwen、智谱ChatGLM、百川Baichuan、零一万物Yi、OLMo、GPT-NeoX等数百种开源大模型,实现模型压缩与性能优化,模型选型与生命周期管理,训推高效部署与自适应调度,达到跨软硬件的全面性能优化。

运营层

ZStack AIOS平台”智塔”的全域感知自服务平台,可以进行多租户隔离和动态资源配额管理,实现跨智算中心、跨集群的全域感知统一调度,提供按量计费的动态训推服务,具备可视化统一门户,弹性跨域容错,实现精细化的自服务运营体系。


算力层:提升异构算力效率,破局算力稀缺难题

“AI的尽头是电力。“这一观点其实是AI芯片全球性规模扩张的展现。随着训推竞赛展开,千卡规模、万卡规模不断升级,AI算力资源稀缺且成本高昂。

在中国企业AI应用中,面对异构算力与多种模型选择,企业首要的需求是快速部署和高效运维AI模型。目前,AI算力池化替代异构算力竖井已成趋势,企业需要一个AIOS平台解决模型高效部署运维难题,避免为单个模型部署单一AI算力形成竖井架构,将异构算力池化并实现协同调度,使得企业在模型快速部署的同时,高效利用异构算力资源,显著降低算力成本。

ZStack AIOS平台“智塔”具备裸金属、虚机与容器多引擎能力,通过GPU切割精分量化,对异构AI算力实现可达1%的量化管理,大幅降低算力成本。算力层的另一大核心在于,在AI算力精分量化基础之上,通过分布式协同调度能力,实现异构算力的统一管理和动态调度,达到算力的精细化资源复用,进一步降低算力成本。

模型层:多模型框架集成,MaaS服务灵活高效

《IDC FERS Survey Wave》2024年发布的最新调研显示,48%的GenAI都将在企业本地部署,随着AI从训练走向推理,行业企业应用成为真正加速AI商用化进程的关键。


在中国企业AI训推实践中,完整完成一个AI任务往往需要多个专业模型协同工作。另一方面,各大领域开源模型的大量涌现,也助推企业使用不同模型解决不同业务问题。ZStack张鑫认为:“类似数据库应用,企业会同时使用Oracle、MongoDB、MySQL、Redis等不同类型数据库来解决不同场景的问题,未来,企业同时使用多个模型将成为常态。“

面对多种模型应用,企业AI应用的一个重要需求是模型选型、精调、推理、MLops/LLMops的调度与性能优化。企业需要一个AIOS平台集成模型框架来实现多个模型的协同能力,并同时通过模型压缩加速、数据感知编排等实现AI模型的性能优化。

ZStack AIOS平台“智塔”一方面通过动态模型自适应平台,提供从模型训练、评估、推理到更新的全生命周期管理,高效实现模型服务优化;另一方面通过将AI任务智能解构,动态优化路由、分布式并行训推,自适应负载均衡等能力,结合算力层的算力精分协同调度平台,显著提升模型训推性能和模型服务体验。

运营层:全域感知自服务化,提升企业AI渗透率

作为新一代AI基础设施,AIOS平台在模型层和算力层通过优化资源分配和模型部署,降低企业AI应用门槛,提升企业AI应用效率;另一方面,如果企业还具备AI自服务运营能力,将在提升企业AI渗透率的进程中起到四两拨千斤的作用。

ZStack AIOS平台“智塔”以AI为核心提供更全面更直观的可视化统一视图,实现精细化管理;在动态调度资源方面,跨多智算中心、多集群全域调度自适应模块,可以根据需要实现跨平台的自动扩缩和调度功能;在训推服务高可用方面,弹性容错自愈模块具备快速故障定位与故障自愈能力,可以实现跨平台的容错与灾备;在安全与隐私方面,将融合敏感数据检测能力,实现端到端的数据安全保障作为运营基础;在系统运营方面,可实现多租户隔离和资源配额管理,训推计量计费服务。

作为新一代AI基础设施,AIOS平台通过算力层、模型层、运营层三大方向以AI为核心进行重构,解耦异构算力竖井降低AI应用成本;解构模型生态竖井优化AI应用性能;全域计量计费实现AI自服务化,加速企业AI渗透率,解锁千亿企业AI市场。

maas:该项目已移至OpenStack MaaS头盔神器 该存储库包含支持在Kubernetes集群中部署的工件。 图片 MaaS安装由两个必需的映像和一个可选映像组成。 此仓库中的Dockerfile可用于构建所有这三个文件。 这些映像旨在通过Kubernetes Helm图表进行部署。 MaaS区域控制器 区域化的构建了一个基于systemD的Docker映像,以运行MaaS Region API服务器和元数据服务器。 MaaS机架控制器 机架式构建基于systemD的Docker映像,以运行MaaS Rack控制器和相关服务(DHCPd,TFTPd等)。 该映像需要在特权主机联网模式下运行才能发挥作用。 MaaS图像缓存 缓存映像只是提供了maas.io映像存储库的时间点镜像,因此,如果将MaaS部署在没有网络连接的地方,则将拥有Ubuntu的本地副本。 当前,这仅镜像Ubuntu 16.04 Xenial,并且在镜像创建 立即下载

相关推荐

maas.io:maas.io 网站

MAAS网站项目 这是背后的简单 Flask 项目。 本地开发 在本地运行的网站最简单的方法是,先(在Linux上,您可能需要),然后使用./run脚本: ./run 设置容器后,您可以在浏览器中访问 。 构建 CSS 对于处理,您可能希望在发生变化时动态观察更改以重建 CSS。 要设置观察者,请打开一个新的终端窗口并运行: ./run watch 部署 您可以在部署文件夹中找到部署配置。

ubuntu安装java sd卡_Ubuntu集群-使用MAAS开始裸机安装

这里介绍在Ubuntu中使用MAAS(https://maas.io/)安装裸机的9个步骤。 MAAS可以将操作系统镜像通过网络启动(PXE)的方式主动部署到多个空的物理机上,实现集群装机的第一步。说明:MAAS是用于物理机初始安装和管理的系统,由Canonical提供。如果只使用Ubuntu,MAAS是免费的。如果需要支持其他操作系统,则需要付费购买其扩展包支持服务。1、设置硬件你需要一个运行M...

weixin_35681965的博客 458

手把手教你用开源EtherCAT协议栈SOEM开发从站设备(附避坑指南)

本文详细介绍了如何使用开源EtherCAT从站协议栈SOES进行嵌入式设备开发。内容涵盖从环境搭建、硬件准备到核心的对象字典与PDO映射配置,并重点分享了主循环集成、状态机处理以及实战调试中的常见问题与避坑指南,旨在帮助开发者高效实现设备接入工业现场总线网络。

linux的博客 631

使用 Canonical MAAS 部署 openEuler 测试

Canonical 的 MAAS [https://maas.io/](Metal as a Service)是一款用于服务器自动发现、配置的远程操作系统安装、部署工具,可以将物理服务器转换为类似于虛拟机资源,实现物理物理服务器的自助服务,远程访问。MAAS目前支持 Ubuntu、CentOS、RHEL、Windows、ESXI 和自定义镜像的部署。当在数据中心管理成百上千的物理服务器,比如云、H...

2301_76434200的博客 224

LLC混合滞回控制 vs 电压模/电流模:UCC25640x仿真对比与选型指南

在开关电源设计中,LLC谐振变换器的环路补偿是核心难点。传统电压模控制(VMC)和电流模控制(CMC)在LLC拓扑上存在环路增益漂移、动态响应慢等局限。混合滞回控制通过滞回比较器直接调制开关频率,并融合输出电压与谐振腔电流信息,实现了自适应环路增益和快速瞬态响应。该技术显著提升轻载效率与动态性能,适用于高密度适配器、快充及车载充电机等场景。本文基于UCC25640x系列,通过仿真对比三种控制策略,为工程选型与调试提供实践参考。

weixin_33925615的博客 337

Ubuntu22.04上如何用Docker一键部署Ragflow+Ollama(附CUDA配置避坑指南)

本文详细介绍了在Ubuntu22.04系统上使用Docker一键部署Ragflow+Ollama的完整流程,特别提供了CUDA配置的避坑指南。从硬件兼容性检查、驱动安装到容器网络配置,手把手教你搭建本地化大模型环境,解决CUDA驱动冲突等常见问题,助力开发者快速构建AI应用开发平台。

weixin_26875109的博客 285

Ubuntu集群-使用MAAS开始裸机安装

为什么80%的码农都做不了架构师?>>> ...

weixin_33786077的博客 4303

Rocky Linux 9.0国内yum源一键替换指南(上海交大镜像站实测)

本文详细介绍了如何将Rocky Linux 9.0的yum源替换为上海交大镜像站,以解决国内用户访问官方源速度慢的问题。通过实测验证,上海交大镜像站提供高速下载和稳定更新,并提供了完整的替换步骤、常见问题解决方案及高级优化配置,帮助用户提升软件包下载效率。

weixin_29304985的博客 363

AI Infra 如何打造?云轴科技ZStack在中国CID大会上主题演讲

训练场景里,机器间的通信网络是非常非常关键的因素,但现在训练门槛越来越高,大部分企业所需要的主要是推理和微调,因此更多要考虑的反而是机器内通信,借助 PCIe Switch,可以将通信延迟缩短到 1us 乃至 0.1us,但是需要注意 PCIe 通道的使用率,使用率高的时候会明显增加延迟,因此需要合理的规划 PCIe 链路的使用。可以看到除了传统的资源相关的情况之外,模型部署便利程度、扩展性、模型评估等工作是传统 IaaS 云难以满足的,因此我们需要面向 AI 业务的 AI Infra。

ZStack_io的博客 1196

Concentration Inequality(集中不等式)更新版

欢迎来我博客 https://wyue.name/2020/04/17/1/阅读这一篇博文 转载前请联系我,联系方式请见我博客 https://wyue.name/ Concentration inequality 刻画了一组随机变量的和(或者样本平均数)与其期望值的偏离程度,在算法收敛性分析过程中是非常有用的一类不等式。 这次主要总结一下最近一段时间遇到的集中不等式,不仅是不等式形式,...

Yue的博客 4555

JAVA:Spring Boot 集成 Atomikos 实现分布式事务

摘要: Atomikos是一款基于JTA标准的分布式事务协调器,通过两阶段提交(2PC)协议实现跨数据库/消息系统的事务一致性,适用于金融等高要求场景。本文以Spring Boot集成Atomikos为例,演示多数据源(订单库、库存库)的分布式事务管理。核心步骤包括:引入Atomikos依赖、配置XA数据源、设置两阶段提交的MyBatis多数据源,并通过Atomikos协调全局事务,确保跨库操作原子性。代码示例涵盖配置类、YAML定义及MySQL XA数据源初始化,为分布式系统提供强一致性解决方案。

木头 336

让企业轻松把 AI 用起来——ZStack AIOS 智塔,从算力到应用的一站式 AI 底座

ZStack AIOS智塔是轻量化企业级AI基础设施操作系统,破解“算力用不起来”与“收益赚不回来”双重困局。四层架构统一纳管异构GPU、支撑模型全生命周期、治理AI调用、预置开箱即用应用,助力企业低成本、高效率、可经营地落地AI。

ZStack_io的博客 275

【用unity实现100个游戏之15】开发一个类保卫萝卜的Unity2D塔防游戏1(附项目源码)

当今,塔防游戏已经成为游戏市场上备受欢迎的一类游戏类型。《保卫萝卜》作为其中的经典之作,深受玩家喜爱。本项目旨在基于《保卫萝卜》的玩法和特点,开发一个Unity2D塔防游戏,让玩家可以在游戏中体验到精彩的策略对抗与刺激的关卡挑战。本项目将通过Unity引擎进行开发,利用2D游戏开发相关技术,包括但不限于精灵动画、碰撞检测、UI界面设计等。我们将实现萝卜作为关键角色的防守任务,并设计各种怪物和防御塔,使得游戏具有多样的战术策略和游戏乐趣。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 4926

ZStack:AI原生实践需要自己下场,详解全栈AI Infra平台构建路径

在AI原生实践中,企业自身即为最好的练兵场

ZStack_io的博客 997

【实战】LLaMA-Factory 如何做 LLM 的多轮对话微调

LLaMA-Factory 作为一个广受欢迎、易于使用的 LLM 微调框架,为开发者提供了便捷的途径来针对特定任务(包括多轮对话)优化模型。本文将深入探讨 LLaMA-Factory 如何支持多轮对话微调,涵盖其基本概念、数据准备、核心机制、评估方法等。简单来说,多轮对话是指包含两个或更多轮次(Turn)的交互过程,其中每一轮通常包含用户的一个输入和模型的一个输出。后续轮次的回应通常依赖于前面轮次的对话内容。模型需要理解并记忆对话历史。

kakaZhui的博客 1311

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

“AI基础软件第一股”正呼之欲出?

那些年,我们一起追过的“第一股”:优刻得,云计算第一股;青云科技,混合云第一股;并行科技,算力服务第一股;或许不久的将来,我们将迎来AI基础软件的第一股……时代在呼唤AI的力量绝对是摧枯拉朽似的,无论是硬件、软件还是应用,都值得用AI重做一遍。AI需要全新的基础设施作为支撑,从整体架构设计到每一个细节,包括芯片、计算、存储、网络、操作系统等。2024年的政府工作报告中提出,要适度超前建设数字基础设...

1158

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

抢先体验 | Qwen3 模型发布:基于 ZStack AIOS 平台极速体验

如何在 ZStack AIOS 上立刻体验最新的 Qwen3 模型?

ZStack_io的博客 1642

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

云轴科技ZStack AIOS平台智塔亮相华为全联接大会

可以支持生成式AI(GenAI)、自然语言处理 (NLP)、计算机视觉、机器学习(ML)、深度学习(DL)以及多模态AI,并支持Llama、Gemma、通义千问Qwen、智谱ChatGLM、百川Baichuan、零一万物Yi、智源BGE、StableDiffusion、XTTS等数百种开源文字类、图形类、声音类大模型,实现模型压缩与性能优化,模型选型与生命周期管理,训推高效部署与自适应调度,达到跨软硬件的全面性能优化。这种技术的应用,不仅缩短了金融分析师获取信息的反馈周期,也提高了决策的时效性。

ZStack_io的博客 1009

突围“百机大战”,云轴科技ZStack智塔获IDC中国AI大模型一体机推荐品牌

“百机大战”窗口期半年到1年

ZStack_io的博客 784

全球化2.0 | ZStack举办香港Partner Day,推动AIOS智塔+DeepSeek海外实践

继2月2日ZStack AIOS平台智塔首发支持 DeepSeek V3/R1/ Janus Pro三种模型后,3 月 3 日ZStack基于 ZStack AIOS 平台智塔发布智塔AI一体机DeepSeek版。

ZStack_io的博客 794

云轴科技ZStack AIOS平台智塔亮相FDS金融领袖峰会

云轴科技ZStack CTO王为以“ZStack AIOS平台智塔加速金融行业重构 AI 基础设施”为主题,与峰会上百位银行、证券、保险、基金等金融客户代表分享了AIOS平台智塔在金融行业的应用。

ZStack_io的博客 1630

AI系统也要过等保了:ZStack AIOS智塔帮企业把合规写进底座

企业可在同一平台上完成算力分配、模型部署、网关治理与应用开发,避免"AI平台一套、合规整改再搭一套"的重复建设。三级及以上系统还优先采用零信任架构、强制国密加密,高危漏洞须在72小时内整改——对已经上线AI系统的企业,"先上线、后补合规"的路径,正变得越来越难走通。——模型仓库版本管理、数据集项目级隔离、推理服务一键部署,支持调用日志查看与模型审计追溯,覆盖模型从导入到上线的全生命周期。——模型文件、数据集、精调checkpoint均属高价值资产,存储、访问、导出、销毁均需纳入数据安全管理。

xinyuan82的博客

让企业轻松把 AI 用起来 | ZStack AIOS 智塔,从算力到应用的一站式 AI 底座

在计量与治理上,网关层按模型调用量计量计费,用量看板把每一次调用的模型、Token、耗时、来源完整记录,支持多维统计分析与导出,让 AI 调用的成本归集、审计排障一屏清晰。AIOS 的应用层预置了 Dify、ComfyUI 等主流 AI 应用,用户无需从零搭建,即可一键部署、快速拉起,用于知识库问答、智能体编排、AI 绘图等场景。它把算力、模型、调用治理与应用整合为一体,向下纳管多元异构的 GPU 算力,向上支撑大模型与 AI 应用的快速落地,让算力既能被充分使用,也能被计量、治理和经营。

xinyuan82的博客 6

ZStack AIOS智塔AI平台:拥抱“通云哥”全栈生态,以先进异构算力管理重塑企业AI基础设施

ZStack AIOS智塔AI平台,让企业以统一管理驾驭异构算力,以深度集成实现成本优化,以生态亲和拥抱"通云哥"时代。

ZStack_io的博客 195

首发!ZStack 智塔支持 DeepSeek V3/R1/ Janus Pro,多种国产 CPU/GPU 可私有化部署

首个DeepSeek私有化AI平台发布,支持海光、昇腾等国产CPU/GPU

ZStack_io的博客 651

云轴科技ZStack CTO王为@中国GenAI大会:AI原生实践重构AI Infra新范式

AI原生实践:自己就是最好的练兵场

ZStack_io的博客 1054
上一篇: 共筑云计算新生态 | 云轴科技ZStack启动鲲鹏原生开发
下一篇: 共塑AI新篇章 | 云轴科技ZStack亮相2024中国操作系统产业大会
ZStack开发者社区
博客等级 码龄2年 682粉丝 257原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值