大模型一体机塞进这款游戏卡,价格砍掉一个数量级

金磊 梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

家人们,你知道近段时间大火的各种大模型一体机,里面到底是什么卡吗?

相信很多小伙伴的第一反应,或许就是N卡。

但在我们接触、体验了真实的大模型一体机之后,发现了一个大写的“万万没想到”

没错,里面也可以是英特尔的锐炫™ 显卡!

那这性能到底能不能跟上呢?

带着这个问题,在体验之余,我们还“抓”来了一个正在为这种一体机开发方案的软件公司进行了一番“盘问”。

这家公司叫飞致云,主要是把大模型一体机用在了自家的MaxKB上(一款基于大语言模型的知识库问答系统)。

他们是把4张锐炫™ A770显卡和2张N卡放到一起,做了一下对比测试:

对于同一个相对规模较大的任务,搭载N卡的一体机大约耗时半小时,而搭载锐炫™ A770显卡的一体机则需要50分钟。

但是!

买半张N卡的钱,就能轻松搞定4张锐炫™ 显卡。

由此,飞致云给出了这样一个结论:

基于锐炫™ A770显卡的大模型一体机,在性价比上真的是太香了

它非常适合30-50人规模的团队来使用。

一个“性价比”关键词,道破了为什么大模型一体机里面会出现英特尔游戏卡。

毕竟之前企业要私有化部署一个目前最流行的DeepSeek一体机,那个价格可是动辄便破百万元

但现在,英特尔靠着自家的游戏卡,把这个价格直接就砍掉一个数量级。

因此,现在的大模型一体机,有了另一种更高性价比的选择

而且有一说一,除了一体机本身,若是聚焦在AI推理的任务上,现在可以说是处处都有锐炫™ 显卡的影子。

搞AI推理,请记住全新英特尔GPU+CPU组合

首先要说明的一点是,搞大模型一体机,英特尔靠的不仅仅是自家游戏卡那么简单。

它的背后其实是一记组合拳的模式:

英特尔锐炫™ 显卡 + 至强® W 处理器

 锐炫™ 显卡在这里面的角色不用多说,主要是推理的“加速器”

而至强® W 处理器不仅能充当“大脑”的角色,来负责通用计算与系统协调,还能在一些开源软件平台,如KTransformer或英特尔自己开发的工具,如FlashMOE的帮助下,与显卡协作进行异构加速,例如在DeepSeek中承担一些稀疏MOE的处理工作。

为了充分发挥锐炫™ 显卡的能力,英特尔通过优化显存带宽(如A770卡间通信达20G/秒)和低时延技术(如内存拷贝优化),解决了多卡并行时的性能损耗问题,提升了吞吐量(如70B模型支持12路实时聊天)。

即便对于不同规模场景,英特尔也能做到适配——从供AGI开发人员使用的工作站(2卡)到装载4卡或8卡的大尺寸一体机,能满足多样化且差异化的需求。

例如我们刚才提到的飞致云的MaxKB,在知识问答、智能客服、内容生成、文档合规检查等场景中就实现了效率提升、成本优化和风险控制。同时依托高性能硬件解决了AI模型私有化部署与算力需求问题。

除此之外,我们发现还有好多企业都在选择构建英特尔这对CPU与GPU组合的一体机系统、软件或整体解决方案。

超云,便是其中之一。

超云基于英特尔的平台,打造了三种不同形态的设备。 

例如适应普通办公环境的塔式工作站、小型液冷一体机,支持包含英特尔锐炫™ 显卡在内的2-4GPU卡。

再如最高可配8卡的大尺寸高端一体机,可运行32B-70B参数规模的大模型。

据了解,所有这些机型都已经投入到了实际使用当中,主打:

  • 企业内部AI助手:超云自身使用开源模型搭建知识库系统,实现自动化报价、报销审批;

  • 金融行业智能投顾:基于32B蒸馏模型,提供实时数据分析与投资建议;

  • 海量文档处理:使用智能OCR+大模型,实现公文自动归档与检索。

与之类似的还包括云尖

它推出边缘推理工作站,支持4张GPU卡,适用7B-32B轻量化模型,可以满足文档OCR、智能质检等企业本地化AI应用。

此外,已经pick英特尔平台的一体机解决方案还有很多,未来可能还会有更多,而如此多合作伙伴的一致选择,也就不难从侧面印证一点:

不论是单纯的AI推理应用,亦或是融合了推理及各种可视化生产力应用的复合场景,英特尔这套组合拳,已然成为了一种业界公认的、高性价比的新选项。



一体机,为什么纷纷选择英特尔平台?

自春节前DeepSeek-R1惊艳亮相,经过两个多月的沉淀,从行业落地情况来看,明显呈现出一个趋势:

越来越多的企业选择以一体机的形式将DeepSeek融入业务。而这一趋势,也在影响其他大模型落地的“姿式”。

部署速度快,正是这一趋势得以率先显现的原因。

一方面,得益于一体机开箱即用且方便为各垂直行业深度定制化的特点,预装模型、优化软硬件协同,让企业无需自行复杂调试。

另一方面,启动成本低的优势让企业能先用一体机把大模型跑起来,再慢慢迭代。

当然,对于众多企业而言,在选择一体机时,除了追求速度优势之外,实际上还有着更多深层次、全方位的考量因素,这些因素综合起来影响着企业的决策:

  • 性能与成本更平衡,运营成本降低

一体机可实现性能与成本的精妙平衡,其凭借强大高效的硬件配置和优化的软件系统,为企业提供稳定高效算力,满足业务需求,避免使用云算力的持续费用,降低运营成本。

  • 运维简化

传统IT系统由多种硬件设备和软件系统组成,运维管理复杂繁琐,企业需投入大量人力、物力和时间进行安装、配置、维护和更新。而一体机将软硬件深度集成为统一整体,简化了运维流程,企业统一管理维护即可应对业务需求和技术挑战,运维效率大幅提高,而管理难度和成本都显著降低。

  • 稳定可靠

对AI业务而言,连续性和稳定性很重要。一体机软硬件经严格集成测试与优化,能在复杂环境长时间稳定运行。同时可以专机专用,避免云服务在高峰期造成速度和可用性上的波动。

英特尔所推出的锐炫™ 显卡与至强® W 处理器的组合,正是一套满足以上因素的极具潜力的解决方案。

像这样的配置,不光能够很好地支持DeepSeek R1系列,同时还与Qwen、Baichuan、Llama等多个开源模型兼容适配。

这意味着在不同的应用场景和业务需求下,这个组合都能灵活应对,为企业带来多样化的选择和更丰富的功能体验。

这些选择,这些体验,目标都只有一个,那就是AI普惠或者说AI无处不在

站在历史的角度,一体机要承担的使命,正是要将强大的AI模型引入各行各业,这与计算机从大型机时代发展至个人计算机(PC)时代的进程类似。

包括DeepSeek在内的大模型前沿创新企业选择开源,是激发这一进程的起点,而整个进程能否迅速演进,就要靠全行业的共同参与了。

英特尔在此时,就像穿越回了上世纪80年代,那时它曾凭借开放架构和高性价比方案重新定义了PC,并拉着全球的合作伙伴们一手促成了PC真正意义上的“个人化”普及,而今,到了在AI世界复刻这一成功经验的时候了。

深入了解英特尔® 架构AI一体机,可点击阅读原文获取。

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—  —

🌟 点亮星标 🌟

科技前沿进展每日见

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值