群起挑战英伟达AI“霸权”,有戏吗?

部署运行你感兴趣的模型镜像

偶然读到一篇很有意思的文章。

原文:https://www.economist.com/business/2024/05/19/can-nvidia-be-dethroned-meet-the-startups-vying-for-its-crown

透过文章,可以看到人们都在通过什么样的方法试图与英伟达争夺人工智能未来的天下。

  • 有人在做整片Wafer级的超超超超超超超超级GPU,可以提供90万个核心和120万GB的内存(你没看错,小编也没有手抖,的确是8个“超”字、90万和120万GB;英伟达的GB200封装了1颗Grace CPU和2颗Blackwell GPU,就叫做Superchip了,那这个Wafer级的芯片前面用8个“超”字也不为过吧)
  • 有人在GPU的设计中对标了具体的应用场景(例如自然语言处理),继而采用了特殊的架构(例如时序指令集计算机架构),因此让这种GPU能够不再被内存墙困住
  • 也有人正在将GPU中与图形处理相关的一些逻辑剔除掉,只保留并增强与大语言模型相关的功能,从而让这种通用GPU(GPGPU)功耗更低、性能更强,更适合今天的GenAI应用

……

无论通往罗马的道路有多少条,无论穿越这些道路上有多么艰辛,但,这些旅程早晚都会终结在另外一堵墙之前:英伟达构筑的CUDA!

多么让人沮丧的结局啊!那为何还要开始这段旅程呢?为了回答这个问题,先来看看下面这张图片:

数字最枯燥,但是也最说明问题:2025财年第一财季,英伟达的收入为260.44亿美元,其中,净利润为148.81亿美元,净利率为57.14%(这个净利率数字基本可以让99.99%的做硬件的公司哭死过去好几回)!

看看穿着黑色机车夹克的黄教主在最近几次演讲中痛陈他和历史上的英伟达所经历过的压力、危机、屈辱、挣扎、另辟蹊径、奋起反抗和其他所有的罄竹难书的过往,就会发现——今天,我们如果用“天下苦NVIDIA久矣”这样的话语来引导和宣泄情绪,是多么的不公平、反智商和“盲目仇富”啊!英伟达的3万亿市值、高得难以置信的净利率、干一月等于别人干三年的收入,都是用那些不堪的过往换来的,岂是短短一句情绪宣泄可以对冲掉的!?

说到这里,对于这篇文章所描述的这些人和事,就可以给出结论了:

世上只有一种英雄主义,就是在认清AI和GPU的真(xian)相(zhuang)之后,依然热爱并坚持探索“如何用新的方法搓出新的GPU”,从而为人(gong)类(si)的(de)科(fa)技(zhan)进(zhuan)步(qu)贡(geng)献(duo)力(li)量(run)!

那么,我们最终能够穿越高墙抵达罗马吗?答案是毋庸置疑的:能!破高墙者,唯有开放生态

历史的发展已经不厌其烦地证明了一件事情:只有开放才能有生命力,才能可持续发展。看看网络设备领域和C记、计算芯片领域和I记、存储领域和E记、公有云领域和A记,哪一个不是如此!?

面对今天雨后春笋般长出来的GPU公司,提问题的正确方式应该是:几年之后,它们会开始让人们追忆N记在GPU领域的辉煌?而不是它们能不能、会不会让人们追忆N记!

说到这里,小编的脑海中突然又浮现出一行字:交换芯片领域和B记……

AI不等于GPU芯片,AI是一个生态,一个从最底层基础设施到最上层各种应用的生态;正如GPU芯片需要多家参与的开放格局,AI生态也需要多家参与的开放共建。

作为国内为数不多深耕于开放网络软硬件产品的科技公司——星融元就是这个开放AI生态的坚定推进者与参与者之一。

星融元(Asterfusion)是行业领先的开放网络解决方案提供商,多年来专注于为各行业客户提供基于通用、解耦、高性能的硬件和SONiC软件框架的全场景一站式网络解决方案。面向AI时代下的新需求和新挑战,我们仍将积极拥抱开放生态,持续为用户构建中立透明、易于运维、高性价比的基础网络。

关注vx公号“星融元Asterfusion”,获取更多技术分享和最新产品动态。

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库,基于 Torch 库,底层由 C++ 实现,应用于人工智能领域,如计算机视觉和自然语言处理

<think>好的,我现在要解决用户关于NVIDIA Quadro M5000安装Xinference的兼容性问题。首先,我需要了解Xinference的基本要求,尤其是对GPU的支持情况。Xinference是一个支持多种模型的推理框架,通常依赖CUDA和cuDNN等库,因此需要确认M5000的CUDA兼容性。 根据引用[3],NVIDIA Quadro M5000在Ubuntu 18.04上可以通过安装CUDA驱动来支持。M5000基于Maxwell架构,计算能力5.2,而CUDA 11.x最低要求是计算能力3.5,所以理论上是兼容的。不过,CUDA 11可能需要特定驱动版本,比如450.80.02以上,但用户提供的引用中提到的驱动版本是440.64,可能不够新,需要检查是否满足CUDA版本要求。 接下来,Xinference的具体依赖需要确认。如果它需要较新的CUDA版本,比如CUDA 11.8,可能需要升级驱动到支持该版本的版本。此外,用户需要安装正确的CUDA工具包和cuDNN库,并确保与Xinference的版本兼容。 另外,引用[2]提到某些显卡在Mojave系统中可能出现黑屏问题,但用户的问题是关于Linux下的安装,所以可能不相关。不过,这也提醒我要考虑系统版本的影响,比如Ubuntu 18.04是否被Xinference支持,或者是否需要更高版本的系统。 总结步骤:检查CUDA版本要求,确认M5000的计算能力是否足够,确保驱动版本符合CUDA要求,安装CUDA和cuDNN,最后测试Xinference的安装。同时,注意系统兼容性和可能存在的依赖冲突。</think>关于NVIDIA Quadro M5000安装Xinference的兼容性分析,以下是关键要点及步骤说明: 1. **硬件基础验证** - Quadro M5000基于Maxwell架构(GM204核心),计算能力5.2,支持CUDA 5.2-11.x[^1][^3] - 显存8GB GDDR5满足大多数推理任务需求 2. **驱动要求** - 最低需NVIDIA 440.64驱动(支持CUDA 10.2) - 推荐升级至470.xx+驱动以支持CUDA 11.x - 验证驱动安装: ```bash nvidia-smi | grep "Driver Version" ``` 3. **CUDA环境配置** - 通过官方runfile安装CUDA 11.x(与Xinference版本对应) - 配置示例: ```bash wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run sudo sh cuda_11.8.0_520.61.05_linux.run ``` 4. **系统兼容性检查** - 支持Ubuntu 18.04+/CentOS 7+ - 验证GPU识别: ```bash lspci | grep -i nvidia ``` 5. **Xinference依赖安装** - 需同步安装: ```bash conda install -c conda-forge cudatoolkit=11.8 cudnn=8.6 pip install "xinference[gpu]" ``` 6. **最终验证测试** ```python from xinference.client import Client client = Client("http://localhost:9997") model_uid = client.launch_model( model_name="llama-2-chat", model_size_in_billions=7, quantization="q4_0", device="gpu" ) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值