GPT-5出世，需5万张H100！

OpenAI联合创始人兼职科学家Andrej Karpathy近日发文，阐述了自己对英伟达GPU短缺的看法。

近来，社区广为流传的一张图「我们需要多少张GPU」，引发了众多网友的讨论。

- GPT-4可能在大约10000-25000张A100上进行了训练

- Meta大约21000 A100

- Tesla大约7000 A100

- Stability AI大约5000 A100

- Falcon-40B在384个A100上进行了训练

– Inflection使用了3500和H100，来训练与GPT-3.5能力相当的模型

另外，根据马斯克的说法，GPT-5可能需要30000-50000个H100。

此前，摩根士丹利曾表示GPT-5使用25000个GPU，自2月以来已经开始训练，不过Sam Altman之后澄清了GPT-5尚未进行训。

在这篇名为「Nvidia H100 GPU：供需」文章中，深度剖析了当前科技公司们对GPU的使用情况和需求。

文章推测，小型和大型云提供商的大规模H100集群容量即将耗尽，H100的需求趋势至少会持续到2024年底。

当前，生成式AI爆发仍旧没有放缓，对算力提出了更高的要求。

一些初创公司都在使用英伟达昂贵、且性能极高的H100来训练模型。

马斯克说，GPU在这一点上，比药物更难获得。