26年前老年机跑Llama2，每秒39个token：你的AI PC，也可以是Windows 98

让 Llama 2 在 Windows 98 奔腾 2（Pentium II）机器上运行，不但成功了，输出达到 39.31 tok / 秒。

 

这台 PC 可能比你的年龄还大，要知道它已经是 26 年前的硬件了，配备英特尔奔腾 2 CPU 和 128MB 的内存。

 

该项目是一个名为 EXO Labs 组织的一次大胆尝试，其证明了如果 Llama 模型能在 26 年前的硬件上跑通，那么它可以在任何地方运行。

为了证明这是真实发生的，EXO Labs 还放出了一段视频。视频显示一台古老的 350 MHz Elonex 奔腾 2 电脑启动 Windows 98 后，然后启动了基于 Andrej Karpathy 开发的 Llama2.c 定制的纯 C 推理引擎，并要求 LLM 生成一个关于 Sleepy Joe 的故事。

 

令人惊讶的是，它成功了，故事的生成速度非常快。  ​编辑

不过，上述令人大开眼界的壮举远不是 EXO Labs 的最终目标。这个有点神秘的组织于 9 月正式成立，其使命是「让人工智能普及大众」。该组织由牛津大学的研究人员和工程师组成。简而言之，EXO 认为少数几家大公司控制人工智能对文化、真理和我们社会的其他基本方面来说是一件非常糟糕的事情。因此，EXO 希望建立开放的基础设施来训练前沿模型，并使任何人都可以在任何地方运行它们。通过这种方式，普通人几乎可以在任何设备上训练和运行人工智能模型 —— 而这个疯狂的 Windows 98 运行大模型只是一个演示，展示了在（严重）有限的资源下我们可以做些什么。

 

正如读者所料，EXO 轻而易举地从 eBay 上买到了一台旧的 Windows 98 PC 作为该项目的基础，硬件有了，但仍有许多障碍需要克服。EXO 解释说，将数据导入旧硬盘就是一项巨大的挑战，因此他们只能使用老式 FTP（good old FTP）通过这台古老机器的以太网端口进行文件传输。

 

然而，更大的挑战是让 Windows 98 编译现代代码。好在 EXO 找到了 Andrej Karpathy 的 llama2.c 项目。借助此资源和旧的 Borland C++ 5.02 IDE 和编译器（加上一些小调整），可以将代码制作成与 Windows 98 兼容的可执行文件并运行。