我在iPhone上装了70亿参数大模型，来自陈天奇团队最新成果

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

跑大语言模型的门槛，已经降低到一部iPhone了。

当然安卓版本也有，只要手机RAM够6G，听上去是不是比用2060还要震撼？

而且这次还是开箱即用的版本！

这个项目名为MLC LLM，与之前的WebLLM同出自知名学者陈天奇团队。

截止目前已在GitHub上斩获超6800星。

目前可以测试的模型有羊驼家族（基于LLaMA）的RedPajama和Vicuna。

可选模型参数分别为30亿和70亿，与很多在线Demo规模也相当了。

RedPajama团队表示，这一成果打开了大模型私有化部署的可能性。

话不多说，快来看看体验如何。

文字功底尚可，但理科是短板

我们选择了其中的Vicuna模型进行测试。

首先测试一下它的文学造诣，于是让它为四个季节分别写了一首诗。

韵律吗，基本上是两三句一押。

除了诗歌，故事也能创作，甚至还能写出内心戏来。

不只是爱情，其他类型的故事也难不倒它。

除了文学上的应用，我们不妨再来试试它的实用功能。

我们让它生成了一道夏威夷披萨的菜谱，看上去还蛮不错。

旅游计划也可以让它来安排。

我们再来看看它在理工科上的表现怎么样。

首当其冲的是代码，我们让它尝试用Python写了一段寻找最大数的代码。

想不到上来就是一通枚举……不过结果倒也是符合要求。

不过遇到稍难的问题，它的编程能力就有些捉襟见肘了。

至于数学和逻辑推理则一言难尽，不过毕竟为适配手机参数有限，倒也情有可原。

我们还试了试用中文进行提问，但发现目前对中文的适配还有些问题。

另外，移动APP目前还不具有保存聊天记录功能，切出界面时一定要小心小心再小心。

虽然目前能在手机上跑的大模型能力还有限，但团队也展示了未来更多发展方向。

比如为用户定制模型并与云端公共基础模型交互、提供离线支持、App嵌入、去中心化等等。

如何安装

这款大模型支持iOS、安卓移动设备，以及Windows和Mac

iOS用户可以先安装好TestFlight，然后从下面的传送门申请测试：

传送门：https://testflight.apple.com/join/57zd7oxa

如果名额已满，也可以用GitHub上的代码自行编译安装

传送门：https://github.com/mlc-ai/mlc-llm

安卓用户直接下载apk安装即可，第一次运行时需联网下载数据包。

传送门：https://github.com/mlc-ai/binary-mlc-llm-libs/raw/main/mlc-chat.apk

桌面用户请参阅官方教程：

传送门：https://mlc.ai/mlc-llm/