Star History 月度开源精选｜Llama 2 及周边生态特辑

7 月 18 日，Meta 发布了 Llama，大语言模型 Llama 1 的进阶版，可以自由免费用于研究和商业，支持私有化部署。
所以本期 Star History 的主题是：帮助你快速把 Llama 2 在自己机器上跑起来的开源工具，无论你的机器是什么！

file

Llama

file

Llama 本身是个开源的基础大语言模型 (LLM)，由网上公开可获取到的数据训练完成。它于今年 2 月正式开源，五个月之后就发布了新一代版本，Llama 2。
相比原版，Llama 2 在 2 万亿个标记上进行了训练，上下文长度翻了一倍，有 3 种不同大小的参数：7B, 13B 和 70B，参数的区别在于你希望使用更小、更快速的还是准确性更高的模型？

file

llama.cpp

file

llama.cpp 是在 Meta 官方公告里提到的社区在 Llama 上实现的成果之一，用 C++ 重写了 Llama 的推理代码，通过一些优化和量化权重，颠覆了我们的认知：它可以在普通硬件上本地快速运行大型 LLM，比如可以

在 Google Pixel5 上，以 1 token/s 的速度运行 7B 参数模型。
在 M2 Macbook Pro 上，以 16 token/s 运行 7B 参数模型。
在 4GB RAM 的 Raspberry Pi 上运行 7B 模型，速度 0.1 token/s。

这个项目是如此成功，以至于作者 Georgi Gerganov 把自己的 side project 正式成立为了一家初创公司 ggml.ai (这是个用于机器学习的张量库，llama.cpp 和 whisper.cpp 的背后都用着它)

file

Ollama

file

Ollama 为运行、创建和分享大型语言模型（比如 Llama 2）而设计，现支持 macOS 系统，Windows 和 Linux 用户暂时需要自己通过源码编译。下好 Ollama 后，运行 ollama run llama2 就可以在你的 Mac 上用 Llama 2 了。

file

Ollama 的作者之前在 Docker 工作过，开源语言模型的兴起让他觉得大型语言模型也需要类似的东西，所以就有了为预先编译好的包，而用户可以自己调节一些参数。

MLC LLM

file

MLC LLM 旨在让你能在任何设备上开发、优化和部署 AI 模型。任何语言模型都可以在各种硬件后端和本地应用程序上原生部署（支持的设备包括各种移动端，平板端，电脑端，和 Web 浏览器），无需服务器支持，你也可以进一步优化模型性能，以适应自己的使用场景。
MLC Chat 已经在苹果应用市场上线了，现支持 Llama-2-7b 模型，好奇的小编立刻试用了一下，很简单好用，就是手机容易发烫😅。（题外话：感觉 Llama 2 还有很大增长空间呀）

file

LlamaGPT

file

LlamaGPT 实力证明了 AI 浪潮依然强劲，五天前才开源，GitHub 现在已经有 6.6K 星星了。
它是个自托管的聊天机器人，体验类似 ChatGPT，不会将任何数据传输到外部设备，目前三种 Llama 的模型都已经支持上了，背后也用到了之前提到的 llama.cpp。所以和前的几个工具相比的话，LlamaGPT 是一个更完整的应用程序，包含了 UI，也不需要手动设置任何内容、优化参数，这应该是最适合非技术人员用上 Llama 2 的方法了。

file

最后
作为开源、免费、可商用的大语言模型，Llama 把我们和 AI 的距离又拉近了一些，虽然相比一些收费模型，Llama 还是差了一点意思，但是就像 Meta 在新闻通稿里提到的「我们经历了开源带来的好处，比如 React 和 PyTorch ，这些已经成为整个技术行业常用基础设施。我们相信公开分享大型语言模型将支持有益且更安全地生成 AI 技术的发展。」相信有了社区的力量，Llama 和周边生态会越来越棒😆

最后的最后，当然，还有很多其他方式用上 Llama 2：比如通过 Homebrew 下载，Poe，等等等等，更多可以参考以下：