绝区叁--如何在移动设备上本地运行LLM

随着大型语言模型 (LLM)（例如Llama 2和Llama 3）不断突破人工智能的界限，它们正在改变我们与周围技术的互动方式。这些模型早已集成到我们的手机中，但到目前为止，它们理解和处理请求的能力还非常有限。然而，这些新型LLM人工智能模型可以理解和生成类似人类的文本，使它们成为增强语音助手、聊天机器人和其他自然语言处理任务等应用程序的理想选择。

然而，这些 AI 模型的一个主要限制是它们需要大量资源才能运行计算。虽然桌面应用程序可以利用强大的CPUs 和GPUs，但手机的硬件却有限得多。更困难的是，由于我们的移动设备几乎一直伴随着我们，隐私也是一个更大的问题。网络连接也是一个问题，因为快速可靠的信号并不能保证。因此，为了最大限度地利用Llama 3Android 设备上的东西，我们必须在设备上离线运行它。

我们在 Android 手机上没有太多这样的选择。话虽如此，也有些工具可让您在 Android 设备上本地下载和运行 LLM 模型。您可以下载小型 AI 模型（2B 到 8B），如Llama 3、Gemma、Phi-2、Mistral 等。就此而言，让我们开始吧。

在本文中，我们将探讨如何在 Android 设备上运行小型轻量级模型，例如 Gemma-2B、Phi-2 和 StableLM-3B 。

具体操作

克隆此repo以访问并使用作为示例提供的演示 Android 应用程序git clone https://github.com/googlesamples/mediapipe
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout s