手机端大模型运行框架

在安卓手机上运行大模型的工具主要包括Termux、MediaPipe LLM Inference API、MLC、Maid APP、PocketPal以及阿里巴巴开源的MNN-LLM App。

Termux：
通过在手机上安装Termux，可以模拟Linux环境，进而下载和运行大模型，如Ollama、Llama 3等。但安装过程相对复杂，涉及大量命令行操作，适合技术专家或开发者使用。

MediaPipe LLM Inference API：
谷歌发布的API，支持在手机、PC等设备上运行AI大模型，包括Gemma、Phi 2、Falcon和Stable LM等模型。该API在安卓上主要用于实验和研究。

MLC：
支持GPU调用的工具，可能提升计算速度。在安卓手机上，可以通过特定方法使用MLC来运行大模型。但使用旧手机时可能出现黑屏等问题，新手机可能会有所改善。

Maid APP：
可以直接使用大模型的APP，安装较为简便。但需要科学上网，且运行速度非常慢，不推荐使用。

PocketPal：
国外的一个应用，运行方便，速度较快，适合大多数用户使用。但安装包只能在谷歌商店下载，且国内用户访问速度慢。

阿里巴巴开源的MNN-LLM App：
阿里巴巴开源的基于MNN-LLM框架开发的手机AI助手应用，可以在手机上离线运行大模型。用户需要下载、安装应用，并进行自行编译等步骤。

这些工具各有优缺点，用户可以根据自己的需求和手机配置选择合适的工具来运行大模型。