【AI大模型部署】牛！手机上轻松部署大模型全攻略！

原创最新推荐文章于 2026-05-06 11:00:30 发布 2.3k 阅读 AI写同款

Agent学习路线

1万+粉丝1902篇原创

关注

AutoGLM安卓端侧部署：手机本地运行大模型全指南大语言模型（LLM）端侧推理是AI落地的关键路径，其核心在于轻量化、低延迟与强隐私保障。AutoGLM作为专为Android深度优化的推理框架，通过编译期GPU特化、ashmem内存池管理及ADB驱动的环境自适应部署，显著区别于通用方案如LLaMA.cpp。它支持在骁龙8 Gen2等主流SoC上实现首token<700ms的离线响应，满足记者、法务、教育等高敏场景对数据不出设备的硬性要求。结合智谱GLM系列量化模型与标准化ADB控制流，开发者可快速构建具备RAG扩展、语音交互与安全加固能力的AI手机应用—— 阅读详情

AI摘要

本文聚焦于Llama 3 8B与Phi-3 3.8B等轻量级开源大模型的本地化部署，重点介绍基于Termux+Ollama在Android手机上的完整部署流程，并对比二者在响应速度、中文能力、代码生成与数学推理等方面的实测表现。强调小模型在隐私保护、离线运行与低算力设备适配方面的技术优势，为个人开发者提供可落地的大模型私有化部署方案。

前言

当前AI革命中，大模型发挥关键角色，其理论基础在于Scaling Law。简单来说就是，随着数据、参数和计算能力的提升，模型能力增强，展现出小规模模型所不具备的“涌现能力”。众多AI企业推出开源大模型，规模按扩展定律实现指数增长。

然而不可忽视另一趋势，大模型体积正逐渐精简，为私有化部署提供可能性。 这在个人隐私保护要求高的场景中尤为重要。无需联网传输数据，直接在设备上运行的AI能增强用户信任。虽然云服务器上的AI可能性能更强，但安全性和可靠性令人担忧。

本文介绍几个适合私有化部署的最新大模型，并提供部署指导，手把手部署到电脑及手机。

一、开源大模型介绍

目前备受瞩目的大型模型，如ChatGPT和Bard，都是基于专有的闭源技术构建的。这无疑限制了它们的应用范围，同时也使技术信息的透明度变得模糊。

然而，开源AI大型模型（LLMs）正逐渐崭露头角，它们不仅增强了数据的安全性和隐私保护，还为用户节省了成本，降低了对外部依赖，实现了代码的透明性和模型的个性化定制。其中，Meta推出的Llama 3和微软的Phi3是开源大模型中的佼佼者，被誉为“小而美”的模型，且部署起来极为便捷。 这些开源大模型的出现，让我们看到了AI技术更加开放、透明和灵活的未来。

1、Llama 3

Meta 重磅发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。Meta表示，Llama 3 8B和Llama 3 70B是目前同体量下，性能最好的开源模型。

LLaMA是顶尖的开源模型，众多国内大型模型都基于它构建。经过人类反馈的强化学习（RLHF）微调后，它可以作为聊天机器人，适应多种自然语言生成任务，包括编程。基准测试显示，Llama 3 400B+的实力与Claude超大杯和新版GPT-4 Turbo相近，证明它在顶尖大模型中占据重要地位。

模型链接：https://llama.meta.com/llama-downloads/``GitHub项目地址：https://github.com/meta-llama/llama3

2. Phi-3

Phi是微软AI研究院新推出的开源小型语言模型，适用于商业环境，其特点是小巧高效。Phi系列包括Mini、Small和Medium三种规模。尽管Phi-3-Mini只有3.8B参数，但在关键测试中表现出色，与大型模型如Mixtral 8x7B和GPT-3.5相当，更大的版本在扩展数据集下肯定表现更佳。

Phi-3 技术报告：《一个能跑在手机上的大模型》https://arxiv.org/abs/2404.14219

小结

经过基准测试，Llama 3 8B和Phi3 3.8B小模型均表现出色。尽管它们的规模较小，但它们所采用的优化方法却具有一定的相似性。

对于大型模型的性能表现，关键因素在于框架、数据和参数。 鉴于参数规模较小，因此在如此小的参数下使用MOE框架并无实际意义。因此，这些模型主要在数据上投入大量精力，通过提高数据的数量或质量来优化小模型的性能。这为未来精简大型模型提供了重要的方向。

二、电脑部署的流程

首先介绍下，大模型部署利器Ollama，支持Llama 3、Mistral、Gemma等大型语言模型。

部署大模型只需两步：下载并安装Ollama，然后运行大模型。以Windows为例，从官网或文末下载Ollama，一键安装即可。

官网下载链接 https://github.com/ollama/ollama

安装完Ollama后，然后打开命令行，运行命令【ollama run llama3】，就可以下载并运行llama3大模型了（其他模型的运行命令如上），初次下载模型的会比较慢，下载完就可以愉快地对话了。

Ollama还支持其他功能如，图片等多模态输入、传入提示词调教模型等，具体可以看下文档。

三、手机部署的流程

与电脑相比，手机部署大模型意义更大，因为手机与生活更紧密，且手机上有大量个人数据，便于后续交互。现在很多人都有闲置手机，如果性能足够，运行大模型很有吸引力。我的旧手机是小米8，性能还可以。

手机上部署麻烦一些，类似于电脑部署，需要安装配置Linux环境。虽然安卓底层基于Linux内核，但重装Linux很难。不过，我发现了一个神器：Termux，可以在Android设备上运行许多Linux命令和工具。你可以从F-Droid官网下载安装Termux。

官网下载链接：https://github.com/termux/termux-app/releases

安装后打开Termux如下图。（如有要打开多个Linux窗口，左上角右滑点击New session就可以。）

要在手机上部署大模型，使用Termux+Ollama就成了。

首先，通过Termux的proot-distro功能，可以方便地安装一个Linux系统，如Ubuntu、Debian或Arch Linux。这样，在Android设备上就能拥有完整的Linux环境，以安装和运行Linux软件包。

// 先来安装proot-distro
pkg install proot-distro

//使用proot-distro安装一个debian
proot-distro install debian

// 安装成功后通过login命令就直接进入debian，为发行版启动一个root shell
proot-distro login debian

第二步，同电脑的流程，安装Ollama，下载及运行大模型。

//进入之后再来安装ollama
curl -fsSL https://ollama.com/install.sh | sh

// 安装完毕可以查看ollama版本进行验证，出现版本号之后就可以使用ollama
ollama -v


// 后台开启ollama服务
nohup ollama serve &

//运行大模型（其他模型的命令如下图，可通过ollama list查看模型） 
ollama run phi3

第一次要下载安装软件及大模型会比较慢，弄个一小时是要的。安装完了，后面都可以直接使用。只要运行login debian系统、Ollama服务、运行大模型后就可以使用了。

在手机上编写代码有种独特的魅力。虽然简陋，但一行行输入代码，看着屏幕上的输出，感觉非常酷。安装远程软件如Tailscale或todesk，用电脑编写代码更有趣。但需要注意，如果算力受限，大模型回复较慢，同时手机也会更耗电。

四、本地大模型的体验

模型表现： 大模型表现权威的数据可以看一些相关的测评，比如下图。

在此，我对手机本地部署的两个大型模型（llama3和Phi3）进行了简要的测试，并分享了我的个人体验。总体而言，llama3在各项表现中展现出更为稳定的特性，而Phi虽然有时会出现差错，但其响应速度却更胜一筹，使我在综合体验上觉得Phi更为出色。

响应速度，受限于手机或电脑的性能，如果电脑配备了GPU，响应可能会更为流畅。然而，在手机上的回复确实显得有些迟缓，有时甚至需要等待几分钟才能得到几个字的回应。值得注意的是，Phi3的回应速度明显快于llama3。尽管llama3的8B模型规模几乎是Phi3的3.8B模型规模的两倍。

中文能力方面， 这些开源模型确实存在一定的短板。当提问一些不常见的问题时，模型在回答过程中可能会突然转向英文。 此外，很多中文表达模糊不清，导致它们讲述的笑话内容也显得尴尬。这主要是因为高质量的中文数据集远远无法与英文数据集相提并论，这一数据层面的差异在未来很可能会进一步凸显。 在中文任务方面，我觉得llama的表现会比Phi3更为出色。如果你有兴趣，还可以尝试llama的中文变种——llama3-Chinese。

llama3

phi3

**代码能力：**看着都有模有样的，但还是可以看出来Phi3有一些语法错误。

llama3

phi3

**数学推理：**看着都还不错，Phi3感觉更好些。

llama3

phi3

**安全性：**都有不错的合规意识

llama3

phi3

五、结语

尽管当前AI的落地应用尚显稀疏，但技术的成长毕竟需要时间，大型模型的高昂推理成本无疑是其普及的桎梏。

然而，**正是小模型如Llama 3和Phi3的崭露头角，让我们看到了大模型实用化的曙光。**虽然小模型的训练成本较高，但其低廉的推理成本却为整体经济带来显著的节省，特别是在为海量用户提供服务时，高性能的小模型更让AI挣脱了成本的束缚，灵活应用于各种场景。想象一下，能够根据自身需求在本地部署定制化的AI，其魅力不言而喻！

展望未来，相信随着模型优化和定制AI芯片等技术带来的算力提升，更多“小而美”的AI大模型将逐渐融入我们的日常生活，让我们感受AI带来的变革！

本文到此为止，大家玩的愉快，别忘了点赞哦！