做了五年App，我转型做了端侧AI应用

一个做了五年Android开发的程序员，在公司砍掉两个App项目之后，在手机端跑通了第一个大模型。

一、五年Android，从如鱼得水到无路可走

2024年8月，我在一家做工具类App的公司当Android开发，五年工龄。Kotlin + Jetpack Compose + Coroutines，这套技术栈我用了三年，之前两年是Java + XML那套老东西。从Activity/Fragment迁移到Compose的时候，我是团队里第一个吃螃蟹的人，踩了一堆坑，也攒了一身本事。

我的日常就是写App。网络请求用Retrofit，本地存储用Room，图片加载用Coil，依赖注入用Hilt。一个App从零搭到上线，我做过四个。内存泄漏排查、ANR优化、包体积压缩，这些都是我的拿手好戏。

“这个页面在低端机上掉帧，你看看是不是Compose的重组太多。”

这是我那几年最常说的话。我对Android的性能调优有一种近乎偏执的执着——因为Android的碎片化太严重了，你的App在骁龙8 Gen3上跑得飞起，到了天玑700上可能就卡成PPT。

薪资两万三，还行。但2024年下半年，风向变了。

公司原本有四个App项目在并行，2024年第四季度砍了两个。不是项目不好，是公司算了一笔账：养一个App开发团队（前端+后端+测试+运维），一年成本小两百万，但用低代码平台搭一个类似的工具App，成本只要十分之一，而且两周就能上线。

“以后工具类的App就用低代码做了，咱们Android团队从8个人缩到3个人，保留核心App的迭代。”

Leader说这话的时候很平静，但我知道这意味着什么。8变3，走了5个人，留下的3个也不安全——因为AI生成代码的能力在快速进化，以前一个页面要写一天，现在用Cursor半天就搞定了。

2025年1月，我决定转型。不是等到被裁了再转，是趁还在岗的时候主动找方向。

---

二、在手机上跑大模型，第一次尝试就翻车了

转型的方向我是被一条新闻启发的。2025年1月，看到一条消息：MLC-LLM在骁龙8 Gen3上跑Llama 3 8B模型，推理速度能到每秒15个token。我当时的第一反应是——手机上跑大模型？真的假的？

我本能地觉得这是个大机会。因为端侧AI有一个云端AI没有的优势：隐私。很多企业不敢用云端大模型处理内部数据，但如果模型跑在手机本地，数据不离开设备，这个问题就不存在了。

我决定先在自己的手机上试试。掏出我的小米14（骁龙8 Gen3，16GB内存），按照MLC-LLM的文档开始折腾。

第一天就翻车了。

MLC-LLM的Android部署文档写得跟天书一样，大段大段的编译指令，NDK交叉编译、JNI接口、模型转换。我做了五年Android开发，NDK用过但不算精通，TVM这个深度学习编译框架我听都没听过。

“这个编译环境配了两天都没跑通，是不是我太菜了？”

我在一个技术群里发了这句话，一个做AI推理的哥们儿回我：“不是你菜，是这块的工程化还不成熟，大家都在摸。”

这句话让我安心了一点，但问题还是要解决。我花了三天搭编译环境，又花两天把Llama 3 8B模型转成MLC格式，最后在手机上跑起来的时候——推理速度只有每秒3个token，跟文档说的15差了十万八千里。

后来才搞明白，8B模型在手机上跑，内存占用太大，触发了系统的内存压缩，性能直接腰斩。文档里说的15 token/s是用了INT4量化后的结果，我用的是FP16，没做量化。

那一刻我意识到：端侧AI不是"把模型塞进手机"这么简单，它是一整套工程问题——模型量化、内存管理、硬件加速、功耗控制——每一个都是硬骨头。

但我也意识到另一件事：这些问题里，有一半是我做了五年Android开发的老本行。内存管理、功耗优化、thermal throttling，这些我太熟了。

---

三、INT4量化和NDK编译，最难的两关

2025年3月到5月，我花了两个月死磕端侧AI部署的几个核心技术点。这两个月是我技术生涯最痛苦也最兴奋的两个月。

第一关是模型量化。INT4量化是把模型参数从16位浮点数压缩到4位整数，理论上模型体积缩小到四分之一，推理速度大幅提升。但操作起来非常繁琐。

我用的方案是llama.cpp的GGUF格式。先把Llama 3 8B的原始权重转成GGUF，再用Q4_K_M量化方法做INT4量化。量化后的模型从16GB缩到了4.7GB，手机上能跑了。但量化是有代价的——模型精度下降，推理质量会打折。我做了个简单的对比测试，INT4量化后的模型在复杂推理任务上比FP16差了大约5-8个百分点，但简单对话基本没区别。

“对于端侧场景，5%的精度损失换4倍的速度提升，值。”

这是我给团队汇报时的结论。端侧AI主要做简单对话和基础问答，不是做复杂推理，5%的精度损失完全可以接受。

第二关是NDK交叉编译。llama.cpp是C++写的，要在Android上跑，得用NDK交叉编译成.so库，再通过JNI接口在Kotlin/Java层调用。我以前只做过简单的NDK开发，这次要编译一个依赖复杂的项目，踩了一堆坑。

最大的坑是ABI适配。Android设备有arm64-v8a、armeabi-v7a、x86_64等多种架构，每种架构都要编译一份.so库。而且不同设备的CPU特性不同，有的支持NEON指令集，有的不支持，编译参数得分别配置。我写了一个Gradle插件，自动根据目标架构选择编译参数，把这个流程自动化了。

第三关是端侧推理的内存管理。这个最让我头疼。模型加载到内存后占4.7GB，加上推理时的中间状态，峰值内存占用能到6GB。小米14有16GB内存看着够用，但实际上系统和其他App也占内存，可用空间经常只有8-10GB。一旦内存不够，系统就会杀进程，App直接闪退。

我用了一个分页加载的策略：模型权重按层切分，推理时按需加载当前层，用完释放。这样峰值内存降到了3.5GB，但推理速度慢了30%——因为频繁的内存读写。最后我在两者之间找了个平衡点：前10层常驻内存，后面的按需加载，峰值内存4.2GB，速度只慢了8%。

这种取舍和平衡，做Android开发的人天然就擅长——因为Android开发一直就是在有限资源里做优化。

---

四、NPU加速，从"能跑"到"好用"的关键一跃

2025年6月，我拿到了一个新机会。公司决定在核心App里加一个AI助手功能，要求离线可用——这就是端侧AI的典型场景。我被指派做技术预研。

模型在手机上跑通了，但每秒3-5个token的速度，用户体验很差。用户发一个问题，等了五六秒AI才吐出一个字。这个速度别说跟ChatGPT比，连早期的智能助手都不如。

瓶颈在CPU推理。llama.cpp默认用CPU跑推理，骁龙8 Gen3的CPU虽然强，但跑大模型还是吃力。我需要用NPU——神经网络处理器——来加速。

高通骁龙8 Gen3集成了Hexagon NPU，专门为AI推理设计的硬件单元。理论上用NPU跑推理，速度能提升好几倍。但问题是，高通的NPU开发工具链（QNN）极其复杂，文档稀缺，而且llama.cpp对Hexagon NPU的支持还处于实验阶段。

我花了两周研究QNN开发框架。要把llama.cpp的推理后端从CPU切到Hexagon NPU，需要把模型再转换一次——从GGUF格式转成高通的QNN格式，然后用QNN的运行时来跑推理。

转换过程又是一堆坑。QNN对模型结构有要求，不是所有层都支持NPU加速，有些层会fallback到CPU，导致整体加速效果打折。我逐层排查，把不支持的层做了等价替换，最终实现了90%以上的层在NPU上跑。

效果是立竿见影的。推理速度从每秒3-5个token飙到了每秒22-28个token，比纯CPU快了五六倍。用户体感上，AI回答基本是"秒回"的，打字速度比人还快。

“这个速度可以了，用户根本感觉不到是本地模型。”

这是产品经理试用后的评价。但他不知道这个"可以了"背后，是我两个月没日没夜的调优——模型量化、内存分页、NPU加速，每一步都是在跟手机的硬件限制搏斗。

---

五、端侧AI应用工程师在干什么

做完那个项目后，我在公司内部做了一次技术分享，标题是"端侧大模型部署实战：从模型选择到NPU加速"。台下坐了二十多个人，有Android开发、有后端、有算法。

分享后有人问我：端侧AI应用工程师跟普通Android开发有什么区别？

我说，区别在于你服务的对象从"业务逻辑"变成了"AI模型"。但你的核心能力——内存管理、性能优化、硬件适配——一点没变，反而更重要了。

端侧AI应用工程师的日常工作大概分几块。

第一块是端侧模型部署。选模型（7B还是3B还是1.5B）、选量化方案（INT4还是INT8）、选推理框架（llama.cpp还是MLC-LLM还是ONNX Runtime），然后把它跑到目标设备上。这块的核心挑战是"在有限硬件资源下做取舍"——模型越大效果越好，但手机内存有限、功耗有限、散热有限，你得在这些约束里找最优解。

第二块是硬件加速。不同手机的NPU不一样——高通是Hexagon、联发科是APU、华为是昇腾NPU。你要针对不同平台做适配，用各家的SDK来加速推理。这块的工程量很大，因为每家厂商的工具链都不一样，文档还烂。

第三块是端云协同架构。纯端侧模型能力有限（3B模型跟GPT-4差的不是一星半点），所以实际产品通常是端云结合：简单问题用端侧模型秒回，复杂问题切换到云端大模型。这个切换逻辑的设计、网络状态的处理、用户无感切换的体验，都是前端和移动端工程师要搞的。

第四块是功耗和热管理。大模型推理是吃电大户，跑几分钟手机就发烫，然后触发thermal throttling，CPU和NPU降频，推理速度暴跌。你得做功耗控制——限制推理频率、做动态帧率调整、在温度超标时降级到更小的模型。这些事情，做过移动端开发的人有天然的敏感度。

---

六、移动端开发经验，是端侧AI的稀缺能力

2025年10月，一个做AI手机的厂商通过猎头找到我，开价年薪45万，岗位是"端侧AI应用工程师"。比我在原公司的薪资高了将近一倍。

我后来跟那个厂商的技术负责人聊了一次，他说了一段话让我印象很深：

“我们团队有做AI推理的、有做模型压缩的，但没有人懂Android。模型在实验室跑得好好的，到了真机上就出各种问题——内存爆了、闪退了、发烫了。我们需要一个真正懂移动端工程的人。”

这就是端侧AI领域的一个现实：懂AI的人不懂手机，懂手机的人不懂AI。两边能搭上的桥梁极少。

如果你也是做移动端开发的，正在焦虑App开发的岗位越来越少，我的建议是：

端侧AI是移动端开发者最好的转型方向之一，因为你的核心能力在这里极度稀缺。

第一步，在你的手机上跑通一个大模型。用llama.cpp，下个Q4量化的Llama 3.2 3B模型（GGUF格式），在Android上用JNI调起来。不用追求速度，先跑通，理解模型在端侧的运行机制。

第二步，学模型量化和硬件加速。Q4_K_M量化是入门，Hexagon NPU/QNN是进阶。这块的文档确实烂，但正因为烂，会的人少，你学会了就是护城河。

第三步，理解端云协同。端侧模型不可能替代云端大模型，两者的结合才是未来。研究怎么做端云切换、怎么做模型路由、怎么在保证体验的前提下降低云端调用成本。

手机上跑大模型这件事，三年前是科幻，现在已经是产品了。但能让它真正好用的，不是算法工程师，是懂手机的工程师。我就是那个做了五年App的Android仔，现在干的活还是那些——内存管理、性能调优、硬件适配——只不过优化的对象从业务代码变成了AI模型。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！