手机就能跑本地大模型！这个Github项目火了！

关注

转载最新推荐文章于 2026-03-01 00:29:28 发布 594 阅读 AI 写同款· GEO 优化 ›

【Qt】使用QMediaPlayer播放视频 window平台可以安装K-Lite，linux平台一般各发行版都会默认安装GSteam。播放RTSP视频时，可以使用VLC播放器搭建一个视频推流服务器，用于拉流的客户端的调试。3、如果没有添加Qt环境变量，请把关联的Qt5MultimediaWidgets.dll和Qt5Multimedia.dll放到进程路径下否则也会报ServiceMissingError错误。2、需要安装解码器，否则报 ServiceMissingError 无法找到服务的错误。1、需要在.pro工程文件中引用对应模块。阅读详情

大家好！我是菜哥！

你是否幻想过要一个陪伴你在身边的AI助理？

这个助理及时响应你的诉求，默默执行任务，同时又不会把你的隐私传递到云端，还有就是免费打工。

其实这是端侧AI一直致力于解决的方向，将 AI 直接植入日常设备，实现“数据不出设备、响应无需等待、使用无需付费”的终极体验。

今天分享的这个项目就是端侧AI领域的一个最新进展，Nexa SDK，这个项目为端侧AI的落地实现带来了很多有意思的体验，让 “边缘AI推理” 更加触手可及，快来看看吧！

这么有意思的项目欢迎 Star 一下👇

代码：https://github.com/NexaAI/nexa-sdk

HuggingFace：https://huggingface.co/NexaAI

一、端侧场景化体验——不仅是聊天，而是“多模态”助手

技术的最终价值，在于落地为可感知的用户体验。Nexa SDK 构建的端侧 AI 生态，可延伸至多模态交互、本地知识库、实时场景感知等多元场景。

1. 移动端：口袋里的“隐私AI管家”

想象一下，你的手机相册里存着数千张照片、截图和设计素材，无需联网，用自然语言就能瞬间找到目标——这正是 EmbedNeural 带来的体验。作为全球首个专为 Apple 和 Qualcomm NPU 设计的多模态嵌入模型EmbedNeural，它结合SDK让手机成为“永不离线的视觉搜索引擎”。

极简两步完成部署体验

步骤1：按照模型卡片上的说明，下载SDK并激活访问令牌：sdk.nexa.ai/model/EmbedNeural
步骤2：参考 GitHub 示例的 ReadME，打开 Gradio 可视化界面

nexa pull NexaAI/EmbedNeuralnexa servepip install -r requirements.txtpython gradio_ui.py

核心亮点

毫秒级搜索：如在 5000+ 张图片中搜索“穿西装的猫”，仅需 0.03 秒即可命中结果，远超传统相册的关键词匹配效率。
100% 隐私保护：所有图片嵌入处理均在本地完成，数据从未上传云端，彻底杜绝隐私泄露风险。
超低功耗：依托 NPU 加速，持续索引和搜索的功耗仅为 CPU/GPU 方案的 1/10，支持后台运行而不显著耗电。
未来可期：即将推出的视频搜索功能，可通过自然语言（如“查找所有人在笑的片段”）检索本地视频库，进一步拓展移动端 AI 应用边界。

还有更多的可玩性，比如理解你输入的各种多模态信息：

2 PC 端：本地“超级大脑”——Hyperlink

对于需要处理大量敏感文档的知识工作者（律师、金融从业者、医生），基于 Nexa SDK 构建的本地 AI 助手重新定义了 PC 端 AI 体验。这款，相当于“私有化部署的 Perplexity”，让电脑成为能理解文件、生成洞察的智能伙伴。

Hyperlink 支持 100% 本地离线、无限制上下文同步、多硬件本地运行最新模型等全功能；ChatGPT 仅具备部分功能且不支持本地；其他本地 AI 仅实现本地离线，功能较单一

核心能力包括：

无限制本地知识库：支持索引 PDF、Word、PPT、图片、会议纪要等多种格式文件，无文件数量上限（支持 10000+ 文档），远超 ChatGPT（40 个）、NotebookLM（50 个）的云端限制。
自然语言问答+溯源：可回答“总结供应商合同中的合规问题”等复杂查询，生成的答案附带可点击的原文引用，确保信息准确性。
Agentic RAG 推理：不仅能检索文档，还能跨文件关联信息、发现隐藏规律。在 75 个真实场景测试中，Hyperlink 以 4.2/5 的高分超越 ChatGPT（GPT-5）和 NotebookLM（Gemini 1.5 Pro），成为隐私敏感场景的首选。
全离线运行：无需联网，所有索引、检索、生成过程均在本地完成，既保证数据安全，又避免网络波动影响体验。

下面视频是 Hyperlink 在本地 PC 上部署 gpt-oss-20B 模型，实现本地 RAG：

Hyperlink 下载体验链接：https://hyperlink.nexa.ai/

3 全场景多模态：从汽车到 IoT 的“感知大脑”

Nexa SDK 的场景延伸能力，还可以用在你的汽车上：

车载场景：AutoNeural-VL-1.5B 作为首个为 Qualcomm SA8295 NPU 软硬件协同设计的车载 VLM 模型，可实现座舱内检测、车外环境感知、HMI 理解、视觉+语音交互等功能。其端到端延迟较传统方案降低 14 倍，支持 768×768 高分辨率图像输入，为驾驶安全提供实时智能支撑。

除此之外，如果你对机械臂/机器人等IoT设备感兴趣，也是完全可以的

IoT 场景：通过 NexaML 引擎，LFM2-1.2B 等模型可在 Qualcomm IQ-9075 等 IoT 芯片上高效运行，实现工业场景的异常检测、现场设备的实时指导等功能，解码速度达 45 tokens/秒，满足边缘计算的低延迟需求。

二、技术探寻：AI 的“最后一公里”如何在设备端？

云端大模型虽能提供强大的生成与推理能力，但始终受限于三大核心痛点：

依赖稳定网络连接，离线场景完全失效；
数据需上传至第三方服务器，隐私泄露风险让金融、医疗等敏感领域望而却步；
云端传输带来的延迟，让实时交互类场景（如车载语音、实时翻译）体验大打折扣。

随着芯片技术的爆发式发展，这一局面正在被改写。无论是手机的 NPU（神经网络处理单元）、PC 的独立显卡/NPU，还是嵌入式设备的专用计算芯片，硬件算力的普遍提升为 AI 迁移至“端侧”奠定了基础。

但是端侧 AI 开发的核心痛点，在于设备生态的碎片化。手机的 Apple A 系列芯片与安卓骁龙芯片架构不同，PC 的 CUDA 与 Metal 平台互不兼容，开发者需为不同设备编写专属代码，适配成本极高，这也成为端侧 AI 普及的最大障碍。

在这一趋势下诞生的Nexa SDK 并非单一工具，而是一套“一站式端侧 AI 推理与部署工具包”，覆盖模型压缩、跨平台适配、快速部署全流程，旨在解决端侧 AI 开发中的兼容性、性能优化、易用性三大核心难题。让开发者通过简单命令即可完成复杂模型的端侧部署，真正实现“一次开发，全设备运行”。

Nexa SDK 是 Nexa AI 推出的端侧 AI 开发工具包，依托自研 NexaML 引擎，可跨平台深度适配 NPU、GPU、CPU，支持多模态模型 Day-0 落地，以低代码、OpenAI API 兼容特性，助力手机、汽车等设备快速实现高效本地 AI 应用

这种“开箱即用”的设计，让非专业算法工程师也能快速落地端侧 AI 应用。下面视频展示了通过 NexaCLI 实现 PC 端 40 秒极速安装运行 Qwen 模型。

有同学可能想了解和其他本地推理框架例如Ollama的区别，这张表也给出了更直观、清晰的展示（来自 nexa-sdk README）：

三、目前支持哪些模型与硬件？

1）模型支持

深度适配通义千问系列（Qwen-VL、Qwen-Audio）、Llama 3 系列、GPT-OSS 等主流模型（4/8 bit），同时支持自定义模型的快速接入。

HuggingFace：https://huggingface.co/NexaAI

2）硬件合作

与 Qualcomm、Apple、AMD、Intel、NVIDIA 等芯片厂商深度合作，针对特定硬件优化运行效率。例如，Hyperlink 借助 Qualcomm Hexagon NPU 的 80 TOPS 算力，实现隐私与性能的兼顾；在 AMD Ryzen AI 平台上，模型解码速度达 51.78 tok/s。