我在Mac上部署了阿里开源Qwen3，这3个玩法让我上头

原创最新推荐文章于 2026-08-15 13:11:54 发布 1.7k 阅读 AI写同款

Python_金钱豹

1万+粉丝2835篇原创

关注

Mac本地部署Qwen3实战：Apple Silicon上的中文大模型生产力方案大语言模型（LLM）的本地化运行正从概念走向日常实践，尤其在Apple Silicon Mac上，依托Metal加速与优化推理框架（如Ollama、MLX），轻量级开源模型已具备真实生产力价值。其核心原理在于量化压缩（如GGUF格式）与硬件协同推理，显著降低内存与算力门槛；技术价值体现在数据主权可控、响应确定性强、工作流深度集成；典型应用场景覆盖代码辅助、邮件智能摘要、私有知识库RAG等专业工作流。本文聚焦Qwen3在Mac平台的原生部署与工程化落地，详解Ollama配置、Metal加速调优及VS Code 阅读详情

AI摘要

本文介绍在Mac上使用Ollama本地部署阿里开源大语言模型Qwen3，其成本低、支持多语言，在GitHub获高关注。还提到用Cherry Studio构建知识库实现基于知识库的提问。此外，分享大模型AI学习的四个阶段，包括初阶应用、高阶应用、模型训练和商业闭环，并提供学习资料领取方式。

五一回老家那会，和发小吃了个饭，聊到了现在的 AI。

发小说看我玩 AI 玩的挺疯的，也想用在工作中提效，可公司电脑不让联网。

这一下就把我拉回到了数年前，在讯飞某保密项目中无网干撸代码的情形。

这真是太痛苦了。

为了让发小能在工作中用到 AI，我尝试教他本地部署最近很火的 Qwen3。

并发现了下面 3 种有趣实用的玩法，该说不说，Qwen3 确实让人上头。

经过一番折腾，发现果然官方说的“Qwen3-4B 这样的小模型也能匹敌 Qwen2.5-72B-Instruct 的性能。”，诚不欺我。

我的 Mac 部署的是最新的 Qwen3-8b，如果配置再好点，搞个 14b，那效果又上一个层次了。

不过在介绍本地部署和我的几个实践之前，觉得还是有必要和大家先聊聊 Qwen3。

后面会介绍如何本地部署 Qwen3 以及 3 大玩法。

Qwen3 是阿里在上个月底发布的新一代开源大语言模型系列，属于通义千问（Qwen）家族的最新一代模型。

短短半个多月，就已经在 GitHub 上获得了可怕的 21.1 k 的 star。

牛逼，我的开源项目 PmHub 快一年了也才三百多个 star。

还有一个很让我意外的新闻，国际权威媒体日本经济新闻（NIKKEI）4月公开的AI模型评分榜，阿里的通义千问在113个模型中排名第6，是排名第一的开源模型。

据说，日本企业中得分最高的模型ABEJA-Qwen2.5-32B正是基于千问开发，日经媒体官方甚至也表示：千问已经成为了日本AI开发的基础。

写到这里的时候，我其实是有些热泪盈眶的，忽然想起钱学森归国时说过的话："手里没剑和有剑不是一回事。

Qwen3 目前能支持 119 种语言，还能支持一些地方语言。

这个其实意义还蛮大的，别看 AI 这么火，但还是很多国家并没有技术能力去开发自己语种的 AI 大模型。

Qwen3 的开源，直接让他们有了可以依赖的开源模型。

可以看到的是，不止是日本，通义千问已经成为多国AI开发基础，

比如这位国外的 X 老哥基于Qwen/Qwen2-72B 开发了个用法语回答问题的机器人。

还有这个日本老哥（或是老姐？）用 Qwen3-8 B 进行日语微调。

我发现，在 X 上，对 Qwen3 大家还是相当认可的，国外博主都在争相报道。也难怪 GitHub 飙升的这么快。

突然感觉，这一幕似成相识，这不咱们这边蹲OpenAI的既视感吗？

在墙外人的眼中，它好像真是香饽饽。

很多人好奇为啥不是 DeepSeek？从数据来看，DeepSeek 的部署成本还是相对高了，Qwen3 的成本很低，旗舰模型235B参数部署成本几乎只要DeepSeek-R1的三分之一。

而且 Qwen3 是一个开源的混合推理模型，能够在思考模式和非思考模式下自由切换，可以帮助在成本效益和推理质量之间实现更优的平衡。

除此之外，Qwen3 在 Agent 能力上表现很出色，模型底层天然支持MCP协议。

这就很舒服了呀，也难怪那么人选择作为 AI 开发基础。

好啦，如果想更多了解，大家可以通过以下地址了解和体验 Qwen3：

Qwen Chat：https://chat.qwenlm.ai
通义 APP：https://www.tongyi.com/
GitHub：https://github.com/QwenLM/Qwen3

当然你也可以向苍何一样本地部署个小模型 Qwen3，玩一玩，还可以进行微调。

下面我们沉浸式体验下。

本地部署Qwen3

这里我依旧使用 Ollama 来部署。

在 Ollama 选择 Models，找到 qwen3：

选择对应尺寸参数，我的 Mac 最多支撑 8 b 了。

具体计算大家可以参考这个公式：模型所需GPU内存大小≈模型大小×1.2。
我的 mac 是 16 G，理论上能跑 8 b。

复制这个命令，本地终端执行。

一共 5.2 G，偷偷看了一眼电脑剩余空间，留下了不争气的泪水。

复制命令后，慢慢等他下载模型，等就好了。

部署完后，你就可以直接和他对话。

但我想没人会直接这么完。通常会结合具体的使用场景来搞。

下面是一些我觉得本地部署模型能给我们实际带来的一些帮助 case。

本地部署数据隐私可以保护，而且可以针对性的做微调，做 RAG。

知识库

这里我用 Cherry Studio 做了 3 个知识库，把相应的数据导入。

然后在模型这里选择刚部署的 Qwen3，就可以实现基于知识库的提问了。比如我的知识库里面有之前自己写的 rocketmq 专栏，他都能给我快速找到。

基于微信读书笔记进行特定语句提问以及总结。

整体效果我体验下来是比之前要好很多的。不过知识库不能太大，不能小模型也抵不住。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述