24GB 内存 M4 运行本地模型:虽有局限但乐趣与优势并存!

MacBook 2024款M3芯片(24GB内存)部署AI大模型 摘要:本研究评估了MacBook 2024款M3芯片(24GB内存)部署AI大模型的能力。M3芯片采用3nm工艺,集成16核神经网络引擎,统一内存架构提供100GB/s带宽。研究发现,FP16精度下可运行13B参数模型,4-bit量化可扩展至20-30B参数。量化技术对比显示,AWQ INT4精度保留98.9%,SmoothQuant INT8推理速度达38.4 tokens/s。实际部署案例中,Qwen3-30B-A3B模型在24GB设备上实现26.57 tokens/s推理速度。研究建议采用MoE架构、 阅读详情

在配备 24GB 内存的 M4 上运行本地模型

2026 年 5 月 10 日,阅读时长 13 分钟。涉及 Elixir、大语言模型(LLM)、通义千问(Qwen)、LLM Studio。断断续续尝试在本地运行模型一段时间后,终于找到可行方案。虽输出效果不及最先进(SOTA)模型,但能让本地模型完成基本任务、用于研究和规划,这种兴奋感足以弥补差距!而且运行本地模型无需联网,还能减少对美国大型科技公司的依赖。

搭建环境不易

搭建运行本地模型的环境并不轻松。首先要选择运行模型的方式,像 [Ollama]、[llama.cpp] 或者 [LM Studio],每种方式都有特点和局限性,并非所有模型都能在这些工具中使用。接着要挑选合适的模型,需选既能在内存中运行,又能为日常使用的 Electron 应用留出足够空间的最佳模型,且模型最好有至少 64K 的上下文窗口,理想情况是达到 128K 或更大。最近尝试了 Qwen 3.6 Q3、GPT - OSS 20B、Devstral Small 24B,理论上能在内存中运行,但实际无法正常工作;Gemma 4B 运行没问题,但工具使用表现不佳。

此外,还有大量配置选项需调整。从常见参数(如温度)到晦涩选项(如 K 缓存量化类型),很多工具提供基本推荐选项,但合适配置会因是否启用思考模式等因素而异。

通义千问 3.5 - 9B(4b 量化)表现出色

`qwen3.5 - 9b@q4_k_s` 是目前运行效果最好的模型。在 LM Studio 上运行,启用思考模式时每秒约能输出 40 个 token,能成功使用工具,有 128K 的上下文窗口。与 SOTA 模型相比,它易分心、会陷入循环、可能误解问题等。但对于配备 24GB 内存的 Macbook Pro 来说,运行时还能为其他程序留空间,表现相当不错!

以下是思考模式和编码工作的推荐设置:

精确编码任务(如 Web 开发)的思考模式:

温度(temperature)= 0.6,核采样概率(top_p)= 0.95,采样数量(top_k)= 20,最小概率(min_p)= 0.0,存在惩罚(presence_penalty)= 0.0,重复惩罚(repetition_penalty)= 1.0

要启用思考模式,需选择模型,进入配置页面,滚动到推理(Inference)选项卡底部,在提示模板(Prompt Template)中添加 `{% - set enable_thinking = true %}`。

通过 [pi] 和 [OpenCode] 使用这个模型,但还没决定更喜欢哪个。Pi 响应速度更快,虽欣赏其自动构建工具和丰富自定义功能,但希望它提供合理默认设置,感觉调整 Pi 配置花费的时间可能比实际项目开发时间还多!

Pi 设置

以下是 `~/.pi/agent/models.json` 的内容:

{

"providers": {

"lmstudio": {

"baseUrl": "http://localhost:1234/v1",

"api": "openai - completions",

"apiKey": "lm - studio",

"models": [

{

"id": "qwen3.5 - 9b@q4_k_s",

"reasoning": true,

"compat": { "thinkingFormat": "qwen - chat - template" }

}

]

}

}

}

若要隐藏干扰性的思考内容,可在 `~/.pi/agent/settings.json` 中添加 "hideThinkingBlock": true。

OpenCode 设置

`~/.config/opencode/opencode.json` 的内容如下:

{

"$schema": "https://opencode.ai/config.json",

"provider": {

"lmstudio": {

"npm": "@ai - sdk/openai - compatible",

"name": "LM Studio (本地)",

"options": {

"baseURL": "http://127.0.0.1:1234/v1"

},

"models": {

"qwen3.5 - 9b@q4_k_s": {

"name": "通义千问 3.5 9B Q4_K_S",

"tools": true,

"context_length": 131072,

"max_tokens": 32768

}

}

}

},

"model": "lmstudio/qwen3.5 - 9b@q4_k_s"

}

与 SOTA 模型的比较

像通义千问 3.5 9B(Q4)这样的模型,远不能像 SOTA 模型那样长时间独立解决复杂问题。让它一次性构建完整应用程序不现实,只会浪费时间没结果。

不过,采用更交互式工作流程更有效,即逐步与模型清晰沟通并给予大量指导。很多人可能觉得这样做没意义,但实际上这能让人更投入。使用 SOTA 模型的弊端是,容易让人把所有认知工作交给它们,即便试图避免也难。

使用本地模型时,需承担更多思考和规划工作,更具体地提问题,但它仍可充当研究助手、“橡皮鸭调试法”对象,以及能瞬间回忆大量编程语言细节和命令行调用的专家。虽无法带来 10 倍生产力提升,但有一定作用且有趣。

示例展示

示例 1

想将 Elixir 代码检查工具 `credo` 更新到最新版本,代码出现警告。让通义千问帮忙查看,它给出了详细解决方案:

我:

运行 mix credo --strict 并提出解决方案,不要直接编辑代码

通义千问:

Credo 警告

测试文件中有 4 个警告。问题在于使用 length/1 来检查列表是否非空。Credo 建议将列表与空列表进行比较。

警告信息如下:

1. test/jola_dev_web/controllers/blog_controller_test.exs:11

- assert length(conn.assigns.posts) > 0

2. test/jola_dev_web/controllers/blog_controller_test.exs:22

- assert length(conn.assigns.posts) > 0

3. test/jola_dev/blog_test.exs:10

- assert length(posts) > 0

4. test/jola_dev/blog_test.exs:23

- assert length(tags) > 0

解决方案

将每个 length(list) > 0 替换为 list != []:

blog_controller_test.exs:

# 第 11 行

assert conn.assigns.posts != []

# 第 22 行

assert conn.assigns.posts != []

blog_test.exs:

# 第 10 行

assert posts != []

# 第 23 行

assert tags != []

这样在 Elixir 中更符合习惯,并且避免了计算列表长度的开销。

让通义千问进行编辑,它同时进行了 4 处编辑,很干净利落。总体来说,这是简单任务,自己也可在终端和编辑器间切换获取行号编辑,使用模型更方便。

示例 2

更新一些依赖项后,Dependabot 的拉取请求(PR)出现 Git 冲突,Dependabot 拒绝变基。将代码拉下来变基后让通义千问帮忙查看。这是简单冲突,只需选每个依赖项较新版本,模型也识别出这点。

它给出了几种选择:

我能看到冲突。情况如下:

HEAD(当前分支):

- sentry: 13.0.1

- tailwind: 0.3.1

另一方(正在变基的提交):

- sentry: 12.0.3

- tailwind: 0.4.1

依赖项更新存在分歧。你有以下几种选择:

选项 1:同时接受两个更新(推荐)

- 保留 HEAD 中的 sentry 13.0.1

- 保留另一方的 tailwind 0.4.1

- 这样可以获得两个依赖项的最新版本

选项 2:仅接受 sentry 更新

- 保留 sentry 13.0.1

- 保留 tailwind 0.3.1

选项 3:仅接受 tailwind 更新

- 保留 sentry 12.0.3

- 保留 tailwind 0.4.1

你想采用哪种方法?

然而,要求它进行更改时,它忘记编辑,只试图添加更改并继续变基操作,冲突标记仍存在。

它还没意识到 `git rebase --continue` 会打开编辑器,导致 OpenCode 卡住,不过这可能是个例。

总结

大语言模型(LLM)非常灵活,本地模型也能完成很多任务,想象力就是边界。本地模型虽有明显权衡之处,但也有吸引人的优点:无需联网,可在飞机上工作;成本仅限于使用的电量,无需订阅费用;开源模型公司在环境影响方面远不及大型公司,使用自己的硬件减少了数据中心的使用;摆弄这些模型很有趣。

大语言模型对世界产生巨大影响,虽有很多不积极的影响,但显然会一直存在。尝试使用本地模型是更可持续、更积极的与这项技术互动的方式。即便它偶尔出错,也很有趣!那你是否也想尝试一下本地模型呢?

Mac本地运行Gemma 4:轻量、私密、离线可用的大模型生产力实践 大语言模型(LLM)本地化部署正成为开发者关注的核心技术趋势,其核心价值在于隐私保护、低延迟响应与上下文可控性。基于Apple Silicon芯片的Mac设备凭借统一内存架构和Neural Engine加速能力,天然适配轻量级量化模型推理。Gemma 4的e4b(q4_K_M)版本通过精细4-bit量化,在保持98%技术准确性的同时将内存占用压至1.2GB,完美匹配Mac日常开发场景——如代码解释、报错分析、CLI补全与文档生成。结合Ollama提供的OpenAI兼容API,用户可无缝集成至终端、VS Co 阅读详情

相关推荐

本地大模型最佳设备:M5 Ultra Mac Studio 深度解析与部署指南

大模型推理的瓶颈往往不在算力,而在内存容量与带宽。Apple 的统一内存架构让 CPU 与 GPU 共享同一物理内存,配合高带宽设计,使得本地部署大模型从“能跑”变为“跑得爽”。M5 Ultra Mac Studio 预计将进一步提升统一内存上限与带宽,为运行 70B 级模型、长上下文推理和多模型常驻提供硬件底气。结合 Ollama、LM Studio、llama.cpp 等主流部署框架,开发者可以在完全离线的环境中搭建私有 GPT 服务、AI 编程助手甚至多 Agent 工作流。本文从内存瓶颈原理出发,到

weixin_33985679的博客 577

在24GB M4 MacBook上跑本地大模型:Qwen 3.5-9B实测40 tokens/s,支持工具调用

在大模型越来越「黑箱化」和「云端化」的今天,这种「可控但有限」的本地方案,或许代表了一种值得保留的替代路径。jola 非常坦诚地指出了本地模型与云端 SOTA 模型的差距:Qwen 3.5-9B(Q4)无法独立完成复杂的多步骤任务,容易分心、陷入循环、误解需求。在经历了多次模型选型、量化配置和前端适配的试错后,他最终搭建出了一套「不需要联网、能在笔记本上流畅运行」的本地 AI 工作流——核心模型是。这些细节说明,本地模型的「可用性」不仅取决于硬件和模型本身,前端推理引擎的配置同样关键。

dotNET跨平台 681

Ornith 1.0开源Agentic编程模型实测:16GB Mac Mini本地运行9B参数模型

Ornith 1.0 开源 Agentic 编程模型实测:16GB Mac Mini 本地跑 9B 值不值得? 最近在探索轻量级编程模型时,发现 Ornith 1.0 这个新开源的 Agentic 编程模型在开发者社区引起了不小关注。作为一个长期关注 AI 编程工具的开发者,我决定在 16GB 内存的 Mac Mini 上实测这个 9B 参数的模型,看看它是否真的能在本地环境中提供实用的编程辅助能力。 本文将完整记录从环境搭建到实际测试的全过程,包含详细的配置步骤、代码示例和性能分析。无论你是想了解 Age

weixin_33767813的博客 487

MXFP4量化:如何在80GB GPU上运行1200亿参数的GPT-OSS模型

GPT-OSS通过创新的量化技术实现了突破性进展。该系统能够在单个80GB GPU上运行1200亿参数模型,同时保持竞争性的基准测试性能。

deephub 1719

M4芯片统一内存架构解析与性能优化实践

统一内存架构(UMA)是现代处理器设计中的重要创新,它通过物理上单一的内存池为CPU、GPU等计算单元提供统一访问空间,消除了传统架构中数据拷贝带来的性能损耗。从技术原理看,UMA依赖高带宽互连和智能内存调度,在机器学习、内容创作等场景能显著提升能效比。以Apple M4芯片为例,其273GB/s的内存带宽和零拷贝特性,使其在移动端大模型部署等应用中展现优势。开发者可通过Metal API优化内存布局,结合MLX框架实现高效LLM推理。相比传统GDDR显存,UMA在功耗效率(1.5pJ/bit)和最大容量(

weixin_33314040的博客 254

Mac M4本地跑Gemma 4 12B:MLX+Metal深度调优实战

大语言模型本地推理正从‘能跑’迈向‘可用’,其核心在于硬件加速框架与芯片特性的深度协同。Apple Silicon的统一内存架构与Metal计算栈,为macOS端高效AI提供了物理基础;而MLX作为专为该生态设计的张量库,通过直连Metal、零拷贝加载和动态形状支持,显著突破传统PyTorch或llama.cpp在Mac上的性能瓶颈。技术价值体现在FP16精度下稳定20+ token/s生成、显存精算控制与低系统侵入性,适用于离线代码辅助、敏感数据处理及AI底层原理研究等场景。本文聚焦M4芯片特性,详解ML

weixin_30781433的博客 330

谷歌最新发布的Gemma 4模型本地手机也可部署

谷歌发布Gemma 4开源大模型家族,包含E2B(2B)、E4B(4B)、26B MoE和31B Dense四个版本,性能显著提升。其中31B Dense模型在开源AI榜单排名第三,26B MoE采用混合专家架构实现高效推理。新模型原生支持图文音多模态输入,最大支持256K上下文窗口,采用Apache 2.0协议允许自由商用。特别优化移动端部署,最小版本仅需3.2GB内存,可在手机等设备离线运行。实测显示,在RTX 4090等设备上能实现接近GPT-4的本地推理能力。该模型已通过主流平台开放获取,被视为谷歌

小马过河R的博客 1089

Mac Studio M3 Ultra 实战运行 GPT-OSS 120B 大模型全指南

大语言模型本地推理正从‘能跑’迈向‘可用、稳定、静音’的新阶段。统一内存架构、Metal 加速与 MXFP4 量化技术共同构成消费级设备运行百亿参数模型的核心支撑;其中 Apple Silicon 的硬件级内存一致性显著降低 KV Cache 管理开销,而 MoE(混合专家)设计则在保持能力的同时大幅压缩单步计算量与带宽压力。这类优化使 120B 级别模型首次在桌面工作站实现低延迟(TTFT < 2s)、高吞吐(42 tokens/s)与长时稳定运行,适用于技术写作、代码辅助、私有知识处理等真实工作流。本文

weixin_34159110的博客 424

Qwen3.5:本地化部署的机遇与局限

当技术圈热议「Qwen3.5 提供 Sonnet 4.5 性能」时,不少开发者在本地部署后发现,这更像是「Sonnet 4.5 的影子」——能完成基础任务,但复杂场景下仍需人工干预。一位 Hacker News 用户直言:「我用 MBP M3 Max 跑 Qwen3.5-35B,45 分钟才给出一个泛泛而谈的答案,而云端 Opus 4.6 只需 2 分钟就完成深度研究问题。」这种落差感,正是当前开源大模型落地的真实写照。

weixin_43097543的博客 1545

Ollama部署大模型详解

Ollama的优势在哪里? 如何启动Ollama 配置适合自己Ollama 加载本地模型的方法

topfine的博客 2610

Strix Halo 128GB统一内存跑Qwen3.8-27B本地大模型

大语言模型(LLM)的本地部署,正成为数据隐私与离线场景下的核心需求,而显存容量长期是主要瓶颈。AMD Ryzen AI Max+ 395(代号Strix Halo)采用统一内存架构,将CPU与GPU整合进同一256-bit LPDDR5X内存池,最高可选128GB容量,理论带宽超过256GB/s,从硬件层面打破了“显存不足”的限制。基于这一架构,开发者无需依赖独立大显存显卡,即可将Qwen3.8-27B级别的GGUF模型权重完整载入GPU端。通过llama.cpp、LM Studio或Ollama等推理框

weixin_30567225的博客 347

GLM-4-9B-Chat-1M一文详解:18GB fp16 vs 9GB INT4精度损失实测报告

本文介绍了如何在星图GPU平台自动化部署GLM-4-9B-Chat-1M镜像,实现超长文本处理与智能对话。该镜像支持处理长达100万token的文档,适用于技术文档总结、财报分析等企业级场景,INT4量化版本显存占用仅9GB,大幅降低部署门槛并保持高性能。

weixin_28999139的博客 662

35B大模型16GB显存部署对比:Ornith与Qwen实测指南

大语言模型部署中的量化技术是解决显存限制的关键方案,通过降低模型权重精度来大幅减少内存占用。其原理是将FP32权重转换为INT4等低精度格式,结合分组量化和动态缩放技术保持模型性能。这项技术的价值在于让35B参数级别的大模型能够在16GB消费级显卡上稳定运行,极大降低了AI应用的门槛。在实际应用中,量化模型广泛应用于代码生成、智能对话、文档处理等场景。本文基于Ornith 35B和Qwen 35B两个热门模型,通过详细的量化部署测试,对比了它们在代码生成和中文理解等核心任务上的性能表现,为开发者提供实用的选

weixin_34411563的博客 307

NaViL-9B技术解析:为何必须双24GB显卡?31GB权重加载深度拆解

本文介绍了如何在星图GPU平台上自动化部署NaViL-9B镜像,实现多模态AI内容生成功能。该平台支持双24GB显卡配置,满足31GB权重加载需求,适用于图文交互、跨模态内容创作等场景,显著提升多模态模型的推理效率和稳定性。

weixin_42577735的博客 818

MiniMax M2.7:单机实现大模型本地RLHF与轻量级对齐

大模型迭代正从云端重训练走向本地化、轻量化实践。其核心原理在于通过架构收缩(如MoE稀疏激活)、算法简化(如双阶段reward蒸馏)和工程压缩(如QLoRA+梯度检查点),显著降低显存与算力门槛。这种技术路径不仅提升了迭代可控性与数据安全性,更释放出中小团队在垂直场景快速对齐业务目标的能力价值。典型应用场景包括客服对话优化、金融/医疗领域术语精准生成、边缘设备部署等,尤其适用于需保障数据不出域、响应SLA强约束、且缺乏分布式训练基建的落地环境。MiniMax M2.7正是这一趋势下的代表性轻量级对齐实践。

闲谈 440

M4 Mac mini变身AI服务器:揭秘苹果NPU算力与Claude开发实战

神经网络引擎(NPU)作为专用AI加速硬件,通过高度集成的SoC架构和统一内存设计,实现了CPU、GPU与NPU之间的高效协同,大幅降低了AI推理的延迟与功耗。这种硬件革新使得高性能AI算力得以嵌入到个人计算设备中,为边缘计算和实时应用场景提供了新的可能。在工程实践中,开发者借助Core ML框架和模型转换工具,能够将主流AI模型部署到本地设备上运行。Claude等AI编程助手通过自然语言交互和代码生成能力,显著降低了利用苹果NPU进行应用开发的技术门槛,实现了从模型选择、格式转换到调试优化的端到端辅助。这

weixin_34216107的博客 446

Deltafin项目:在M1 Max上运行2.8T参数大模型的技术突破

大模型推理是当前人工智能领域的核心技术之一,其核心原理是通过神经网络前向传播计算生成文本序列。在资源受限环境下实现高效推理具有重要技术价值,特别是在数据隐私敏感和成本控制要求高的应用场景中。Deltafin项目通过创新的内存优化策略和计算图优化技术,在M1 Max的64GB统一内存架构上成功运行2.8T参数的Kimi K3模型,实现了0.0687 token/s的推理速度。该项目展示了分层加载机制和算子融合等关键技术如何突破硬件限制,为研究者和中小企业提供了本地部署超大规模模型的新思路,在模型蒸馏和离线分析

weixin_34023982的博客 368

操作系統恐龍書第十版課後答案CH10

課後

apple_72111807的博客 4047
上一篇: 本地 AI 应成常态:告别云依赖,打造有用软件!
下一篇: 《线性代数思维》:以代码和案例开启线性代数实用学习之旅!
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值