llama.cpp部署QWEN3.5-9B和Gemma4-e4b,用Claude Code对比测试

本地AI实战:Claude Code+llama.cpp+Qwen 3.6零API部署方案 大语言模型本地化部署正成为中小团队应对高成本、强合规与低延迟需求的核心路径。其本质是将推理引擎、交互界面与模型能力解耦重构:llama.cpp 提供跨平台轻量推理内核,支持 GGUF 量化与内存级上下文管理;Claude Code 作为可插拔的 IDE 智能调度器,将编码交互升维为本地 AI 操作系统;Qwen 3.6 凭借原生 reasoning_effort 控制与共享权重 embedding 能力,成为中文长文本理解与代码生成的基建型模型。该组合规避了云端 API 的 token 计费、数据出境风险与 阅读详情

昨天部署了Gemma4:26B和E4B,一是自己显存不够,部署的时候总是爆显存。二是claude code与Gemma4配合有问题,claude爆内存,任务进行不下去。
所以今天我又通过llama.cpp部署了QWEN3.9-9B,并做了些测试。

结论:

  • llama.cpp性能比Ollama强很多,我没做量化测试,网上其他博主给的数据显示llama.cpp是Ollama的1.8倍。
  • Qwen3.5-9B,效果比Gemma4-e4b要好些,能跟Claude配合做一些相对复杂的事情。
  • 12GB显存的RTX5070 Ti 移动版,只能用量化版本,最终我选的是Qwen3.5-9B-GGUF:UD-Q4_K_XL。

运行QWEN3.5-9B

在上一篇的基础上,我只要执行下面的命令就可以顺利运行大模型。
Q8版本,显存爆了。

llama-server -hf unsloth/Qwen3.5-9B-GGUF:UD-Q8_K_XL --host 0.0.0.0 --port 17691 --ctx-size 131072 --temp 1.0 --top-p 0.95 --top-k 64 --repeat-penalty 1.0 -ctk q8_0 -ctv q8_0 --flash-attn on --batch-size 1024 --ubatch-size 512 --threads 10 --threads-batch 12 --no-mmap --mlock --parallel 1 --no-warmup --jinja

Q6版本,占用显存8G左右,勉强能跑,所剩显存很少。

llama-server -hf unsloth/Qwen3.5-9B-GGUF:UD-Q6_K_XL --host 0.0.0.0 --port 17691 --ctx-size 131072 --temp 1.0 --top-p 0.95 --top-k 64 --repeat-penalty 1.0 -ctk q8_0 -ctv q8_0 --flash-attn on --batch-size 1024 --ubatch-size 512 --threads 10 --threads-batch 12 --no-mmap --mlock --parallel 1 --no-warmup --jinja

Q4版本,占用显存6G左右,能顺利执行,且剩余空间足够。

llama-server -hf unsloth/Qwen3.5-9B-GGUF:UD-Q4_K_XL --host 0.0.0.0 --port 17691 --ctx-size 131072 --temp 1.0 --top-p 0.95 --top-k 64 --repeat-penalty 1.0 -ctk q8_0 -ctv q8_0 --flash-attn on --batch-size 1024 --ubatch-size 512 --threads 10 --threads-batch 12 --no-mmap --mlock --parallel 1 --no-warmup --jinja

小诀窍:可以登录HuggingFace,添加自己的显卡设备,就可以看到官方给的建议,哪些模型能顺利执行。
请添加图片描述

与Claude Code对接

还是通过CC Switch配置
请添加图片描述

让claude创建一个多Agent协作机制:

下面的内容是我发给Claude的内容,我用Qwen3.5-9B和Gemma4-34b各做了一遍,提示词有细微差别。

## 用户提出的问题/需求
### 1. 初始询问
> "你是谁?"
### 2. 查看配置
> "查看 claude.md"
### 3. 创建工作流机制
> "创建一个新工作流机制,有 4 个 Agent,每个 agent 负责一项工作"
### 4. 确认 Agent 职责
> "选题 + 研究 + 写稿 + 校对,这样 4 步,用来编写文章、博客"
### 5. 确认实现方式
> "先创建完整的方案,并与我确认;然后再规划并实施"
### 6. 确认方案
> "确认"
### 7. 询问启动方式
> "我该怎么启动这 4 个 agent?"
### 8. 询问协作机制
> "解释一下他们协作的机制"
### 9. 询问任务派发
> "我该怎么给他们派发任务?"
### 10. 提出多文章管理需求
> "如果有很多文章,怎么管理?"
### 11. 提出机制不足
> "感觉这个机制还不够啊"
### 12. 确认改进方式(痛点选择)
> 选择了以下痛点:
> - 手动复制指令太麻烦
> - 无法批量处理文章
> - 无法查看文章状态
> - 数据无法复用
### 13. 确认系统功能需求
> 选择了以下功能:
> - 文章列表管理
> - 批量任务派发
> - 状态自动追踪
> - 结果复用、
### 14. 选择管理方式
> "混合模式"(按项目分类,每个文章独立工作区)
### 15. 整理会话记录
> "把我这轮沟通,我发的消息,整理下来,写入一个 md 文件"
---
## 最终确认的需求总结
### 核心功能
1. **4-Agent 顺序工作流**
   - Agent 1: 选题策划
   - Agent 2: 研究调研
   - Agent 3: 写作执行
   - Agent 4: 校对审核
1. **混合模式管理**
   - 按项目分类(如"保险智能营销系列")
   - 每个文章独立工作区
1. **改进机制**
   - 自动显示指令,无需手动复制
   - 批量处理支持
   - 状态自动追踪
   - 数据可复用
---
## 已创建的脚本文件


| 文件 | 用途 |
|------|------|
| `workflows/article-writing/run-all.ps1` | 总启动脚本 |
| `workflows/article-writing/start-topic-planner.ps1` | Agent 1 启动脚本 |
| `workflows/article-writing/start-researcher.ps1` | Agent 2 启动脚本 |
| `workflows/article-writing/start-writer.ps1` | Agent 3 启动脚本 |
| `workflows/article-writing/start-reviewer.ps1` | Agent 4 启动脚本 |
| `workflows/article-writing/run.ps1` | 快捷启动脚本 |
| `workflows/article-writing/new-project.ps1` | 创建新项目 |
| `workflows/article-writing/new-article.ps1` | 创建新文章 |
| `workflows/article-writing/view-status.ps1` | 查看状态 |
| `workflows/article-writing/README.md` | 使用说明 |
| `workflows/article-writing/state.json` | 全局状态索引 |
## 下一步
等待用户开始使用新创建的工作流系统。

两次运行的结果对比

Gemma4-E4B也能正常干下去,没有昨天26B-A3B那样的问题,估计是爆显存导致Claude也爆内存了。

主要对比点:

Qweb3.5-9BGemma4-E4B
回复语言默认是中文默认是英文,即使我让它用中文回复,也会用英文
长任务良好,会不断问我问题,直到任务完成偶尔会中断,也不会发出“下一步继续要做什么?"这类问题。所以我会按照第一遍的流程,直接发指示给
如下图所示,每次回复完,就不动了。看llama.cpp的控制台日志也不打,GPU也是0%。对比来看,用Qwen3.5-9B的时候,基本都能一直往下执行。
请添加图片描述

修改上下文大小

我设置的上下文大小是128k,在claude界面显示的是200k,用的Claude-hud插件。网上说可以在~/.claude/settings.json 加上环境变量"CLAUDE_CODE_AUTO_COMPACT_WINDOW": "131072",但我配置之后还是这样。
请添加图片描述

调用过程中的问题

只是记录下来,应该不需要我处理,系统自动修复了。

  ⎿  Error: [Fact-Forcing Gate]
     Before creating \bandcompany2\workflows\article-writing\start-topic-planner.ps1, present these facts:
     1. Name the file(s) and line(s) that will call this new file
     2. Confirm no existing file serves the same purpose (use Glob)
     3. If this file reads/writes data files, show field names, structure, and date format (use redacted or synthetic values, not raw production data)
     4. Quote the user's current instruction verbatim
     Present the facts, then retry the same operation.
llama.cpp伪装Anthropic服务:Claude Code本地部署全指南 Anthropic API协议是面向企业级AI服务设计的标准化接口,其核心在于/v1/messages端点、结构化content数组与SSE流式响应机制;而llama.cpp作为主流本地推理引擎,原生提供OpenAI兼容的/v1/chat/completions接口。二者协议差异导致Claude Code无法直连本地模型——这正是‘windows11 配置cuda版llama.cpp’和‘claude code本地部署’等高频搜索需求的技术根源。通过轻量HTTP协议适配层,可实现Anthropic请求到ll 阅读详情

相关推荐

Gemma 2本地部署实战:三步跑通llama.cpp轻量推理

大语言模型本地化部署是当前AI工程落地的核心能力之一,其本质是将开源模型在消费级硬件上实现低门槛、低延迟、高可控的推理服务。关键技术路径围绕模型量化(如GGUF格式)、轻量推理引擎(如llama.cpp)与系统级优化(CPU/GPU协同、内存管理)展开。Gemma 2作为谷歌推出的高性能开源模型,凭借Apache 2.0许可、原生GGUF支持及与llama.cpp的高度兼容性,成为入门本地部署的理想载体。它无需依赖云API、规避数据外泄风险,适用于学生实验、企业内网合规场景及隐私敏感型应用。本文聚焦Gemm

dianqi0560的博客 507

ClaudeCode使用llamacpp部署的huggingface gguf模型

本文主要说明如何使用llamacpp部署的huggingface gguf模型,以及如何使用ClaudeCode调用llamacpp的模型

haimin0371的专栏 2282

Mac本地部署Hermes Agent+Gemma4实战指南

本地大模型推理是指在终端设备上直接运行语言模型,无需依赖云端API。其核心原理是通过量化压缩、硬件加速(如Apple Neural Engine)和内存映射等技术,在有限资源下实现高效token生成。技术价值在于数据隐私保障、低延迟响应与离线可用性,广泛应用于编程辅助、文档处理、自动化脚本生成等开发场景。本文聚焦Mac平台,结合Hermes Agent智能体框架与Gemma4系列4-bit量化模型,详解如何构建稳定、可扩展、真正落地的本地AI工作流,覆盖M1至M3芯片全系适配与SIP绕过等关键工程细节。

dicha7140的博客 423

Qwen3.6 27B压缩到3.9GB(Bonsai 1-bit版)还能用吗

大模型 Qwen 量化

bcrun的专栏 291

Gemma 4端侧AI实战指南:Apache 2.0多模态模型落地全解析

端侧AI正从概念走向主流应用,其核心在于将大模型能力安全、高效、合规地部署于手机、IoT等边缘设备。这背后涉及模型轻量化原理、离线多模态处理机制、以及决定商用可行性的许可证约束。Apache 2.0许可证赋予开发者修改、嵌入、商用的完整权利,彻底规避法务风险;而真正支撑端侧运行的,是面向硬件优化的动态参数激活与跨模态残差连接架构。在医疗问诊、无网巡检、跨境SaaS等强隐私、弱网络、多语言场景中,这类具备离线多模态能力的开源模型,已成为替代云端API的关键基础设施。Gemma 4正是这一演进路径上的代表性实践

455

Gemma 4开源AI模型:Apache 2.0协议下的端侧多模态实践指南

开源大模型正从‘可看’走向‘敢用’,核心在于法律确定性与工程可用性的双重突破。Apache 2.0协议赋予开发者商用、闭源衍生、离线部署等完整控制权,彻底解决合规风险;而端侧AI的落地关键,在于小模型(如2B/4B级)通过架构优化(PLE、MoE)实现高参数效率,在手机、树莓派、Jetson等边缘设备上达成实时推理。结合原生多模态支持(图文+音频输入)与结构化输出能力,Gemma 4成为构建本地化AI编程助手、工业质检系统、智能机器人等场景的技术基座——它不追求参数规模,而专注在真实硬件约束下交付稳定、可控

weixin_30352191的博客 404

Qwen3.5 vs Gemma 4:谁才是 2026 年开源模型第一?

开源大模型Qwen3.5和Gemma4系列展开激烈竞争。综合对比8个型号后,Qwen3.5系列整体表现更强,其中27B版本在通用能力、推理、代码等方面最为均衡,可称为"开源第一"。Gemma4在多语种、端侧部署、音频支持等方面有独特优势,31B和E4B型号表现突出。具体选择建议:追求全能选Qwen3.5-27B,需要小模型选Qwen3.5-9B/4B,侧重多语种或端侧部署则选Gemma4相应型号。两大系列各有千秋,为开发者提供了丰富的选择空间。

高丽大学人工智能硕士在读|专注大模型、RAG、OCR与AI工程实践 4352

在Claude Code里跑DeepSeek-V4-Pro?真相与可行替代方案

大模型本地部署与工具集成是当前开发者的核心能力,涉及模型运行环境、推理引擎兼容性及量化部署等基础概念。其技术原理在于宿主平台是否提供可扩展的执行沙箱(如API接入、插件机制或模型加载接口),而SaaS类AI工具通常采用黑盒服务架构,不开放底层控制权。这种限制凸显了对模型可移植性、格式标准化(GGUF/AWQ)和轻量级运行时(Ollama/llama.cpp)的技术价值。典型应用场景包括VS Code代码补全、CI/CD自动化生成及跨平台本地推理——当闭源服务不可定制,掌握DeepSeek-Coder-V2等

weixin_30460489的博客 438

Claude Code 额度用完了?教你用本地模型无缝接力

当Claude Code额度用完时,可通过切换本地开源模型继续工作。推荐使用GLM-4.7-Flash或Qwen3-Coder-Next等模型,通过LM Studio工具或直接连接llama.cpp实现。本地模型虽在速度和质量上略逊于官方服务,但能保证心流不中断、隐私可控,可作为备用方案。对于显卡配置有限的用户,可选用量化版本降低资源占用。此外,国内中转或镜像方案也是值得考虑的替代选择。

qq_41380248的博客 1185

Ollama、llama.cpp、vLLM 本质区别与选型指南

大模型本地部署中,推理引擎、服务框架与用户环境是三个基础技术层级。Ollama 本质是面向终端用户的模型运行时环境,封装下载、量化适配与API服务;llama.cpp 是轻量级C/C++推理库,专注CPU/GPU极致效率与边缘设备兼容性;vLLM 则是高并发场景下的生产级推理服务器,核心依赖PagedAttention实现显存虚拟化与吞吐优化。三者分别解决‘开箱即用’‘资源受限确定性’和‘规模化服务稳定性’三大关键问题。理解其定位差异,是避免部署失败、冷启动超时、显存OOM等典型故障的前提。本文基于真实企业

weixin_30570101的博客 474

Gemma 4 26B MoE本地部署实战:Apple Silicon上的生产级AI

大语言模型(LLM)的本地化运行正从概念走向工程现实——其核心在于模型架构、硬件协同与推理引擎的深度适配。MoE(混合专家)并非参数堆砌,而是通过稀疏激活在消费级设备上平衡能力与开销;Apple Silicon的统一内存与Metal加速则成为低延迟、高吞吐本地推理的关键底座。技术价值体现在隐私可控、零API成本、离线可用,广泛适用于代码生成、文档处理、RAG知识库等高频开发场景。本文聚焦Gemma 4 26B MoE在M系列芯片上的完整落地路径,涵盖Ollama部署、256K上下文调优、MIT协议合规实践及

android_mylove的专栏 437

llama.cpp 部署 QWEN3.5-9B 与 Gemma4-e4b:用 Claude Code 对比测试,TaoToken 统一 Key 接入

用 llama.cpp 起 GGUF 端点跑 QWEN3.5-9B 与 Gemma4-e4b,Claude Code 经 TaoToken 统一 Key 接入做同题对比。含 llama-server 启动参数、settings.json 片段与 401 排查,官网 https://taotoken.net/?utm_source=taotoken_aicg_blog_end

weixin_36474001的博客 196

Termux+llama.cpp+GGUF:安卓手机离线运行大模型实战指南

大模型边缘部署正从服务器走向终端设备,其核心在于轻量推理框架、高效模型格式与类Linux运行环境的协同。llama.cpp以C/C++原生实现提供极致内存控制与跨平台兼容性,GGUF格式通过自描述元数据和细粒度量化(如Q4_K_M)显著降低端侧加载开销,而Termux则在无需root的安卓设备上构建出稳定、隔离、可审计的Linux兼容层。该技术栈解决了隐私敏感场景(如法务/医疗文本处理)、弱网环境(远洋/偏远地区)及内网封闭系统(工业日志分析)下的本地AI需求,使Qwen2.5-0.5B等模型可在骁龙732

weixin_33782386的博客 401

llama.cpp 部署 QWEN3.5-9B 与 Gemma4-e4b:用 TaoToken 统一 Key 跑 Claude Code 对比测试

12GB 显存跑 llama.cpp 部署 QWEN3.5-9B 与 Gemma4-e4b,用 GGUF 量化从 Q4 起步最稳。本文给出 llama-server 启动参数、TaoToken 统一 Key 接入 Claude Code 的配置片段,并逐项对比响应耗时、代码正确率与显存占用。官网 https://taotoken.net/?utm_source=taotoken_aicg_blog_end 可生成 Key 并查看接入文档。

weixin_34779181的博客 30

Gemma 4B+Vulkan+Ollama:旧服务器边缘推理实战指南

大语言模型(LLM)本地部署正从云端回归物理终端,核心诉求是轻量、可控与硬件兼容性。Gemma 4B作为Google推出的工业级开源小模型,以40亿参数、纯Decoder架构和GGUF量化格式,天然适配资源受限环境;Vulkan作为跨平台通用计算API,可绕过CUDA依赖,在NVIDIA旧卡、Intel核显甚至ARM Mali GPU上稳定调度张量运算;Ollama则提供内存映射分级、HTTP熔断网关与原子化模型缓存等生产级能力,显著优于裸跑llama.cpp。三者协同构成面向老旧x86/ARM服务器的边缘

germmy-神一样的开发 396

从jieba分词到BERT-wwm——中文自然语言处理(NLP)基础分享系列(12)

今天是本系列的最后一期,完整代码呈现Huggingface transformers平台上微调BERT-wwm-ext的过程方法。

weixin_49518391的博客 3766

CodeX 使用Gemma 4本地模型安装与实践

Gemma 4 是 Google DeepMind 于 2026年4月2日正式发布的第四代开放权重大语言模型系列。官方将其定位为“逐字节衡量下能力最强的开放模型”(Byte for byte, the most capable open models)。该系列模型与Google闭源旗舰模型Gemini 3共享同一条技术生产线,基于相同的研究成果与架构构建。这意味着开源社区获得了与Google内部顶级闭源模型处于同一技术世代的推理能力。核心技术亮点:高级推理能力。

AngelCryToo的专栏 639

更多 LSTM 变种——应用于 CMAPSS 数据集

本文并模型介绍,只是把一些比较火的技术,像双向注意力机制,自注意力机制这样的比较火的内容,简单的和LSTM堆叠,结果发现效果都不如最基础的,这里作者将本人代码及实现结果,进行展示,给各位想更改LSTM的朋友一些。

2301_77491330的博客 1766

llama.cpp本地部署避坑指南:编译、GGUF、硬件适配全解析

llama.cpp 是当前最主流的本地大模型推理框架,其核心依赖 GGUF 模型格式、跨平台编译链与硬件后端(CUDA/Metal/CLBlast)协同工作。理解其底层原理需掌握模型量化策略、内存映射机制及上下文管理逻辑——这直接决定 Qwen、Llama-3、Phi-3 等开源模型在 Windows/macOS/Linux 上能否稳定运行。技术价值在于摆脱云端依赖,实现低延迟、高隐私的私有化推理;典型应用场景包括 RAG 服务搭建、IDE 内嵌代码助手、离线知识库问答等。本文聚焦真实工程痛点,深入剖析 C

weixin_33991418的博客 576

AI编码的“黑箱危机”终结者:OpenSpec如何让你的代码从“猜谜”变“契约”?

OpenSpec的真正价值,在于它将AI编码从"经验驱动"推向"契约驱动"——当人类与AI对"目标是什么"达成显式共识,编码就从"猜谜游戏"变成了"工程实现"。这种转变不仅提升效率,更重塑了开发者与AI的关系:AI从"替代者"回归"协作者",而人类则聚焦于"定义正确的事"而非"正确地做事"。对于开发者,OpenSpec提供了驾驭AI的缰绳;对于团队,它构建了协作的基石;对于行业,它预示着AI编码工业化的开端。

haolove527的专栏 1351

POCV/SOCV 、LVF的差别

1.POCV与OCV、AOCV 为了模拟片上PVT的差异带来的影响,最早提出了OCV(On Chip Variation)给每个cell都设置一个固定的derate值,来覆盖最悲观的情况,但是随着工艺发展,设计规模增大,OCV过度的悲观开始限制性能,于是又有了AOCV(Advanced On Chip Variation),用基于depth和distance的derate来取代单一的全局的derate值,但时序收敛的过程中逻辑级数depth的变化让时序分析的时间变得非常长,由此POCV诞生了。 POCV

m0_61544122的博客 5367

从Claude闭源困境到开源大模型本地部署实战指南

大型语言模型(LLM)作为人工智能的核心技术,通过海量数据训练和Transformer架构实现自然语言理解与生成。其原理基于自注意力机制,能够捕捉文本中的长距离依赖关系。这一技术价值在于为开发者提供了强大的语义理解和内容生成能力,广泛应用于智能对话、代码生成、文档分析等场景。然而,依赖闭源API服务常面临服务中断、数据隐私和供应商锁定等风险。本文聚焦于开源大模型本地部署这一解决方案,详细介绍了如何通过Ollama、vLLM等工具实现模型私有化部署,并提供了从环境准备、模型选择到API集成、性能优化的完整实战

weixin_30550081的博客 421

ROS入门教程(七)—— Gazebo与RViz联合仿真

通过Gazebo与RViz联合仿真实现机器人运动。

吾门的博客 1万+
上一篇: llama.cpp部署Gemma4-26B,并给Claude使用的经验
下一篇: 在Windows上部署Unlimited-ocr并提供给大模型使用
tinygone
博客等级 码龄13年 190粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值