「无需显卡」纯CPU环境也能流畅运行大模型！Llama.cpp本地部署Qwen3-0.6B攻略

关注

原创最新推荐文章于 2026-10-18 18:16:21 发布 1.4k 阅读 AI 写同款· GEO 优化 ›

手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%_chatglm-6b cpu(1) 大家好，我是微学AI，今天教你们本地CPU环境部署清华大ChatGLM-6B模型，利用量化模型，每个人都能跑动大模型。此外，在使用体验方面，ChatGLM-6B采用了模型量化技术和本地部署技术，为用户提供更加便利和灵活的使用方式。模型量化到int4是一种将神经网络模型中的参数从浮点数格式调整为4位精度的整数格式的技术，可以显著提高硬件设备的效率和速度，并且适用于需要在低功耗设备上运行的场景。ChatGLM-6B是清华开发的中文对话大模型的小参数量版本，目前已经开源了，可以单卡部署在个人电脑上，利用。阅读详情

还在为使用在线AI应用担心隐私问题？想在自己电脑上部署一个专属的AI助手？今天就教大家如何用Docker在Windows环境下快速部署Qwen3-0.6B大模型，完全免费、无需显卡！

🌟 准备工作

Windows 10/11 系统的电脑（4核CPU+8GB内存即可流畅运行），Linux系统也一样，有docker环境即可
Docker Desktop：https://www.docker.com/products/docker-desktop/安装后启动
模型文件：我们已经准备好了现成的模型包
git环境

🚀 三步部署教程

第一步：获取模型镜像

打开命令行（按Win+R，输入cmd），执行以下命令：

docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/ggml-org/llama.cpp:server
docker tag  swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/ggml-org/llama.cpp:server  ghcr.io/ggml-org/llama.cpp:server

第二步：下载模型文件

我们已经将模型文件准备好，只需在D盘创建文件夹并下载：

右键点击"开始菜单" → 选择"终端"
依次输入以下命令：

# 创建模型目录
mkdir D:\model
# 进入目录
cd D:\model
# 下载模型
git lfs install
git clone https://www.modelscope.cn/unsloth/Qwen3-0.6B-GGUF.git

第三步：启动AI服务

复制以下命令一键启动：

docker run -itd --name qwen-server   -p 8080:8080  -v D:/model/Qwen3-0.6B-GGUF:/opt   swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/ggml-org/llama.cpp:server   --model /opt/Qwen3-0.6B-BF16.gguf   --host 0.0.0.0   --port 8080   --ctx-size 2048   --threads 8   --batch-size 512

启动成功示例:

看到成功提示后，打开浏览器访问：http://localhost:8080

🎯 使用方法

方式一：网页聊天界面

在浏览器中输入：http://localhost:8080 即可打开聊天界面，与你的专属AI助手对话

方式二：API接口调用

可以用任何编程语言调用，Python示例如下：

import requests
response = requests.post(
"http://localhost:8080/v1/chat/completions",
json={
"messages": [{"role": "user", "content": "你好，请介绍一下你自己"}],
"temperature": 0.7
}
)
print(response.json())

{'choices':
[{'finish_reason': 'stop',
'index': 0,
'message': {'role': 'assistant',
'content': '<think>\n好的，用户发来消息让我介绍一下自己。我需要先确认用户的需求是什么。通常情况下，用户可能想了解我的能力、特点或用途。不过，我应该保持回答简洁，同时提供足够的信息来满足他们的需求。\n\n首先，我应该介绍自己的名字和身份，比如“我是AI助手小明”，然后说明我的主要功能，比如学习能力、多语言支持、知识库等。同时，要强调我的优点，比如高效、准确，以及愿意帮助用户解决问题。\n\n另外，还要注意用户可能的深层需求，比如他们可能需要帮助解决问题，或者想了解我的功能。所以回答要友好，鼓励他们提出问题，同时保持专业和热情的态度。\n\n最后，检查回答是否符合所有要求，没有使用任何Markdown格式，语言口语化，信息准确。确保没有遗漏任何关键点，同时保持自然流畅的表达。\n</think>\n\n你好！我是AI助手小明，专注于帮助您解决问题和获取知识。我的主要功能包括语言理解和学习能力、多语言支持、知识库检索等。我能够处理各种查询，并提供准确、高效的解答。如果您有任何问题或需要帮助，请随时告诉我！'}}],
'created': 1760147680,
'model': 'gpt-3.5-turbo',
'system_fingerprint':
'b5227-5933e6fd',
'object': 'chat.completion',
'usage': {'completion_tokens': 240,
'prompt_tokens': 12,
'total_tokens': 252},
'id': 'chatcmpl-W6fk1CWnmU7slDorlHVlsDtQbJ4zUGL4',
'timings': {'prompt_n': 11,
'prompt_ms': 94.532,
'prompt_per_token_ms': 8.59381818181818,
'prompt_per_second': 116.36271315533365,
'predicted_n': 240,
'predicted_ms': 6610.585,
'predicted_per_token_ms': 27.544104166666667,
'predicted_per_second': 36.305410186844284}}

资源占用情况

内存占用约320M