用ollama在PC一键私有化部署qwen3

最新推荐文章于 2025-07-24 11:46:16 发布

程序猿李巡天

最新推荐文章于 2025-07-24 11:46:16 发布

阅读量1.4k

点赞数 30

CC 4.0 BY-SA版权

文章标签： gpu算力人工智能 batch prompt 知识图谱

本文链接：https://blog.youkuaiyun.com/m0_59235945/article/details/148290049

前言

阿里最新开源的Qwen3，能力打平OpenAI-O1和谷歌Gemini2.5、超越DeepSeek，甚至多个领域超越成为第一。

这次一股脑开源了2个系列多个不同尺寸的模型，适合多种不同型号的机器：

系列①混合专家模型MOE：Qwen3-235B-A22B 最大最强，名字含义是模型参数量235B即2350亿，推理回答问题过程中实际激活(Activate)使用 22B即220亿参数。由于只自动选最擅长的“专家”，不是全部参数参与推理，所以回答又好又快。

系列②稠密模型：Qwen3-32B 即320亿参数的模型，稠密意思是推理过程中所有参数都激活使用。32B模型也打平/超越OpenAI-o1和DeepSeek 671B，很能打。

免费使用Qwen3可以去官网 https://qwen.ai，API调用可以去硅基流动 100万token 5块钱。

当有私人数据和问题不方便外发，需要私有部署，ollama是最方便的方式。

ollama一键单机部署

ollama.com是支持多种开源大模型一键安装的工具，qwen3震撼发布的当晚，ollama在第一时间支持了qwen3。

首先它自己也是一键安装，去官网下载安装：

然后，安装完成后，在命令行工具（windows的cmd、mac的终端terminal）小黑屏里执行 "ollama run qwen3"就能自动下载模型并运行qwen3了。

适合个人单机部署是32B或更小的型号：

Evaluation 2

智力与速度

32B模型16位浮点精度的参数的文件大小66G，这些是需要全部放入显存和内存的，所以对GPU的显存大小有要求。显存不够大时，可以量化：8位量化减半33B，4位量化再减半。

但量化后能力相比16位浮点精度有相应有下降，8位量化一般降智3%左右，4位量化降智10%左右；模型型号方面，也是越小降智越多；然而对于给定私有知识库、基于知识库的总结问答这种，比较明确的问答，则降智不会多。

显存和内存装的下模型参数时，推理过程中用到的激活参数越多，回答速度越快。我个人实测出1000字速度见下表（速度用tokens/秒，一个token大约1.3个汉字）：

qwen3型号 \| 模型文件大小(G)	GPU机器	MAC电脑	说明
qwen3:32b-fp16 \| 66G	1.13	x	mac装载不了
qwen3:32b-q8_0 \| 35G	3.17	-	mac卡死不出
qwen3:32b-q4_K_M \| 20G	11.8	6	1秒10字已经很流畅
qwen3:30b-a3b-fp16 \| 61G	11.25	x	★gpu推荐它
qwen3:30b-a3b-q8_0 \| 33G	21.5	4.88	mac能跑是因为moe模型实际激活使用3b参数
qwen3:30b-a3b-q4_K_M \| 19G	44	26	★mac电脑推荐它
qwen3:4b-q8_0 \| 4.4G	47.5	26.3	速度一致，但4b稠密的智力比不上30b激活3b
qwen3:0.6b \| 0.5G	242	142	523M的模型可以支持边缘智能了

GPU服务器配置是12核cpu、64G内存、英伟达L4显卡24G显存，启用统一内存（GGML_CUDA_ENABLE_UNIFIED_MEMORY=1），能装得下88G大小的文件，但相比全部显存的速度有下降。
MAC电脑是M3，36G内存由 cpu和gpu共享。由于推理回答过程中占用gpu，所以回答过程中，界面参照甚至鼠标异动都有卡顿。

私有部署在选择决策时，根据GPU显存大小，优先用大型号的高位版本，有财力的朋友可以部署满血版qwen3。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述