我的pc机到底能部署什么大模型？

原创 已于 2025-03-19 15:57:35 修改 · 313 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#chatgpt #机器学习

于 2025-03-19 15:56:38 首次发布

1、估算一个大模型需要的显卡

以目前最流行的开源模型 QWQ-32B 满血版 大模型为例，你算算需要多少显卡？

查看hf主页： https://huggingface.co/Qwen/QwQ-32B 

简单来说：32B代表需要32 billion的参数：

模型权重文件：就需要32 billion * 2字节 = 64G 

装入显卡也就需要64G的显卡，另外还需要KV缓存，工作缓存等等

推论：如果你有A10【24GB的显卡规格】，那最少需要4张才能运行。

2、机器资源不够看看有没有量化版

hf找到GGUF文件 ：https://huggingface.co/Qwen/QwQ-32B-GGUF

提供q4_K_M 量化版本，那就没啥问题了，19.9的文件大小，24G的显卡确实可以跑起来！

通过ollama本地运行

https://ollama.com/library/qwq

查看提供的版本：

> ollama run qwq 

默认运行的就是q4_K_M版本

【大模型实战篇】大模型显存资源计算以及GPU如何选择
源泉的小广场
09-05 7760
大模型、GPU、大模型显存资源计算、LLM、模型资源估算、计算公式、大模型资源因素、显存计算器、数值精度、GPU选型、大模型部署
模型部署-什么是模型部署？
2401_84208172的博客
07-27 2442
0总结1 什么是模型部署？2 为什么模型部署这么复杂？1 模型转换2 模型优化蒸馏稀疏化TensorRTOpenVINO参考但最好还是多点开花并且可以形成自己的一套端到端的方法论，除了明确模型优化部署的任务和上下游关系，更要从业务角度去推进优化的工作，即做到一种全栈式的发展，随便给你一个业务或者产品形态，可以快速的针对特定的硬件或者算法模型找出适配的一套最佳优化方案（人力成本，效率迭代等），这才是做这个方向的最终目的，这也是大多数公司比较稀缺的。
你想在本地部署大模型吗？本地部署大模型的三种工具
Z4400840的博客
07-08 1060
本地部署大模型的本质只是一个客户端**”**人工智能的发展如火如荼，也让越来越多的人了解到人工智能；而对大部分人来说使用的都是第三方提供的客户端，不论是网页版，还是PC端或移动端。那么，我们怎么在本地部署一款大模型呢？下面就来介绍三种工具。
可本地化部署的开源大模型有哪些？开源大模型盘点！
2301_77193447的博客
05-10 1684
ChatGLM-6B 是一个开源且支持中英双语问答的对话语言模型。它基于 General Language Model (GLM) 架构构建，拥有 62 亿参数。通过模型量化技术，用户能够在消费级显卡上进行本地部署，例如在 INT4 量化级别下，最低只需 6GB 显存即可运行。
MLC-LLM：大模型如何部署到浏览器 / 手机？完整流程复现
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-12 1183
大模型部署不再只是后端服务器的事。随着 WebGPU、iOS Metal、Android Vulkan 的普及，**“浏览器跑 LLM” 已成现实**。 > 本文将带你复现一套完整流程，从 HuggingFace 模型 → MLC 编译 → 端侧运行（Web + Android），理解 MLC-LLM 在 TVM 编译栈上的魔法，并提供实战部署建议与性能对比。
安卓手机部署大模型实战
奇舞周刊
07-25 5146
本文作者系360奇舞团前端开发工程师前言自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷...
逆天！手机也能部署大模型？DeepSeek-r1 部署教程来了！还在等什么！
python12345_的博客
02-07 3738
现在，大家用手机的时间越来越长，对隐私安全的关注也越来越高。各大厂商也在琢磨，怎么才能让大模型直接跑在手机上。这几天写文章时，发现不少小伙伴都在问：怎么在手机上部署 DeepSeek？
本地部署为什么这么香？一文给你说清优势区间
aolan123的博客
08-27 1191
最近云途收到很多读者私信，都在问同一个问题：网上到处都是本地部署AI的教程，看着很厉害的样子，但我用ChatGPT网页版不是挺好的吗？为什么要折腾本地部署？ 还有朋友说：我按照教程部署了DeepSeek，结果又慢又卡，还不如直接用官网！是不是我哪里搞错了？
AI大模型手机部署指南：Llama、QWen、Gemma、Deepseek免费开源
m0_63171455的博客
05-02 1691
AI大模型在PC端上部署早已司空见惯，标准环境基本上都是：Ollama+AnythingLLM+HuggingFace+AI大模型版本。如何能在手机客户端上部署AI大模型呢？今天就带大家一起来实际操作一下。部署肯定离不开安装包，咱们以github上的一个开源项目PocketPal为例，给大家演示如何完成安装与配置过程。小白也能操作明白如何利用手机调用这些大模型进行对话和问答，无需连接云端。保护隐私的同时大幅降低延迟，对喜欢AI的用户是个非常好的实用软件工具。
【手机访问部署在本地电脑的AI模型】
weixin_45172758的博客
02-11 1275
【代码】【手机访问部署在本地电脑的AI模型】
精选资源
DeepSeek大模型一键部署解决方案：全平台多机分布式推理与国产硬件优化
02-13
内容概要：本文介绍了一款名为GPUStack的开源项目，该项目专注于简化大模型DeepSeek R1及其变体（蒸馏、量化）的私有化部署流程。随着DeepSeek R1走红，私有部署需求激增，但市场上现有的解决方案往往操作繁琐、缺乏...
香橙派RK3588s部署大模型
laonafahaodange的博客
10-03 802
可以尝试降低pyarrow的版本，我记得当时我是降版本了，但是现在查看环境的时候发现还是新的版本，这里仅做记录。我的开发板ram应该只有4G,实测4B以上模型直接重启，因此最多只测试了Qwen3-1.7B。需要npu驱动版本0.9.8，我这里板子上显示版本是0.9.6，需要升级。克隆rknn-llm仓库，cd到目录下安装rknn-llm的whl文件。我这里重新编译的时候遇到了两处问题，这里先解决这两处问题再编译。安装huggingface-cli，导入镜像源，下载模型权重。，这里以Qwen3为例，搜索。
阿里千问 APP 来了，对标 ChatGPT，配吗？
夕小瑶科技说
12-03 870
阿里发布千问 APP，正式开启公测。这个消息我上周已经刷到了——“阿里秘密启动千问项目，全面对标 ChatGPT ”，甚至还带动了阿里港股小涨一波。周末我发现 APP Store 里已经开放下载，于是花了两天时间密集测了一圈。有个有趣的发现：当所有人都在 AI 应用里堆功能的时候，阿里反而做起了减法。
【NLP 79、强化学习串讲】
最新发布
m0_73983707的博客
12-03 493
如果你想入门理解原理：死磕Q-Learning，只要把那几行代码搞懂，后面都是通的。如果你想做个打游戏 AI：直接上PPO，它是目前最好用的“万金油”。如果你关注DeepSeek 和大模型前沿：去研究GRPO，这是当下的版本答案。如果你想训练自己的 ChatGPT：你必须走RLHF的全流程。
OpenAI 拉响红色警报，以突击式提升 ChatGPT
LinkTime_Cloud的博客
12-03 861
这种转向，意味着AI公司必须将更多的工程和研发资源，从一味追求参数的庞大和任务的繁杂，转移到打磨产品的细节、优化交互的流畅度、深耕垂直场景的深度理解上。三年后，凭借庞大的资源、深厚的技术积淀和破釜沉舟的决心，谷歌上演了惊人的逆转，其Gemini的迅猛势头，反而让曾经的颠覆者OpenAI拉响了防御的“红色警报”历史仿佛开了一个残酷的玩笑：曾凭借颠覆性创新让巨头恐慌的挑战者，在短短三年后，却因巨头的绝地反击，自己拉响了防御的警报。随后的竞争是“强”和“弱”的竞争，各家在基准测试分数上你追我赶。
文献综述写作新思路！GPT-5结合三阶段法，从装配到评估全流程搞定批判性文献回顾（附各阶段AI提示词）
智能AI让学术科研更容易
11-29 283
在文献综述写作过程中，文献回顾是一项基础且关键的工作。但面对数量庞大且分散的文献，部分同仁往往感到力不从心，既要从海量资料中筛选出与研究相关的内容，又要避免遗漏重要成果，否则会影响研究的全面性。另外文献质量参差不齐，有些存在研究设计不合理、数据论证不足等问题，需要咱们具备较强的辨别能力，才能筛选出高质量的文献。还有就是文献之间在观点、方法和结论上可能相互支持、反驳或补充，梳理这些关系需要深入分析，否则容易导致回顾缺乏逻辑和条理。
景联文AI观察动态速递 第3期
weixin_55551028的博客
12-03 540
2. MiroMind 推出开源智能体基座模型 MiroThinker v1.0，提出“深度交互 Scaling”维度，支持 256K 上下文和 600 轮工具调用，在 BrowseComp 测试中准确率达 47.1%，逼近 OpenAI DeepResearch 的 51.5%，中文任务 BrowseComp - ZH 超越 DeepSeek - v3.2 达 7.7 个百分点。2. 谷歌 发布了 Gemini 3，相比去年的 Gemini 2 有巨大飞跃，在主流 AI 基准测试中超越前代及竞品。
第24节——手搓一个“ChatGPT”
qq_43037591的博客
12-01 1381
训练循环基本可以沿用之前的的 LM 训练代码，只是 vocab_size 换成新的，数据换成这个 loader。注意：模型结构参数必须和当初训练时一样，否则 load 会报错。确保使用上面的加载词表加载了之前模型保存的词表，否则会映射出错。
chatGPT的conversation management模块的加强
2403_86977424的博客
12-03 295
虽然我的第一感受是利好的一个改变，但同时我在使用中也发现了一些问题。这是所有固定化或者是走向固定化schema的一个通病，我觉得我们作为使用者，需要学习利用这个模式，让我们的使用更加高效。这看起来就像是一种“自我迭代”，用起来在解决大型问题的时候如果方向正确，会有一种完全自动化的感觉（虽然现在已经有很多的agent体系在慢慢涌入市场，但是终归还不是很完善，所以看到chatGPT的这种优化还是很让人欣喜的）但是，虽然看起来是“自我迭代的模式”，但是我们都清晰的指导这是不可能的，至少在现在还没有实现的苗头。
端侧部署大模型怎么样？强不强
11-29
### 端侧部署大模型的情况 端侧大模型通常部署在手机、PC等终端上，具有参数规模小、本地化运行、隐私保护强等特点。在中国，商汤端侧大模型不仅参数量级小，还讲究端侧部署与端侧处理能力的强化，在解决实际问题上响应更快速[^1][^2]。 在企业级应用场景中，架构层面已从早期“单模型部署”快速演化为“多模型协同体系”的系统化建设需求。单一模型封装难以支撑复杂业务的能力差异、多任务适配与高并发调度，而企业则面临模型泛滥、接口割裂、资源浪费、治理缺失等结构性挑战，需要构建具备可扩展性、可治理性与高弹性的智能模型服务平台来应对这些问题[^3]。 ### 端侧部署大模型的性能强弱分析 #### 优势 - **隐私保护强**：由于在本地终端运行，数据无需上传到云端，能有效避免数据在传输和存储过程中被泄露的风险，对于一些对隐私要求较高的应用场景，如医疗、金融等领域具有重要意义。 - **响应速度快**：无需与云端进行数据交互，减少了网络延迟，在处理一些实时性要求较高的任务时，能更快地给出响应结果，提升用户体验。例如在语音助手、图像识别等应用中，端侧大模型可以迅速处理输入并给出反馈。 - **降低网络依赖**：在网络信号不佳或没有网络的环境下，端侧大模型依然可以正常工作，保证了应用的可用性和稳定性。 #### 劣势 - **计算资源有限**：终端设备的计算能力和存储容量相对云端服务器来说较为有限，这限制了端侧大模型的参数规模和复杂度，可能导致其在处理复杂任务时的性能不如云侧大模型。 - **模型更新困难**：端侧设备的更新和维护相对复杂，模型的更新需要通过应用程序的更新来实现，这可能会受到用户更新意愿、设备兼容性等因素的影响，导致模型不能及时获取最新的知识和能力。 - **开发难度较大**：需要针对不同的终端设备进行优化和适配，以确保模型在各种硬件平台上都能高效运行。同时，还需要考虑如何在有限的资源下提高模型的性能和效率，这对开发人员的技术水平和经验提出了较高的要求。 ```python # 简单模拟端侧大模型处理任务 def edge_model_process(task): # 这里简单返回处理结果，实际中会有更复杂的处理逻辑 return f"Processed {task} on edge device" task = "image recognition" print(edge_model_process(task)) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值