我的pc机到底能部署什么大模型?

1、估算一个大模型需要的显卡

以目前最流行的开源模型 QWQ-32B 满血版 大模型为例,你算算需要多少显卡?

查看hf主页: https://huggingface.co/Qwen/QwQ-32B 

简单来说:32B代表需要32 billion的参数:

模型权重文件:就需要32 billion * 2字节 = 64G 

装入显卡也就需要64G的显卡,另外还需要KV缓存,工作缓存等等

推论:如果你有A10【24GB的显卡规格】,那最少需要4张才能运行。

2、机器资源不够看看有没有量化版

hf找到GGUF文件 :https://huggingface.co/Qwen/QwQ-32B-GGUF

提供q4_K_M 量化版本,那就没啥问题了,19.9的文件大小,24G的显卡确实可以跑起来!

通过ollama本地运行

https://ollama.com/library/qwq

查看提供的版本:

> ollama run qwq 

默认运行的就是q4_K_M版本

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值