【大模型】LLM显存占用对比：Qwen-7B-Chat，Qwen-14B-Chat-Int8，chatglm3-6b

最新推荐文章于 2025-02-06 20:18:17 发布
最新推荐文章于 2025-02-06 20:18:17 发布
阅读量1w 收藏 6
点赞数 13
分类专栏： 大语言模型 文章标签： LLM显存对比
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zengNLP/article/details/135160073
版权

【大模型】LLM显存占用对比：Qwen-7B-Chat，Qwen-14B-Chat-Int8，chatglm3-6b

显存占用对比：

显卡：NVIDIA GeForce RTX 4090
系统环境：ubuntu 22.04LTS

  • Qwen-14B-Chat-Int8
    模型：qwen/Qwen-14B-Chat-Int8
    GPU占用：
    在这里插入图片描述

  • Qwen-7B-Chat
    模型：qwen/Qwen-7B-Chat（bf16, fp16）
    GPU占用：
    在这里插入图片描述

  • chatglm3-6b
    模型：ZhipuAI/chatglm3-6b（bf16, fp16）
    GPU占用：
    在这里插入图片描述

总结

总结下来就是能用fp16就用fp16，能用Int8就用Int8，能用int4就用int4。
量化对降低显存占用还是非常不错。

参考

  1. https://modelscope.cn/models/qwen/Qwen-14B-Chat-Int8/summary
  2. https://modelscope.cn/models/qwen/Qwen-7B-Chat/summary
  3. https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary
开源模型应用落地-qwen-7b-chat-LoRA微调（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
03-27 2532
使用QWen官方方式微调qwen-7b-chat模型
开源模型应用落地-qwen1.5-7b-chat-LoRA微调-Firefly（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
04-02 1万+
使用开源的Firefly大模型训练项目微调qwen1.5-7b-chat模型
星海智算：Qwenlm-7b通义千问部署
2402_84709675的博客
10-12 1632
Qwen-7B是一种基于transformer的仅解码器语言模型，其架构类似于LLaMA系列模型。它在公开可用数据上进行了超过2.2万亿个标记的预训练，上下文长度为2048，覆盖了英文和中文为重点的一般和专业领域。
【LLM】qwen2本地部署显存占用情况（base3080-12G）
整天都在摸鱼鱼
08-31 1521
避免辣鸡网站隐藏后文，先上结论。
一文读懂大模型显存需求：从0.5B到70B，你的显卡够用吗？
最新发布
m0_59235245的博客
02-06 4038
最小推荐内存基于相应精度计算，包含工作内存和系统预留 最小推荐内存(FP32)基于全量参数计算，包含工作内存和系统预留。
LLaMA、Baichuan、ChatGLM、Qwen、天工等大模型对比
fjfdg666的博客
12-08 7700
https://github.com/THUDM/ChatGLM-6Bhttps://github.com/THUDM/ChatGLM2-6Bhttps://github.com/THUDM/ChatGLM3其他开源项目。
信息抽取哪家强？ChatGLM3、Qwen、Baichuan2、ChatGPT
Python_cocola的博客
06-13 2048
信息提取（IE）在自然语言处理（NLP）中扮演着至关重要的角色，它通过从非结构化文本中提取结构化信息，从而促进与依赖结构化数据的各种现实世界应用的无缝集成。深入探讨了，特别是零样本条件下，即模型未针对特定任务进行微调。：共选择了5个大型语言模型（LLMs）进行实验：ChatGLM3-6B、Qwen-7BChat和Qwen-14B-Chat、Baichuan2-13B-Chat以及ChatGPT2。除了ChatGPT外，所有其他大型语言模型都是开源的。：所有的实验都可以在1个A40 GPU上完成。
都是通义千问，Qwen2-7B和Qwen1.5-14B怎么选
m0_59235699的博客
09-06 2097
最近有位粉丝提问，说他有个项目，开发的时候用的是Qwen1.5-32B模型，正在考虑给客户部署，但是客户的资源有限，可以部署14B的模型。他现在在纠结是给部署Qwen1.5-14B还是最新的Qwen2-7B。首先，选择Qwen2-7B还是Qwen1.5-14B主要取决于项目对模型性能的需求和应用场景。
chat-glm4,qwen1.5性能对比
qq_40450969的博客
06-06 723
数据来源是以下两个图。可以看到GLM4非常优秀，qwen应该也快要开源自己的新模型了，希望国内的大模型团队能够继续坚持，持续努力，坚持就是成功，持续性的努力非常重要！
qwen2.5-7b 部署
11-15
标题 "qwen2.5-7b 部署" 暗示本文将详细讨论关于名为 "qwen2.5-7b" 的软件或系统部署过程中的必要步骤和技术细节。从给定的文件信息来看，该部署过程涉及到一系列复杂的依赖关系和依赖文件的管理。部署所依赖的文件...
DeepSeek-R1-Distill-Qwen-7B-Int8-W8A16 量化高精校准
AI天才研究院
02-05 2020
DeepSeek-R1-Distill-Qwen-7B-Int8-W8A16 是一个基于的 Int8 量化的模型。Qwen2.5Int8后训练：在基础模型上进行大规模强化学习我们直接在基础模型上应用强化学习（RL），而不依赖于监督微调（SFT）作为前置步骤。这种方法使模型能够探索用于解决复杂问题的思维链（Chain-of-Thought, CoT），从而开发出 DeepSeek-R1-Zero。
开源模型应用落地-qwen1.5-7b-chat与sglang实现推理加速的正确姿势（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
04-08 9362
qwen1.5-7b-chat集成sglang，流式输出，全网唯一，绝无保留
通义千问Qwen-7B、14B安装试用微调笔记
weixin_43973790的博客
06-06 1905
科技改变生活，不可过度依赖。
LLaMa、Qwen、ChatGLM、ChatGLM2的区别
weixin_35977125的博客
12-23 8486
原始bert，LayerNorm + multiHeadAttention + dropout + FFN + dropout + x+ FFN：其中x来自第一次FFN之后hidden_states = self.dropout_add(feedforward_output, residual) # x在这。
Qwen2的各模型性能、占用显存和推理速度比较（摘自官方文档）
热门推荐
大模型天花板
06-15 2万+
Qwen2的各模型性能、占用显存和推理速度比较（摘自官方文档） 性能 推理速度（从大到小） 72B 57B-A14B 7B 1.5B 0.5B
开源模型应用落地-chatglm3-6b模型小试-入门篇（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
04-03 3177
在windows环境下，使用transformer调用ChatGLM3-6b模型
【Qwen-14B】真正喂饭到嘴部署教程！0基础手把手，懂技术的别看！
ouhuixiong的博客
10-15 4238
你可能像我们NLP学习群中的同学一样，遇到各种报错或问题，我每天挑选5条比较有代表性的问题及解决方法贴出来，供大家避坑；还有同学是几年前的老爷机/笔记本，显卡不好，我们应用了动态运输技术框架，直接提升超40%运算效率，无显卡2g内存就能跑，直接焕发第二春；我们“0基础微调大模型+知识库，部署到微信”的项目也在稳步推进，qwen微调教程也紧随其后，第一时间在知识星球上线，一定要扫码加入啊！如果你还不知道该怎么微调训练模型，在这里还可以学训练和微调，跟着一步步做，你也能把大模型的知识真正应用到实处，产生价值。
Qwen最新开源14B，同级别SOTA，github页面
强化学习曾小健
09-25 1716
通过arXiv数据集上的语言模型实验，我们的原生长度为2K的Qwen-7B/14B在8K的序列长度下依然表现不错，而原生长度扩展到8K的Qwen-7B能够在32K长序列的设置下取得不错的表现。在此基础上，我们针对LLM对接外部系统等方面针对性地做了优化，当前具备较强的工具调用能力，以及最近备受关注的Code Interpreter的能力和扮演Agent的能力。尤其注意，你需要在脚本中指定正确的模型名称或路径、数据路径、以及模型输出的文件夹路径。在他的领导下，公司迅速发展起来，成为了一家成功的科技企业。
【大模型】更强的 ChatGLM3-6B 来了，开源可商用
Zack的博客
12-02 3533
ChatGLM3-6B
qwen2.5-14b本地部署
01-07
### Qwen2.5-14B 模型本地部署方法 #### 下载并安装模型资源 为了在本地环境中成功部署 Qwen2.5-14B-Instruct 模型，需先通过 Python 的包管理工具 `pip` 来获取该模型的相关文件。具体操作如下所示： ```bash pip install git+https://huggingface.co/Qwen/Qwen2.5-14B-Instruct ``` 此命令会自动处理依赖关系并将所需库安装到当前环境之中[^1]。 #### 配置 API 服务器启动参数 当准备就绪之后，可以通过 VLLM 提供的服务端口来运行这个大型语言模型实例。下面是一组推荐配置选项用于启动服务进程： ```bash python -m vllm.entrypoints.openai.api_server \ --model /path/to/local/model/Qwen2.5-14B-Instruct-GPTQ-Int8 \ --trust-remote-code \ --enforce-eager \ --max-model-len 256 \ --tensor-parallel-size 2 \ --dtype float16 \ --quantization gptq \ --port 8001 \ --host 0.0.0.0 ``` 这里需要注意的是 `/path/to/local/model/` 应替换为实际存储路径；而其他参数则可以根据硬件条件和个人需求适当调整[^3]。 #### 使用示例代码调用接口 完成上述设置后，即可编写简单的客户端脚本来测试新搭建好的 LLM 接口是否正常工作。Python 示例代码片段如下： ```python import requests url = "http://localhost:8001/v1/completions" headers = {"Content-Type": "application/json"} data = { "prompt": "你好", "max_tokens": 50, } response = requests.post(url, headers=headers, json=data) print(response.json()) ``` 这段程序将会向刚刚建立起来的服务发送 HTTP POST 请求，并打印出由 Qwen2.5-14B 所生成的回答内容。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

szZack

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值