[论文笔记] Qwen1.5 1.8B、4B、7B、14B、72B tp和pp

Qwen模型参数规模与性能优化：TP与PP值的实验分析
已于 2024-05-23 11:09:17 修改
阅读量526 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 论文笔记 文章标签： 深度学习
于 2024-05-06 20:58:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Trance95/article/details/138507918

Qwen1.5-1.8B

        TP=2，PP=1

        也可以不开TP。。

Qwen1.5-4B

        TP=2，PP=1

Qwen1.5-7B

        TP=2，PP=1

Qwen1.5-14B

        TP=4，PP=1

Qwen1.5-72B

        TP=8，PP=4

[论文笔记] 大模型参数量计算之Qwen1.5-1.8B示例
心宝的博客
08-01 685
总参数量 = Embeddings 参数量 + Transformer Encoder 参数量 + FFN 参数量 = 938,113,536 + 861,397,248 + (2048 × 5504 + 5504 × 2048) = 1,800,000,000 (1.8B)使用 SILU 激活函数（Sigmoid-Weighted Linear Units）(中间层大小): 2048。(中间维度): 5504。(激活函数): SILU。决定，即 5504。计算参数量=1.8B。
[论文笔记] pai-megatron qwen1.5报错
心宝的博客
03-13 240
transformers升级到4.37.0。
[论文笔记] Pai-megatron Qwen1.5-14B-CT 后预训练 踩坑记录
心宝的博客
04-12 741
lm loss: 1.515231E+01，初始loss为15，之前遇到过这种问题，检查了模型load进来了，是因为那个rope没设置对导致的，模型权重没问题。最终归因到 run_pretrain_mcore_qwen.sh 中关于位置编码的参数有问题。改完之后能跑，但是loss太高。
Nemotron-Research-Reasoning-Qwen-1.5B论文速读：长期强化学习拓展了大型语言模型的推理边界
最新发布
直达开源前线，冲冲冲！
06-09 1100
长期强化学习拓展了大型语言模型的推理边界
Qwen3：阿里云最强开源大语言模型全面解析
gitblog_00078的博客
04-09 1002
Qwen3是阿里云通义千问团队开发的最新大语言模型系列，代表了当前开源大语言模型技术的巅峰水平。该系列在Qwen2.5和QwQ基础上进行全面升级，提供从0.6B到235B-A22B的丰富模型规模选择，包括密集模型和混合专家（MoE）模型。其最具创新性的特性是独特的双模式推理架构，支持思考模式和非思考模式的智能切换，以及256K tokens超长上下文处理能力，可扩展到1百万tokens。模型支持1...
【大模型】LLM显存占用对比：Qwen-7B-Chat，Qwen-14B-Chat-Int8，chatglm3-6b
Zack的博客
12-22 1万+
LLM显存占用对比：Qwen-7B-Chat，Qwen-14B-Chat-Int8，chatglm3-6b
开源模型应用落地-qwen1.5-7b-chat与sglang实现推理加速的正确姿势（一）
以微薄之力，予他人些许温暖.
04-08 9774
qwen1.5-7b-chat集成sglang，流式输出，全网唯一，绝无保留
大模型综述
posuosini的博客
02-23 2902
有关当下大模型的模型分类，推理加速，训练加速工具概览
[论文笔记] pai-megatron-patch megatron 模型接着训练 继续训练 load checkpoint
心宝的博客
07-02 544
其中 checkpoint_path 中的 last_iteration_txt (好像是这个名字) 要改成自己需要的。继续训练的话，不要用megatron的检查点转换回hf模型。要直接 load megatron模型。
[论文笔记] Qwen-7B tokenizer
心宝的博客
01-08 3079
Qwen-7B采用UTF-8字节级别的BPE tokenization方式，并依赖tiktoken这一高效的软件包执行分词。Qwen-7B中有两类token，即源于BPE、bytes类型的普通token和特殊指定、str类型的特殊token。
大模型笔记之-Qwen1.5-72B-chat | 4卡A800 推理
JunHowie的个人Blog
03-18 6583
Qwen1.5-72B-chat 本地部署
大模型微调（5）：PEFT 微调 Qwen 大模型
weixin_34452850的博客
06-05 1353
本篇文章，我们介绍了微调的核心概念，并基于 LoRA 技术与 peft 框架，对 Qwen 模型进行了微调，使其在中医领域的问答任务上取得了很好的效果。
GpuMall智算云：QwenLM/Qwen1.5/Qwen1.5-7B-Chat
GpuMall的博客
05-27 987
Qwen 是阿里巴巴集团 Qwen 团队的大型语言模型和大型多模态模型系列，现在大型语言模型已经升级到 Qwen1.5 版本。无论是语言模型还是多模态模型，都在大规模的多语言和多模态数据上进行了预训练，并在优质数据上进行了后训练，以符合人类偏好。Qwen 具备自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、扮演 AI 代理等功能。
通义千问Qwen1.5系列大模型(低参数版本)实验
weixin_42458975的博客
06-07 2624
在单机CPU运行环境下，对比了通义千问Qwen1.5系列量化版本的四版大模型：0.5B，1.8B，4B，7B，并且给出实验过程、实验结果和建议。
Qwen2.5模型的理解
二分掌柜的
11-15 5495
qwen
Qwen-14B Ai新手部署开源模型安装到本地
weixin_46458535的博客
12-19 6144
AI 新手本地化 Qwein - 14B
通义千问 Qwen-14B 模型微调实战案例及经验总结
机器学习社区
04-20 4860
微调是指在已经预训练好的深度学习模型基础上，通过进一步训练来适应特定任务或数据集。这种方法允许我们在具有大规模通用知识的模型基础上，更好地适应特定领域或任务。通俗点讲，就是用通用模型作为基础，配合上特定场景的数据做进一步训练，得到适合特定场景的模型。
Qwen1.5大语言模型微调实践
lvaolan168的博客
11-11 1761
在人工智能领域，大语言模型（Large Language Model，LLM）的兴起和广泛应用，为自然语言处理（NLP）带来了前所未有的变革。Qwen1.5大语言模型作为其中的佼佼者，不仅拥有强大的语言生成和理解能力，而且能够通过微调（fine-tuning）来适应各种特定场景和任务。本文将带领大家深入实战，探索如何对Qwen大语言模型进行微调，以满足实际应用的需求。
AIGC：阿里开源大模型通义千问部署与实战
热门推荐
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-20 1万+
通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。
Qwen1.5-1.8B大模型部署与压力测试实践
Qwen1.5-1.8B大模型部署、访问和压力测试项目代码，是一项围绕阿里巴巴通义千问系列中的轻量级大语言模型Qwen1.5-1.8B展开的完整工程化实践项目。该项目的核心目标是实现对Qwen1.5-1.8B这一参数量约为18亿的大规模预...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值