7B的模型有多大？

最新推荐文章于 2025-05-08 10:22:07 发布
最新推荐文章于 2025-05-08 10:22:07 发布
阅读量1.1k 收藏
点赞数 3
CC 4.0 BY-SA版权
文章标签： 大模型
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/qq_38973721/article/details/145134038

7B 指的是模型的参数量化大约有 70 亿。

7,000,000,000 * 32bit = 224000000000 bit
224000000000 / 8byte = 28000000000 B
28000000000 byte / 2^30 = 26.0770320892334 GB

模型一般由 bf16 保存

fp16
在这里插入图片描述
fp16
在这里插入图片描述

即模型大小为

7,000,000,000 * 16bit = 112000000000 bit
224000000000 / 8byte = 14000000000 B
14000000000 byte / 2^30 = 13.0385160446167 GB

在这里插入图片描述

权重文件（safetensors->pt格式）
model-00001-of-00002.safetensors
model-00001-of-00002.safetensors

权重文件（bin格式）
model-00001-of-00002.bin
model-00001-of-00002.bin
大模型参数量都是7B，13B和65B等背后的原因是什么？
强化学习曾小健
04-17 4870
模型训练时间可以估算：6TP/(n*X*u)，其中X是计算显卡的峰值FLOPS，n为卡的数量，u为利用率。以LLaMA-65B为例，在2048张80GB显存的A100上，在1.4TB tokens的数据上训练了65B参数量的模型。其参数量受到隐藏层维度，层数，注意力头数等影响，而这些参数取值既参考GPT-3，也是结合。就是这么干的，然后，Meta借鉴了OpenAI的做法，推出了llama的7B，13B，33B，65B四个尺寸。网络上有很多解释，笔者结合自己的理解，分享其中可能的原因。
【AIGC】baichuan-7B大模型
格物致知
06-17 2177
百川智能发布的开源中英文大模型baichuan-7B是一个基于GPT-3.5架构的预训练语言模型，拥有70亿个参数，是目前全球最大的中英文混合预训练语言模型之一。我们分析了不同分词器对语料的压缩率，如下表，可见我们的分词器明显优于 LLaMA, Falcon 等开源模型，并且对比其他中文分词器在压缩率相当的情况下，训练和推理效率更高。对于数学领域，我们参考了 LLaMA 和 Galactica 中的方案，对数字的每一位单独分开，避免出现数字不一致的问题，对于提升数学能力有重要帮助。
【一文看懂】7B、175B，这些大模型参数是什么意思？它们是怎么算出来的？参数越多=模型越强
最新发布
Z987421的博客
05-08 1023
简单来说，参数是模型从数据中提取规律的关键，也是其完成各种任务的基础。它们可以被看作是模型内部的 “调节因子”，决定了模型如何处理输入信息并生成输出结果。每一个参数都对应着模型的一部分行为，比如如何解读输入的内容、如何生成输出的答案等。通过调整这些参数，模型能够逐渐提高自己的表现，从而更准确地完成任务，例如回答问题、生成文章或进行预测。参数的数量越多，模型能够捕捉到的规律和细节通常也越丰富，但同时也需要更多的计算资源和训练时间。权重（Weights）：权重是模型的核心参数，用于表示不同输入特征的重要性。
AI模型参数9B 7B是什么意思？
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
03-07 7531
7B、9B、13B、33B和65B型号。
如何得到模型的大小？
游戏人生
11-17 423
Render.bounds Collider.bounds（Collider2D.bounds类似,就不赘述） Mesh.bounds https://www.cnblogs.com/zion-world/p/5987335.html 可以看看这个
AI大模型参数介绍中的5B、7B是何意？
热门推荐
highge111的博客
10-24 2万+
AIGC大模型参数的5B、7B是指模型中可训练参数的数量。这里的“B”表示10亿（Billion），即10^9。因此，5B表示50亿个可训练参数，7B表示70亿个可训练参数。
基于百川-7b的开源多模态大语言模型.zip
08-15
基于百川-7b的开源多模态大语言模型 ----- 毕业设计，课程设计，项目源码均经过助教老师测试，运行无误，欢迎下载交流 ----- 下载后请首先打开README.md文件（如有），某些链接可能需要魔法打开。 ----- 毕业设计，...
基于Qwen2.5-7B-Instruct的大模型微调实战指南
11-18
内容概要：本文档详细介绍了如何使用Qwen2.5-7B-Instruct大模型进行微调的具体步骤。主要内容包括环境搭建、预训练模型下载、微调准备工作、具体微调流程以及如何启用外部记录面板等。通过本文档，读者可以逐步掌握...
baichuan2-7B-base 大模型 百度网盘
09-08
根据提供的信息，我们可以深入探讨与“baichuan2-7B-base大模型”相关的几个关键知识点，包括其背景、...在未来，我们有理由期待更多像Baichuan2-7B-base这样的优秀模型涌现出来，共同推动人类社会向智能化方向迈进。
aiXcoder 7B 代码大型语言模型的官方仓库
05-08
aiXcoder 7B模型拥有7亿参数量，这意味着它具备了处理复杂编程任务的能力，可以理解程序的逻辑结构、语法特性，并能够根据上下文进行精准的代码建议和生成。 模型的核心功能主要体现在以下几个方面： 1. **代码...
人工智能-大模型-基于baichuan-7b的多模态大语言模型
10-21
基于baichuan-7b的多模态大语言模型 局限性 受限于较小的参数量，羽人-百川 7B 在数值计算、逻辑推理类任务的效果不尽人意，同时在多模态任务上也无法完全发挥出 CLIP 的优势，存在一定的幻觉现象。如果您有业务...
模型大小 与参数量计算
2401_85280106的博客
11-19 2718
就是模型的大小，我们一般使用参数量parameter来衡量，注意，它的单位是。来衡量。比如ResNet-152的参数量可以达到60 million =0.0006M。有些时候，modelsize在实际计算时除了包含参数量以外，还包括网络架构信息和优化器信息等。比如存储一个一般的CNN模型(ImageNet训练)需要大于300MB。比如说我有一个模型参数量是1M，在一般的深度学习框架中(比如说PyTorch)，一般是32位存储。32位存储的意思就是1个参数用32个bit来存储。
大模型的模型文件有多大？
winfield821的博客
03-28 1103
大模型的模型文件大小主要取决于。
深度学习模型大小由网络决定
一一
05-15 8370
在训练完一个网络保存模型以后，我常常会将最优的模型保存，放在文件夹中以备用到！但会想模型的大小是由什么决定的呢？其实我们的模型在我们确定网络结构以后就已经将模型的大小确定了。下面将具体介绍一下： 对于上图我们可以逐步计算 feature map大小计算 输入：N0*C0*H0*W0 输出：N1*C1*H1*W1 输出的feature map大小： H1=...
7B？13B？65B？揭秘大模型参数量的计算方法与意义
2401_84204413的博客
01-22 1952
最近发现很多做训练和推理的朋友都在讨论大模型参数量和模型大小之间的关系。例如羊驼系列 LLaMA 大模型，按照参数量的大小有四个型号：LLaMA-7B、LLaMA-13B、LLaMA-33B 与 LLaMA-65B。这里的 B 是 billion 的缩写，指代模型的参数规模。故最小的模型 7B 包含 70 亿个参数，而最大的一款 65B 则包含 650 亿个参数。这个参数量到底是怎么算出来的？
手把手带你搞懂Deepseek-V3 低成本知识库，收藏这一篇就够了！！
2401_85325397的博客
01-20 1万+
1 可以通过 api 添加各种模型 2 上传文档就能本地新建知识库 3 各种 AI 工具直接打开 4 知识库配合 deepseek 3 ，加上 COT 提示词 效果不错 5 还能画图 6 有简单 Artifacts 功能，直接渲染代码 7 可以多个模型一起回答问题，就是样式是直接铺下来的。
大模型参数揭秘：7B, 13B, 175B的意义与影响
m0_71745484的博客
09-06 2848
大模型也是有大有小的，它们的大小靠参数数量来度量。GPT-3就有1750亿个参数，而Grok-1更是不得了，有3140亿个参数。当然，也有像Llama这样身材苗条一点的，参数数量在70亿到700亿之间。这里说的70B可不是指训练数据的数量，而是指模型中那些密密麻麻的参数。这些参数就像是一个个小小的“脑细胞”，越多就能让模型更聪明，更能理解数据中那些错综复杂的关系。有了这些“脑细胞”，模型在处理任务时可能就会表现得更好。
自然语言处理:第四十一章 解读大模型的参数
victor_manches的博客
07-02 1306
大模型也是有大有小的，它们的大小靠参数数量来度量。GPT-3就有1750亿个参数，而Grok-1更是不得了，有3140亿个参数。当然，也有像Llama这样身材苗条一点的，参数数量在70亿到700亿之间。这里说的70B可不是指训练数据的数量，而是指模型中那些密密麻麻的参数。这些参数就像是一个个小小的“脑细胞”，越多就能让模型更聪明，更能理解数据中那些错综复杂的关系。有了这些“脑细胞”，模型在处理任务时可能就会表现得更好。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小鹏AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值