大小计算公式

最新推荐文章于 2025-12-31 21:25:26 发布
原创 最新推荐文章于 2025-12-31 21:25:26 发布 · 399 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法

LLama  70B(每个参数2个bytes)   80层  32k上下文   8196(hidden dimension)  要求支持10个用户的并发

1、70B(每个参数2个bytes) ：70B*2bytes = 70*10的9次方*2 = 131G
2、KV cache(缓存，减少重复计算，加速推理的效果)：每个token的显存*token数   每个token占的显存(80层*8196(hidden dimension)*2bytes*KV cache的2个部分)*32k上下文*10个用户=每个token占的显存约2.5M*32000*10=782G
3、activation(激活函数占的空间)/Buffers(中间变量)/Overhead(空间碎片)： 按照上述两个值的百分之十估算  (131G+782G)*0.1 = 92G

总的显存大小：131G+782G+92G=1005G

欣赏月光
关注
kvcache原理、参数量、代码详解
taoqick的专栏
04-08 1万+
kvcache一句话来说就是把。训练的时候不需要保存。推理解码生成时都是自回归auto-regressive的方式，也就是每次生成一个token，都要依赖之前token的结果。如果没生成一个token的时候乘以W_K,W_V这俩参数矩阵要对所有token都算一遍，代价非常大，所以缓存起来就叫kvcache。举个例子，假如prompt=“The largest city of China is”，输入是6个tokens，返回是"Shang Hai"这两个tokens。
卷积神经网络中特征图大小计算公式总结
qq_64623979的博客
06-04 1850
W:输入特征图的宽H：输入特征图的高K：卷积核的宽和高P: padding（特征图填充个数）S： stride（步长）width_out:卷积后输出特征图的宽height_out: 卷积后输出特征图的高。
如何计算kv cache的缓存大小
2301_79093491的博客
12-09 4026
首先，定义一些符号：( B )：批大小（Batch Size）( L )：序列长度（Sequence Length），在您的问题中，( L = 1 )( N )：Transformer 层数（Number of Transformer Layers）( H )：注意力头数（Number of Attention Heads）( D )：每个注意力头的维度（Dimension per Head），即 (DHDH。
KVcache
m0_51347013的博客
12-02 861
自引发的KVCache问题减少推理过程中对的重复计算，实现kv cache的优化。目前减少KV cache的手段有许多，比如page attention、MQA、MGA等，另外可以通过硬件内存使用的优化。
大模型中 KV Cache 原理及显存占用分析
木尧大兄弟
07-12 6947
大模型推理阶段 KV Cache 的原理及显存占用情况。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2928
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
cnn网络conv输出feature_map的大小计算公式
q_xiami123的博客
05-08 1643
## pytorch卷积层与池化层输出的尺寸的计算公式详解 要设计卷积神经网络的结构，必须匹配层与层之间的输入与输出的尺寸，这就需要较好的计算输出尺寸 卷积后，池化后尺寸计算公式： (图像尺寸-卷积核尺寸 + 2填充值)/步长+1 (图像尺寸-池化窗尺寸 + 2填充值)/步长+1 上图翻译如下： k,p,s是标量，n_out 与n_in的长宽对应 卷积神将网络的计算公式为： k=3, p=1, s=1 n_out=(n_in + 2 *1 -3) / 1 + 1 = n_in 所以 k=3, p=1, s
启动电容大小计算公式
07-10
本文将详细阐述启动电容的计算公式及其应用。 启动电容通常用于单相感应电机，因为单相电源无法提供旋转磁场，而启动电容通过与启动绕组并联，可以创建一个辅助的相位差，从而产生旋转磁场，帮助电机启动。计算启动...
池化层的输入输出计算公式
chen的博客
05-22 2929
池化层（Pooling Layer）通常用于卷积神经网络中，以减少特征的空间尺寸（高度和宽度），从而降低参数的数量和计算复杂度，同时使特征检测更加鲁棒。池化层的操作通常是确定性的，不涉及权重学习。
工业相机计算公式
01-16
"工业相机计算公式"是理解这些过程的关键，它涵盖了从镜头选择到图像处理等多个环节的重要参数。以下是对这些计算公式的详细解读： 1. **焦距与视野（Field of View, FOV）**： - 视野计算公式：FOV = 2 × arctan...
1B（10亿）的token大概需要多少磁盘空间存储
大模型天花板
11-16 6445
【代码】1B（10亿）的token大概需要多少磁盘空间存储。
大型语言模型（LLM）部署中的内存消耗计算
扶摇升的IT博客
03-18 2317
在部署大型语言模型（LLM）时，显存（VRAM）的合理规划是决定模型能否高效运行的核心问题。本文将通过详细的公式推导和示例计算，系统解析模型权重、键值缓存（KV Cache）、激活内存及额外开销的计算逻辑，并探讨并发场景下显存需求的变化规律。
维度相关概念理解
qq_45840183的博客
11-16 2244
如果我们的隐藏层有64个神经元，那么隐藏层的维度可以被描述为(64, )，这里的64可以理解为我们在隐藏层中学习到的新的特征数量。这里的维度也可以理解为隐藏层输出的特征数量，因为每个神经元可以看作是对输入特征的加权组合，所以隐藏层的输出可以被看作是对输入特征的不同组合，也就是新的特征表示。让我用一个具体的例子来解释。因此，文本编码后的隐藏表示的维度实际上是指模型对文本进行编码后得到的特征向量的长度，它决定了模型对文本信息的表达能力和维度的大小。CLIP模型中，文本编码后的隐藏表示的维度是固定的，为512。
AI大模型推理过程和优化技术
python12345_的博客
08-07 2735
模型理解了初始序列之后便会开始逐词预测后续文本，每次预测时模型都会基于已知的输入序列和上一步预测出来的词计算出下一个最可能的词汇的概率分布，输入过后，执行和 Prefill 前期一样的操作，随后计算 Attention，此时的 Q 就只是一行向量了（因为只有一个词作为输入），K，V 则依旧是矩阵（新输入的 Embedding 生成的 K，V 向量嵌入 KV cache 原本有的矩阵中，和隐状态融合），一样的计算过程可以得出下一步的输出。这样才知道在具体的一个时间点上能不能接受一个新的用户的输入。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 2294
AI菜鸟向前飞 — LLM简介
AI大模型推理性能优化之KV Cache
datian1234的博客
09-17 1459
KV Cache（键-值缓存）是一种在大模型推理中广泛应用的优化技术，其核心思想是利用缓存 key 和 value 来避免重复计算，从而提高推理效率。代价是显存占用会增加。
大模型推理性能优化之KV Cache
m0_59235699的博客
08-26 2110
KV Cache（键-值缓存）是一种在大模型推理中广泛应用的优化技术，其核心思想是利用缓存 key 和 value 来避免重复计算，从而提高推理效率。代价是显存占用会增加。在自注意力层的计算中，对于给定的输入序列，模型会计算每个token的key和value向量。这些向量的值在序列生成过程中是不变的。因此，通过缓存这些向量，可以避免在每次生成新token时重复计算，只需计算新token的query向量，并使用缓存的key/value向量进行自注意力计算。
KVcache进阶
wlxsp的博客
11-13 1899
上篇文章讲了如KVcache的原理，这篇文章讲解一下KVcache的缓存大小控制KVCache存在的主要问题：KVcache就是一种用内存来换取计算量的方法，但是如果有一个长的token序列，KVcache的缓存太大如何解决？？
01_树的 dfs 序
最新发布
2403_88695928的博客
12-31 1171
本文介绍了算法竞赛中树的DFS序（dfn序）这一重要概念。文章首先讲解了基于先序遍历的dfn序定义及其代码实现，通过深度优先遍历为树节点编号。随后阐述了dfn序的三个关键性质：子树dfn序的连续性、祖先节点编号小于子孙节点、子树编号区间计算公式。文章重点展示了dfn序的两个应用：高效判断节点是否在子树中（时间复杂度从O(nq)优化到O(n+q)），以及将树上问题转化为序列问题以便使用线段树等数据结构处理。最后提供了两道模板题（DFS序1和DFS序2）的完整代码实现，演示了如何利用树状数组和线段树来维护dfn
图片像素大小计算公式
04-26
好的，我现在需要帮助用户解决关于图片像素大小计算公式的问题。用户已经提供了相关的引用内容，我需要仔细分析这些信息，并结合之前的对话历史来给出准确的回答。 首先，用户的问题很明确：想知道图片像素大小的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值