- 博客(3)
- 收藏
- 关注
RSS订阅转载 探秘Transformer系列之（27）--- MQA & GQA
在前文“优化KV Cache"中我们提到过，在”减少注意力头的数量“这个维度上，目前主要的相关工作有 MQA和GQA。MQA 和 GQA 是在缓存多少数量KV的思路上进行优化：直觉是如果缓存的KV个数少一些，显存就占用少一些，大模型能力的降低可以通过进一步的训练或者增加FFN/GLU的规模来弥补。因为MQA和GQA是基于MHA进行改进，所以我们用下图展示了三者的区别。
2025-05-25 11:40:59
41
转载 hbase命令行查询节点
我整理的一些关于【数据】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1HBase命令行查询节点的指南HBase是一种分布式、可扩展的NoSQL数据库，常用于处理大规模的结构化数据存储。与传统关系数据库不同，HBase承载的是列存储，具有更高的写入吞吐量和较低的...
2024-08-28 04:19:15
172
转载 MFC---CDC类及其屏幕绘图函数、画笔（CPen）、画刷（CBrush）（MFC常用类）
上一节中讲了文本输出的知识，本节的主要内容是CDC类及其屏幕绘图函数。CDC类简介CDC类是一个设备上下文类。CDC类提供了用来处理显示器或打印机等设备上下文的成员函数，还有处理与窗口客户区关联的显示上下文的成员函数。使用CDC的成员函数可以进行所有的绘图操作，包括处理绘图工具、GDI对象的选择、颜色和调色板的处理、获取和...
2024-07-04 02:42:59
667
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人