- 博客(3)
- 收藏
- 关注
RSS订阅转载 探秘Transformer系列之（27）--- MQA & GQA
在前文“优化KV Cache"中我们提到过，在”减少注意力头的数量“这个维度上，目前主要的相关工作有 MQA和GQA。MQA 和 GQA 是在缓存多少数量KV的思路上进行优化：直觉是如果缓存的KV个数少一些，显存就占用少一些，大模型能力的降低可以通过进一步的训练或者增加FFN/GLU的规模来弥补。因为MQA和GQA是基于MHA进行改进，所以我们用下图展示了三者的区别。
2025-06-05 11:52:52
96
转载 NLP NER
我整理的一些关于【自然语言处理】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/Hpqqk2自然语言处理中的命名实体识别（NER）入门命名实体识别（Named Entity Recognition，NER）是自然语言处理（Natural Language Processin...
2024-08-10 03:53:53
70
转载 使用阿里云DTS进行ECS自建数据库与RDS实例的数据同步
阿里云的数据传输服务（DTS）不仅支持数据迁移，还支持数据同步，帮助用户在ECS自建数据库和RDS实例之间保持数据的一致性。本文将详细介绍如何使用阿里云DTS创建数据同步任务，实现ECS自建数据库与RDS实例的数据同步。1. 准备工作1.1. 准备ECS自建数据库确保您的ECS自建数据库可以通过网络访问，并且您已经有足够的...
2024-06-30 02:47:14
480
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人