- 博客(6)
- 收藏
- 关注
RSS订阅转载 探秘Transformer系列之（27）--- MQA & GQA
在前文“优化KV Cache"中我们提到过，在”减少注意力头的数量“这个维度上，目前主要的相关工作有 MQA和GQA。MQA 和 GQA 是在缓存多少数量KV的思路上进行优化：直觉是如果缓存的KV个数少一些，显存就占用少一些，大模型能力的降低可以通过进一步的训练或者增加FFN/GLU的规模来弥补。因为MQA和GQA是基于MHA进行改进，所以我们用下图展示了三者的区别。
2025-06-01 14:55:20
25
转载 MCP 实践系列：EdgeOne 在线部署HTML页面
1.记一次由于操作失误致使数据库瘫痪的故障分析与解决方案2.网络之谜：记一次失败排查的故事3.你是否想知道如何应对高并发？Go语言为你提供了答案！4.2023年终总结：拉帮结伙，拼搏探索新机遇5.谁说后端不能画出美丽的动图？让我来给大家拜个年！6.【10秒开服】幻兽帕鲁全自动部署教程，难道你还想手动搭建游戏服务器吗？快来学习这个简单又快速的方法！7.踩坑指南：入门OpenTenBase之部署篇8.踩坑指南：入门OpenTenBase之监控篇9.加速博客体验：静态资源优化技巧大揭秘！10.
2025-05-23 06:20:47
21
转载 CentOS 已安装virtualenv， 但还是报错误 bash: virtualenv: command not found
问题：Linux Centos 已安装virtualenv, 但还是报 bash: virtualenv: command not found 。原因：虽然手动安装了virtualenv， 没有自动配置 virtualenv 的软连接。解决：找到 virtualenv [root@VM-8-12-centos backe...
2024-09-04 02:13:02
175
转载 shell脚本读取文件每一行插入mysql数据库
我整理的一些关于【数据库】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/bLN8S1利用 Shell 脚本读取文件每一行并插入 MySQL 数据库在现代软件开发中，数据的处理与存储是至关重要的一环。MySQL 作为一种广泛使用的数据库，常常需要通过脚本来进行数据的导入与管...
2024-08-26 03:00:57
215
转载 Java连接db2数据库(常用数据库连接五)
1.安装好db2数据库，并建立表如下：2.eclipse或myeclipse中建立工程并导入java连接db2所需要的jar包db2java.jar 下载地址：3.建立iConn接口，代码如下：登录后复制 package com.zhaochao.dba;import java.sql.Connection;pub...
2024-07-27 03:51:13
194
转载 python在控制windows gui
Python,Windows相关视频讲解：python的or运算赋值用法用python编程Excel有没有用处？011_编程到底好玩在哪？查看python文件_输出py文件_cat_运行python文件_shel如何在Windows GUI中使用Python简介作为一名经验丰富的开发者，我将教你如何在Window...
2024-07-06 03:23:38
84
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人