Leenyu0629-优快云博客

原创【论文笔记】Keyformer

我们还评估了Keyformer在处理长上下文时减少KV缓存的有效性，同时保持准确性。这一评估使用了预训练的MPT-7B-storywriter模型，其上下文长度为65k。我们使用了政府报告（GovReport）数据集，该数据集包含由政府研究机构撰写的报告，具有更长的总结和文档。该数据集需要对上下文有深入的理解，以便提取关键信息以进行总结。图8展示了Keyformer、H2O和全注意力之间的准确性比较。

2025-02-28 18:38:42 849 1

原创【论文笔记】Ada-KV: Optimizing KV Cache Eviction by Adaptive Budget Allocation for Efficient LLM Inference

大型语言模型在各个领域表现出色，但由于长序列推理所需的键值（KV）缓存不断扩大，面临内存和时间效率的挑战。最近的努力试图在运行时通过淘汰大量非关键缓存元素，将KV缓存大小减少到给定的内存预算，同时保留生成质量。我们重新审视当前的淘汰方法，发现它们基本上最小化了多头自注意力机制预淘汰和淘汰后输出之间的L1淘汰损失的上界。此外，我们的分析表明，跨注意力头均匀分配预算的常见做法损害了它们淘汰后生成质量。鉴于这些发现，我们提出了一个简单而有效的自适应预算分配算法。

2024-11-12 12:34:30 700

原创【论文笔记】 SnapKV

大型语言模型（LLMs）在处理长上下文方面取得了显著进展，其中键值（KV）缓存在提升模型性能中起到了关键作用。然而，随着输入长度的增加，KV缓存的增长对内存和时间效率提出了挑战。为了解决这个问题，本文提出了SnapKV，一种创新的、无需微调的KV缓存压缩方法，在保持实际应用中相似性能的情况下，有效地缩小了KV缓存大小。我们发现，模型中的每个注意力头在生成过程中始终专注于特定的提示注意力特征。同时，这种稳定的模式可以从提示末端的“观察”窗口中获得。

2024-11-10 22:47:05 689 1

原创【论文笔记】Efficient Streaming Language Models with Attention Sinks

在流式应用中部署大型语言模型（LLMs），例如多轮对话，是迫切需要的，但存在两大挑战。首先，在解码阶段，缓存先前token的Key和Value状态（KV）会消耗大量内存。其次，流行的LLMs无法泛化到比训练序列长度更长的文本。窗口注意力，即只缓存最近的KVs，是一种自然的方法——但我们展示了当文本长度超过缓存大小时它就会失败。我们观察到一个有趣的现象，即注意力汇，即使初始token在语义上不重要，保留KV也能在很大程度上恢复窗口注意力的性能。

2024-11-08 21:27:45 366 1

原创 Transformer学习

计算一个句子的概率整个句子的合理性下一个词的合理性。

2024-11-03 16:27:07 376

原创【学习笔记】深度学习-【2020版】【深版】

李宏毅深度学习2020学习笔记

2024-10-06 00:35:14 768 1

原创基于SSH的网络订餐系统设计与实现

网上订餐服务的直观、有效、便捷等优点是传统的订餐业务无法比拟的，将会带给广大繁忙的工作人群诸多的方便，节约他们大量的时间。在系统开发之前，必须了解该系统的特点、适用范围以与使用者需要一个什么样的系统，以此作为基础为开发系统准确定位，然后对使用者所需实现的功能进行分析总结，根据使用者的实际要求来给系统设计一个初步方案。问题分析与解决：在发现系统存在这样的问题初期，首先检查了目录里是否有该文件，发现有后在代码文件中查找“XXX.jsp”，定位该文件调用的位置，查看引用地址是否正确，发现错误，改正。

2023-04-14 21:27:53 732

原创 Docker+k8s微服务架构研究与实践

微服务架构是一项在云中部署应用和服务的新技术，Docker+k8s的微服务架构是其中最受欢迎的架构之一。本文是作者通过相关文档的学习写出的关于Docker与Kubernetes的理解，并使用该架构部署了一个非常简单的Web应用。关键词：Docker；Kubernetes；微服务。

2023-04-14 20:53:03 3310

原创基于8086的步进电机控制器设计(计算机接口技术设计报告)

本学期通过课程学习了采用8086CPU芯片的计算机组成及计算机接口相关的硬件设备，重点学习了可编程中断控制器8259A，可编程定时计数器8253，可编程并行接口8255，数模变换器DAC0832,模数变换器ADC0809。可编程硬件的软件编写采用8086的汇编语言。本次设计选题为步进电机控制器。

2023-04-14 20:42:03 4738 3

原创 UML软件建模--健康码小程序

软件建模与测试技术结课报告，完成手机个人健康码小程序系统的分析建模工作，包括：注册登录、个人信息查询、健康码查询、疫苗接种信息查询、核酸检测结果查询、行程码查询等功能

2023-03-02 21:02:37 2253 1

原创用Verilog编写booth算法

用Verilog语言和booth算法实现5级流水cpu的MIPS乘法指令

2023-01-02 11:28:48 679

原创语法分析器(C++)[编译原理实验2]

设计、编写、调试一个具体的语法分析程序，加深对语法分析原理的理解。编译器的实现通常分成几个阶段来完成，本次实验，是为根据给定的文法实现一个小型编译器的语法分析阶段要完成的任务。请根据给定的文法设计并实现语法分析程序（推荐自顶向下的递归子程序分析方法），基于词法分析实验所识别出的单词，进一步识别出各类语法成分

2022-12-10 11:03:59 1966