- 博客(6)
- 收藏
- 关注
RSS订阅转载 探秘Transformer系列之（24）--- KV Cache优化
目前的大型语言模型（LLM）服务系统采用KV Cache来避免在解码阶段重复计算键和值的投影。虽然这对于单个客户端请求生成短序列而言是一个有效的解决方案，但是，面对多个客户时，每个请求都保留自己的KV缓存，从而增加了推理过程中的总体KV缓存大小。另外，即使是针对单个客户端请求，当我们生成长序列或处理多轮对话时，KV Cache 依然会对推理性能造成极大的影响。比如，束搜索和平行采样也被广泛用于生成更好的输出或为客户提供候选选择。这些技术也会像批处理推理一样增加KV缓存的大小，因为它们会同时处理多个序列。
2025-05-21 16:08:56
230
转载 机器学习模型：决策树笔记
第一章：决策树原理 1-决策树算法概述_哔哩哔哩_bilibili根节点的选择应该用哪个特征？接下来选什么？如何切分？决策树判断顺序比较重要。可以使用信息增益、信息增益率、在划分数据集前后信息发生的变化称为信息增益，获得信息增益最高的特征就是最好的选择。集合信息的度量方式称为香农熵，或者简称熵。常用的决策树算法连续...
2024-08-23 03:17:26
87
转载 设计模式-行为型-观察者模式-Observer
Q：观察者模式属于哪一类设计模式？A：观察者模式属于行为学模式Q：什么是观察者模式？A：当一个对象的状态发生改变时，所有依赖它的对象都得到通知，并自动更新观察者模式解析：报纸类维护了一个订阅者数组，我们可以通过报纸类遍历订阅者数组来通知所有订阅者编辑订阅者类登录后复制 public interface Subscribe...
2024-08-22 04:33:34
70
转载 android ViewPage findFragmentByTag 获取指定Fragment
我整理的一些关于【CI】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://edu.51cto.com/mic-position/757.htmlAndroid ViewPager 中获取指定 Fragment 的方法在 Android 应用开发中，ViewPager 是一个非常有用的组件，它允许用户...
2024-08-18 03:26:42
330
转载 java 类似 git 版本管理功能
我整理的一些关于【Git】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/xltfov实现 Java 类似 Git 版本管理功能的指南在软件开发中，版本控制是非常重要的一环，它可以帮助我们管理代码的变更，便于协同开发。本篇文章将指导你如何在 Java 中实现类似 Git 的...
2024-08-16 10:10:16
176
转载 多会话 Telnet 日志记录器
创建一个多会话 Telnet 日志记录器可以实现对多个 Telnet 会话进行连接、监控和记录日志。以下是一个基本的 Python 示例，使用 telnetlib 库来实现多会话 Telnet 日志记录器，并使用 threading 模块来处理多个会话。1、问题背景我们需要编写一个脚本，以便尽可能多地获取主机 Telnet...
2024-07-11 04:08:51
161
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人