- 博客(51)
- 收藏
- 关注
RSS订阅原创 模型推理如何利用非前缀缓存
先看下transformer架构图，来了解到大模型推理在该架构的大概定位该图的左侧，我们可以这样来理解他的作用：为了让模型能够更好的了解prompt（即对于模型来说，prompt的语义怎么能更好的表示)该图的右侧，就是模型推理阶段，该阶段每次产生token的类型是自回归生成的，即模型生成一个token会基于输入prompt的tokens 和 已生成的tokens来推理出一个新的token由此我们知道了，该transformer架构图的右侧，是大模型推理阶段推理流程。
2025-11-02 18:25:40
1091
原创 kv cache思考
（经过embedding层）词嵌入向量 + 位置编码那么，对于kv的形成过程，可能会想到，kv cache下，多个不同的seq，若某个非前缀的token在位置相同并且词嵌入也相同情况下，那么在decoder阶段自回归生成时候，是不是也可以用上缓存？那么，非前缀缓存，完全没听说过。所以大概率断定当然不能了（其实只有transformer的第一层能用上，之后的层都用不上，所以kv cache的设计思想，决定了不会缓存非公共前缀token的kv的，接着看）
2025-10-31 17:49:52
316
原创 内存对齐是什么？有什么用？图解内存对齐
概念：各变量分配的内存块按照一定的字节进行对齐，期间可能需要填补字节。来使cpu读取内存时候，效率更高（避免额外的读取次数）。
2024-03-05 10:38:15
837
原创 Java底层总结（未完善）
Java相关1. concurrentHashMap原理是什么？怎么保证的并发安全？2. synchronized的实现是怎样的？synchronizedsynchronized有几种状态？synchronized怎么保证不会造成死锁？synchronized和lock的区别？3. 自动拆箱与装箱4. HashMap和HashTable的区别5. List、Set、Map在存取元素的时候有什么区别？6. int和Integer的区别，int a=1,Integer b=1; a==b是tr
2023-09-26 21:30:15
334
2原创 Mysql问题
总之，红黑树是一种自平衡的二叉查找树，它能够自动调整树的结构，以保持树的平衡性。红黑树和二叉查找树的区别在于平衡性、节点颜色、插入和删除操作、查找效率等方面。红黑树的特点是每个节点要么是红色，要么是黑色，从任意一个节点到其每个叶子节点的所有路径都包含相同数目的黑色节点。红黑树的自平衡操作包括左旋、右旋、插入操作和删除操作。
2023-04-17 22:23:40
336
原创 go的协程（goroutines）和通道（channel）—— （清晰思路）
go的协程（goroutines）和通道（channel）—— （清晰思路）
2022-11-15 17:26:52
826
原创 一起来了解SpringBoot的配置原理（SpringBoot配置原理详解）
一起来了解SpringBoot的配置原理（SpringBoot配置原理详解）
2022-10-31 19:30:27
655
原创 SpringBoot整合Swagger（包括Swagger的作用和Swagger报错）
SpringBoot整合Swagger（包括Swagger的作用和Swagger报错）
2022-10-31 18:05:51
444
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人