- 博客(17)
- 收藏
- 关注
RSS订阅原创 从源码到实测：vLLM-Ascend Prefix Cache 如何复用前缀，又能快多少？
不是模型第一轮 Prefill 或每轮执行的日志。例如，先运行 A，再运行 B，保存的 WARM_B 原始记录包含以下字段（节选；文件位置见。
2026-10-16 04:12:50
253
原创 Prefix Cache 实验附录：环境、复现与详细统计
本文是的配套材料。实验数据采集于 2026-10-11、2026-10-13，附录整理于 2026-10-14。完整脚本、操作记录和原始结果打包为；解压后保留目录结构。下文的证据路径均相对于附件根目录。
2026-10-16 04:08:50
43
原创 从一次推理到高效服务：理解 vLLM / vLLM-Ascend 的核心特性
第一篇文章从一次generate()出发，追踪了一个请求怎样经过 Prefill、Decode、KV Cache、采样，最后返回结果并释放缓存块。这个过程说明了模型怎样完成一次推理。但当我们把模型部署成服务，新的问题就出现了：有人输入几句话，有人上传一整份文档；有人只要一个短答案，有人要求生成几千字。请求不断到来，设备内存却是有限的。模型能够正确回答，并不意味着服务能够及时回答所有人。推理框架中的许多特性，正是为解决这些问题而设计的。
2026-10-11 18:08:55
322
原创 从一次 generate() 开始：理解 vLLM-Ascend 的推理过程
输入一句话，调用 ，模型就返回了后续文本。但在推理框架内部，这个调用会被拆成多轮工作：调度请求、准备输入、读写 KV Cache、执行模型、选择新 token，最后释放请求占用的缓存块。本文用 Qwen3-0.6B 在昇腾 NPU 上的一组实验，把这条链路连起来。读者只需要了解基本 Python；文中会逐步解释 Tensor 形状、缓存地址和采样的含义。先记住本文要追踪的例子：我们不评价这句话生成得好不好，而是追问：这三个新 token 是怎样算出来的，计算期间的数据存在哪里，请求结束后又发生了什么？本文
2026-09-28 15:29:44
346
原创 【无标题】
共 4 个城市，城市 1 和城市 1 的车费为0，城市 1 和城市 2 之间的车费为 2，城市 1 和城市 3 之间的车费为 6，城市 1 和城市 4 之间的车费为 5，依次类推。dp问题，最重要的就是理解dp[i][j]的含义，i的含义表示你所经过的点，j表示的则是你最后到达的点，记住一点就是无论如何你都是从0点开始出发，所以在i中，0点是一定存在的。我们从下往上去进行一个推导dp[1111][0] = dp[1111][1] + dp[1111][2] + dp[1111][3] .
2023-03-16 14:10:54
220
原创 2021秋季pat总结
2021秋季pat这次的考试比较简单，一小时二十分钟左右做完了，感觉有点拉不开差距。。。第一题#include<bits/stdc++.h>using namespace std;struct Node{ int first,l;}node[10005];int main(){ //假如i大于l0 int n,m; cin>>n>>m; for(int i=0;i<n;++i){ cin>&
2021-09-11 15:36:42
313
原创 PAT（甲级）2019年冬季考试
PAT（甲级）2019年冬季考试自我测试，两个小时多一点做完，感觉比较简单吧，第一道题一开始审错了，浪费好多时间，先做后面三道，一个小时多一点做完，然后又花了一个小时做第一道题。。。。7-1 Good in CWhen your interviewer asks you to write “Hello World” using C, can you do as the following figure shows?Input Specification:Each input file conta
2021-02-27 20:56:10
354
原创 PAT（甲级）2020年春季考试
PAT（甲级）2020年春季考试自己测试了一下，两个小时97分，第二道题出了一点问题，检查不出来，就懒得检查了.7-1 Prime Day (20 分)The above picture is from Sina Weibo, showing May 23rd, 2019 as a very cool “Prime Day”. That is, not only that the corresponding number of the date 20190523 is a prime, but all
2021-02-27 15:44:06
476
原创 拓扑排序
拓扑排序原理我就不说特别详细了，因为算法笔记里面都有，大概就是一个有向无环图中寻找谁是最先的爸爸的问题。作用判别有无环，然后输出序列。有无环判别有环的情况是numnumnum（推入队列中的顶点数）<定点数n.理解：死锁假设1->2->3->1,形成了一个环，抛开其他顶点，假如1要入队列，那么3必须入队列，那么2必须入队列，即都入不了队列，所以num<nnum<nnum<n关于优先队列的使用到时候有空在单独总结一下，这里基本的列一下。基本
2021-02-21 19:30:25
263
原创 拓扑排序
拓扑排序原理我就不说特别详细了，因为算法笔记里面都有，大概就是一个有向无环图中寻找谁是最先的爸爸的问题。作用判别有无环，然后输出序列。有无环判别有环的情况是numnumnum（推入队列中的顶点数）<定点数n.理解：死锁假设1->2->3->1,形成了一个环，抛开其他顶点，假如1要入队列，那么3必须入队列，那么2必须入队列，即都入不了队列，所以num<nnum<nnum<n关于优先队列的使用到时候有空在单独总结一下，这里基本的列一下。基本
2021-02-21 19:27:57
206
原创 1033 To Fill or Not to Fill (25 分)
1033 To Fill or Not to Fill (25 分)With highways available, driving a car from Hangzhou to any other city is easy. But since the tank capacity of a car is limited, we have to find gas stations on the way from time to time. Different gas station may give di
2021-02-16 17:28:18
117
原创 Problem A 【递归入门】全排列
Problem A: 【递归入门】全排列Description排列与组合是常用的数学方法。先给一个正整数 ( 1 < = n < = 10 )例如n＝3，所有组合,并且按字典序输出：1 2 31 3 22 1 32 3 13 1 23 2 1Input输入一个整数n( 1<=n<=10)Output输出所有全排列每个全排列一行，相邻两个数用空格隔开（最后一个数后面没有空格）Sample Input3Sample Output1 2 31 3
2021-02-14 23:04:45
261
原创 迪杰斯特拉c++模板
迪杰斯特拉c++模板迪杰斯特拉原理作用要使用的数据代码模板1003 Emergency最近要准备PAT的考试了，所以总结一下算法的模板什么的。并且规范一下自己的代码。迪杰斯特拉原理原理我就不赘述了，大伙自行到别处看看，大概理解来说就是分为两个阵容。第一个阵容设为u，第二个阵容设为v。//可以用visit[]来区别这两个阵容每次将v中离节点最近的push入u，然后更新v中离节点的距离，用以下公式更新：dist[vi]=dist[ui]+e[ui][vi]dist[v_i]=dist[u_i]
2021-02-12 20:36:54
700
原创 深度优先dfs
title: 深度优先dfsdate: 2020-11-22 00:57:02tags:算法PATcategories:算法mathjax: trued之所以总结一下dfs，是因为刷python题目时候遇到一个题，单词搜索问题，类似于dfs思想的题目，不太会做，然后就总结一下什么是DFSDepth First Search英文的缩写，翻译过来就是“深度优先搜索”。深度优先遍历的主要思想就是：首先以一个未被访问过的顶点作为起始顶点，沿当前顶点的边走到未访问过的顶点；当没有未访.
2021-02-12 19:30:34
590
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人