Dropping Balls, UVa679

本文介绍了解决UVa679问题的方法,该问题涉及在完全二叉树结构中确定第I个下落球的停止位置。通过分析球的运动路径及其与树节点之间的交互,提供了一种高效的算法实现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

原题目链接:Dropping Balls,UVa679

A number ofKballs are dropped one by one from the root of a fully binary tree structure FBT. Eachtime the ball being dropped first visits a non-terminal node. It then keeps moving down, either followsthe path of the left subtree, or follows the path of the right subtree, until it stops at one of the leafnodes of FBT. To determine a ball’s moving direction a flag is set up in every non-terminal node withtwo values, eitherfalseortrue. Initially, all of the flags arefalse. When visiting a non-terminal nodeif the flag’s current value at this node isfalse, then the ball will first switch this flag’s value, i.e., fromthefalseto thetrue, and then follow the left subtree of this node to keep moving down. Otherwise,it will also switch this flag’s value, i.e., from thetrueto thefalse, but will follow the right subtree ofthis node to keep moving down. Furthermore, all nodes of FBT are sequentially numbered, starting at1 with nodes on depth 1, and then those on depth 2, and so on. Nodes on any depth are numberedfrom left to right.

For example, Fig. 1 represents a fully binary tree of maximum depth 4 with the node numbers 1,2, 3, ..., 15. Since all of the flags are initially set to befalse, the first ball being dropped will switchflag’s values at node 1, node 2, and node 4 before it finally stops at position 8. The second ball beingdropped will switch flag’s values at node 1, node 3, and node 6, and stop at position 12. Obviously,the third ball being dropped will switch flag’s values at node 1, node 2, and node 5 before it stops atposition 10.


Fig. 1: An example of FBT with the maximum depth 4 and sequential node numbers.

Now consider a number of test cases where two values will be given for each test. The first value isD, the maximum depth of FBT, and the second one is I, theI-th ball being dropped. You may assumethe value ofIwill not exceed the total number of leaf nodes for the given FBT.

Please write a program to determine the stop positionPfor each test case.For each test cases the range of two parametersDandIis as below:


Input

Containsl+ 2lines.

2D20,and1I524288.

Line 1lthe number of test cases
Line 2 
D1I1test case #1, two decimal numbers that are separated by one blank...
Line 
k+1DkIktest case #k
Linel+1DlIltest case #l
Linel+ 2-1a constant ‘-1’ representing the end of the input file

Output

Containsllines.

Line 1...Linek...Linel

the stop positionPfor the test case #1the stop positionPfor the test case #kthe stop position Pfor the test case #l

Sample Input

5

4 2

3 4

10 1

2 2

8 128

-1

Sample Output

12

7

512

3

255 


分析:

该题可以用数组模拟的方法来做,但是这样做的话如果二叉树的深度比较大的话,就需要一个极大的数组来保存数据。因此用数组模拟是不可取的。

每个小球都会落在根结点上,因此前两个小球必然是一个在左子树,一个在右子树。所以只需要看小球编号的奇偶性,就能知道它最终在哪棵子树中。对于那些落入根结点左子树的小球来说,只需要知道该小球是第几个落在根的左子树里的,就可以知道它下一步是往左还是往右了。依次类推,直到小球落到叶子上。

如果使用题目中给出的编号I,则当I是奇数时,它是往左走的第(I+1)/2个小球;当I是偶数时,它是往右走的第I/2个小球。这样,可以直接模拟最后一个小球的路线:

int k = 1;
scanf("%d%d", &D, &I);
 for (int i = 0; i < D - 1; i++) {
      if (I % 2) {
             k = k * 2; I = (I + 1) / 2;
      } else {
             k = k * 2 + 1; I = I / 2;
      }
}
printf("%d\n", k);

这样,程序的运算量就与小球编号无关了,而且节省了一个巨大的数组所占用的空间。

代码:

#include <cstdio>
#include <cstring>
using namespace std;

int main(int argc, const char * argv[]) {
    // insert code here...
    //std::cout << "Hello, World!\n";
    int n;
    int D, I;
    while (scanf("%d", &n) && n != -1) {
        for (int t = 0; t < n; t++) {
            int k = 1;
            scanf("%d%d", &D, &I);
            for (int i = 0; i < D - 1; i++) {
                if (I % 2) { //当I时奇数时,它是往左走的第(I+1)/2个小球
                    k = k * 2; I = (I + 1) / 2;
                } else {     //当I是偶数时,它是往右走的第I/2个小球
                    k = k * 2 + 1; I = I / 2;
                }
            }
            printf("%d\n", k);
        }
    }
    return 0;
}



KV Cache Dropping 是一种用于优化大语言模型(LLM)推理过程中内存使用的技术,特别是在处理长序列时减少KV Cache(Key-Value Cache)的存储开销。其核心思想是通过选择性地丢弃(drop)部分KV对,以降低内存占用并提升推理效率,同时尽量不影响模型输出的质量。 ### KV Cache Dropping 的技术原理 在自回归生成任务中,KV Cache 用于存储每个已生成 token 对应的 Key 和 Value 向量,以便在后续的 Attention 计算中快速获取历史信息。随着生成序列的增长,KV Cache 的内存占用也随之线性增长。KV Cache Dropping 通过以下方式缓解这一问题: 1. **基于注意力机制的冗余性**:在实际生成过程中,某些历史 token 对当前 token 的预测影响较小,这些 token 对应的 KV 对可以被视为冗余。通过识别并丢弃这些冗余的 KV 对,可以在不显著影响输出质量的前提下减少内存消耗。 2. **动态筛选机制**:一些 Dropping 策略会根据当前 token 与历史 token 的相关性动态决定是否保留某个 KV 对。例如,通过计算 Query 向量与 Key 向量之间的相似度,若相似度低于一定阈值,则认为该 KV 对对当前 Attention 计算贡献较小,从而选择丢弃。 3. **静态策略**:某些方法采用固定的策略,例如每隔一定步数丢弃部分 KV 对,或者仅保留最近的 N 个 token 的 KV 对。 ### 应用场景 KV Cache Dropping 主要适用于以下几种场景: - **长文本生成任务**:在生成较长文本(如文章、对话等)时,KV Cache 的内存占用会显著增加。Dropping 技术可以有效控制内存使用,使模型在有限硬件资源下仍能处理长序列。 - **边缘设备推理**:在资源受限的设备(如移动设备或嵌入式系统)上部署大语言模型时,内存优化尤为重要。KV Cache Dropping 可以帮助降低内存需求,提高推理效率。 - **实时推理服务**:在需要低延迟的推理服务中,减少 KV Cache 的大小可以加快 Attention 计算,从而提升整体响应速度。 ### 示例代码 以下是一个简化的 KV Cache Dropping 实现逻辑,假设我们使用基于相似度的动态筛选策略: ```python import torch import torch.nn.functional as F def drop_kv_cache(query, key, value, threshold=0.5): """ 根据Query和Key之间的相似度决定是否丢弃部分KV对。 :param query: 当前Query向量 (batch_size, head_num, seq_len, dim) :param key: 历史Key向量 (batch_size, head_num, seq_len, dim) :param value: 历史Value向量 (batch_size, head_num, seq_len, dim) :param threshold: 相似度阈值 :return: 经过Drop后的Key和Value """ # 计算Query与Key之间的相似度(点积) similarity = torch.matmul(query, key.transpose(-2, -1)) # (batch_size, head_num, seq_len, seq_len) # 取最后一个Query与其他Key的相似度 last_similarity = similarity[:, :, -1, :] # (batch_size, head_num, seq_len) # 计算平均相似度 avg_similarity = last_similarity.mean(dim=1) # (batch_size, seq_len) # 判断是否保留每个KV对 mask = avg_similarity > threshold # 应用mask,保留符合条件的KV对 new_key = key[:, :, mask, :] new_value = value[:, :, mask, :] return new_key, new_value ``` ### 相关问题 1. KV Cache Dropping 技术相比其他 KV Cache 优化方法有哪些优势? 2. 如何评估 KV Cache Dropping 对生成质量的影响? 3. 在实际部署中,如何动态调整 KV Cache Dropping 的阈值? 4. KV Cache Dropping 是否会影响模型的推理速度? 5. 有哪些开源框架或工具支持 KV Cache Dropping 技术? [^2]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值