m0_56258060的博客

作者提出 Dynamic Token Pruning（DToP）：利用 ViT 语义分割网络中辅助头（auxiliary head）在中间层的预测来为每个 token 打“难易度”分，高置信的“容易 token”在中间层就“提前退出”，停止前向；同时为每个类别保留 top-k 个高置信 token作为上下文代表，避免语义信息丢失。最终把各阶段（stage）的早退预测与末端预测汇总成完整分割图，实现 20%–35% FLOPs 降低而精度基本不掉。

本文围绕“动态卷积频率同质化、增参大”的根因做系统分析，并提出一套频域驱动的解决方案 FDConv：在固定参数预算下于傅里叶域学习并按互不重叠的频率索引分组生成多组权重（FDW），从源头确保并行核的频率多样性；再用核内逐元素调制（KSM）细化每个权重的响应；最后以频带×空间可变调制（FBM）让不同位置自适应选择低/中/高频，从而实现频率—空间双域的细粒度适配。该方法可即插即用地集成到 ConvNet 与视觉 Transformer 中，在检测、语义/实例分割等密集预测任务上以极小增参取得稳定增益。