zzzz~08-优快云博客

原创 EPSANet: An Efficient Pyramid Split Attention Block on Convolutional Neural Network

在本文中，提出了一种名为 Pyramid Squeeze Attention(PSA) 的有效轻量级即插即用注意力模块。所提出的 PSA 模块可以充分提取通道注意力向量中跨维度的大规模空间信息和重要特征。所提出的高效 Pyramid Squeeze Attention(EPSA) 块可以更细粒度地提高多尺度表示能力并开发远程通道依赖性。所提出的 EPSANet 可以有效地区分多尺度上下文特征和图像级分类信息。

2023-10-11 17:31:38 980 1

原创 Few-shot Image Classification Algorithm Based on Multi-scale Attention and Residual Network

在本文中，我们提出了一种名为 MARN 的新算法，它基于关系网络。为了丰富特征空间，我们使用不同尺度的卷积核对图像进行特征提取。为了加速网络收敛，我们使用残差连接。我们的实验表明，多尺度注意力和残差连接的引入是有效的。在标准 MiniImageNet 数据集和 Omniglot 数据集上，与关系网络相比，本文提出的方法显着提高了图像分类的准确性。

2023-10-10 11:10:30 273 1

原创 Clustered-patch Element Connection for Few-shot Learning

经典的小样本分类问题被指定为N-way K-shot 任务，这意味着仅使用每个类提供的 K 个标记实例解决 N 类分类问题。在最近的研究[Hou et al., 2019;Snell et al., 2017] 中，源数据集分为三个类别不相交的部分：训练集、验证集和测试集。此外，episodic训练机制被广泛采用。一个episode由两组组成（N 个类别中的随机抽样）：支持和查询。令 S ={()}= N × K) 表示支持集，Q = {()}表示查询集。请注意，和是相应集的大小。

2023-08-12 21:23:06 674 3

原创 A novel method of data and feature enhancement for few-shot image classification

我们提出了一种数据增强方法来进行小样本分类。它不仅忘记支持图像和查询图像中的无用信息，而且增强了有效信息和类别特征。此外，所提出的数据增强方法使用随机零掩码来增强实验数据，而不增加样本数量，从特征增强和数据增强的角度提高了小样本分类的准确性。实验表明，所提出的方法在公共数据集上的性能优于几种最先进的方法。Cutout 模块只能应用于图像处理领域。同时，特征提升模块适用于其他领域进行特征图增强，这有可能在多个人工智能领域采用。考虑到现有的过拟合问题，我们未来的计划是探索无监督学习的思想来缓解这个问题。

2023-08-02 20:40:59 265

原创 Semantic Prompt for Few-Shot Image Recognition

小样本学习是一个具有挑战性的问题，因为只有少数示例被提供来识别新类。最近的几项研究利用额外的语义信息，例如类名的文本嵌入，通过将语义原型与视觉原型相结合来解决稀有样本的问题。然而，这些方法仍然受到从稀有支持样本中学习到的虚假视觉特征的影响，导致效益有限。在本文中，我们提出了一种用于小样本学习的新型语义提示 (SP) 方法。我们没有简单地利用语义信息来弥补分类器，而是探索利用语义信息作为提示来自适应地调整视觉特征提取网络。

2023-06-28 16:52:39 954 2

原创 Retrieval-Enhanced Visual Prompt Learning for Few-shot Classification

在本文中，我们提出了一个新的基于检索的框架RePrompt，它提高了提示学习方法在小样本分类任务中的性能。我们提出的方法由基于检索的适配器和检索增强的提示组成，以增加简单提示学习基线的不同阶段。大量的实验结果表明，该方法在小样本学习和域泛化方面均优于其他提示学习方法。我们希望我们的工作能够在以下值得关注的方向上激发进一步的研究:1)将提示学习扩展到其他下游任务，如分割2)探索检索以解决其他问题，如长尾分类。

2023-06-21 21:06:06 591

原创 Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models

预先训练的视觉-语言模型(例如CLIP)在许多具有适当设计的文本提示的下游任务中显示出有希望的zero-shot泛化。最近的工作不是依赖手工设计的提示，而是使用来自下游任务的训练数据来学习提示。在特定领域数据上的训练虽然有效，但会降低模型对未见的新领域的泛化能力。在这项工作中，我们提出了测试时间提示调优(TPT)，这是一种可以使用单个测试样本动态学习自适应提示的方法。对于图像分类，TPT通过最小化置信度选择的熵来优化提示，以便模型在每个测试样本的不同增强视图中具有一致的预测。

2023-05-18 20:15:30 1554 1

原创 Visual Prompt Tuning

目前适应预训练模型的操作方法涉及更新所有backbone参数，即fine-tuning。本文介绍了视觉提示调优(Visual Prompt Tuning, VPT)作为一种高效的、有效的替代方案，用于大规模Transformer模型的视觉微调。VPT从最近高效调优大型语言模型的进展中获得灵感，在输入空间中只引入少量(不到模型参数的1%)可训练参数，同时保持模型主干冻结。通过对各种下游识别任务的广泛实验，我们表明，与其他参数高效调优协议相比，VPT实现了显著的性能提升。

2023-05-16 16:10:30 4506 5

原创 Self-Prompting Large Language Models for Open-Domain QA

Open-Domain Question answer（ODQA)是自然语言处理中一项长期存在的任务，其目的是在没有给定上下文的情况下，回答有关广泛世界知识的问题(Voorhees et al.， 1999;无法访问大量外部知识语料库，即使对于人类来说，这也是一项挑战。现在最常见和事实上的ODQA方法是检索器-阅读器管道(Chen等人，2017):首先检索与问题最相关的文档，然后应用reader model提取或生成以这些文档为条件的最终答案(Karpukhin等人，2020;伊扎卡德和格雷夫，2021)

2023-05-15 11:01:22 1071 1

qq_46563097的博客

原创 EPSANet: An Efficient Pyramid Split Attention Block on Convolutional Neural Network

原创 Few-shot Image Classification Algorithm Based on Multi-scale Attention and Residual Network

原创 Clustered-patch Element Connection for Few-shot Learning

原创 A novel method of data and feature enhancement for few-shot image classification

原创 Semantic Prompt for Few-Shot Image Recognition

原创 Retrieval-Enhanced Visual Prompt Learning for Few-shot Classification

原创 Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models

原创 Visual Prompt Tuning

原创 Self-Prompting Large Language Models for Open-Domain QA

原创 UNIFIED VISION AND LANGUAGE PROMPT LEARNING

原创 MaPLe: Multi-modal Prompt Learning

原创 CoOp & CoCoOp

原创 Exploring Visual Prompts for Adapting Large-Scale Models

空空如也

空空如也