20211026 FSL 自适应嵌入空间

最新推荐文章于 2025-05-12 07:30:00 发布
原创 最新推荐文章于 2025-05-12 07:30:00 发布 · 319 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#FSL

本文探讨了使用Set-to-Set函数来实现任务自适应嵌入的小样本学习，旨在创建任务相关的特征空间。通过Transformer的自注意力机制，论文提出疑问并分析了如何实现任务特定的嵌入学习，以及对比学习和正则项loss在该过程中的作用。同时，还引用了GLoMo论文，研究了通过迁移关系图而非特征进行迁移任务的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用Set-to-Set函数实现任务自适应嵌入的小样本学习

参考

  1. 论文下载
  2. github

动机

protonet架构中，嵌入空间是任务无关的，学习一个任务相关的特征空间。

直观效果

在这里插入图片描述
“外推效果：使prototype远离杂乱，靠近自己的簇”

方法框架图

在这里插入图片描述
使用tranformer（自注意力）实现自适应的目的

疑问

  1. 如何实现任务特定的嵌入空间的学习？
    使用transformer对prototypes进行处理。自注意力实现了什么效果？为什么能实现这样的效果？为什么transformer能实现自适应的目的？

  2. 对比学习如何使用？

最低0.47元/天 解锁文章

200万优质内容无限畅学
零样本学习在AIGC稀有事件识别中的作用
AI天才研究院
03-09 987
零样本学习（Zero-Shot Learning）：零样本学习是一种机器学习方法，能够使模型在未见过的类别上实现分类。它通过将类别信息显式地编码到模型中，使得模型能够处理未遇到的类别。：AIGC是一种自适应智能生成计算技术，它通过将生成对抗网络（GAN）与深度学习相结合，实现数据的自适应生成和模型的自适应优化。零样本学习（Zero-Shot Learning, ZSL）是一种机器学习方法，旨在使模型能够在未见过的类别上实现分类。与传统的有监督学习不同，零样本学习不需要对未见过的类别进行训练。
TransE论文：多元关系数据嵌入
NULL
04-12 7691
摘要：         考虑多元关系数据得实体和关系在低维向量空间的嵌入问题。我们的目标是提出一个权威的模型，该模型比较容易训练，包含一组简化了的参数，并且能够扩展到非常大的数据库。因此，我们提出了TransE，一个将关系作为低维空间实体嵌入的翻译的方法。尽管它很简单，但是这种假设被证明是强大的，因为大量的实验表明在两个知识库连接预测方面，TransE明显优于目前最新的方法。除此之外，它能够成功
嵌入空间（Embedding Space）
xw555666的博客
03-17 3240
嵌入空间（Embedding Space）是一种在数学、机器学习和自然语言处理等领域广泛应用的概念。它指的是将原本复杂、离散或者高维的数据结构转换为一个连续的、低维向量空间的过程，使得这些数据能够在新的空间中以向量的形式表示，并且能够利用向量运算来捕获和量化数据之间的关系。无论是数学中的嵌入概念还是机器学习与深度学习中的嵌入空间，它们的核心思想都是通过建立一种新的、低维且连续的数学模型来对原本复杂或高维的数据进行有效的降维表示和处理。
构建嵌入空间
xw555666的博客
04-30 775
嵌入空间的构建是一个复杂的过程，需要考虑映射函数的选择、目标函数的设计、降维、特征提取、正则化、优化算法等多个方面。构建嵌入空间是一个多步骤的过程，涉及到多个关键的决策和设计选择。
深入理解Embedding Models（嵌入模型）：从原理到实战（下）
最新发布
博客虽小，世界尽在其中
05-12 1810
本文系统性地介绍了嵌入模型（Embedding Models）的基本原理、主要类型及其在各类实际场景中的广泛应用。从词向量如 Word2Vec、GloVe，到文本、图结构、跨模态嵌入模型，再到与大模型（LLM）融合的最新趋势，文章不仅解析了嵌入模型在构建语义理解、特征压缩、相似性计算等任务中的核心价值，还结合检索系统、推荐系统、知识图谱等工程实践，剖析了嵌入模型的训练方法、评估方式与落地策略。适合希望深入理解嵌入技术、构建语义驱动系统的开发者和研究者阅读。
嵌入空间的概念解释及原理
weixin_45809449的博客
03-17 7752
嵌入空间的相关概念、理论描述
word2vec(嵌入空间)
wuyijian_ml的博客
01-15 3252
1  word2vec 本文会通过 图书馆 图书排布的例子引入词的表征，继而通过最小化借书成本过渡到skip-gram的模型，阐述word2vec训练和最小化信息熵的关联 词表征？ 词嵌入 ？ 词向量 ？ word2vec ? 词表征是比较宽泛的概念，词可以通过各种方式来表征，比如one-hot 比如 词嵌入 等等 词嵌入特指由神经网络模型得到的低维实数向量表示 word2vec 用来训...
从图嵌入视觉看子空间学习
happyhuidi的博客
10-31 2595
1.流形学习 以下介绍三种常见的流形学习方法，他们的共同点在于： 1）都把数据最本质的结构信息编码在一个图的权值矩阵中； 2）优化问题的求解都可以转化为相似的特征值分解问题。 1.1 局部线性嵌入（LLE） LLE的基本思想：数据点可能分布于一个非线性的的子流形上，但是每一个局部的邻域可能是线性的这种假设是合理的。所以可以通过线性的系数和相邻的patch来描述和重建每一个patch的局部...
自适应双曲嵌入：少镜头学习的高效分类策略
传统的FSL方法往往依赖于学习到的嵌入空间，使得不同类别的样本在空间中具有独特性，从而进行有效的分类。 本文的核心贡献在于提出了一种上下文感知的双曲度量，它不仅考虑了个体点之间的距离，还作为双曲空间切丛...
（6-1-02）学习与自适应机制：迁移学习与领域适应（2）零样本/小样本学习
码农三叔
04-02 1103
零样本学习（Zero-Shot Learning，ZSL）和小样本学习（Few-Shot Learning，FSL）都是解决标注数据不足问题的重要技术，其中零样本学习通过利用辅助信息实现对未见过类别的识别，而小样本学习通过少量标注样本快速适应新任务。零样本学习的核心思想是利用训练类的样本和辅助信息（如语义特征、属性等）来训练模型，使得模型能够将这些辅助信息映射到图像或其他数据的特征空间中。（1）定义：小样本学习是一种机器学习方法，它利用少量样本来训练识别这些样本的模型。少量目标类别样本（如1-10个）
CVPR2022自适应/语义分割：Class-Balanced Pixel-Level Self-Labeling for Domain Adaptive Semantic Segmentation
ssshyeong的博客
11-01 2473
域自适应语义分割的目的是在监督源域数据的情况下学习模型，并在未标记的目标域上产生令人满意的密集预测。为解决上述问题，我们建议直接探索目标域数据的内在像素分布，而不是过度依赖源域。具体来说，我们同时对像素进行聚类，并使用获得的聚类分配对标签进行整流。这个过程以在线的方式完成，因此伪标签可以与分割模型共同进化，而不需要额外的训练。为了克服长尾类的类不平衡问题，我们采用一种分布对齐技术，使簇分配的边缘类分布接近于伪标签的边缘类分布。所提出的方法，即类平衡像素级自标记(CPSL)
推荐系统学习记录——连续的嵌入空间
m0_58979029的博客
04-12 461
推荐系统通常会将用户和项目（或商品）表示为向量或嵌入（embeddings），这些向量被映射到一个称为嵌入空间（embedding space）的数学空间中。这种方法使得推荐系统能够根据用户的行为或偏好来找到与之相似的项目，从而进行个性化的推荐。当用户和项目被映射到连续嵌入空间时，在这个空间中，找到相似的项目就意味着。
大白话！神经网络Embedding的原理及作用
python1234_的博客
06-28 1837
这非常抽象，但并不像听起来那么复杂。首先，我们需要介绍一点（很少）的数学知识。
[小样本图像分割]Deep Gaussian Processes for Few-Shot Segmentation
qq_38932073的博客
04-17 1621
深度高斯过程的Few-Shot分割 论文地址 阅读本文需要一定的统计知识！ 摘要 一种常见的小样本分割方法是用一个原型为每个类建模。虽然这些方法概念简单，但当目标外观分布在特征空间中是多模态或不是线性可分时，这些方法就会受到影响。 为了解决这一问题，我们提出了一种基于高斯过程(GP)回归的few-shot学习公式。通过GP的表达能力，我们的方法能够对分布在深层特征空间上的复杂外观进行建模。GP提供了一种捕捉不确定性的原则性方法，这是CNN解码器获得的最终分割的另一个强大线索。我们进一步利用我们方法的端到端学
什么是embedding？
热门推荐
weixin_44493841的博客
07-10 10万+
本文转自：https://www.jianshu.com/p/6c977a9a53de 　　 简单来说，embedding就是用一个低维的向量表示一个物体，可以是一个词，或是一个商品，或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义，比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近，但 Embedding(复仇者联...
深度学习中的embedding
星辰大海，脚踏实地
12-03 7万+
分类输入数据(Categorical Input Data) 分类数据是指表示来自有限选择集的一个或多个离散项的输入特征。 例如，它可以是用户观看的电影集，文档中的单词集或人的职业。 分类数据通过稀疏张量(sparse tensors)表示最有效，稀疏张量是具有非常少的非零元素的张量。 例如，如果我们正在构建电影推荐模型，我们可以为每个可能的电影分配一个唯一的ID，然后通过用户观看过的电影的稀疏张...
Dense Classification and Implanting for Few-Shot Learning论文笔记
qq_36406693的博客
10-24 1584
论文地址:https://arxiv.org/pdf/1903.05050.pdf 摘要 基于较少的训练数据对神经网络进行训练一直是一个比较困难的问题，本篇论文设计了一种将较大的数据集中中学习到的知识迁移到较小的数据集的方法来完成小样本学习任务。论文主要的创新点如下： 设计了一种基于特征图的密集分类器，首次探索了局部信息在小样本学习中的作用。 迁移，具体表现为在预训练好的模型之上增添新的神经元进...
Div内嵌iframe及自适应实现
YCixZoem的博客
04-17 1万+
今天在逛网页时，看见一个div内嵌iframe的设计，父文档的大小是随着内嵌frame的变化而自适应的。，这才意识到以前对frame的接触太少了，看见这个都大惊小怪的。于是今天就给自己留了个小作业，写一写高宽度自适应。 代码如下。 要特别注意的有，获取子html frame的contentDocument等同于contentWindow.getDocument. 2.chrome里面是会报错
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值