20211026 FSL 自适应嵌入空间

最新推荐文章于 2025-05-12 07:30:00 发布
原创 最新推荐文章于 2025-05-12 07:30:00 发布 · 334 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#FSL

本文探讨了使用Set-to-Set函数来实现任务自适应嵌入的小样本学习，旨在创建任务相关的特征空间。通过Transformer的自注意力机制，论文提出疑问并分析了如何实现任务特定的嵌入学习，以及对比学习和正则项loss在该过程中的作用。同时，还引用了GLoMo论文，研究了通过迁移关系图而非特征进行迁移任务的方法。

使用Set-to-Set函数实现任务自适应嵌入的小样本学习

参考

  1. 论文下载
  2. github

动机

protonet架构中，嵌入空间是任务无关的，学习一个任务相关的特征空间。

直观效果

在这里插入图片描述
“外推效果：使prototype远离杂乱，靠近自己的簇”

方法框架图

在这里插入图片描述
使用tranformer（自注意力）实现自适应的目的

疑问

  1. 如何实现任务特定的嵌入空间的学习？
    使用transformer对prototypes进行处理。自注意力实现了什么效果？为什么能实现这样的效果？为什么transformer能实现自适应的目的？

  2. 对比学习如何使用？

最低0.47元/天 解锁文章
嵌入空间（Embedding Space）
xw555666的博客
03-17 3592
嵌入空间（Embedding Space）是一种在数学、机器学习和自然语言处理等领域广泛应用的概念。它指的是将原本复杂、离散或者高维的数据结构转换为一个连续的、低维向量空间的过程，使得这些数据能够在新的空间中以向量的形式表示，并且能够利用向量运算来捕获和量化数据之间的关系。无论是数学中的嵌入概念还是机器学习与深度学习中的嵌入空间，它们的核心思想都是通过建立一种新的、低维且连续的数学模型来对原本复杂或高维的数据进行有效的降维表示和处理。
word2vec(嵌入空间)
wuyijian_ml的博客
01-15 3297
1  word2vec 本文会通过 图书馆 图书排布的例子引入词的表征，继而通过最小化借书成本过渡到skip-gram的模型，阐述word2vec训练和最小化信息熵的关联 词表征？ 词嵌入 ？ 词向量 ？ word2vec ? 词表征是比较宽泛的概念，词可以通过各种方式来表征，比如one-hot 比如 词嵌入 等等 词嵌入特指由神经网络模型得到的低维实数向量表示 word2vec 用来训...
构建嵌入空间
xw555666的博客
04-30 814
嵌入空间的构建是一个复杂的过程，需要考虑映射函数的选择、目标函数的设计、降维、特征提取、正则化、优化算法等多个方面。构建嵌入空间是一个多步骤的过程，涉及到多个关键的决策和设计选择。
嵌入空间的概念解释及原理
weixin_45809449的博客
03-17 7978
嵌入空间的相关概念、理论描述
从图嵌入视觉看子空间学习
happyhuidi的博客
10-31 2623
1.流形学习 以下介绍三种常见的流形学习方法，他们的共同点在于： 1）都把数据最本质的结构信息编码在一个图的权值矩阵中； 2）优化问题的求解都可以转化为相似的特征值分解问题。 1.1 局部线性嵌入（LLE） LLE的基本思想：数据点可能分布于一个非线性的的子流形上，但是每一个局部的邻域可能是线性的这种假设是合理的。所以可以通过线性的系数和相邻的patch来描述和重建每一个patch的局部...
基于自适应双曲度量的少镜头分类方法研究
它展示了如何将抽象的数学空间（如双曲空间）与具体的机器学习任务相结合，通过设计具备上下文感知能力的自适应度量函数，提升模型在小样本条件下的泛化能力和稳定性。未来的工作可进一步探索更高维双曲流形的应用、...
（6-1-02）学习与自适应机制：迁移学习与领域适应（2）零样本/小样本学习
码农三叔
04-02 1258
零样本学习（Zero-Shot Learning，ZSL）和小样本学习（Few-Shot Learning，FSL）都是解决标注数据不足问题的重要技术，其中零样本学习通过利用辅助信息实现对未见过类别的识别，而小样本学习通过少量标注样本快速适应新任务。零样本学习的核心思想是利用训练类的样本和辅助信息（如语义特征、属性等）来训练模型，使得模型能够将这些辅助信息映射到图像或其他数据的特征空间中。（1）定义：小样本学习是一种机器学习方法，它利用少量样本来训练识别这些样本的模型。少量目标类别样本（如1-10个）
CVPR2022自适应/语义分割：Class-Balanced Pixel-Level Self-Labeling for Domain Adaptive Semantic Segmentation
ssshyeong的博客
11-01 2644
域自适应语义分割的目的是在监督源域数据的情况下学习模型，并在未标记的目标域上产生令人满意的密集预测。为解决上述问题，我们建议直接探索目标域数据的内在像素分布，而不是过度依赖源域。具体来说，我们同时对像素进行聚类，并使用获得的聚类分配对标签进行整流。这个过程以在线的方式完成，因此伪标签可以与分割模型共同进化，而不需要额外的训练。为了克服长尾类的类不平衡问题，我们采用一种分布对齐技术，使簇分配的边缘类分布接近于伪标签的边缘类分布。所提出的方法，即类平衡像素级自标记(CPSL)
FSL小样本学习few-shot learning知识点整理
golfbears的博客
02-02 2737
虽然deeplearning在语音视频和语言处理上有了革命性的进步，数据增强和正则化技术也是的小数据样本的过拟合问题得到了改善，但是距离大数据大模型的差距还是存在的。本文结合《Matching Networks for One Shot Learning》，《Domain-Adaptive Few-Shot Learning》和《Prototypical Networks for Few-shot Learning》三篇论文的内容，梳理一下few shot learning的一些知识点，试图探究一下提高小样
推荐系统学习记录——连续的嵌入空间
m0_58979029的博客
04-12 501
推荐系统通常会将用户和项目（或商品）表示为向量或嵌入（embeddings），这些向量被映射到一个称为嵌入空间（embedding space）的数学空间中。这种方法使得推荐系统能够根据用户的行为或偏好来找到与之相似的项目，从而进行个性化的推荐。当用户和项目被映射到连续嵌入空间时，在这个空间中，找到相似的项目就意味着。
DETR->DETR3D->Sparse4D：走向长时序稀疏3D目标检测
CV_Autobot的博客
10-20 1005
作者|小小的厂里挖呀挖 编辑| 自动驾驶Daily点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『BEV感知』技术交流群本文只做学术分享，如有侵权，联系删文一、DETR图1 DETR架构DETR是第一篇将Transformer应用到目标检测方向的算法。DETR是一个经典的Encoder-Decoder结构的算法...
计算机视觉算法——基于Transformer的目标检测（DETR / Deformable DETR / Dynamic DETR / DETR 3D）
weixin_44580210的博客
08-07 1万+
DETR是DEtection TRansformer的缩写，该方法发表于2020年ECCV，原论文名为《End-to-End Object Detection with Transformers》。传统的目标检测是基于Proposal、Anchor或者None Anchor的方法，并且至少需要非极大值抑制来对网络输出的结果进行后处理，涉及到复杂的调参过程。而DETR使用了Transformer Encoder-Decoder的结构，并且通过集合预测损失实现了真正意义上的端到端的目标检测方法。...
大白话！神经网络Embedding的原理及作用
python1234_的博客
06-28 1940
这非常抽象，但并不像听起来那么复杂。首先，我们需要介绍一点（很少）的数学知识。
深入理解Embedding Models（嵌入模型）：从原理到实战（下）
最新发布
博客虽小，世界尽在其中
05-12 3523
本文系统性地介绍了嵌入模型（Embedding Models）的基本原理、主要类型及其在各类实际场景中的广泛应用。从词向量如 Word2Vec、GloVe，到文本、图结构、跨模态嵌入模型，再到与大模型（LLM）融合的最新趋势，文章不仅解析了嵌入模型在构建语义理解、特征压缩、相似性计算等任务中的核心价值，还结合检索系统、推荐系统、知识图谱等工程实践，剖析了嵌入模型的训练方法、评估方式与落地策略。适合希望深入理解嵌入技术、构建语义驱动系统的开发者和研究者阅读。
[小样本图像分割]Deep Gaussian Processes for Few-Shot Segmentation
qq_38932073的博客
04-17 1686
深度高斯过程的Few-Shot分割 论文地址 阅读本文需要一定的统计知识！ 摘要 一种常见的小样本分割方法是用一个原型为每个类建模。虽然这些方法概念简单，但当目标外观分布在特征空间中是多模态或不是线性可分时，这些方法就会受到影响。 为了解决这一问题，我们提出了一种基于高斯过程(GP)回归的few-shot学习公式。通过GP的表达能力，我们的方法能够对分布在深层特征空间上的复杂外观进行建模。GP提供了一种捕捉不确定性的原则性方法，这是CNN解码器获得的最终分割的另一个强大线索。我们进一步利用我们方法的端到端学
DETR3D：将DETR用于3D目标检测任务
3D视觉工坊
11-11 4539
作者 | 慕弋云子@知乎（已授权）原文 | https://zhuanlan.zhihu.com/p/430198800编辑 | 南山本文只用作学术讨论。转载需联系原作者。前几天被导师...
什么是embedding？
热门推荐
weixin_44493841的博客
07-10 10万+
本文转自：https://www.jianshu.com/p/6c977a9a53de 　　 简单来说，embedding就是用一个低维的向量表示一个物体，可以是一个词，或是一个商品，或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义，比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近，但 Embedding(复仇者联...
深度学习中的embedding
星辰大海，脚踏实地
12-03 7万+
分类输入数据(Categorical Input Data) 分类数据是指表示来自有限选择集的一个或多个离散项的输入特征。 例如，它可以是用户观看的电影集，文档中的单词集或人的职业。 分类数据通过稀疏张量(sparse tensors)表示最有效，稀疏张量是具有非常少的非零元素的张量。 例如，如果我们正在构建电影推荐模型，我们可以为每个可能的电影分配一个唯一的ID，然后通过用户观看过的电影的稀疏张...
TransE论文：多元关系数据嵌入
NULL
04-12 7721
摘要：         考虑多元关系数据得实体和关系在低维向量空间的嵌入问题。我们的目标是提出一个权威的模型，该模型比较容易训练，包含一组简化了的参数，并且能够扩展到非常大的数据库。因此，我们提出了TransE，一个将关系作为低维空间实体嵌入的翻译的方法。尽管它很简单，但是这种假设被证明是强大的，因为大量的实验表明在两个知识库连接预测方面，TransE明显优于目前最新的方法。除此之外，它能够成功
少镜头学习：弯曲空间曲率的新方法
"本文探讨了在少镜头学习( Few-Shot Learning, FSL)情境下，如何利用弯曲空间曲率生成技术改进嵌入空间的方法，以适应不同任务的数据特性。研究指出，传统的嵌入方法通常假设数据遵循欧几里得结构，但在现实世界中，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值