Task-Embedded Control Networks for Few-Shot Imitation Learning

原创 于 2024-08-28 21:11:42 发布 · 781 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #算法

发表时间：CoRL 2018 论文链接：https://readpaper.com/pdf-annotate/note?pdfId=4500197057754718210&noteId=2424798567891365120 作者单位：Imperial College London

Motivation：就像人类一样，机器人应该能够利用来自先前学习任务的知识，以便在新的和不熟悉的环境中快速学习新任务。尽管如此，大多数机器人学习方法都专注于从头开始学习单个任务，泛化概念有限，并且没有利用知识更有效地学习其他任务的方法。一种可能的解决方案是元学习（本文也是采用元学习的训练策略，划分了support set 和 query set），但许多相关方法在扩展到大量任务的能力方面受到限制，并在不忘记先前学习的任务的情况下学习进一步的任务。

解决方法：考虑到这一点，我们引入了任务嵌入式控制网络（包括两个部分，任务嵌入+控制，训练时候是一起优化的），该网络使用来自度量学习的思想来创建一个任务嵌入，该嵌入可以由机器人从一个或多个演示中学习新任务（每个s是一个或者多个任务的平均（类似类别原型））。

实现方式：演示的图像被嵌入到任务的紧凑表示中，可以组合起来创建一个句子sentence。然后将这句话扩展为从该任务的新配置的最新观察，然后以闭环方式通过控制网络发送。任务嵌入网络和控制网络都经过联合优化以产生丰富的embedding。

最低0.47元/天 解锁文章
【王喆-推荐系统】(task3)Embedding基础（特征工程篇）
发现问题，并解决问题，批判性思维
10-15 1312
学习心得 （1）Word2vec 的研究中提出的模型结构、目标函数、负采样方法、负采样中的目标函数在后续的研究中被重复使用并被屡次优化。掌握 Word2vec 中的每一个细节成了研究 Embedding 的基础。 （2）Embedding 就是用一个数值向量“表示”一个对象的方法。通过 Embedding，我们又引出了 Word2vec，Word2vec 是生成对“词”的向量表达的模型。其中，Word2vec 的训练样本是通过滑动窗口一一截取词组生成的。在训练完成后，模型输入向量矩阵（即本文的WV×NW_{
【王喆-推荐系统】(task4)Embedding+MLP模型（模型篇）
发现问题，并解决问题，批判性思维
11-02 2173
（1）（embedding+MLP），但是对于tensorflow不熟悉，还有需要注意特征处理：类别型特征 Embedding 化，数值型特征直接输入 MLP。下一篇task是用pytorch实现的版本。 （2）Embedding+MLP 主要是由 Embedding 部分和 MLP 部分这两部分组成，使用 Embedding 层是为了将类别型特征转换成 Embedding 向量，MLP 部分是通过多层神经网络拟合优化目标。具体来说，以微软的 Deep Crossi
GPT原理——task2
m0_61736727的博客
03-23 493
OpenAI提供的LMAS Embedding API和ChatGPT Style接口使得生成Embedding和进行语义相似度计算变得异常简便。
文献阅读：ERNIE 2.0
ljp1919的专栏
09-05 5092
0. 背景 机构：百度 作者：Yu Sun, Shuohuan Wang 发布地方：arxiv 面向任务：Natural Language Understanding 论文地址：https://arxiv.org/abs/1907.12412 论文代码：https://github.com/PaddlePaddle/ERNIE/ 0-1. 摘要 预训练语言模型带来NLP领域的巨大飞跃就无需多言了，...
一文跟进Prompt进展！综述+15篇最新论文逐一梳理
夕小瑶科技说
11-04 3759
文 | ZenMoore编 | 小轶自从 Dr.Pengfei Liu 的那篇 prompt 综述发表开始，prompt 逐渐红得发紫。近期清华、谷歌等单位你方唱罢我登场，涌现了好多好多 ...
论文阅读笔记：《ERNIE 2.0: A Continual Pre-training Framework for Language Understanding》
qq_35386727的博客
05-06 2403
论文阅读笔记：《ERNIE 2.0: A Continual Pre-training Framework for Language Understanding》 此文转载！原文链接 机构：百度 作者：Yu Sun, Shuohuan Wang 发布地方：arxiv 面向任务：Natural Language Understanding 论文地址：[添加链接描述](https://arxiv.or...
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
GAN汇总
简简单单
12-26 3236
3D-ED-GAN - Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 3D-GAN - Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial...
强化学习@AAAI2019
qq_33254440的博客
10-08 1万+
Fully Convolutional Network with Multi-Step Reinforcement Learning for Image Processing 具有多步强化学习的全卷积网络用于图像处理 Ryosuke Furuta@The University of TokyoNaoto Inoue@The University of TokyoToshihiko Yamasaki@The University of Tokyo 古田凉介@东京大学井上直人@东京大学山崎俊彦@东京大学 AAA
一文读懂最强中文NLP预训练模型ERNIE
PaddlePaddle
10-23 1万+
，基于飞桨开源的持续学习的语义理解框架ERNIE 2.0，及基于此框架的ERNIE 2.0预训练模型，在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA...
最新小样本学习综述 A Survey on Few-Shot Learning | 四大模型Multitask Learning、Embedding Learning、External Memory…
Joselynzhao
05-11 2751
文章目录01 Multitask Learning01.1 Parameter Sharing01.2 Parameter Tying.02 Embedding Learning 相关阅读： A Survey on Few-Shot Learning | Introduction and Overview A Survey of Few-Shot Learing | Data 给定少数样本的Dt...
【王喆-推荐系统】(task4)Graph Embedding（特征工程篇）
发现问题，并解决问题，批判性思维
10-22 1716
学习总结 （1）本次task学习Embedding中的Deep Walk和Node2vec算法，和Embedding在推荐系统的三种应用：直接应用、预训练应用和End2End训练应用。 （2）Deep Walk算法： 1）首先基于原始的用户行为序列来构建物品关系图； 2）采用随机游走的方式随机选择起始点，重新产生物品序列； 3）将2）这些随机游走生成的物品序列输入Word2vec模型，生成最终的物品Embedding向量。 （3）Node2vec相比于Deep Walk，增加了随机游走过程中跳转概率的倾向性
阅读笔记：Multi-Task Label Embedding for Text Classification
tangpoza的博客
12-14 2843
阅读笔记：Multi-Task Label Embedding for Text Classification简介新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UM...
【王喆-推荐系统】(task5)Embedding实践（特征工程篇）
发现问题，并解决问题，批判性思维
10-26 1628
学习总结 （1）用Spark生成Item2vec和Graph Embedding。 运用 Spark 实现了经典的 Embedding 方法 Item2vec 和 Deep Walk。 （2）关于 Item2vec 的 Spark 实现，应该注意的是训练 Word2vec 模型的几个参数 VectorSize、WindowSize、NumIterations 等，知道它们各自的作用。它们分别是用来设置 Embedding 向量的维度，在序列数据上采样的滑动窗口大小，以及训练时的迭代次数。 （3）而在 Dee
TAFE-Net: Task-Aware Feature Embeddings for Low Shot Learning 论文笔记
qq_30146937的博客
04-15 1259
前言 在目前一些零样本或小样本学习任务中，通常将图像映射到embedding空间，然后利用feature embedding进行后续的操作。这样就存在一个问题，任务间共享的是通用的feature embedding，那么就会存在feature embedding可能并不适用于某些任务这样的情况，就会导致不好的结果。 本文基于这一点，提出了一种task-aware feature embedding...
NLP中的Embedding方法总结
pyxiea
10-01 1万+
词向量 One-Hot Encoding 学习资料 https://flashgene.com/archives/66661.html 要点 例如词汇表大小∣V∣=N|V|=N∣V∣=N，则用一个NNN维的one-hot向量来表示一个词，每个词的one-hot中111的位置就对应了该词在词汇表的索引。 缺点 语义鸿沟：其无法通过词向量来衡量相关词之间的距离关系，即这样的表征方法无法反映词之间...
一文梳理推荐系统的中 EMBEDDING 的应用实践
hellozhxy的博客
07-08 3717
“自Embedding的概念问世以来，Embedding的探索和应用就没有停止过，Word2Vec、Sentence2Vec、Doc2Vec、Item2Vec，甚至Everything2Vec。对，“万物皆可Embedding”。几年来，Embedding在推荐系统中的应用也越来越多，方式众多，技法新颖。” 作者：卢明冬，个人博客：https://lumingdong.cn/application-practice-of-embedding-in-recommendation-system.html .
Prototypical networks for few-shot learning论文
最新发布
04-01
### 关于Prototypical Networks for Few-Shot Learning论文 Prototypical Networks 是一种针对小样本学习（Few-Shot Learning）设计的方法，旨在通过构建类别原型来完成新类别的快速识别[^1]。该方法的核心思想是在嵌入空间中为每个类别定义一个原型向量，并利用这些原型向量计算输入样本与各个类别的相似度。 #### 论文下载方式 Prototypical Networks 的原始论文《Prototypical Networks for Few-shot Learning》可以在以下链接找到并下载： - 原始论文地址：[https://arxiv.org/abs/1703.05175](https://arxiv.org/abs/1703.05175) 如果无法直接访问上述链接，可以尝试通过其他学术资源网站获取PDF版本，例如Google Scholar 或者 ResearchGate。此外，一些开源项目也提供了对该论文的解读和实现细节说明[^2][^3]。 #### 可视化的实现 对于可视化部分，作者展示了在嵌入空间中的 t-SNE 图像，其中类别原型用黑色表示，而错误分类的字符则用红色高亮显示[^4]。要实现类似的可视化效果，可以通过以下步骤： 1. **提取嵌入特征** 使用训练好的模型对测试数据进行前向传播，得到每张图像对应的嵌入向量。 2. **应用t-SNE降维** 利用 `sklearn.manifold.TSNE` 将高维嵌入向量投影到二维或三维空间以便绘制图形。 3. **绘图展示** 使用 Matplotlib 或 Seaborn 绘制散点图，在图中标记出不同类别的原型位置以及误分类的数据点。 以下是基于PyTorch实现的一个简单代码示例： ```python import torch from sklearn.manifold import TSNE import matplotlib.pyplot as plt def visualize_embeddings(embeddings, labels, prototypes): """ embeddings: 测试样本的嵌入向量 (NxD) labels: 对应的真实标签 (Nx1) prototypes: 类别原型向量 (KxD) """ all_data = torch.cat([embeddings, prototypes], dim=0).cpu().numpy() tsne = TSNE(n_components=2, random_state=42) embedded_data = tsne.fit_transform(all_data) # 提取样本点和原型点的位置 sample_points = embedded_data[:len(embeddings)] prototype_points = embedded_data[len(embeddings):] # 绘制散点图 plt.figure(figsize=(8, 6)) unique_labels = set(labels.cpu().numpy()) colors = plt.cm.rainbow(np.linspace(0, 1, len(unique_labels))) for i, color in zip(unique_labels, colors): idx = np.where(labels == i)[0] plt.scatter(sample_points[idx, 0], sample_points[idx, 1], c=color, label=f'Class {i}') # 添加原型点标记 plt.scatter(prototype_points[:, 0], prototype_points[:, 1], marker='*', s=200, c='black', label='Prototypes') plt.legend() plt.title('t-SNE Visualization of Embedding Space') plt.show() ``` 此函数接受嵌入向量、真实标签以及类别原型作为输入参数，并生成相应的t-SNE可视化图表。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

KKdlg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值