AI论文探讨室·A+·第4期-Unsupervised Learning for Physical Interaction through Video Prediction

最新推荐文章于 2022-06-12 19:08:02 发布
原创 最新推荐文章于 2022-06-12 19:08:02 发布 · 918 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种基于条件运动的视频预测模型，该模型能够预测真实世界中目标的运动，特别适用于机器人交互场景。研究利用卷积LSTM处理图像，并通过合成mask实现对动作的精确预测。文中还介绍了包含59,000张图像的真实机器人数据集。

NeurIPS 2016

《Unsupervised Learning for Physical Interaction through Video Prediction》
论文链接

代码链接

主要解决的问题：解决真实世界的相互学习来预测目标的运动

本论文主要出发点：使用基于条件运动的视频预测，来代替先前方法使用目标标签预测

主要描述

       本论文提出的模型，能够明确地预测动作，它能保持目标外观保持部分不变，能够生成先前看不见的目标。本论文引入了一个59000张机器人交互运动的数据集，包含一个测试集对新的目标。在这个数据集，精确预测了机器人将来的动作，通过基于不同运动仿真，来学习不同特征下的“视觉图像”。

系统架构

使用卷积LSTM来处理图像，在最小的中间层的网络和最后一层11通道合成mask，输出10个归一化转换核。这个核用来转换先前图像到10个不同变换上，然后合成在一起根据Mask。这个mask在每个像素上累加是1，因为一个信道softmax。

效果图

主要工作

（1）提出一个基于条件运动的视频预测模型

（2）展示了两个数据集59,000真实Robot和1.5百万视频帧

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载我们视频中代码和相关讲义，请在公众号回复：计算机视觉课程资料

预测学习应用于机器人之Unsupervised Learning for Physical Interaction through Video Prediction
qq_39367282的博客
05-31 1179
这篇论文是Chelsea Finn在2016Nips上发表的将video prediction和robotics结合起来的一个很好的尝试。这是在我阅读了一些相关论文之后老师建议先做一个baseline model，将这个工作进行一些修改。所以在这里重新整理一遍。 Abstract 摘要部分，总结了一下全文，说了下面几个事情： 机器人与环境交互的挑战之一是要预测它的行为会对环境产生什么样的影响，但是现有的大部分方法需要labeled物体信息，这里要解决的就是如何使用未标记的数据学习物体的运动 这篇文章提出了
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
生成式模型 & 生成对抗网络——资料梳理（专访资料 + 论文分类）
Solomon1558的专栏
08-27 2万+
文献整理   题目 主要内容                             GAN综述 【1】 「无中生有」计算机视觉探奇 （下）   1. 1）超分辨率重建；2）图像着色；3）看图说话；4）人像复原；5）图像自动生成 2. 生成对抗网络博弈论中的零和博弈 3. 将GAN用
对抗神经网络之对抗卷积神经网络[2]
一个想要改变世界的IT slave的专栏
12-13 1万+
上一篇博文[1]简单介绍了对抗网络的理论和大概流程。其中所谓的对抗网络可以归结为unsupervised learning 或者 generative model。从无监督学习来进行feature representation,有k-means聚类算法，auto-encoders[2]，以及09年的Deep belief networks等等。
深度学习之异常检测+视频预测+预训练+视频标注+镜头边界检测+行为分割+视频生成gif--附带源码和作者主页
WJ_MeiMei的博客
11-22 8143
异常检测   Fully Convolutional Neural Network for Fast Anomaly Detection in Crowded Scenes arxiv: http://arxiv.org/abs/1609.00866 Anomaly Detection in Video Using Predictive Convolutional Long Short-Te...
基于深度学习的视频预测研究综述
NEVERGUVEIP的博客
07-30 1万+
原址：http://html.rhhz.net/tis/html/201707032.htm （收集材料ing，为论文做准备)[综述性文章，，，可以做背景资料]   莫凌飞, 蒋红亮, 李煊鹏     摘要：近年来，深度学习算法在众多有监督学习问题上取得了卓越的成果，其在精度、效率和智能化等方面的性能远超传统机器学习算法，部分甚至超越了人类水平。当前，深度学习研究者的研究兴趣逐渐从监督学习...
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
【CVPR2022】论文列表与下载——PartTwo
TomRen
06-12 2867
CVPR2022完整论文列表
【CVPR2022】论文列表与下载——PartFour
TomRen
06-12 3434
【CVPR2022】完整论文列表
值得精读的GAN论文推荐
Double_V的博客
12-06 4928
前言 本文主要推荐一些生成对抗网络（GAN，generative adversarial networks）相关的值得精读的论文，主要涉及GAN的优化，图像翻译，视频预测三个领域，可以作为GAN的学习顺序进行阅读。 GAN的优化 想要使用GAN完成期望的学习任务，精致的网络设计和合适的目标函数必不可少，二者是实现较高performance的关键因素。 在损失函数的优化论文方面，效果比较突出且使用较...
生成对抗网络资源 Adversarial Nets Papers
weixin_33690367的博客
05-19 400
来源：https://github.com/zhangqianhui/AdversarialNetsPapers AdversarialNetsPapers The classical Papers about adversarial nets The First paper ✅[Generative Adversarial Nets][Paper][Code](the first ...
(转) AdversarialNetsPapers
a1424262219的博客
01-13 263
本文转自：https://github.com/zhangqianhui/AdversarialNetsPapers AdversarialNetsPapers The classical Papers about adversarial nets The First paper ✅[Generative Adversarial Nets]...
The classical Papers about GAN
Forlogenの解忧杂货铺
04-25 409
The classical Papers about adversarial nets The First paper ✅ [Generative Adversarial Nets] [Paper][Code](the first paper about it) Unclassified ✅ [Deep Generative Image Models using a Laplacian Pyram...
NIPS 2016上22篇论文的实现汇集
jiandanjinxin的专栏
01-05 3365
日前，LightOn CEO 兼联合创始人 Igor Carron 在其博客上放出了其收集到的 NIPS 2016 论文的实现（一共 22 个）。他写道：「在 Reddit 上，peterkuharvarduk 决定编译所有来自 NIPS 2016 的可用实现，我很高兴他使用了『实现（ implementation）』这个词，因为这让我可以快速搜索到这些项目。」除了 peterkuharvardu
Discriminative Feature Learning for Unsupervised Video Summarization（论文翻译）
weixin_43590290的博客
12-27 1514
Discriminative Feature Learning for Unsupervised Video Summarization Abstract 在本文中，我们解决了无监督视频摘要的问题，该问题会自动从输入视频中提取关键镜头。具体而言，我们根据经验观察结果解决了两个关键问题：（i）由于每帧输出重要性得分的平均分布而导致无效的特征学习，以及（ii）处理长视频输入时的训练难度。为了缓解第一个...
深度学习之视频入门经典+视频分类+视频行为识别+行为检测+视频事件识别+事件检测--附带源码和作者主页
热门推荐
WJ_MeiMei的博客
11-22 2万+
视频研究入门经典   Labor-Free Video Concept Learningby Jointly Exploiting Web Videos and Images     intro: CVPR 2016     intro: Lead–Exceed Neural Network (LENN), LSTM     paper: https://www.microsoft.c...
Unsupervised Learning[论文合集]
gdtop的个人笔记
04-07 3213
https://handong1587.github.io/deep_learning/2015/10/09/unsupervised-learning.html Jump to... 1.Papers 1.Clustering 2.Auto-encoder 3.RBM (Restricted Boltzmann Machine) ...
（58页PPT）智慧产业园区解决方案.pptx
12-01
（58页PPT）智慧产业园区解决方案.pptx
Abaqus显式分析中Voigt粘弹性模型的VUMAT子程序实现与损伤准则扩展
最新发布
12-01
针对Abaqus显式动力学分析框架，本文介绍一种基于Voigt构型的粘弹性各向同性材料模型在VUMAT用户子程序中的实现方案。该子程序完整构建了Voigt粘弹性本构关系，适用于显式求解环境下的材料响应模拟。用户可根据具体分析需求，对子程序进行扩展修改，以引入基于应力状态或应变状态的损伤判据，从而模拟材料在复杂载荷下的渐进失效行为。 资源来源于网络分享，仅用于学习交流使用，请勿用于商业，如有侵权请联系我删除！
MG-BERT: leveraging unsupervised atomic representation learning for molecular property prediction预训练策略
05-10
MG-BERT是一种用于分子属性预测的预训练模型，它是基于BERT的模型。它的预训练策略可以分为以下几步： 1. 原子嵌入：使用晶体学数据库（CSD）中的晶体结构数据，从中提取原子坐标并将其转换为原子嵌入表示。...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值