AI论文探讨室·A+·第4期-Unsupervised Learning for Physical Interaction through Video Prediction

元宇宙MetaAI 元宇宙MetaAI 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 900+累计阅读 961平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄10年
关注
原创 最新推荐文章于 2026-08-15 17:43:43 发布 961 阅读 AI 写同款· GEO 优化 ›
预测学习应用于机器人之Unsupervised Learning for Physical Interaction through Video Prediction 这篇论文是Chelsea Finn在2016Nips上发表的将video prediction和robotics结合起来的一个很好的尝试。这是在我阅读了一些相关论文之后老师建议先做一个baseline model，将这个工作进行一些修改。所以在这里重新整理一遍。 Abstract 摘要部分，总结了一下全文，说了下面几个事情： 机器人与环境交互的挑战之一是要预测它的行为会对环境产生什么样的影响，但是现有的大部分方法需要labeled物体信息，这里要解决的就是如何使用未标记的数据学习物体的运动 这篇文章提出了 阅读详情

NeurIPS 2016

《Unsupervised Learning for Physical Interaction through Video Prediction》
论文链接

代码链接

主要解决的问题：解决真实世界的相互学习来预测目标的运动

本论文主要出发点：使用基于条件运动的视频预测，来代替先前方法使用目标标签预测

主要描述

       本论文提出的模型，能够明确地预测动作，它能保持目标外观保持部分不变，能够生成先前看不见的目标。本论文引入了一个59000张机器人交互运动的数据集，包含一个测试集对新的目标。在这个数据集，精确预测了机器人将来的动作，通过基于不同运动仿真，来学习不同特征下的“视觉图像”。

系统架构

使用卷积LSTM来处理图像，在最小的中间层的网络和最后一层11通道合成mask，输出10个归一化转换核。这个核用来转换先前图像到10个不同变换上，然后合成在一起根据Mask。这个mask在每个像素上累加是1，因为一个信道softmax。

效果图

主要工作

（1）提出一个基于条件运动的视频预测模型

（2）展示了两个数据集59,000真实Robot和1.5百万视频帧

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载我们视频中代码和相关讲义，请在公众号回复：计算机视觉课程资料

收录于
无监督学习

当前文章被收录于：

无监督学习
1 篇文章 1 人学习
订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Sparsh：用于基于视觉的触觉感知的自监督触觉表征【传感器：带标记点的 GelSight 2017、无标记点的 DIGIT】 t​⊕It−5​→x∈Rh×w×6tt−2t−4t−6∈R4×h×w×3t​∈Rh×w×3t​∈SE3). Tt​tt−1​≜ΔxΔy˙​Δθ∈SE2ˉ2∘0.5∘1.0∘to1.0∘2.0∘zt−1​zt​qt−1​qt​≜Δqt​Δqt1​...;Δq∈R7。 阅读详情

相关推荐

Discriminative Feature Learning for Unsupervised Video Summarization（论文翻译）

Discriminative Feature Learning for Unsupervised Video Summarization Abstract 在本文中，我们解决了无监督视频摘要的问题，该问题会自动从输入视频中提取关键镜头。具体而言，我们根据经验观察结果解决了两个关键问题：（i）由于每帧输出重要性得分的平均分布而导致无效的特征学习，以及（ii）处理长视频输入时的训练难度。为了缓解第一个...

weixin_43590290的博客 1585

生成式模型 & 生成对抗网络——资料梳理（专访资料 + 论文分类）

文献整理   题目 主要内容                             GAN综述 【1】 「无中生有」计算机视觉探奇 （下）   1. 1）超分辨率重建；2）图像着色；3）看图说话；4）人像复原；5）图像自动生成 2. 生成对抗网络博弈论中的零和博弈 3. 将GAN用

Solomon1558的专栏 2万+

具身智能【2026-01】：Being-H0.5【VLA + Flow Matching】【MoT+MoE架构】【UniHand2.0数据集：4 亿个样本/35000小时 】

BeingBeyond Teamhttps://research.beingbeyond.com/being-h05Real-World Deployment Figure 1: Being-H0.5 at a Glance. We scale human-centric robot learning with Being-H0.5 toward cross-embodiment generalization. We introduce UniHand-2.0, a large-scale corpus

u013250861的博客 261

对抗神经网络之对抗卷积神经网络[2]

上一篇博文[1]简单介绍了对抗网络的理论和大概流程。其中所谓的对抗网络可以归结为unsupervised learning 或者 generative model。从无监督学习来进行feature representation,有k-means聚类算法，auto-encoders[2]，以及09年的Deep belief networks等等。

一个想要改变世界的IT slave的专栏 1万+

chrome-headless-shell-mac-x64-160.0.8160.0(Canary).zip

内容概要：Chrome for Testing 官方 chrome-headless-shell 160.0.8160.0 x64 平台（金丝雀版通道），原版未修改，附来源说明。 适合人群：x64 上的自动化测试工程师、爬虫开发者、CI 环境搭建者。 使用场景及目标：①无头浏览器（Playwright/Puppeteer/Selenium 无界面自动化与爬虫的运行内核）；②服务器/容器离线内置；③版本精准匹配（chromedriver 与 Chrome 需同大版本）。 其他说明：Chrome for Testing 为 Google 官方发布、允许自由分发的文件；本资源为第三方整理的下载便利服务。

多智能体-系统-形成-控制 附matlab代码.rar

多智能体-系统-形成-控制 附matlab代码.rar

深度学习之异常检测+视频预测+预训练+视频标注+镜头边界检测+行为分割+视频生成gif--附带源码和作者主页

异常检测   Fully Convolutional Neural Network for Fast Anomaly Detection in Crowded Scenes arxiv: http://arxiv.org/abs/1609.00866 Anomaly Detection in Video Using Predictive Convolutional Long Short-Te...

WJ_MeiMei的博客 9484

具有PWM控制VSC-HVDC链路的IEEE30总线传输系统（Simulink仿真实现）

内容概要：本文构建了一个包含PWM控制VSC-HVDC链路的IEEE30节点电力传输系统，并基于Simulink平台完成了系统的建模仿真。该模型聚焦于高压直流输电（HVDC）技术在区域电网互联中的应用，采用电压源型换流器（VSC）与脉宽调制（PWM）技术实现高效、灵活的电能传输。研究重点在于分析VSC-HVDC链路在复杂多节点电网中对潮流分布、系统稳定性及电能质量的调控能力，特别关注其在区域电网互联、新能源大规模接入以及跨区域电力交换等场景下的动态响应特性与控制性能，为现代智能电网的发展提供技术支撑与仿真验证手段。; 适合人群：具备电力系统、电气工程或自动化等相关专业背景的研究生、科研人员及工程技术人员。; 使用场景及目标：①用于研究VSC-HVDC在多节点电网（如IEEE30节点）中的建模与仿真方法；②分析PWM控制策略下HVDC链路对电网潮流分布、电压稳定性和故障穿越能力的影响；③为区域电网互联、新能源并网及智能电网调度等课题提供仿真基础和技术验证。; 阅读建议：此资源以Simulink仿真实现为核心，建议读者在掌握电力电子技术和电力系统分析基础知识的前提下，结合仿真模型深入理解VSC-HVDC的工作原理与控制策略。在学习过程中，应着重关注模型参数设置、控制环路设计及仿真结果的分析，以达到理论与实践相结合的目的。

基于深度学习的视频预测研究综述

原址：http://html.rhhz.net/tis/html/201707032.htm （收集材料ing，为论文做准备)[综述性文章，，，可以做背景资料]   莫凌飞, 蒋红亮, 李煊鹏     摘要：近年来，深度学习算法在众多有监督学习问题上取得了卓越的成果，其在精度、效率和智能化等方面的性能远超传统机器学习算法，部分甚至超越了人类水平。当前，深度学习研究者的研究兴趣逐渐从监督学习...

NEVERGUVEIP的博客 1万+

基于KDE-CDF置信带的不确定综合能源系统鲁棒调度优化研究（Matlab代码实现）

内容概要：本研究针对不确定综合能源系统中的鲁棒调度优化问题，提出一种基于核密度估计-累积分布函数（KDE-CDF）置信带的建模方法，用以精确刻画风能、光伏及负荷等不确定性因素的非正态概率分布特征。通过构建KDE-CDF模型，能够有效捕捉实际运行中新能源出力与负荷需求的波动性与随机性，并在此基础上设计鲁棒优化调度框架，提升系统在不确定性环境下的运行可靠性与经济性。该方法结合Matlab编程实现，综合考虑系统运行成本、峰谷差、碳排放等多重目标，实现多维度协调优化。研究还探讨了与智能优化算法（如粒子群算法）相结合的应用路径，增强了模型的求解效率与工程实用性，为含多种储能装置、电转气设备及碳捕集系统的复杂综合能源系统提供了科学的调度决策支持。; 适合人群：具备电力系统分析、优化理论基础及Matlab编程能力的研究生、科研人员，以及从事综合能源系统规划、运行与调度工作的工程技术人员。; 使用场景及目标：①解决高比例可再生能源接入背景下综合能源系统调度中的不确定性建模难题；②提升调度方案在面对新能源强波动性时的鲁棒性与适应能力；③为融合多类型灵活性资源（如储能、电转气、碳捕集）的综合能源系统提供精细化、可落地的优化运行策略。; 阅读建议：建议读者在掌握概率统计、随机优化与电力系统运行基础知识的前提下，结合文中提供的Matlab代码进行实践操作，重点关注KDE-CDF置信带的构建流程及其在鲁棒优化模型中的嵌入机制，通过调整输入数据分布、参数设置与场景配置开展仿真对比实验，深入理解不确定性建模精度对调度决策质量的影响，进而掌握从数据驱动角度提升系统鲁棒性的关键技术路径。

VisionMaster -Group循环、数组数据格式化

这里创建一个格式化工具，按照自己想要的模式格式化刚刚输出的数据。因为是检测多个物体，所以这里选择输出的是数组。第一次的模板很不满意，反复调整参数也没好，边缘不整齐，强迫症患者受不了。实测如果输入设置太多，会导致模块失效，所以尽量选择需要的少量参数。这里要打开循环使能，循环数值就是高精度匹配的匹配个数。Group输出设置里选择刚刚建立的数据集。左边是主流程，右边是组合模块内部流程。修改采图这里的曝光值，图像提亮一点。建一个数据集，把想要的数据收集起来。用TCP助手测试一下OK。成功得到了想要的数据。

weixin_69505365的博客 4533

PointWorld: 动作条件的全场景3D点flow 预测（用同一种3D物理空间模态来表示状态和动作）

PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation

u013250861的博客 332

TI IWR 6843 ISK 毫米波雷达开箱测试

TI IWR6843 ISK毫米波雷达上手体验，教程十分详细，对于新手很友好。

qq_57061492的博客 4039

值得精读的GAN论文推荐

前言 本文主要推荐一些生成对抗网络（GAN，generative adversarial networks）相关的值得精读的论文，主要涉及GAN的优化，图像翻译，视频预测三个领域，可以作为GAN的学习顺序进行阅读。 GAN的优化 想要使用GAN完成期望的学习任务，精致的网络设计和合适的目标函数必不可少，二者是实现较高performance的关键因素。 在损失函数的优化论文方面，效果比较突出且使用较...

Double_V的博客 5004

如何理解Fourier Neural Operator (FNO)

2022年Nvidia发表在arXiv上的的FourcastNet作为几乎是最早的一篇气象大模型的工作（之前Google Research的MetNet主要还是对于降水的预报）。除了Transformer的backbone之外，使用到了2021年发表在ICLR上的Fourier Neural Operator。为了更好的理解模型的理论基础，可以详细学习一下以及他的前期工作GNOFNO作者对这两篇文章的解析blog。

momo的博客 1万+

Python画常见分布的概率密度图

因为做概随大作业，了解了一些python画概率分布图的方法。

qq_44807946的博客 5204

The classical Papers about GAN

The classical Papers about adversarial nets The First paper ✅ [Generative Adversarial Nets] [Paper][Code](the first paper about it) Unclassified ✅ [Deep Generative Image Models using a Laplacian Pyram...

Forlogenの解忧杂货铺 531

销售预测的方法与模型（三）丨安全库存与再订货（补货）

较高的 Z 值对应较高的服务水平（例如，服务水平 99% 对应 Z 值 2.33），意味着企业希望更低的缺货风险，因此需要更高的安全库存。在再订货点的管理中，考虑到供应商交货的不确定性，通常需要结合安全库存，以防止在交货期间库存用尽。要对L开根号，根号L表示交货周期越长，企业需要的安全库存越多，因为在较长的供应期内，需求波动的累积效应更明显。举例：供应商的交期服从标准差为2件/天的正态分布，顾客需求为50件/天的正态分布，若要客户服务水平达到 90%，安全库存量应该是多少？下面介绍几种核心的模型与公式。

weixin_45675709的博客 1537

NIPS 2016上22篇论文的实现汇集

日前，LightOn CEO 兼联合创始人 Igor Carron 在其博客上放出了其收集到的 NIPS 2016 论文的实现（一共 22 个）。他写道：「在 Reddit 上，peterkuharvarduk 决定编译所有来自 NIPS 2016 的可用实现，我很高兴他使用了『实现（ implementation）』这个词，因为这让我可以快速搜索到这些项目。」除了 peterkuharvardu

jiandanjinxin的专栏 3420

ClearML中文文档实战：从安装到第一个实验的保姆级教程

本文提供ClearML从零开始的实战指南，涵盖核心组件理解、Python SDK安装、服务器配置及首个自动化实验的完整流程。通过改造PyTorch训练脚本的实例，详细演示了如何利用ClearML自动记录实验参数、指标与模型，实现机器学习实验的可复现性与高效管理，并简要介绍了进阶的自动化工作流。

weixin_29216049的博客 398

GD32F4系列Keil工程模板搭建全攻略（手把手教学版）

本文提供了一份详细的GD32F4系列Keil工程模板搭建指南。从软件安装、固件库获取、目录规划，到Keil工程创建、文件添加、关键配置（如编译器选项、头文件路径、时钟设置），再到代码定制与常见问题排查，手把手教你构建一个标准化、模块化的开发基础。文章重点介绍了如何利用官方固件库和代码模板，快速建立稳定高效的开发环境，适用于GD32F407等Cortex-M4内核芯片的入门与项目开发。

weixin_29159995的博客 430

生成对抗网络资源 Adversarial Nets Papers

来源：https://github.com/zhangqianhui/AdversarialNetsPapers AdversarialNetsPapers The classical Papers about adversarial nets The First paper ✅[Generative Adversarial Nets][Paper][Code](the first ...

weixin_33690367的博客 449

深度学习助力台风路径预测：技术剖析与实战应用全攻略（基于LSTM模型）

摘要：深度学习技术在台风路径预测领域展现出巨大潜力。通过融合多源气象数据，深度学习模型如LSTM能有效处理时间序列数据，捕捉台风路径变化规律。与传统方法相比，深度学习模型在自动特征学习和处理复杂模式方面具有独特优势，提高了预测的准确性和实时性。然而，挑战依然存在，包括数据质量问题、模型可解释性不足以及极端台风的复杂性。未来，随着观测技术的进步和新算法的开发，深度学习将在台风路径预测中发挥更大作用，为防灾减灾提供更精准的决策支持。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！ 2229

(转) AdversarialNetsPapers

本文转自：https://github.com/zhangqianhui/AdversarialNetsPapers AdversarialNetsPapers The classical Papers about adversarial nets The First paper ✅[Generative Adversarial Nets]...

a1424262219的博客 315

C# WinForm 基于DirectShow.dll编写的程序，可边预览边保存视频，音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择（默认选中第一个）2.可录制wmv和avi两种格式的视频并且都带有音频，avi可以录制的分辨率和帧数进行选择，wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照，也可边录制视频边拍照4.添加了视频和音频的压缩功能（酌情使用）这次二次开发发现C#对DirectShow的相关信息太少，这次做完也不敢藏私共享出来，还望大家指正

WINCC7.3破解文件

WINCC7.3硬件够破解文件，有需要的下载！WINCC7.3硬件够破解文件，有需要的下载！

Unsupervised Learning[论文合集]

https://handong1587.github.io/deep_learning/2015/10/09/unsupervised-learning.html Jump to... 1.Papers 1.Clustering 2.Auto-encoder 3.RBM (Restricted Boltzmann Machine) ...

gdtop的个人笔记 3275

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

深度学习之视频入门经典+视频分类+视频行为识别+行为检测+视频事件识别+事件检测--附带源码和作者主页

视频研究入门经典   Labor-Free Video Concept Learningby Jointly Exploiting Web Videos and Images     intro: CVPR 2016     intro: Lead–Exceed Neural Network (LENN), LSTM     paper: https://www.microsoft.c...

WJ_MeiMei的博客 3万+
上一篇： AI论文探讨室·A+·第3期-Multi-Task Multi-Sensor Fusion for 3D Object Detection
下一篇： AI论文探讨室·A+·第5期 Human Synthesis and Scene Compositing
点赞 1
评论 2
书签 书签 1
元宇宙MetaAI
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
+ 关注 专栏目录 订阅专栏
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值