- 博客(107)
- 收藏
- 关注
RSS订阅
原创 【论文阅读】3D Diffuser Actor: Policy Diffusion with 3D Scene Representations
ChainedDiffuser 和 3D Diffuser Actor 都根据keyposes分割演示。值得注意的是，
2024-09-18 16:39:08
1844
1
原创 【work】AI八股-神经网络相关
y^=g(Whyh+by)\hat{y} = g(W_{hy} h + b_y)y^=g(Whyh+by) 其中 WhyW_{hy}Why 是隐藏层到输出层的权重矩阵，byb_yby 是输出层的偏置向量，ggg 是输出层的激活函数，通常在分类问题中是softmax函数。: h=f(Wxhx+bh)h = f(W_{xh} x + b_h)h=f(Wxhx+bh) 其中 WxhW_{xh}Wxh 是输入到隐藏层的权重矩阵，bhb_hbh 是隐藏层的偏置向量，fff 是激活函数。
2024-07-02 14:18:11
949
原创 [work] AI算法八股总结
高斯RBF核函数的数学形式为：xi 和 xj是输入样本的特征向量。∥xi−xj∥ 表示 xi 和 xj 之间的欧氏距离。σ 是一个参数，称为带宽参数，控制核函数的“宽度”。对于一个训练样本，其中是输入特征向量，是标签（通常是 +1 或 -1），hinge loss 定义如下：其中。
2024-06-01 00:12:28
1708
原创 （DreamerV3）Mastering Diverse Domains through World Models
通用智能需要解决多个领域的任务。当前的强化学习算法具备这种潜力，但受限于为新任务调整所需的资源和知识。我们提出了DreamerV3，这是一种基于世界模型的通用且可扩展的算法，在固定超参数的情况下，超越了以往在广泛领域的表现。这些领域包括连续和离散动作、视觉和低维输入、2D和3D世界、不同的数据预算、奖励频率和奖励规模。我们观察到DreamerV3具有良好的扩展性，更大的模型直接转化为更高的数据效率和最终性能。
2025-04-03 15:44:45
467
原创 DayDreamer: World Models forPhysical Robot Learning
为了在复杂环境中完成任务，机器人需要从经验中学习。深度强化学习是机器人学习的一种常见方法，但它需要大量的试错来学习，限制了其在物理世界中的部署。因此，许多机器人学习的进步依赖于模拟器。然而，在模拟器中学习无法捕捉现实世界的复杂性，容易受到模拟器不准确的影响，而且产生的行为无法适应世界的变化。最近的Dreamer算法通过在学习到的世界模型中进行规划，仅需少量交互即可学习，在视频游戏中超越了纯强化学习。通过学习世界模型来预测潜在动作的结果，可以在想象中进行规划，减少在现实环境中所需的试错次数。然而，
2025-04-03 14:32:42
721
原创 HiRT: Enhancing Robotic Control with HierarchicalRobot Transformers
语言条件的操作问题可以被视为在由马尔可夫决策过程建模的环境中的一系列决策：，其中S、A、ρ0分别代表状态空间、动作空间和初始状态分布，代表奖励函数，表明是否达到了期望的状态或完成了任务，代表环境的概率性前向动态函数。具体来说，给定一个自由形式的语言指令l，指定一个特定的任务，控制策略接收一个视觉观察，通常由一系列图像组成。然后从控制策略建模的动作分布中采样一个动作a ∈ A，该动作结合了末端执行器的相对位置和姿态。对于HiRT，策略由视觉语言模型的Fθ和快速潜在条件策略的Sϕ参数化。
2025-04-03 13:39:58
855
原创 Robotic Manipulation in Dynamic Scenarios viaBounding Box-Based Hindsight Goal Generation
通过使用启发式或课程目标对过去的经验进行重新标记，最先进的强化学习（RL）算法，如后见经验回放（HER）、后见目标生成（HGG）和基于图的后见目标生成（G-HGG），已经在具有稀疏奖励的多目标设置中解决了具有挑战性的机器人操作任务。HGG通过从课程中学习，在目标难以探索的复杂任务中优于HER，其中中间目标的选择基于与目标目标的欧几里得距离。G-HGG通过从环境的预计算图表示中选择中间目标来增强HGG，这使得其适用于具有静态障碍物的环境。
2025-04-02 11:36:42
610
原创 Predicting the Next Action by Modeling the Abstract Goal
即使基于特征的抽象目标 p(zT) 是从 VRNN 框架[^7]、[^12]中获得的，行动表示 aO 和 aN、基于行动的抽象目标 p(zN) 和目标一致性标准的公式与[^1]、[^25]有显著不同。然后，我们获得下一个行为表示（aN）的分布，该分布基于RNN的隐藏状态和观察到的行为表示，记为p(aN|hT, aO)。与之前的随机方法[^25]、[^1]相比，我们引入了三个基于 KL 散度的损失函数，分别基于 a) 基于特征的抽象目标，b) 基于行动的抽象目标（LNG），c) 目标一致性损失（LGC）。
2025-04-02 10:17:06
518
原创 IGOR: Image-GOal RepresentationsAtomic Control Units for Foundation Models in Embodied AI
我们介绍了图像目标表示（IGOR），旨在学习人类和各种机器人之间统一且语义一致的动作空间。通过这种统一的潜在动作空间，IGOR 能够在大规模机器人和人类活动数据之间实现知识迁移。我们通过将初始图像与其目标状态之间的视觉变化压缩为潜在动作来实现这一点。IGOR 允许我们为互联网规模的视频数据生成潜在动作标签。这种统一的潜在动作空间使得我们能够在机器人和人类执行的各种任务中训练基础策略和世界模型。我们证明了：（1）IGOR 学习了人类和机器人之间语义一致的动作空间，
2025-04-01 10:02:31
243
原创 SENSEI: Semantic Exploration Guided by Foundation Modelsto Learn Versatile World Models
探索是强化学习（RL）的基石。内在动机试图将探索与基于外部任务的奖励解耦。然而，遵循信息增益等一般原则的既定内在动机方法，通常只能发现低层次的交互。相比之下，儿童的游戏表明，他们通过模仿或与照顾者互动来参与有意义的高层次行为。近期的研究集中在利用基础模型将这些语义偏见注入探索中。然而，这些方法通常依赖于不切实际的假设，例如语言嵌入环境或能够访问高层次动作。我们提出了SEmaNtically Sensible ExploratIon（SENSEI），
2025-03-28 00:41:57
921
原创 DITTO: Offline Imitation Learning with World Models
为了让模仿学习算法能够应对现实世界的挑战，它们必须能够处理高维观测、离线学习以及策略诱导的协变量偏移。我们提出了 DITTO，一种离线模仿学习算法，能够解决这三个问题。DITTO 在学习到的世界模型的潜在空间中优化一种新颖的距离度量：首先，我们在所有可用的轨迹数据上训练一个世界模型，然后，模仿代理从专家的起始状态在学习到的模型中展开，并因其在多个时间步上与专家数据集的潜在偏差而受到惩罚。我们使用标准的强化学习算法优化这种多步潜在偏差。
2025-03-25 20:06:08
792
原创 LUMOS: Language-Conditioned Imitation Learning with World Models
我们介绍了 LUMOS，这是一个用于机器人的语言条件多任务模仿学习框架。LUMOS 通过在学习到的世界模型的潜在空间中进行多次长时域的 rollout 来学习技能，并将这些技能零样本地迁移到真实机器人上。通过在学习到的世界模型的潜在空间中进行策略学习，我们的算法减轻了大多数离线模仿学习方法所遭受的策略诱导分布偏移。LUMOS 从无结构的玩耍数据中学习，其中少于 1% 的数据有事后语言注释，但在测试时可以用语言命令进行引导。我们通过在训练中结合潜在规划以及基于图像和语言的事后目标重标记。
2025-03-25 13:36:35
980
原创 UNSUPERVISEDPRETRAININGTRANSFERSWELLACROSSLANGUAGES
在这一组实验中，我们在两个同一语言内的任务上比较原始 CPC 与我们修改后的版本：在英语 Zerospeech2017 数据集上的音素可区分性，以及在 Librispeech 100h [4] 上的音素线性可分性。这一结果不仅证实了 [6] 的发现，而且还表明，只要有足够的数据，无监督预训练可以与监督预训练相匹配（请参阅补充部分 S2，了解更大的 Libri - light 数据集 [29]）。在表 3 中，我们报告了在有监督和无监督预训练的音素特征上训练的线性分类器的音素错误率（PER）。
2025-03-21 01:10:28
807
原创 Representation Learning with Contrastive Predictive Coding
Aaron van den Oord DeepMind avdnoord@google.comYazhe Li DeepMind yazhe@google.comOriol Vinyals DeepMind vinyals@google.com摘要尽管监督学习在许多应用中取得了巨大进展，但无监督学习尚未得到如此广泛的应用，仍然是人工智能领域一个重要的挑战。本文提出了一种通用的无监督学习方法，用于从高维数据中提取有用的表示，我们将其称为对比预测编码（Contrastive Predictive Codi
2025-03-20 18:21:03
769
原创 GRAPE: Generalizing Robot Policy via Preference Alignment
尽管视觉-语言-行动（VLA）模型在多种机器人任务上取得了进展，但它们存在关键问题，例如由于依赖于仅从成功演示中进行行为克隆，导致对未见任务的泛化能力较差。此外，它们通常会针对不同设置下专家收集的演示进行微调，从而引入分布偏差，限制了它们对多样化操作目标（如效率、安全性和任务完成）的适应性。为了弥合这一差距，我们引入了GRAPE：通过偏好对齐泛化机器人策略。具体而言，GRAPE在轨迹层面将VLA对齐，并从成功和失败的试验中隐式建模奖励，以增强对多样化任务的泛化能力。
2025-03-14 01:06:52
933
原创 Diffusion Trajectory-guided Policy for Long-horizonRobot Manipulation
— 近期，视觉 - 语言 - 行动模型（VLA）推动了机器人模仿学习的发展，但数据收集成本高且示范有限，限制了泛化能力，当前的模仿学习方法在分布外场景中表现不佳，尤其在长时域任务中。关键挑战在于如何减少模仿学习中的累积误差，这些误差会导致轨迹延长时出现级联故障。为解决这些挑战，我们提出了扩散轨迹引导策略（DTP）框架，通过扩散模型生成二维轨迹来引导长时域任务的策略学习。借助与任务相关的轨迹，DTP 提供轨迹级引导以减少误差累积。
2025-03-12 16:15:29
642
原创 loss输入由多项来自不同内容的部分组成如何调整权重
L1 Loss：适用于异常值多、噪声大或者需要稀疏性表达的场景，能够减少大误差对模型的干扰，但其不连续的梯度可能在某些优化器中引起问题。L2 Loss：适用于数据干净、需要平滑梯度优化以及对大误差敏感的场景，但在异常值存在时可能过分惩罚，从而影响模型的鲁棒性。在一些实际应用中，仅使用 L1 或 L2 loss 往往难以同时兼顾鲁棒性和稳定性，因此结合二者（例如使用 Elastic Net 或 Huber loss）能够发挥各自优势。L1 loss提供稀疏性和对离群值的鲁棒性；L2 loss。
2025-03-12 13:07:21
969
原创 HAMSTER: HIERARCHICAL ACTION MODELS FOR OPEN-WORLD ROBOT MANIPULATION
大型基础模型在视觉和语言领域的复杂问题上展现出强大的开放世界泛化能力，但在机器人领域，类似水平的泛化能力尚未实现。一个根本挑战在于缺乏机器人数据，这些数据通常需要通过昂贵的机器人实际操作来获取。一种有前景的解决方法是利用更廉价的 “域外” 数据，如无动作视频、手绘草图或模拟数据。在这项工作中，我们提出，分层视觉 - 语言 - 动作（VLA）模型在利用域外数据方面，比直接对视觉 - 语言模型（VLMs）进行微调以预测动作的标准整体式 VLA 模型更有效。具体而言，我们研究了一类分层 VLA 模型，其中。
2025-03-11 18:26:58
678
原创 ANY-STEP DYNAMICS MODEL IMPROVES FUTURE PREDICTIONS FOR ONLINE AND OFFLINE REINFORCEMENT LEARNING
基于模型的强化学习方法通过在动力学模型中进行策略探索，为提高数据效率提供了一种有前景的途径。然而，由于自举预测（将下一个状态归因于当前状态的预测），在动力学模型中准确预测连续步骤仍然是一个挑战，这会导致模型展开过程中的误差累积。在本文中，我们提出了任意步长动力学模型（ADM），通过将自举预测简化为直接预测来减轻复合误差。ADM 允许使用可变长度的计划作为输入来预测未来状态，而无需频繁进行自举预测。我们设计了两种算法，ADMPO-ON 和 ADMPO-OFF，分别将 ADM 应用于在线和离线基于模型的框架中。
2025-02-28 11:35:53
673
原创 STABILIZING CONTRASTIVE RL: TECHNIQUES FOR ROBOTIC GOAL REACHING FROM OFFLINE DATA
主要依赖自监督学习的机器人系统，有望减少学习控制策略所需的人工标注和工程工作量。正如先前的机器人系统借鉴了计算机视觉（CV）和自然语言处理（NLP）中的自监督技术一样，我们的工作基于先前研究，这些研究表明强化学习（RL）本身可视为一个自监督问题：即学习在没有人为指定奖励或标签的情况下达成任何目标。尽管这一概念颇具吸引力，但几乎没有先前研究展示出自监督 RL 方法在机器人系统上的实际应用。通过首先研究这一任务具有挑战性的模拟版本，我们确定了关于架构和超参数的设计决策，这些决策将成功率提高了两倍。
2025-02-27 16:58:51
771
原创 LEARNING TRANSFORMER-BASED WORLD MODELS WITH CONTRASTIVE PREDICTIVE CODING
DreamerV3 算法最近通过学习基于循环神经网络（Recurrent Neural Networks, RNNs）的精确世界模型，在各种环境领域取得了显著性能。
2025-02-27 12:00:45
750
原创 Contrastive Learning for Enhancing Robust Scene Transfer in Vision-based Agile Flight
基于视觉的移动机器人应用场景转移是一个高度相关且具有挑战性的问题。机器人的效用在很大程度上取决于它在现实世界中执行任务的能力，而不是在一个控制良好的实验室环境中。现有的场景迁移端到端policy学习方法往往存在样本效率低或泛化能力有限的问题，不适合移动机器人应用。这项工作提出了一种用于视觉表示学习的自适应多对对比学习策略，该策略能够实现零镜头场景迁移和现实世界部署。依赖于嵌入的control policies能够在不可见的环境中运行，而无需在部署环境中进行调优。
2025-02-26 17:31:50
600
原创 lerobot使用文档
这些表格显示了g=2和crf=30时的结果,使用和vcodecpix_fmtlibx264libx265libsvtav1repo_idyuv420pyuv444pyuv420pyuv444pyuv420p16.97%17.58%18.57%18.86%22.06%2.14%2.11%1.38%1.37%5.59%2.12%2.13%1.54%1.54%4.43%1.40%1.39%1.00%1.00%2.52%vcodecpix_fmtlibx264。
2025-02-25 14:28:00
967
原创 A Large Recurrent Action Model: xLSTM Enables Fast Inference for Robotics Tasks
近年来，强化学习（Reinforcement Learning, RL）领域出现了一种趋势，即通过序列建模在大规模数据集上离线训练大型动作模型。现有模型主要基于 Transformer 架构，这造就了强大的智能体。然而，由于推理时间较慢，基于 Transformer 的方法在实时应用（如机器人技术）中并不实用。最近，诸如 xLSTM 和 Mamba 等现代循环架构被提出，它们在训练期间展现出与 Transformer 架构类似的并行化优势，同时提供快速推理。在这项工作中，我们研究了这些现代循环架构。
2025-02-25 00:50:09
973
原创 Integrating Historical Learning and Multi-View Attention with Hierarchical Feature Fusion for Roboti
人类通常基于过去的经验和观察做出决策，而在机器人操作领域，机器人的动作预测往往仅依赖当前观察。这使得机器人在当前观察不理想时，容易忽视环境变化，或者决策失效。为解决机器人学中的这一关键挑战，受人类认知过程的启发，我们提出一种融合历史学习和多视角注意力机制的方法，以提升机器人操作性能。基于时空注意力机制，该方法不仅结合当前和过去步骤的观察，还融入历史动作，以便更好地感知机器人行为变化及其对环境的影响。我们还采用基于互信息的多视角注意力模块，自动聚焦于有价值的视角，为决策融入更有效的信息。
2025-02-24 23:26:42
783
原创 MULTI-VIEW CONTRASTIVE LEARNING FROM DEMONSTRATIONS
本文提出了一个从多个视角捕获的无标签视频演示中学习视觉表征的框架。我们展示了这些表征可应用于模仿机器人任务。我们使用对比学习来增强特征嵌入中与任务相关的信息，同时抑制无关信息。我们在公开可用的多视图倾倒数据集和自定义的拾取与放置数据集上对所提出的方法进行了验证，并将其与时间对比网络（TCN）和对比多视图编码（CMC）基线进行了比较。我们使用三个指标来评估学习到的表征：视角对齐、阶段分类和强化学习。在所有情况下，与最先进的方法相比，结果都有所改进。
2025-02-21 15:41:47
907
原创 SOFT CONTRASTIVE LEARNING FOR TIME SERIES
Seunghan Lee, Taeyoung Park, Kibok Lee延世大学统计学与数据科学系{seunghan9613,tpark,kibok}@yonsei.ac.kr摘要：对比学习已被证明是一种从时间序列中以自监督方式学习表示的有效方法。然而，对比相似的时间序列实例或时间序列中相邻时间戳的值会导致忽略它们的内在相关性，从而降低学习到的表示的质量。为了解决这个问题，我们提出了 SoftCLT，这是一种简单而有效的时间序列软对比学习策略。这是通过引入实例级和时间对比损失，并使用介于 0 到 1
2025-02-20 16:02:05
692
原创 【论文阅读】Visually Robust Adversarial Imitation Learning from Videos withContrastive Learning
我们提出了 C-LAIfO（Contrastive Latent Adversarial Imitation from Observations）算法，这是一种计算高效的算法，
2025-02-14 15:55:50
993
1
原创 【论文阅读】Consistency Policy：Accelerated Visuomotor Policies via Consistency Distillation
许多机器人系统，如移动操作机器人或四旋翼无人机，由于空间、重量和功率的限制，无法配备高端 GPU。这些限制使得这些系统无法利用视觉运动策略架构的最新进展，因为这些进展需要高端 GPU 来实现快速的策略推理。在本文中，我们提出了一致性策略（Consistency Policy），这是一种比扩散策略（Diffusion Policy）更快且性能相当的学习视觉运动机器人控制的替代方法。凭借其快速的推理速度，一致性策略可以在资源受限的机器人设置中实现低延迟决策。一致性策略。
2025-02-13 21:50:59
676
1
原创 【论文阅读】BEVNav: Robot Autonomous Navigation ViaSpatial-Temporal Contrastive Learning inBird’s-Eye View
设\(表示一个 POMDP，其中\(O\)表示观测空间，\(A\)表示动作空间。状态转移核表示为，其中\(\)表示观测空间上的分布。奖励函数为每个观测 - 动作对分配即时奖励。是折扣因子，平衡即时奖励和未来奖励的重要性。在强化学习中，主要目标是找到一个最优策略，最大化预期累积奖励，关注长期收益，其中。在机器人的自主导航任务中，需要根据当前的三维点云观测预测相应的动作，以在避开障碍物的同时到达目标。在这个框架中，设当前帧的三维点云表示为，其中表示三维点云中的点数。
2025-02-09 18:52:43
1136
1
原创 基于噪声对比估计的权重自适应对抗生成式模仿学习
一方面,在很多任务场景下,出 于人工成本的限制,无法获取足够的最优专家样本 供模仿学习智能体得到充分的训练,这种情况下必 须依赖于从次优专家样本中获取信息.另一方面,算 法性能过于依赖样本数据的品质,一旦专家数据集 上含有次优专家样本,对这类数据的直接模仿将使 算法性能大打折扣.因此,研究混合专家样本建模, 是提升模仿学习数据利用效率并最终提升算法性能 亟待解决的问题.,如 果不加以区分而直接进行无差别模仿,会造成模仿 学习策略的性能损失.因此,本文引入权重系数茁沂 (0,1),用于标定专家样本的品质.
2025-02-09 17:05:47
465
原创 【论文阅读】Contrastive Imitation Learning for Language-guided Multi-Task Robotic Manipulation
开发能够在自然语言指令和对复杂现实世界环境的视觉观察引导下，执行各种操作任务的机器人，仍然是机器人学领域的一项重大挑战。这类机器人智能体需要理解语言命令，并区分不同任务的要求。在这项工作中，我们提出了 Σ - agent，这是一种用于多任务机器人操作的端到端模仿学习智能体。Σ - agent融入了对比模仿学习（contrastive IL）模块，以强化视觉 - 语言和当前 - 未来状态的表征。我们还引入了一种。
2025-02-09 15:53:27
739
1
原创 Contrastive Imitation Learning
本文中，我们在机器人应用的对比模仿学习中，利用一致性采样来挖掘演示质量中的样本间关系。通过在排序后的演示对比解码过程中，引入相邻样本间的一致性机制，我们旨在改进用于机器人学习的稳健在线人类行为克隆方法。我们的模型基于一致性策略，在普通行为克隆和一致性选择的行为克隆中，均优于基线行为克隆方法。我们成功地将一致性采样与对比学习相结合，用于行为克隆，证明了我们注释人类演示方法的可行性。为了增强处理奖励周期性变化的稳健性，我们添加了时间噪声，以确保在存在时间相关性的情况下仍能保持性能。
2025-01-31 17:14:39
679
原创 【论文阅读】HumanPlus: Humanoid Shadowing and Imitation from Humans
制造外形与人类相似的机器人的一个关键理由是，我们可以利用大量的人类数据进行训练。然而，由于人形机器人在感知和控制方面的复杂性，人形机器人与人类在形态和驱动方式上存在的物理差距，以及缺乏让人形机器人从第一人称视角视觉学习自主技能的数据处理流程，在实际操作中利用这些数据仍然具有挑战性。在本文中，我们介绍了一种完整的系统，使人形机器人能够从人类数据中学习动作和自主技能。我们首先在模拟环境中通过强化学习，利用现有的 40 小时人类动作数据集训练一个底层策略。这个策略可以迁移到现实世界，
2025-01-25 23:38:01
1449
1
原创 【论文阅读】RT-SKETCH: GOAL-CONDITIONED IMITATION LEARNING FROM HAND-DRAWN SKETCHES
在目标条件模仿学习（imitation learning，IL）中，自然语言和图像通常被用作目标表示。然而，自然语言可能存在歧义，图像则可能过于具体。在这项工作中，我们研究将手绘草图作为一种目标指定方式。草图和语言一样，用户可以轻松即时提供，但与图像类似，它也能帮助下游策略具备空间感知能力，甚至超越图像，区分与任务相关和不相关的对象。我们提出了 RT-Sketch，这是一种用于操作任务的目标条件策略，它将所需场景的手绘草图作为输入，并输出动作。
2025-01-25 22:23:33
975
1
原创 【论文阅读】EFFICIENT DIFFUSION TRANSFORMER POLICIES WITH MIXTURE OF EXPERT DENOISERS FOR MULTITASK LEARNI
¹ 德国卡尔斯鲁厄理工学院直观机器人实验室（IRL）² 美国麻省理工学院电气工程与计算机科学系（EECS）
2025-01-25 22:19:29
1033
1
原创 【论文阅读】ONE-STEP DIFFUSION POLICY: FAST VISUOMOTOR POLICIES VIA DIFFUSION DISTILLATION
扩散模型在生成任务中取得的成功备受赞誉，目前正越来越多地应用于机器人领域，在行为克隆方面展现出卓越性能。然而，由于其迭代去噪步骤导致的生成过程缓慢，在资源受限的机器人场景以及动态变化的环境中，其在实时应用方面面临挑战。在本文中，我们引入了单步扩散策略（One-Step Diffusion Policy，OneDP），这是一种新颖的方法，它将预训练的扩散策略中的知识提炼到一个单步动作生成器中，显著加快了机器人控制任务的响应时间。我们通过。
2025-01-25 19:14:33
769
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人