【论文】Active Domain Randomizatio

最新推荐文章于 2024-10-06 09:53:52 发布
最新推荐文章于 2024-10-06 09:53:52 发布
阅读量2k 收藏 1
点赞数 1
分类专栏： machine-learning 文章标签： 计算机视觉 深度学习 人工智能 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41614419/article/details/122252464
版权

在这里插入图片描述
这篇论文是在传统的领域随机化（DR-Domain Randomization）的基础上提出的一篇改进论文，提出传统的领域随机化可能会导致次优的、高方差的策略，归因于对环境参数的均匀采样。

本文的方法通过利用随机化和参考化环境实例中策略推出的差异，在给定的随机化范围内寻找信息量最大的环境变化。

简介

本文的应用场景是 zero-shot 迁移，也就是说对目标域完全不可知。本文的方法将DR作为对随机环境的搜索，以最大化代理策略的效用。具体来说，我们的目标是找到目前对代理策略造成困难的环境，将更多的训练时间用于这些麻烦的参数设置。Stein Variational Policy GradientS - VPG学习问题。

算法

SVPG

SVPG是由Liu等人提出的强化学习算法，他的目标是迭代地学习N个策略
在这里插入图片描述
更新的方法利用下式，其中第一项将策略导向更高奖赏的空间，第二项将鼓励探索。
在这里插入图片描述

领域随机化

通常DR需要 N_rand 个需要随机化的模拟环境的参数，

最低0.47元/天 解锁文章
论文阅读笔记：Domain Randomization for Active Pose Estimation
weixin_38886470的博客
02-21 709
摘要 本文主要提出一种基于域随机化的姿态估计方法。 通过训练神经网络，直接从环境的2D图像中预测机器人的姿态。关于提高基于域随机化的姿态估计的准确性，文章提出主动感知（active perception）方法：移动机器人以获得更好的姿态估计，在模拟环境中进行训练，用域随机化将其转化为现实。 介绍 本文为了提高基于域随机化的姿态估计的准确性，对环境进行一些已知的几何变换，如移动环境中的物体，移动机器人手臂或干扰物、改变相机角度等。同时提出主动姿态估计方法：从不同角度和不同位置看一个物体，从而获得更准确、更稳健
[论文阅读] Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World
qq_33673253的博客
03-03 1053
域随机化的目的是在训练时提供足够的模拟可变性，以便在测试时模型能够推广到真实世界的数据。检测器在训练时无法获得感兴趣物体的颜色，只能获得它们的大小和形状。使用MuJoCo物理引擎的内置渲染器渲染图像。，我们的目标是训练将单个单目相机帧。映射到每个对象的笛卡尔坐标。给定一些感兴趣的对象。
论文笔记：Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World
彩虹糖的博客
08-05 6698
Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World 文章概况 作者：Josh Tobin, Rachel Fong, Alex Ray, Jonas Schneider, Wojciech Zaremba, Pieter Abbeel 来源：2017 I...
关于数据访问模式（四）—— Active Domain Object模式
perhaps
07-26 187
        古人云：温故而知新。在讨论新的数据访问模式之前，我们先来回忆一下上一篇Post中提到的Data Accessor模式吧。        Data Accessor提供了一种解耦合的策略：将数据库访问的细节进行逻辑抽象并封装于单一组件中，从而降低数据访问和数据模型之间的耦合性。对于应用程序而言，它并不了解具体的数据访问操作，如建立数据库连接和执行SQL语句等，但是它仍然了解数据模型的...
active-domainrand:用于主动域随机化的代码库（CoRL 2019，https
05-30
主动域随机化 (ADR) 是一种用于改进机器人强化学习策略的零样本转移的新方法。 基于对随机空间进行统一采样的传统域随机化，我们表明，用对困难 MDP 实例的主动搜索代替它可以提高结果策略的泛化性和鲁棒性。 下面是我们重现论文中实验的代码。 如果您对并行进行域随机化的简单方法感兴趣，请查看我们的存储库。 实验 基线实验 纯基线 这里最重要的标志是--initial-svpg-steps=1e6 ，这将确保在达到该步数限制之前只建议随机环境（它永远不会）。 环境名称 ( randomized-env-id ) 处理随机化范围 - LunarLanderDefault-v0具有单值范围，因此randomize()调用将始终产生相同的默认环境。 同样， LunarLanderRandomized-v0具有完整的随机化范围（在一维中）。 在命令行上，从[lunar|pusher|ergo]指定
什么是域随机化（Domain Randomization）
最新发布
x1haonan的博客
10-06 1997
通过在仿真环境中随机化各种因素，模型能够学会在更广泛的场景下执行任务，并且在现实世界中具有更好的适应性。因为在现实世界中训练机器人可能昂贵或不可行，所以可以在仿真环境中进行训练，而域随机化帮助模型在训练时不依赖于仿真环境的精确性，使得在真实环境中的适应性更强。域随机化的核心思想是通过大量随机化的模拟环境训练模型，使模型学会忽略非本质的环境变化，从而在训练时接触到尽可能多样的场景。泛化能力增强：通过在多种随机化的环境中训练，模型在应对未知的真实场景时表现更好，减少了对精确模拟环境的依赖。
【论文】Data-efficient Domain Randomization with Bayesian Optimization
qq_41614419的博客
01-05 603
基于域随机化的强化学习定义： 主要增加了一个域参数分布，它决定了动力学模型的概率转移函数P。 在某个确定的参数组合下，也就是生成一个特定的MDPs，此时的优化目标是在这个参数组合下的最大累积奖赏： 本文提出的贝叶斯域随机化（BayRn），优化目标可以写成上下两层公式： 这个目标方程怎么理解呢？ 首先看下层，这是一个标准的域随机化强化学习过程，通俗来说就是给定一个域参数分布 fai，从中采样形成多个MDPs（这是用采样近似期望），然后在每个MDPs中训练Agent，期望学到一个策略，能够最大化所有MD.
论文翻译：Training Deep Networks with Synthetic Data:Bridging the Reality Gap by Domain Randomization
景唯acr
03-18 2017
使用合成数据训练深度网络：通过域随机化弥合现实差距 摘要： 我们提出了一种使用合成图像训练深度神经网络进行物体检测的系统。为了处理现实世界数据的可变性，系统依赖于域随机化技术，其中模拟器的参数 - 例如照明，姿势，对象纹理等 - 在非现实中随机化强迫神经网络学习感兴趣对象的基本特征的方法。我们探讨了这些参数的重要性，表明只使用非艺术生成的合成数据就可以生成具有引人注目的性能的网络。通过对实际数据进...
论文笔记：Continual Adaptation of Visual Representations via Domain Randomization and Meta-learning
weixin_41978493的博客
03-27 1114
论文地址：https://arxiv.org/abs/2012.04324 源码地址：尚未开源 1 Core Idea 序列化地用不同性质的样本来训练模型，会导致灾难性遗忘（catastrophic forgetting）。作者提出域泛化（domain randomization），运用图像处理，随机化当前域的数据分布。并以这个处理结果为基础，设计一个元学习（meta-learning）策略，有一个正则化项惩罚所有和模型从当前域到不同“辅助”元域的迁移有关的损失（penalizes any los..
contrastive-domain-randomization:对比域随机化
03-16
对比域随机化
从虚拟到现实：利用熵最大化实现领域随机化
步子哥的博客
09-04 987
在强化学习（Reinforcement Learning, RL）领域，域随机化（Domain Randomization, DR）已成为缩小模拟环境与现实世界之间差距的重要方法。然而，传统的域随机化方法在选择动态参数的采样分布时常常面临挑战。过高的随机化可能导致过于保守的策略，而过低的随机化则可能导致政策无法泛化。本文将探讨一种新颖的方法——基于熵最大化的领域随机化（DORAEMON），它通过自动调整动态分布来提升策略的适应性和泛化能力。
Active Domain中的用户属性
weixin_30908649的博客
10-27 296
/// <summary> /// AD中的属性，没有出现的后续接着补充 /// </summary> public class LdapUserEntryProperty { public static string AccountExpires { get ...
#今日论文推荐#ECCV 2022 | 面向高光和透明物体感知与抓取的域随机化增强的深度仿真与修复
w1hsxn的博客
08-16 500
本文研究了主动立体视觉深度相机在高光和透明材质物体上的深度修复问题，并展示了深度修复对下游高光和透明物体抓取及位姿估计的重大帮助。
主动领域自适应(Active Domain Adaptation)部分经典论文汇总
xiongxyowo的博客
04-07 4174
只简单找了一小部分 CVPR [link] [code] [TQS] [21] Transferable Query Selection for Active Domain Adaptation [link] [code] [SDM] [22] Learning Distinctive Margin toward Active Domain Adaptation ICCV [link] [code] [CLUE] [21] Active Domain Adaptation via Cl.
如何提高"强化学习算法模型"的泛化能力?
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
01-11 7419
深度强化学习实验室官网：http://www.neurondance.com/来源：https://zhuanlan.zhihu.com/p/328287119作者：网易伏羲实验室编辑：...
上海AI Lab | 最新端到端自动驾驶综述，来龙去脉详尽梳理
CV_Autobot的博客
07-24 1942
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取今天自动驾驶之心很荣幸邀请到Li Chen来分享端到端自动驾驶的最新综述，如果您有相关工作需要分享，请在文末联系我们！>>点击进入→自动驾驶之心【大模型】技术交流群论文作者|Li Chen编辑 | 自动驾驶之心今年的CVPR最佳论文颁给了端到端自动驾驶，在汽车人看来，这几乎代表着一种共识：端到端自动驾驶是行业的未来。...
Implicit 3D Orientation Learning for 6D Object Detection from RGB Images初级翻译
墨藍的博客
02-21 2294
题目——根据 RGB 图像检测 6 维位姿的隐式三维朝向学习 论文地址Implicit 3D Orientation Learning for 6D Object Detection from RGB Images 代码地址https://github.com/DLR-RM/AugmentedAutoencoder 本文获得ECCV 2018 最佳论文奖，个人能力太low，首次翻译只是为了更...
RL策略梯度方法之(十七): Stein Variational Policy Gradient (SVPG)
qq_38293297的博客
10-07 1179
本专栏按照 https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html 顺序进行总结 。 文章目录原理解析算法实现总体流程代码实现 原理解析 算法实现 总体流程 代码实现
2021-06-29《旋转基元重建增强和鲁棒6D姿态估计》
liyin1638的博客
06-30 736
Recent advances in deep learning-based object pose esti-mation has been groundbreaking. Direct end-to-end 6D poseregression suffered from the non-linearity of the rotation, andstudies tackled this issue through orientation representation[6] or combin
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

唯与痴想

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值