论文阅读：Scene Dynamics: Counterfactual Critic Multi-Agent Training for Scene Graph Generation

最新推荐文章于 2024-11-08 14:32:06 发布
最新推荐文章于 2024-11-08 14:32:06 发布
阅读量1.1k 收藏 1
点赞数
文章标签： scene understand 强化学习 policy gradient
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37014750/article/details/85102456
版权
本文探讨如何通过multi-agent policy gradient方法改进场景图生成，关注hub node的识别，以提升scene graph的质量。文章提出counterfactual critic多智能体训练策略，通过最大化graph-level指标如Recall和SPICE，优化物体检测和关系识别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Scene Dynamics

文章
  我之前一直想着要提高scene graph的质量，最重要的应该是提高对关系的识别能力，也就是提高predcls任务的效果，但是本文提醒了我，把对目标的识别和和关系的识别结合起来，也能有效提高scene graph的质量。

  本文认为，目前的关系检测算法大都没有将目标的检测放在graph的层次上思考，message passing算是一个，但还是没有充分利用graph的特性。对于目标的识别，现有的算法都是使用每个object的crossentropy之和作为损失函数，但问题在于这样是认为每个object的重要性是一样的，其实不是的。比如我们看上图b，将bike错误地判断为man会导致之后的4个关系的识别都出错，而将tree错判为man，只会影响1个关系，作者将图中bike这样对sg影响大的object叫做hub node，而对于tree那样的叫做non-hub node。
  为了应对上面所说的这种情况，我的一个直接想法是在训练集中对每种物体的关系进行统计，找到那些hub node，然后构建损失函数的时候，给它们更大的权重。但本文不是这样简单地的做的，文章采用graph-level的metric来对检测结果进行评价，如Recall和SPICE，<

最低0.47元/天 解锁文章
Kivee123
关注
『论文阅读』Generating Videos With Scene Dynamics
u010620946的专栏
12-16 3409
来源：NIPS2016 这篇论文提出了一个基于GAN的网络模型，同时可以进行视频识别和视频生成的task。 Task　　Video recognition & video Generation.　　即利用一些Unlabeled videos 去训练模型同时解决识别问题和视频生成的任务。实验表明： 模型可以生成一些短小的视频并且效果较好 可以根据static image 预测之后的图片序列
COMA（二）：Counterfactual Multi-Agent Policy Gradients 论文讲解
qq_38638132的博客
12-18 5842
Counterfactual Multi-Agent Policy Gradients 论文链接：https://arxiv.org/pdf/1705.08926.pdf 1. 问题提出（解决了什么问题？） 在现实世界中，有非常多的问题需要多个单位之间的“合作”才能完成任务，这就需要学习一种非中心式策略的控制系统，即每个agent有着属于自己的决策大脑，而非靠拥有全局信息的决策系统下达指令（毕竟...
Competitive Multi-Agent Deep Reinforcement Learning with Counterfactual Thinking
02-08
Competitive Multi-Agent Deep Reinforcement Learning with Counterfactual Thinking
Counterfactual multi-agent policy gradients.
qq_36616268的博客
02-27 1890
这个是实验室做项目的时候用到的一个算法，我没仔细看原文，主要看了一下github上的code 一般智能体协作存在的问题： 1：joint action随着智能体增加指数级增大 2：由于部分可观测性，每个agent只能观测到自己的信息，没有信息共享（很多实验跑的都是全局信息当做局部，也就不存在这个问题，还有一些直接输入两个agent的信息，理论上也不存在） 3：使用联合动作空间获得的rewa...
论文阅读：Generating Videos with Scene Dynamics
qq_36627158的博客
05-27 549
目录 Contributions Method 1、Video Generator Network 2、Video Discriminator Network Results 1、Quantitative Results on Video Generator 2、Video Representation Learning (Video Discriminator) 论文名称：Generating Videos with Scene Dynamics（2016 NIPS） 论文作者：C.
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 9189
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
videogan：使用Scene Dynamics生成视频。 NIPS 2016
02-04
使用场景动态生成视频 该存储库包含实现在NIPS 2016上出现的Carl Vondrick，Hamed Pirsiavash，Antonio Torralba的“的实现。该模型学习使用对抗网络生成微型视频。 示例世代 以下是我们的模型生成的一些选定视频。 这些视频不是真实的； 它们被生成的视频模型迷住了。 尽管它们不是逼真的照片，但是对于他们所训练的场景类别而言，这些运动是相当合理的。 海滩 高尔夫球 火车站 宝宝 训练 该代码需要安装Torch7。 要训​​练视频生成器，请参阅main.lua。 该文件将构建网络，启动许多线程以加载数据并训练网络。 有关条件版本，请参
【多智能体强化学习】经典论文COMA：Counterfactual Multi-Agent Policy Gradients
最新发布
JTB__JJ的博客
11-08 540
COMA解读
阅读COMA:Counterfactual Multi-Agent Policy Gradients
养羊的博客
09-23 1261
COMA题目作者摘要主要方法环境代码其他 题目 Counterfactual Multi-Agent Policy Gradients，AAAI2018 作者 牛津做多智能体强化学习的大佬组，后续多智能体强化学习的很多工作比如MAVEN也还是这个组做的，这里的Jakob N. Foerster很厉害，现在在FaceBook AI，他通信、多智能体竞争、合作都在研究。 摘要 单纯的强化学习用到多智能体环境下效果并不是很好，如果完全集中式学习，那么可能联合动作空间太大，学不了；或者说有些环境下要求执行的时候就
论文笔记 | Counterfactual Samples Synthesizing for Robust VQA
开放知识图谱
07-31 949
论文笔记整理：窦春柳，天津大学硕士。来源：CVPR 2020链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Chen_...
读论文《Counterfactual Explainable Recommendation》
buganything的博客
06-13 717
​增加可解释性的动机​ 可解释性对于推荐系统至关重要，因为在推荐场景中，我们很少可以说一些推荐是绝对正确的，另一些推荐是绝对错误的，相反，它完全依赖于良好的解释来帮助用户理解为什么一个项目被推荐，从而增加透明度和信任，使更好的决策;好的解释还可以帮助系统设计人员跟踪复杂推荐模型的行为，以便更好地调试。​ 一个突出的方法是方面感知（aspect-aware）的可解释推荐，它采用显式的项目特征/方面来构建解释。Li et al.[29]提出了一种个性化的Transformer来生成方面启发的自然语言解释。
文献阅读：Counterfactual Multi-Agent Policy Gradients
weixin_44396511的博客
10-05 231
（1）使用baseline 来从critic中区分不同动作的价值A=Q-V
COMA: Counterfactual Multi-Agent Policy Gradients笔记
Melody1211的博客
04-01 2302
1. 论文讲了什么/主要贡献是什么 文章介绍了COMA算法，主要解决了在集中训练、分散决策的框架中，全局全局奖励的分配问题。文中受到difference rewards的启发，采用了根据当前代理采取的动作相比于当前代理采取默认动作对全局奖励的提高来判断代理对全局奖励的贡献大小，从而对代理的actor进行有效的更新。并根据算法设计了能够有效估计优势函数的方式。 2. 论文摘要： Cooperativ...
论文阅读笔记1——图反事实公平性（更新ing
Vee_Lee的博客
10-19 1798
因果推断下的公平性研究方法有很多，本笔记的论文阅读都是基于图的反事实公平性相关的研究论文。
【奖励分配】反事实多智能体策略梯度
qq_18506857的博客
07-10 423
Independent Actor-Critic：缺乏信息时很难学到协调策略，也难以评估单个agent action在整体中的奖励。在agent之间共享参数：只学习一个演员和一个评论家，它们被所有agent使用。此外，计算每个agent的优势函数：将Q值与反事实基线（任何一个agent的改进会提高整体奖励。学习，将全局奖励与agent a的默认动作（，并且agent的动作不依赖于默认动作。，当a的动作发生变化时直接从经验中学习。为agent a的历史观察。及对应的梯度，和下面一样。及对应的梯度，优势函数。
【MADRL】反事实多智能体策略梯度（COMA）算法
追风赶月莫停留，平芜尽处是春山
09-10 2782
反事实多智能体策略梯度法COMA (Counterfactual Multi-Agent Policy Gradient) 是一种面向多智能体协作问题的强化学习算法，旨在通过减少策略梯度的方差，来提升去中心化智能体的学习效果。 COMA 算法最早由 DeepMind 团队提出，论文标题为 "Counterfactual Multi-Agent Policy Gradients"，由 Jakob Foerster 等人于 2017 年在 AAAI 会议上发表。适用于局部观察、去中心化决策的多
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值