exploration by random network distillation

本文深入探讨了OpenAI基于Deepmind不确定性度量法的内部奖励机制,通过对比table-based和non-table-based方法,介绍了固定及随机初始化网络与预测网络的优化目标,以及内部奖励的定义方式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

看了半天这篇文章给的源码,大概思路能理解,但是要完全读明白OpenAI的代码,感觉有点难,没什么注释,还缺少文件。

这篇文章读下来是基于18年Deepmind提出的一种不确定性度量法。

随后OpenAI,就是用这个这个思想在这个内部奖励/好奇心/内在动机的思路中。

并且取得了相对可观的效果。

首先讨论了以下以前提出的基于table的counts based方法以及non-table的pseudo-counts的方法。

之后开始介绍

主要是随机初始化一个fixed以及random init的Net

以及一个经过训练的预测Net

优化目标

很好理解,就是让预测网络和fixed的网络尽可能接近。
内部奖励被定义为:两个相减的差距。这个想法和我上一篇写的那个基于KL的k step 的方法极其类似。

也就是经常见到的状态in reward会很低,相反会很高。

伪代码如下:恕我实在读不太明白他的代码,但是整体思路和伪代码一样,只是细节上很有一些不同。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值