mmc2015的专栏

MuJoCo及mujoco_py安装（以及troubleshooting）

第一篇：NCC-MARL: Neighborhood Cognition Consistent Multi-Agent Reinforcement Learning.NCC-MARL is a general RL framework to handlelarge-scalemulti-agent cooperative problems. We notice that agents ...

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。注意：本章考虑model-free的prediction和control，仍然有两种方法，policy

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。注意：本章考虑model-free的prediction和control，仍然有两种方法，pol

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。8.1 Models and PlanningBy a model of the

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。9.1 Value-function Approximation . . . . . . .

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。The tabular off-policy methods developed in Chap

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。The present chapter features the semi-gradient Sar

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。Lecture 3，Planning by Dynamic Programming

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。7.1 n-step TD PredictionThe methods that use n

因为之后打算写一篇rewards设计的文章，所以看到这个文章觉得是个有力的出发点。另外，文章本身也很不错。https://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652002837&idx=5&sn=c966fdaab2dc651f644118af9686f712&chksm=f1212ee4c656a7f2f5509ab2b0

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。13.1 Policy Approximation and its Advantages . . . . . . . .

参考：https://github.com/LantaoYu/MARL-Papers7.4.2、Inverse MARL[1] Cooperative inverse reinforcement learning by Hadfield-Menell D,Russell S J, Abbeel P, et al. NIPS, 2016.[2] Comparison of Mul

李宏毅老师的课程：https://www.youtube.com/watch?v=W8XF3ME8G2I老师说，对于同一个observation/state（atari game的画面），也不一定会采取相同的动作，因为有些actor是stochastic的，选action有一定随机性，这一点好理解。。。老师还说，即便actor采取同一个action，得到的reward和next state也不一定...

在增强学习中有一大类方法叫policy gradient，最典型的是REINFORCE。在这类方法中，目标函数J(w)（通常是the expectation of long term reward）对policy参数w的gradient为：▽J(w) == E[ ▽logπ(a|s) * return ]== E[ ▽logπ(a|s) * (return-baseline)]~=计算N个samp...

https://www.sciencedirect.com/science/article/pii/0012365X73901210https://arxiv.org/abs/1511.00867

转自：https://the0demiurge.blogspot.com/2017/08/cross-entropy-method-cem.html 前言之前阅读Deep Reinforcement Learning: Pong from Pixels的时候，作者在文中最后提到“One should always try a BB gun before reaching for the...

【有中相同会议的小伙伴记得联系我哦，可以一起商量着把会议相关的事情做好】这篇文章是利用深度强化学习（Deep Reinforcement Learning）做多智能体合作（multi-agent cooperation）。主要贡献点在于使用了一个attention机制 in a principled way，principle在，这个attention是基于agent modelling方...

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。应用RL解决实际问题，目前已有的算法总的来说还是可以的，主要是要设计好能够反映问题本质的state/rewa

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。K-armed bandit problem:    Consider the followin

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。Reinforcement learning problems involve learning what

感觉多臂赌博机方面的中文文献很少，偶尔碰到，记录一下，方便其它人学习。感谢原作者：http://mlyixi.byethost32.com/blog/?tag=%E5%A4%9A%E8%87%82%E8%B5%8C%E5%8D%9A%E6%9C%BA假想一个风投他想着他的收益最大化,这时他总会面临一个两难: 何时去投资那些已经成功的公司,何时去投资那些还没有成功但具有很大潜力的

最后两节课分别将bandits和games，基本上是保证课程的完整性，很多内容比较复杂，这里只提一些思想。Lecture 9: Exploration and ExploitationOnline decision-making involves a fundamental choice:ExploitationMake the best decision gi

好长时间没跟新了，这期间有好多事情（华为、微博、算法课），现在把最后几节课拾起来。上节课内容和本节课内容1）Model-Free和Model-Based的区别：Model-Free RL：No modelLearn value function (and/or policy) from experienceModel-Based RL

首先回忆上一次的内容：对于给定的MDP，使用Policy Evaluation进行prediction（对于给定的policy π，evaluate该policy π能够达到的Vπ(s)）使用Policy Iteration、Value Iteration进行control（没有特定的policy π，希望找到针对该MDP最优的policy π*，同时给出π*在每个状态的最

首先回忆上一次的内容：Bellman Expectation Equation：【计算时常用】【计算时常用】【计算时常用】Bellman Optimality Equation：为什么DP能够解决MDP问题：Policy Evaluation：1）要解

所有内容来自：http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html传统的RL的研究对象就是MDP。直接假设就是【环境是完全可观察（当前状态唯一决定了整个过程的特性）】。Optimal control primarily deals with continuous MDPsPartially observabl

上节课和本节课内容具体的： Finite Difference Policy Gradient Monte-Carlo Policy GradientActor-Critic Policy Gradient区别和联系： Advantages of Policy-Based RL:Better convergence propertiesEffective

上次内容：Model-Free Control。所谓model-free，是指没有给定MDP（即MDP未知，甚至不知道是不是MDP过程）。希望在未给出MDP的情况下，进行Control（理想情况是policy也没有给出，Optimise the value function of an unknown MDP）。Model-Free Control有两大方法：on-policy L

感觉多臂赌博机方面的中文文献很少，偶尔碰到，记录一下，方便其它人学习。感谢原作者：http://mlyixi.byethost32.com/blog/?cat=35这一节我们来了解下多臂赌博机问题的提出和理论基础,最后讨论下UCB系列策略.当然,这里的多臂赌博机问题是随机式的. 随机式多臂赌博机的问题描述就不在这里重复了,可以参考上一节理论问题的证明

感觉多臂赌博机方面的中文文献很少，偶尔碰到，记录一下，方便其它人学习。感谢原作者：http://mlyixi.byethost32.com/blog/?cat=35在上两节我们讨论的UCB系列算法面对的情况是静态的,即各臂的分布参数不会改变,于是我们就"乐观地面对不确定性"--根据采样平均值尽快地确定那个最好的臂.但是在现实世界中收益结构是更复杂的,非静态的

内容不错，转载保留http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650724740&idx=2&sn=ff1006aa53de7e766c7b15760f196a3d&chksm=871b1dfab06c94ec0b83bfe14c866433397e0006f9e6b3a65b1d76e04333ce99a4db341d525

首先说下观点：你估计policy或者value-function的时候，需要用到一些样本，这些样本也是需要采用某种策略（可能固定、可能完全随机、也可能隔一段时间调整一次）生成的。那么，判断on-policy和off-policy的关键在于，你所估计的policy或者value-function  和  你生成样本时所采用的policy  是不是一样。如果一样，那就是on-policy的，否则是

主要参考：http://blog.youkuaiyun.com/songrotek/article/details/50610684http://studygolang.com/articles/6466http://www.360doc.com/content/16/0317/09/31057678_542874401.shtmlhttp://blog.youkuaiyun.com/u010

感谢原作者的翻译与总结：http://blog.youkuaiyun.com/songrotek/article/details/50917286来源：Nature 2015作者：Deepmind理解基础：深度学习基础增强学习基础创新点：构建一个全新的Agent，基于Deep Q-network,能够直接从高维的原始输入数据中通过End-to-End

多谢作者的总结：http://blog.youkuaiyun.com/songrotek/article/details/505729351 学习资料增强学习课程 David Silver （有视频和ppt）:http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html最好的增强学习教材：

感谢作者的翻译与总结http://blog.youkuaiyun.com/songrotek/article/details/50581011来源：NIPS 2013作者：DeepMind理解基础：增强学习基本知识深度学习 特别是卷积神经网络的基本知识创新点：第一个将深度学习模型与增强学习结合在一起从而成功地直接从高维的输入学习控制策略具

http://mp.weixin.qq.com/s?__biz=MzA4Mzc0NjkwNA==&mid=2650782129&idx=1&sn=935f14d260eb9513f48e4abca05667f7&chksm=87fad086b08d5990a8cf80c97cd02875696857a3cd8d262948d29135d169fd62707c5376051b&mpshare=1&s

http://blog.greenwicher.com/2016/12/24/drl-from_mab_to_mcts/基本算法具体的算法实施请见我的Github 或者 Bandit Algorithms for Website Optimization 这本书，下文只是简要叙述每种算法的思路。如日后有时间，再将各自的代码补上。值得一提的是，该领域主要的理论在于

上次内容：Model-Free Prediction。所谓model-free，是指没有给定MDP（即MDP未知，甚至不知道是不是MDP过程）。希望在未给出MDP的情况下，进行prediction（对于给定的policy π，evaluate该policy π能够达到的Vπ(s)）。Model-Free Prediction有两大方法：Monte-Carlo Learning和Temp