fangting的博客

Qlearning：Initialize Q arbitrarily //随机初始化Q值Repeat (for each episode): //每一次游戏，从小鸟出生到死亡是一个episode Initialize S //小鸟刚开始飞，S为初始位置的状态 Repeat (for each step of episode): 根据当前Q和位置S，使用一种策略，...

DRL的基本模型：DRL算法大框架：大脑的执行机构-actor： 输入状态s，输出动作a（policy gradient算法）大脑的评判机构-critrc：根据回馈r（外界给的）进行调整。（Q learning）人类也是在本能和价值观影响作用下进行行为，并且价值受经验的影响不断改变。在actor-critic的框架下：有DQN、A3C、UNREAL等算法提出。DQN-第一个提出...

第一讲笔记深度学习如图像识别和语音识别解决的是感知的问题，强化学习解决的是决策的问题强化学习基本框架-马尔科夫决策过程（MDP）马尔科夫性：系统的下一状态只与当前状态有关马尔科夫过程：马尔科夫过程是一个二元组\left(S,P\right)，且满足：S是有限状态集合， P是状态转移概率。状态转移概率矩阵为：马尔科夫决策过程：马尔科夫过程中不存在动作和奖励。将动作（策略）和回报考虑在内...

时间差分方法结合了蒙特卡罗的采样方法（即做试验）和动态规划方法的bootstrapping(利用后继状态的值函数估计当前值函数)。蒙特卡罗要等到实验结束才能有Gt，太慢。其中Rt+1+γV(St+1)R_{t+1}+\gamma V\left(S_{t+1}\right)Rt+1​+γV(St+1​)称为TD目标，与（4.2）中的GtG_tGt​相对应，两者不同之处是TD目标利用了boo...

策略搜索：之前降到的其他方法都是通过最优值函数从而得到最优策略。利用这种方法得到的策略往往是状态空间向有限集动作空间的映射。（每个状态都有一个值函数，执行策略到下一个状态的值函数最大，直接argmax_a(值函数)）策略搜索是将策略进行参数化即πθ(s)\pi_{\theta}\left(s\right)πθ​(s)，利用线性或非线性（如神经网络）对策略进行表示，寻找最优的参数θ\theta...

what：逆向强化学习的提出者Ng是这么想的：专家在完成某项任务时，其决策往往是最优的或接近最优的，那么可以这样假设，当所有的策略所产生的累积回报期望都不比专家策略所产生的累积回报期望大时，强化学习所对应的回报函数就是根据示例学到的回报函数。定义为从专家示例中学到回报函数。分类：基于最大边际的逆向强化学习基于最大熵的方法具体讲解：1）在行为克隆中，人的示例轨迹被记录下来，下次执行...