RL综述（一）：强化学习综述（Kaelbling、Littman等1996）

二向箔不会思考

已于 2022-09-12 23:31:23 修改

阅读量1.3w

点赞数 6

分类专栏：深度强化学习极简入门与Pytorch实战文章标签：强化学习 Q-learning

于 2018-07-14 22:09:18 首次发布

深度强化学习极简入门与Pytorch实战专栏收录该内容

19 篇文章 ¥49.90 ¥99.00

订阅专栏

本文是1996年Kaelbling等人撰写的强化学习综述，探讨了强化学习的基础模型、探索与利用的权衡策略，以及延迟奖励下的马尔可夫决策过程。文章强调了强化学习中统计和动态规划方法的重要性，同时讨论了有限时域和无限时域模型，以及不同探索策略，如动态规划、贪婪策略和基于置信区间的探索方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

看看上世纪90年代的RL综述论文吧^_
Reinforcement Learning：A Survey
作者：Leslie Pack Kaelbling, Michael L. Littman, Andrew W. Moore

文章目录

摘要

1 引言

1.1 强化学习模型

1.2 最优行为模型

1.3 学习性能的评估

1.4 强化学习和自适应控制

2 探索与利用：单一状态情况

2.1 被形式化证明了的方法

2.1.1 动态规划

2.1.2 Gittins分配指数

2.1.3 自动机学习

2.2 Ad-Hoc方法

2.2.1 贪婪策略

2.2.2 随机策略

2.2.3 基于置信区间的方法

2.3 更一般的问题

3 延迟奖励

3.1 马尔可夫决策过程

3.2 从给定模型中寻找策略

摘要

这篇文章从计算机科学的角度对强化学习这一领域进行了研究，并且尽量写的让熟悉机器学习的相关研究者能够较为容易的读懂。我们研究了强化学习这一领域历史上的基础，也广泛总结了当今研究的主流选择。强化学习是关于智能体(agent)通过与动态环境进行不断交互，从而在“尝试-错误”过程中学习正确行为的问题。这篇文章与心理学上的研究有一定的关系，但更值得注意的是，这里的强化与心理学上的强化是很不一样的。这篇文章主要讨论强化学习，包括探索与利用的权衡、通过马尔科夫决策理论(Markove decision theory)建立该领域的基础、通过延迟奖励进行学习、构建经验模型加速学习、标准化与结构化、处理隐藏状态等。文章结尾对几个已经实现了的强化学习系统的的综述以及目前可用的模型进行了评估。