机器学习中的贝叶斯强化学习、搜索算法与行为克隆技术
1. 贝叶斯强化学习
1.1 定义与背景
贝叶斯强化学习将强化学习建模为贝叶斯学习问题。它可追溯到 20 世纪 50 - 60 年代,当时研究人员考虑控制具有不确定转移和奖励概率的马尔可夫过程,这等价于强化学习。与其他强化学习方法不同,贝叶斯强化学习使用概率分布来捕捉不确定性,能让学习者做出更明智的决策,更快地学习且所需数据更少,还能自然优化探索/利用权衡,便于编码领域知识。
1.2 学习方法结构
- 马尔可夫决策过程(MDP) :由元组 形式化,其中 S 是状态集,A 是动作集,T(s, a, s’) 是转移分布,表示在状态 s 执行动作 a 到达状态 s’ 的概率。策略 π 是从状态到动作的映射,价值函数 V^π 是执行该策略时的预期折扣总奖励。目标是找到最优策略 π ,使所有状态下的价值 V 最高,最优价值函数 V 满足贝尔曼方程:
[V^ (s) = \max_a \sum_{s’} Pr(s’|s, a)[r_{s’} + \gamma V^*(s’)]] - 贝叶斯学习 :将未知量建模为随机变量 X,通过贝叶斯定理根据证据 e 更新先验分布 Pr(X) 得到后验分布 Pr(X|e):
[Pr(X|e) = kPr(X)Pr(e|X)] - 模型类型 :
- 基于模型的贝叶斯强化学习 :维护转移概率 T
订阅专栏 解锁全文
1510



被折叠的 条评论
为什么被折叠?



