强化学习基础总结（三）

强化学习基础：马尔可夫决策过程详解

最新推荐文章于 2025-07-15 17:15:57 发布

原创

最新推荐文章于 2025-07-15 17:15:57 发布 · 2k 阅读

·

1

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。

文章标签：

#机器学习 #强化学习

本文是强化学习系列的第三部分，主要介绍马尔可夫决策过程（MDP）的基础知识，包括马尔可夫过程、马尔可夫奖励过程、返回值的概念，以及价值函数的计算。MDP是描述强化学习环境的关键模型，具有马尔可夫性质，即当前状态完全决定未来的状态。文章探讨了状态转换矩阵、奖励函数和折扣值γ的含义，并解释了为何要在总奖励上打折的原因。

强化学习基础总结（三）

@(Machine Learning)

覆盖以下几个主题：

Markov过程
Markov奖励过程
Markov决策过程
MDPs扩展

MDP简介

MDP是用于正式描述强化学习模型中的环境(environment)。

这里的环境是完全可观测的。

几乎所有的RL问题都可以被定义为MDP模型。

马尔可夫性

如前面文章所说，马尔可夫性就是：给定现在，将来与过去无关。

数学语言描述就是：

P [S t + 1 | S t] = P [S t + 1 | S 1, S 2, . . ., S t]

$P[S_{t+1} | S_t] = P[S_{t+1} | S_1,S_2,...,S_t]$

状态转换矩阵

状态转换矩阵元素是状态转换概率。

此概率的数学表达式是：

P s s' = P [S t + 1 = s' | S t = s]

$P_{ss'} = P[S_{t+1} = s' | S_t = s]$

其中， $s'$ 是状态 $s$ 的下一个状态。

也即从s到s’的概率。

状态转换矩阵的数学表达式就是：

P

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。