RL Algorithm Components - 强化学习算法组件

最新推荐文章于 2025-05-23 16:33:45 发布

从流域到海域

最新推荐文章于 2025-05-23 16:33:45 发布

阅读量726

点赞数

CC 4.0 BY-SA版权

分类专栏：强化学习文章标签：强化学习 RL Algorithms Component RL Agents

本文链接：https://blog.youkuaiyun.com/Solo95/article/details/100147150

强化学习专栏收录该内容

28 篇文章

订阅专栏

本文深入探讨了RL算法的关键组成部分，包括模型、策略和价值函数。解析了它们如何帮助Agent理解环境并做出最佳决策，强调了基于模型和不基于模型的Agent的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

RL Algorithm Components

通常包括一个或者更多：

Model(模型): world对agent的动作如何改变的一种表示(representation)
Policy(策略): 映射agent的state到动作的函数
Value function(价值函数): 遵循一个policy处于一个状态/执行一个动作之后的未来奖励

Model

模型是Agent的world如何对其动作产生回应的表示(what happens in the world as it takes its action and what reward it might get)。

Transition/dynamics(变迁/动态)模型预测下一个agent的state
$p(st+1=s′∣st=s,at=1)p(s_{t+1}=s'|s_t=s,a_t=1)$

Reward模型预测即时奖励：
$r(st=s,at=a)=E[rt∣st=s,at=t]r(s_t=s,a_t=a)=\mathbb{E}[r_t|s_t=s,a_t=t]$

Policy

策略 $π\pi$ 决定agent如何选择动作
$π:S→A\pi: S \rightarrow A$ ，映射states到actions
确定性策略(Deterministic policy):
$π(s)=a\pi(s)=a$
随机性策略(Stochastic policy):
$π(a∣s)=Pr(at=a∣st=s)\pi(a|s)=Pr(a_t=a|s_t=s)$

Value

价值函数 $VπV^{\pi}$ : 在一个特定策略 $π\pi$ 下所有未来的打折奖励总和的期望。
$Vπ(st=s)=Eπ[rt+γrt+1+γ2rt+2+γ3rt+3+...+∣st=s]V^{\pi}(s_t=s)=\mathbb{E}_{\pi}[r_t+\gamma r_{t+1}+\gamma^2r_{t+2}+\gamma^3r_{t+3}+...+|s_t=s]$

折扣因子(Discount factor) $γ\gamma$ (between 0 and 1)加权了即时奖励和未来奖励(weighted by how much I care about immediate versus long term rewards)。

可以被用于量化状态和动作的好坏程度。

通过比较不同的策略决定如何行动。

RL Agents

基于模型的(Model-based)

- 显式：模型
- 可能有也可能没有策略和/或价值函数

不基于模型的(Model-free)

-显式：价值函数和/或策略函数
-没有模型

在这里插入图片描述

Key Challenges in Learning to Male Sequences of Good decisions

下面是在对比规划和强化学习:

规划(planning)(Agent的内部计算)

给定模型world怎样运作
- 动态和奖励模型
算法计算如何行动以取得最大奖励期望
- 和实际环境没有交互

Reinforcement Learning

Agent不知道world怎样运作
显式或者隐式地和world交互以学习world如何运作
Agent会改进策略(可能包含规划过程)