3、强化学习：原理、应用与分类方法

强化学习：原理、应用与分类方法

1. 强化学习基础概念

强化学习的情境虽可代表任何现实情况，但常受约束以确保问题可解。从业者会创建与环境交互的接口，这个接口可以是模拟环境、现实场景，或者两者结合。环境接收动作并以结果和新的观察集作为响应。

决策实体被称为智能体，它可以是孩子、软件或机器人等。奖励则编码了挑战，作为反馈机制，它告知智能体哪些动作带来了成功或失败。奖励信号通常是数值型的，其作用是强化行为。例如，在遗传学习策略中，表现不佳的智能体可能会被淘汰，而非仅仅得不到奖励。

举个例子，我们可以奖励到达目标的机器人，或者奖励将正确商品放入购物篮的智能体。但问题也随之而来，如果机器人花三天时间解决一个简单迷宫，且大部分时间都在原地打转；或者智能体开始将所有商品都放入购物篮，这显然不是我们期望的结果。

这种情况在动物身上也会出现。动物为了传递基因，必须最大化生存机会。比如，大多数食草动物像驼鹿，需要大量进食才能生存。然而在2011年，瑞典哥德堡附近的一只驼鹿在吃了发酵苹果后被困在树上，这表明驼鹿的奖励系统（促使其进食）出现了问题，因为目标过于笼统，并非吃任何东西都能提高生存几率。

这些例子凸显了强化学习中的一个重大问题：如何告诉机器我们希望它做什么？智能体常常会优化错误的目标。目前建议尽量使奖励机制简单化，因为很多问题本身存在自然奖励。

这四个组成部分构成了马尔可夫决策过程（MDP），它可用于构建各类问题的框架，包括非工程类问题。

2. 何时使用强化学习

网上有些强化学习的例子显得很牵强，它们将机器学习的例子强行应用强化学习，却缺乏明确的智能体或动作。以股票市场预测为例，虽有可能使用