强化学习在智能对话上的应用

TEG数据平台部联合AiLab、Ai平台部，结合语音合成、语音识别、机器人问答、大数据能力等前沿性、高复用性的功能模块构建腾讯小知智能机器人产品，支持问答、业务办理、营销推广、回访调研、通知提醒等应用场景，降低人工服务成本、提升服务质量和转化效率，目前已在多个领域落地，如公安、零售、教育和地产等。

背景

本文主要介绍深度强化学习在任务型对话上的应用，两者的结合点主要是将深度强化学习应用于任务型对话的策略学习上，目前工业界普遍使用的策略都是基于规则的，显然基于规则的方法有人力成本高、泛化能力差等缺点，而强化学习恰好能解决这些问题，而且强化学习只需要一些目标，无需大量的训练语料，避免了深度学习的一大缺点。

首先简单介绍一下强化学习和对话系统，然后再具体介绍一下深度强化学习在任务型对话中是怎么应用的，最后给出训练的结果和总结。以下举例部分都会以订餐场景为准。

强化学习

强化学习系统由智能体（Agent）、状态（state）、奖赏（reward）、动作（action）和环境（Environment）五部分组成，如下图所示。

Agent：智能体是整个强化学习系统核心。它能够感知环境的状态（State），并且根据环境提供的奖励信号（Reward），通过学习选择一个合适的动作（Action），来最大化长期的Reward值。简而言之，Agent就是根据环境提供的Reward作为反馈，学习一系列的环境状态（State）到动作（Action）的映射，动作选择的原则是最大化未来累积的Reward的概率。选择的动作不仅影响当前时刻的Reward，还会影响下一时刻甚至未来的Reward，因此，Agent在学习过程中的基本规则是：如果某个动作（Action）带来了环境的正回报（Reward），那么这一动作会被加强，反之则会逐渐削弱，类似于物理学中条件反射原理。
Environment：环境会接收Agent执行的一系列的动作（Action），并且对这一系列的动作的好坏进行评价，并转换成一种可量化的（标量信号）Reward反馈给Agent，而不会告诉Agent应该如何去学习动作。Agent只能靠自己的历史（History）经历去学习。同时，环境还像Agent提供它所处的状态（State）信息。
Reward：环境提供给Agent的一个可量化的标量反馈信号，用于评价Agent在某一个时间步所做action的好坏。强化学习就是基于一种最大化累计奖赏假设：强化学习中，Agent进行一系列的动作选择的目标是最大化未来的累计奖赏。
State：状态指Agent所处的环境信息，包含了智能体用于进行Action选择的所有信息，它是历史（History）的一个函数：St = f（Ht）。
可见，强化学习的主体是Agent和环境Environment。Agent为了适应环境，做出的一系列的动作，使最终的奖励最高，同时在此过程中更新特定的参数。实际上可以把强化学习简单理解成是一种循环，具体的工作方式如下：

智能体从环境中获取一个状态St；
智能体根据状态St采取一个动作at；
受到at的影响，环境发生变化，转换到新的状态St+1；
环境反馈给智能体一个奖励（正向为奖励，负向则为惩罚）。</