32、基于分层强化学习的序列分割研究

基于分层强化学习的序列分割研究

在序列分割的研究领域中，存在多种学习方法，而SSS（文中未明确全称）算法在其中展现出了独特的优势。下面我们将详细探讨不同的学习方法、相关实验以及SSS算法的特点。

学习方法概述

学习方法主要有以下三种：
1. 增量式从元素到复合学习 ：首先仅使用“元素”任务训练系统，每个元素任务对应一个特定模块。完成元素任务训练后，再使用由元素任务组成的复合任务进行训练。这种情况下不存在自主的自我分割，分割是预先确定的，是最简单的设置。
2. 同时进行元素和复合学习 ：同时使用元素任务和复合任务（每个任务都有相应的任务标签）对整个系统进行训练。元素任务与复合任务一起学习，为复合任务的分割提供线索，但这种分割也不是自主的。
3. 同时进行复合学习 ：使用相同的复合任务和来自环境的相同强化信息，同时训练系统的所有组件。也就是说，系统自主学习分解任务，这是最困难的设置，也是本文的重点。

SSS算法虽然可以适应上述任何一种方法，但它不需要对不同模块进行单独训练，也不需要从元素任务到复合任务的增量训练，或者同时进行复合和元素任务的预分割训练。SSS依靠强化来实现完全自主的自我分割，它会比较不同分割方式产生的不同强化量，并据此选择最佳分割方式。

实验介绍

为了验证SSS算法的有效性，我们进行了两个实验，分别使用了不同的迷宫场景。

迷宫1

这个迷宫有两个可能的起始位置和一个目标位置。代理每次占据一个单元格，每一步都会获取关于四个相邻单元格（左、右、上