62、强化学习模型的训练与部署：从数据准备到算法应用

强化学习模型的训练与部署：从数据准备到算法应用

在强化学习领域，我们需要完成从创建数据集到训练模型，再到部署模型的一系列工作。下面将详细介绍这些步骤和一些流行的强化学习算法。

创建数据集

在强化学习中，我们可以从回放缓冲区（replay buffer）中采样一批轨迹（trajectories）。通过调用回放缓冲区的 get_next() 方法，能够得到一批轨迹以及一个 BufferInfo 对象，该对象包含样本标识符和采样概率。例如，以下代码可以采样一个包含两个轨迹（子情节）的小批量，每个轨迹包含三个连续步骤：

trajectories, buffer_info = replay_buffer.get_next( 
    sample_batch_size=2, num_steps=3) 
print(trajectories._fields)
# ('step_type', 'observation', 'action', 'policy_info', 
#  'next_step_type', 'reward', 'discount')
print(trajectories.observation.shape)
# TensorShape([2, 3, 84, 84, 4])
print(trajectories.step_type.numpy())
# array([[1, 1, 1],
#        [1, 1, 1]], dtype=int32)

trajectories 对象